JP2022008317A - 画像復号方法及び画像符号化方法 - Google Patents

画像復号方法及び画像符号化方法 Download PDF

Info

Publication number
JP2022008317A
JP2022008317A JP2021142499A JP2021142499A JP2022008317A JP 2022008317 A JP2022008317 A JP 2022008317A JP 2021142499 A JP2021142499 A JP 2021142499A JP 2021142499 A JP2021142499 A JP 2021142499A JP 2022008317 A JP2022008317 A JP 2022008317A
Authority
JP
Japan
Prior art keywords
block
merge candidate
prediction
information
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021142499A
Other languages
English (en)
Inventor
サン チャン リム
Sung Chang Lim
ジュン ウォン カン
Jung Won Kang
ヒュン サク コウ
Hyun Suk Ko
ハ ヒュン リ
Ha Hyun Lee
ドン サン ジュン
Dong San Jun
ジン ホ リ
Jin Ho Lee
スン ヒュン チョ
Seung Hyun Cho
フイ ヨン キム
Hui Yong Kim
ジン スー チェ
Jin Soo Choi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2022008317A publication Critical patent/JP2022008317A/ja
Priority to JP2023159358A priority Critical patent/JP2023164731A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Figure 2022008317000001
【課題】画像の符号化／復号効率を向上させる画像復号方法及び画像符号化方法を提供する。
【解決手段】画像復号方法は、現在ブロックのマージ候補リストを生成するステップＳ３３０１と、現在ブロックのマージ候補リストから、第１参照画像リストに対する第１動き情報及び第２参照画像リストに対する第２動き情報を導出するステップと、差分絶対値和（ＳＡＤ）に基づいて計算された歪みに基づいて、第１動き情報及び第２動き情報を精緻化するステップＳ３３０２と、を含む。
【選択図】図３３

Description

本発明は、画像を符号化／復号するための方法及び装置に関し、より詳しくは、マージモードを用いた動き補償を行う方法及び装置に関する。
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な応用分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて相対的にデータ量が増加するので、従来の有線・無線ブロードバンド回線などの媒体を用いて画像データを送信したり従来の記憶媒体を用いて保存したりする場合には、送信及び保存のコストが増加することになる。このような画像データの高解像度、高品質化に伴って発生する問題を解決するためには、より高い解像度及び画質を有する画像に対する高効率画像符号化（ｅｎｃｏｄｉｎｇ）／復号（ｄｅｃｏｄｉｎｇ）技術が求められる。
画像圧縮技術として、現在ピクチャよりも前又は後のピクチャから、現在ピクチャに含まれている画素値を予測するインター予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測するイントラ予測技術、残余信号のエネルギーを圧縮するための変換及び量子化技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、このような画像圧縮技術を利用して画像データを効果的に圧縮して送信又は保存することができる。
従来のマージモードを用いた動き補償では、空間マージ候補、時間マージ候補、双予測マージ候補、ゼロマージ候補のみをマージ候補リストに追加して使用するが、一方向予測及び双方向予測のみを使用するので、符号化効率の向上に限界がある。
従来のマージモードを用いた動き補償では、時間マージ候補導出処理と双予測マージ候補導出処理との間の従属性が存在してマージモードの処理量に限界があり、各マージ候補導出処理が並列的に行われ難いという欠点がある。
従来のマージモードを用いた動き補償では、双予測マージ候補導出処理を用いて双予測マージ候補を生成して動き情報として使用するので、単予測マージ候補と比較して動き補償時のメモリアクセス帯域幅が増加するという欠点がある。
従来のマージモードを用いた動き補償では、スライスタイプに応じてゼロマージ候補導出を異ならせて行うので、ハードウェアロジックが複雑になるという欠点があり、双予測ゼロマージ候補を用いて双予測ゼロマージ候補を生成して動き補償に使用するので、メモリアクセス帯域幅が増加するという欠点がある。
本発明は、画像の符号化／復号効率を向上させるために組み合わせマージ候補を用いて動き補償を行う方法及び装置を提供することができる。
本発明は、画像の符号化／復号効率を向上させるために一方向予測、双方向予測、三方向予測、四方向予測を用いて動き補償を行う方法及び装置を提供することができる。
本発明は、マージモードの処理量の増大及びハードウェアロジックの単純化のために、各マージ候補導出処理の並列化、マージ候補導出処理間の従属性の除去、双予測マージ候補の分割、単予測ゼロマージ候補の導出を用いて動き情報を決定する方法及び装置を提供する。
本発明に係る画像復号方法は、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成するステップと、前記マージ候補リストを用いて、少なくとも一つの動き情報を決定するステップと、前記決定された少なくとも一つの動き情報を用いて、前記現在ブロックの予測ブロックを生成するステップとを含むことができる。
前記画像復号方法において、前記マージ候補リストは、前記現在ブロックの空間的近傍ブロックから導出される空間マージ候補、前記現在ブロックの対応位置ブロックから導出される時間マージ候補、前記空間マージ候補を変更して導出される変更された空間マージ候補、前記時間マージ候補を変更して導出される変更された時間マージ候補、及び予め定義された動き情報値を有するマージ候補のうちの少なくとも一つを含むことができる。
前記画像復号方法において、前記マージ候補リストは、前記空間マージ候補、前記時間マージ候補、前記変更された空間マージ候補、及び前記変更された時間マージ候補のうちの２つ以上を用いて導出される組み合わせマージ候補をさらに含むことができる。
前記画像復号方法において、前記空間マージ候補は、前記現在ブロックに隣接する近傍ブロックの下位ブロックから導出され、前記時間マージ候補は、前記現在ブロックの対応位置ブロックの下位ブロックから導出され得る。
前記画像復号方法において、前記決定された少なくとも一つの動き情報を用いて前記現在ブロックの予測ブロックを生成するステップは、前記現在ブロックのインター予測インジケータに従って、複数の臨時予測ブロックを生成し、前記生成された複数の臨時予測ブロックに重み及びオフセットのうちの少なくとも一つを適用して前記現在ブロックの予測ブロックを生成することができる。
前記画像復号方法において、前記重み及び前記オフセットのうちの少なくとも一つは、所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深いブロックで共有できる。
前記画像復号方法において、前記マージ候補リストは、所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深いブロックで共有できる。
前記画像復号方法において、前記マージ候補リストは、前記現在ブロックが所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深い場合には、前記所定のブロックサイズまたは前記所定のブロック深さを有する前記現在ブロックの上位ブロックを基準に生成できる。
本発明に係る画像符号化方法は、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成するステップと、前記マージ候補リストを用いて、少なくとも一つの動き情報を決定するステップと、前記決定された少なくとも一つの動き情報を用いて、前記現在ブロックの予測ブロックを生成するステップとを含むことができる。
前記画像符号化方法において、前記マージ候補リストは、前記現在ブロックの空間的近傍ブロックから導出される空間マージ候補、前記現在ブロックの対応位置ブロックから導出される時間マージ候補、前記空間マージ候補を変更して導出される変更された空間マージ候補、前記時間マージ候補を変更して導出される変更された時間マージ候補、及び予め定義された動き情報値を有するマージ候補のうちの少なくとも一つを含むことができる。
前記画像符号化方法において、前記マージ候補リストは、前記空間マージ候補、前記時間マージ候補、前記変更された空間マージ候補、及び前記変更された時間マージ候補のうちの２つ以上を用いて導出される組み合わせマージ候補をさらに含むことができる。
前記画像符号化方法において、前記空間マージ候補は、前記現在ブロックに隣接する近傍ブロックの下位ブロックから導出され、前記時間マージ候補は、前記現在ブロックの対応位置ブロックの下位ブロックから導出され得る。
前記画像符号化方法において、前記決定された少なくとも一つの動き情報を用いて前記現在ブロックの予測ブロックを生成するステップは、前記現在ブロックのインター予測インジケータに従って、複数の臨時予測ブロックを生成し、前記生成された複数の臨時予測ブロックに重み及びオフセットのうちの少なくとも一つを適用して前記現在ブロックの予測ブロックを生成することができる。
前記画像符号化方法において、前記重み及び前記オフセットのうちの少なくとも一つは、所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深いブロックで共有できる。
前記画像符号化方法において、前記マージ候補リストは、所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深いブロックで共有できる。
前記画像符号化方法において、前記マージ候補リストは、前記現在ブロックが所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深い場合には、前記所定のブロックサイズまたは前記所定のブロック深さを有する前記現在ブロックの上位ブロックを基準に生成できる。
本発明に係る画像復号装置は、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成し、前記マージ候補リストを用いて少なくとも一つの動き情報を決定し、前記決定された少なくとも一つの動き情報を用いて前記現在ブロックの予測ブロックを生成するインター予測部を含むことができる。
本発明に係る画像符号化装置は、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成し、前記マージ候補リストを用いて少なくとも一つの動き情報を決定し、前記決定された少なくとも一つの動き情報を用いて前記現在ブロックの予測ブロックを生成するインター予測部を含むことができる。
本発明に係るビットストリームを保存した記録媒体は、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成するステップと、前記マージ候補リストを用いて少なくとも一つの動き情報を決定するステップと、前記決定された少なくとも一つの動き情報を用いて前記現在ブロックの予測ブロックを生成するステップを含む画像符号化方法によって生成されたビットストリームを保存することができる。
本発明では、画像の符号化／復号効率を向上させるために組み合わせマージ候補を用いて動き補償を行う方法及び装置が提供される。
本発明では、画像の符号化／復号効率を向上させるために一方向予測、双方向予測、三方向予測、四方向予測を用いて動き補償を行う方法及び装置が提供される。
本発明では、マージモードの処理量の増大及びハードウェアロジックの単純化のために、各マージ候補導出処理の並列化、マージ候補導出処理間の従属性の除去、双予測マージ候補の分割、単予測ゼロマージ候補の導出を用いて動き補償を行う方法及び装置が提供される。
本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。 本発明が適用される復号装置の一実施形態に係る構成を示すブロック図である。 画像を符号化及び復号するときの画像の分割構造を示す概略図である。 符号化ユニット（ＣＵ）が含むことが可能な予測ユニット（ＰＵ）の形態を示す図である。 符号化ユニット（ＣＵ）が含むことが可能な変換ユニット（ＴＵ）の形態を示す図である。 イントラ予測処理の実施形態を説明するための図である。 インター予測処理の実施形態を説明するための図である。 イントラ予測モードによる変換セットを説明するための図である。 変換の処理を説明するための図である。 量子化された変換係数のスキャニングを説明するための図である。 ブロック分割を説明するための図である。 本発明に係るマージモードを用いた画像符号化方法を示すフローチャートである。 本発明に係るマージモードを用いた画像復号方法を示すフローチャートである。 現在ブロックの空間マージ候補を導出する例を説明するための図である。 空間マージ候補がマージ候補リストに追加される例を説明するための図である。 ＣＴＵで空間マージ候補を導出し共有する実施形態を説明するための図である。 現在ブロックの時間マージ候補を導出する例を説明するための図である。 時間マージ候補がマージ候補リストに追加される例を説明するための図である。 現在ブロックの時間マージ候補を導出するために、対応位置ブロックの動きベクトルをスケーリングする例を示す図である。 組み合わせインデックスを示す図である。 組み合わせマージ候補を導出する方法の一実施形態を説明するための図である。 空間マージ候補、時間マージ候補及びゼロマージ候補のうちの少なくとも一つを用いて組み合わせマージ候補を導出し、マージ候補リストに追加した一実施形態を示す。 空間マージ候補、時間マージ候補及びゼロマージ候補のうちの少なくとも一つを用いて組み合わせマージ候補を導出し、マージ候補リストに追加した一実施形態を示す。 マージモードを用いた動き補償の際に、空間マージ候補だけを用いて組み合わせマージ候補を導出する利点を説明するための図である。 組み合わせ双予測マージ候補（ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）分割方法の一実施形態を説明するための図である。 ゼロマージ候補導出方法の一実施形態を説明するための図である。 マージ候補リストに、導出されたゼロマージ候補を追加する一実施形態を説明するための図である。 ゼロマージ候補導出方法の他の実施形態を説明するための図である。 ＣＴＵでマージ候補リストを導出し共有する実施形態を説明するための図である。 動き補償に関する情報の構文（ｓｙｎｔａｘ）を例示する図である。 動き補償に関する情報の構文（ｓｙｎｔａｘ）を例示する図である。 ＣＴＵにおける、所定のブロックサイズよりも小さいブロックでマージモードが用いられる一実施形態を説明するための図である。 本発明に係る画像復号方法を説明するための図である。 本発明に係る画像符号化方法を説明するための図である。
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ただし、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。図面において類似する参照符号は、様々な側面にわたって同一又は類似の機能を指し示す。図面における要素の形状及び大きさなどは、より明確な説明のために誇張することがある。後述する例示的実施形態についての詳細な説明は、特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が実施形態を実施し得る程度に十分に詳細に説明される。様々な実施形態は、互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲を逸脱することなく、様々な実施形態に実現できる。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は実施形態の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として取るものではなく、例示的な実施形態の範囲は、適切に説明されるならば、それらの請求項が主張するのと均等なすべての範囲及び添付の請求項によってのみ限定される。
本発明において、用語「第１」、「第２」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語により限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。用語「及び／又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
本発明のある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合には、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
本発明の実施形態に示す構成部は、互いに異なる特徴的な機能を示すために独立に図示されるもので、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に羅列して含むもので、各構成部のうちの少なくとも２つの構成部が合わせられて一つの構成部をなすか、或いは一つの各構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解すべきである。つまり、本発明において、特定の構成を「含む」と記述する内容は、該当構成以外の構成を排除するものではなく、追加の構成が本発明の実施又は本発明の技術的思想の範囲に含まれ得ることを意味する。
本発明の一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含んで実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
以下、図面を参照して、本発明の実施形態について具体的に説明する。本明細書の実施形態を説明するにあたり、関連した公知の構成又は機能についての具体的な説明が本明細書の要旨を曖昧にするおそれがあると判断された場合、その詳細な説明は省略し、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
また、以下において、画像は動画像（ｖｉｄｅｏ）を構成する一つのピクチャを意味することもあり、動画像自体を示すこともある。例えば、「画像の符号化及び／又は復号」は、「ビデオの符号化及び／又は復号」を意味することができ、「ビデオを構成する画像のうちの一つの画像の符号化及び／又は復号」を意味することもできる。ここで、ピクチャは画像と同じ意味を持つことができる。
＜用語説明＞
符号化器（Ｅｎｃｏｄｅｒ）：符号化を行う装置を意味することができる。
復号器（Ｄｅｃｏｄｅｒ）：復号を行う装置を意味することができる。
パーシング（Ｐａｒｓｉｎｇ）：エントロピー復号して構文要素（Ｓｙｎｔａｘ Ｅｌｅｍｅｎｔ）の値を決定することを意味し、或いはエントロピー復号自体を意味することができる。
ブロック（Ｂｌｏｃｋ）：サンプル（Ｓａｍｐｌｅ）のＭｘＮ配列であり、ここで、ＭとＮは正の整数値を意味し、ブロックは一般に２次元形状のサンプル配列を意味することができる。
サンプル（Ｓａｍｐｌｅ）：ブロックを構成する基本単位であり、ビット深度（ｂｉｔ ｄｅｐｔｈ、Ｂｄ）に応じて０から２Ｂｄ－１までの値を表現することができる。本発明において、画素及びピクセルはサンプルと同じ意味で使用できる。
ユニット（Ｕｎｉｔ）：画像符号化及び復号の単位を意味することができる。画像の符号化及び復号において、ユニットは、一つの画像の分割によって生成された領域であり得る。また、ユニットは、一つの画像を細分化されたユニットに分割して符号化或いは復号するとき、その分割された単位を意味することができる。画像の符号化及び復号において、ユニットごとに、予め定義された処理が実行できる。一つのユニットは、ユニットに比べてより小さい大きさを持つ下位ユニットにさらに分割できる。機能に応じて、ユニットは、ブロック（Ｂｌｏｃｋ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）、符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）、変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）などを意味することができる。また、ユニットは、ブロックと区分して指し示すために、輝度（Ｌｕｍａ）成分ブロック、それに対応する色差（Ｃｈｒｏｍａ）成分ブロック、及び各ブロックに対する構文要素を含むことを意味することができる。ユニットは、様々なサイズと形状を持つことができ、特に、ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。また、ユニット情報には、符号化ユニット、予測ユニット、変換ユニットなどを指し示すユニットのタイプ、ユニットの大きさ、ユニットの深さ、ユニットの符号化及び復号順序などのうちの少なくとも一つを含むことができる。
再構築された近傍ユニット（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｎｅｉｇｈｂｏｒ Ｕｎｉｔ）：既に符号化或いは復号されて、符号化／復号対象ユニットの周りに空間的（Ｓｐａｔｉａｌ）／時間的（Ｔｅｍｐｏｒａｌ）に再構築されたユニットを意味することができる。このとき、再構築された近傍ユニットは、再構築された近傍ブロックを意味することができる。
近傍ブロック（Ｎｅｉｇｈｂｏｒ ｂｌｏｃｋ）：符号化／復号対象ブロックに隣接するブロックを意味することができる。符号化／復号対象ブロックに隣接するブロックは、符号化／復号対象ブロックに境界が接するブロックを意味することができる。近傍ブロックは符号化／復号対象ブロックの隣接頂点に位置するブロックを意味することができる。近傍ブロックは、再構築された近傍ブロックを意味することもできる。
ユニット深さ（Ｄｅｐｔｈ）：ユニットが分割された程度を意味し、ツリー構造（Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）において、ルートノード（Ｒｏｏｔ Ｎｏｄｅ）は深さが最も浅く、リーフノード（Ｌｅａｆ Ｎｏｄｅ）は深さが最も深いといえる。
シンボル（Ｓｙｍｂｏｌ）：符号化／復号対象ユニットの構文要素及び符号化パラメータ（ｃｏｄｉｎｇ ｐａｒａｍｅｔｅｒ）、変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）の値などを意味することができる。
パラメータセット（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）：ビットストリーム内の構造のうちのヘッダー情報に該当することができ、ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、適応パラメータセット（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つがパラメータセットに含まれ得る。また、パラメータセットにはスライス（ｓｌｉｃｅ）ヘッダー及びタイル（ｔｉｌｅ）ヘッダー情報を含む意味を持つことができる。
ビットストリーム（Ｂｉｔｓｔｒｅａｍ）：符号化された画像情報を含むビットの列を意味することができる。
予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）：インター予測又はイントラ予測及びそれに対する補償を行うときの基本ユニットであり、一つの予測ユニットは、大きさが小さい複数のパーティション（Ｐａｒｔｉｔｉｏｎ）に分割されることも可能である。この場合、複数のパーティションそれぞれを前記予測及び補償実行時の基本ユニットとし、予測ユニットが分割されたパーティションも予測ユニットとすることができる。予測ユニットはさまざまなサイズと形状を有することができ、特に予測ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。
予測ユニットパーティション（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ Ｐａｒｔｉｔｉｏｎ）：予測ユニットが分割された形状を意味することができる。
参照画像リスト（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ）：インター予測或いは動き補償に使用される一つ以上の参照画像が含まれているリストを意味することができる。参照画像リストの種類は、ＬＣ（Ｌｉｓｔ Ｃｏｍｂｉｎｅｄ）、Ｌ０（Ｌｉｓｔ ０）、Ｌ１（Ｌｉｓｔ １）、Ｌ２（Ｌｉｓｔ ２）、Ｌ３（Ｌｉｓｔ ３）などがあり得る。インター予測には、一つ以上の参照画像リストが使用できる。
インター予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）：インター予測時に符号化／復号対象ブロックのインター予測方向（一方向予測、双方向予測など）を意味することができ、符号化／復号対象ブロックが予測ブロックを生成するときに使用する参照画像の数を意味することができ、符号化／復号対象ブロックがインター予測或いは動き補償を行うときに使用する予測ブロックの数を意味することができる。
参照画像インデックス（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｉｎｄｅｘ）：参照画像リストから特定の参照画像に対するインデックスを意味することができる。ここで、インデックスは索引を意味することができる。
参照画像（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ）：インター予測或いは動き補償のために特定のユニットが参照する画像を意味することができ、参照画像を参照ピクチャとも呼ぶことができる。
動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）：インター予測或いは動き補償に使用される２次元ベクトルであり、符号化／復号対象画像と参照画像との間のオフセットを意味することができる。例えば、（ｍｖＸ、ｍｖＹ）は動きベクトルを示すことができ、ｍｖＸは横（ｈｏｒｉｚｏｎｔａｌ）成分、ｍｖＹは縦（ｖｅｒｔｉｃａｌ）成分を示すことができる。
動きベクトル候補（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ）：動きベクトルを予測するときに予測候補となるユニット、或いはそのユニットの動きベクトルを意味することができる。
動きベクトル候補リスト（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）：動きベクトル候補を用いて構成されたリストを意味することができる。
動きベクトル候補インデックス（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｉｎｄｅｘ）：動きベクトル候補リスト内の動きベクトル候補を示すインジケータ、動きベクトル予測器（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）のインデックス（ｉｎｄｅｘ）とも呼ぶことができる。
動き情報（Ｍｏｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）：動きベクトル、参照画像インデックス、インター予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）だけでなく、参照画像リスト情報、参照画像、動きベクトル候補、動きベクトル候補インデックスなどのうちの少なくとも一つを含む情報を意味することができる。
マージ候補リスト（Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）：マージ候補を用いて構成されたリストを意味することができる。
マージ候補（Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ）：空間マージ候補、時間マージ候補、組み合わせマージ候補、組み合わせ双予測マージ候補、ゼロマージ候補などを含むことができ、マージ候補は、予測タイプ情報（ｐｒｅｄｉｃｔｉｏｎ ｔｙｐｅ ｉｎｆｏｒｍａｔｉｏｎ）、各リストに対する参照画像インデックス（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ）、動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）などの動き情報を含むことができる。
マージインデックス（Ｍｅｒｇｅ Ｉｎｄｅｘ）：マージ候補リスト内のマージ候補を指し示す情報を意味することができる。また、マージインデックスは、空間的／時間的に現在ブロックと隣接するように再構築されたブロックのうち、マージ候補を導出したブロックを示すことができる。また、マージインデックスは、マージ候補が持つ動き情報のうちの少なくとも一つを示すことができる。
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）：変換、逆変換、量子化、逆量子化、変換係数符号化／復号のように残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）符号化／復号を行うときの基本ユニットを意味することができ、一つの変換ユニットは、分割されてサイズの小さい複数の変換ユニットに分割できる。変換ユニットは、さまざまなサイズと形状を持つことができ、特に、変換ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。
スケーリング（Ｓｃａｌｉｎｇ）：変換係数レベルに因数を掛ける処理を意味することができ、結果として変換係数を生成することができる。スケーリングを逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）とも呼ぶことができる。
量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）：量子化及び逆量子化において変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）をスケーリング（ｓｃａｌｉｎｇ）するときに使用する値を意味することができる。このとき、量子化パラメータは、量子化ステップサイズ（ｓｔｅｐ ｓｉｚｅ）にマッピングされた値であり得る。
デルタ量子化パラメータ（Ｄｅｌｔａ Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）：予測された量子化パラメータと符号化／復号対象ユニットの量子化パラメータとの差分値を意味することができる。
スキャン（Ｓｃａｎ）：ブロック或いは行列内係数の順序をソートする方法を意味することができ、例えば、２次元配列を１次元配列にソートすることをスキャンといい、１次元配列を２次元配列にソートすることもスキャン或いは逆スキャン（Ｉｎｖｅｒｓｅ Ｓｃａｎ）と呼ぶことができる。
変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）：変換を行ってから生成された係数値、本発明では変換係数に量子化を適用した量子化変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）も変換係数の意味に含まれ得る。
ナンゼロ変換係数（Ｎｏｎ－ｚｅｒｏ Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）：変換係数値の大きさが０ではない変換係数、或いは値の大きさが０ではない変換係数レベルを意味することができる。
量子化行列（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ）：画像の主観的画質或いは客観的画質を向上させるために量子化或いは逆量子化処理で利用する行列を意味することができる。量子化行列をスケーリングリスト（ｓｃａｌｉｎｇ ｌｉｓｔ）とも呼ぶことができる。
量子化行列係数（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ Ｃｏｅｆｆｉｃｉｅｎｔ）：量子化行列内の各要素（ｅｌｅｍｅｎｔ）を意味することができる。量子化行列係数を行列係数（ｍａｔｒｉｘ ｃｏｅｆｆｉｃｉｅｎｔ）とも呼ぶことができる。
基本行列（Ｄｅｆａｕｌｔ Ｍａｔｒｉｘ）：符号化器と復号器で予め定義されている所定の量子化行列を意味することができる。
非基本行列（Ｎｏｎ－ｄｅｆａｕｌｔ Ｍａｔｒｉｘ）：符号化器と復号器で予め定義されず、ユーザーによってシグナリングされる量子化行列を意味することができる。
符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）：一つの輝度成分（Ｙ）符号化ツリーブロックに関連する２つの色差成分（Ｃｂ、Ｃｒ）符号化ツリーブロックから構成できる。各符号化ツリーユニットは、符号化ユニット、予測ユニット、変換ユニットなどの下位ユニットを構成するために、４分木（ｑｕａｄ ｔｒｅｅ）、２分木（ｂｉｎａｒｙ ｔｒｅｅ）などの一つ以上の分割方式を用いて分割できる。入力画像の分割のように画像の復号／符号化処理で処理単位となるピクセルブロックを示すための用語として使用できる。
符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）：Ｙ符号化ツリーブロック、Ｃｂ符号化ツリーブロック及びＣｒ符号化ツリーブロックのいずれかを示すための用語として使用できる。
図１は本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。
符号化装置１００は、ビデオ符号化装置又は画像符号化装置であり得る。ビデオは、一つ以上の画像を含むことができる。符号化装置１００は、ビデオの一つ以上の画像を時間に応じて順次符号化することができる。
図１を参照すると、符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照ピクチャバッファ１９０を含むことができる。
符号化装置１００は、入力画像に対してイントラモード及び／又はインターモードで符号化を行うことができる。また、符号化装置１００は、入力画像に対する符号化を介してビットストリームを生成することができ、生成されたビットストリームを出力することができる。予測モードとしてイントラモードが使用される場合、スイッチ１１５はイントラに切り替えられてよい。予測モードとしてインターモードが使用される場合、スイッチ１１５はインターに切り替えられてよい。ここで、イントラモードはイントラ予測モードを意味することができ、インターモードはインター予測モードを意味することができる。符号化装置１００は、入力画像の入力ブロックに対する予測ブロックを生成することができる。また、符号化装置１００は、予測ブロックが生成された後、入力ブロック及び予測ブロックの差分（ｒｅｓｉｄｕａｌ）を符号化することができる。入力画像は、現在符号化の対象である現在画像と称されることもある。入力ブロックは、現在符号化の対象となる現在ブロック或いは符号化対象ブロックと称されることもある。
予測モードがイントラモードである場合、イントラ予測部１２０は、現在ブロックの近傍に既に符号化されたブロックのピクセル値を参照画素としても用いることができる。イントラ予測部１２０は、参照画素を用いて空間予測を行うことができ、空間予測を介して入力ブロックに対する予測サンプルを生成することができる。ここで、イントラ予測はイントラ予測を意味することができる。
予測モードがインターモードである場合には、動き予測部１１１は、動き予測処理で参照画像から入力ブロックと最もよくマッチする領域を検索することができ、検索された領域を用いて動きベクトルを導出することができる。参照画像は参照ピクチャバッファ１９０に保存できる。
動き補償部１１２は、動きベクトルを用いる動き補償を行うことにより、予測ブロックを生成することができる。ここで、動きベクトルは、インター予測に使用される２次元ベクトルであり得る。また、動きベクトルは、現在画像と参照画像との間のオフセット（ｏｆｆｓｅｔ）を示すことができる。ここで、インター予測はインター予測を意味することができる。
前記動き予測部１１１と動き補償部１１２は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタ（Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用して予測ブロックを生成することができる。インター予測或いは動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き予測及び動き補償方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ ）及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて、インター予測或いは動き補償を行うことができる。ここで、現在ピクチャ参照モードは、符号化対象ブロックの属した現在ピクチャ内の既に再構築された領域を用いた予測モードを意味することができる。前記既に再構築された領域を特定するために、現在ピクチャ参照モードのための動きベクトルが定義できる。符号化対象ブロックが現在ピクチャ参照モードで符号化されるか否かは、符号化対象ブロックの参照画像インデックスを用いて符号化できる。
減算器１２５は、入力ブロック及び予測ブロックの差分を用いて残余ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。残余ブロックは残余信号とも称される。
変換部１３０は、残余ブロックに対して変換（ｔｒａｎｓｆｏｒｍ）を行って変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成することができ、変換係数を出力することができる。ここで、変換係数は、残余ブロックに対する変換を行うことにより、生成された係数値であり得る。変換省略（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）モードが適用される場合、変換部１３０は残余ブロックに対する変換を省略することもできる。
変換係数に量子化を適用することにより、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）が生成できる。以下、実施形態では、量子化された変換係数レベルも変換係数と称されることがある。
量子化部１４０は、変換係数を量子化パラメータに基づいて量子化することにより、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）を生成することができ、量子化された変換係数レベルを出力することができる。このとき、量子化部１４０では、量子化行列を用いて変換係数を量子化することができる。
エントロピー符号化部１５０は、量子化部１４０で算出された値、又は符号化処理で算出された符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）値などに対して確率分布によるエントロピー符号化を行うことにより、ビットストリーム（ｂｉｔｓｔｒｅａｍ）を生成することができ、ビットストリームを出力することができる。エントロピー符号化部１５０は、画像のピクセルの情報の他に、画像の復号のための情報に対するエントロピー符号化を行うことができる。例えば、画像の復号のための情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）などを含むことができる。
エントロピー符号化が適用される場合、高い発生確率を有するシンボル（ｓｙｍｂｏｌ）に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボルに対するビット列のサイズが減少できる。よって、エントロピー符号化を介して画像符号化の圧縮効率が高くなることができる。エントロピー符号化部１５０は、エントロピー符号化のために指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの符号化方法を使用することができる。例えば、エントロピー符号化部１５０は、可変長符号化（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ／Ｃｏｄｅ；ＶＬＣ）テーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部１５０は、対象シンボルの２値化（ｂｉｎａｒｉｚａｔｉｏｎ）方法及び対象シンボル／ビン（ｂｉｎ）の確率モデル（ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ）を導出した後、導出された２値化方法又は確率モデルを用いて算術符号化を行うこともできる。
エントロピー符号化部１５０は、変換係数レベルを符号化するために、変換係数スキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法を介して２次元のブロック形状係数を１次元のベクトルに変更することができる。例えば、アップライト（ｕｐ ｒｉｇｈｔ）スキャニングを用いてブロックの係数をスキャニングすることにより、１次元ベクトルに変更することができる。変換ユニットのサイズ及びイントラ予測モードに応じて、アップライトスキャンの代わりに、２次元のブロック形状係数を列方向にスキャニングする垂直スキャン、２次元のブロック形状係数を行方向にスキャニングする水平スキャンが使用されてもよい。つまり、変換ユニットのサイズ及びイントラ予測モードに応じてアップライトスキャン、垂直方向スキャン及び水平方向スキャンのうちのいずれのスキャン方法が使用されるかを決定することができる。
符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）は、構文要素のように符号化器で符号化されて復号器へシグナリングされる情報だけでなく、符号化或いは復号処理で導出される情報を含むことができ、画像を符号化又は復号するときに必要な情報を意味することができる。例えば、ブロックサイズ、ブロック深さ、ブロック分割情報、ユニットサイズ、ユニット深さ、ユニット分割情報、４分木分割フラグ、２分木分割フラグ、２分木分割方向、イントラ予測モード、イントラ予測方向、参照サンプルフィルタリング方法、予測ブロック境界フィルタリング方法、フィルタタップ、フィルタ係数、インター予測モード、動き情報、動きベクトル、参照画像インデックス、インター予測方向、インター予測インジケータ、参照画像リスト、動きベクトル予測、動きベクトル候補リスト、動きマージモード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）の使用有無、動きマージ候補、動きマージ候補リスト、スキップ（ｓｋｉｐ）モードの使用有無、補間フィルタの種類、動きベクトルのサイズ、動きベクトル表現の精度、変換種類、変換サイズ、追加（２次）変換の使用有無情報、残余信号の有無情報、符号化ブロックパターン（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）、符号化ブロックフラグ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ）、量子化パラメータ、量子化行列、ループ内フィルタ情報、ループ内フィルタを適用するか否かについての情報、ループ内フィルタ係数、２値化／逆２値化方法、コンテキストモデル、コンテキストビン、バイパスビン、変換係数、変換係数レベル、変換係数レベルのスキャニング方法、画像ディスプレイ／出力順序、スライス識別情報、スライスタイプ、スライス分割情報、タイル識別情報、タイルタイプ、タイル分割情報、ピクチャタイプ、ビット深度、輝度信号或いは色差信号に対する情報のうち少なくとも一つの値又は組み合わせ形態が符号化パラメータに含まれ得る。
残余信号は、原信号と予測信号との差（ｄｉｆｆｅｒｅｎｃｅ）を意味することができる。又は、残余信号は、原信号と予測信号との差を変換（ｔｒａｎｓｆｏｒｍ）することにより生成された信号であり得る。又は、残余信号は、原信号と予測信号との差を変換及び量子化することにより生成された信号であり得る。残余ブロックはブロック単位の残余信号であり得る。
符号化装置１００がインター予測を用いた符号化を行う場合、符号化された現在画像は、後で処理される他の画像に対して参照画像として使用できる。よって、符号化装置１００は、符号化された現在画像をさらに復号することができ、復号された画像を参照画像として保存することができる。復号のために、符号化された現在画像に対する逆量子化及び逆変換が処理できる。
量子化された係数は、逆量子化部１６０で逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）でき、逆変換部１７０で逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）できる。逆量子化及び逆変換された係数は、加算器１７５を介して予測ブロックと合わせられ得る。逆量子化及び逆変換された係数と予測ブロックとを合わせることにより、再構築ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が生成できる。
再構築ブロックはフィルタ部１８０を経ることができる。フィルタ部１８０は、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応的オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ；ＳＡＯ）、適応的ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ；ＡＬＦ）のうちの少なくとも一つを再構築ブロック又は再構築画像に適用することができる。フィルタ部１８０はインループフィルタ（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）とも称される。
デブロッキングフィルタは、ブロック間の境界に生じたブロック歪みを除去することができる。デブロッキングフィルタを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれているピクセルに基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて強いフィルタ（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）又は弱いフィルタ（Ｗｅａｋ Ｆｉｌｔｅｒ）を適用することができる。また、デブロッキングフィルタを適用するにあたり、垂直フィルタリング及び水平フィルタリングの際に水平方向のフィルタリング及び垂直方向のフィルタリングが並行処理されるようにすることができる。
サンプル適応的オフセットは、符号化エラーを補償するために、ピクセル値に適正オフセット（ｏｆｆｓｅｔ）値を加えることができる。サンプル適応的オフセットは、デブロッキングを行った画像に対してピクセル単位で原本画像とのオフセットを補正することができる。特定のピクチャに対するオフセット補正を行うために、画像に含まれているピクセルを一定数の領域に区分した後、オフセットを行うべき領域を決定し、該当領域にオフセットを適用する方法、又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
適応的ループフィルタは、再構築画像と原画像とを比較した値に基づいてフィルタリングを行うことができる。画像に含まれているピクセルを所定のグループに分けた後、当該グループに適用されるべき一つのフィルタを決定してグループごとに差別的にフィルタリングを行うことができる。適応的ループフィルタを適用するか否かに関連した情報は、輝度信号は符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）ごとにシグナリングでき、それぞれのブロックに応じて、適用される適応的ループフィルタの形状及びフィルタ係数は異なり得る。また、適用対象ブロックの特性を問わず、同じ形態（固定された形態）の適応的ループフィルタが適用されることも可能である。
フィルタ部１８０を経た再構築ブロックは参照ピクチャバッファ１９０に保存できる。
図２は本発明が適用される復号装置の一実施形態に係る構成を示すブロック図である。
復号装置２００はビデオ復号装置又は画像復号装置であり得る。
図２を参照すると、復号装置２００は、エントロピー復号部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照ピクチャバッファ２７０を含むことができる。
復号装置２００は、符号化装置１００から出力されたビットストリームを受信することができる。復号装置２００は、ビットストリームに対してイントラモード又はインターモードで復号を行うことができる。また、復号装置２００は、復号を介して再構築画像を生成することができ、再構築画像を出力することができる。
復号に使用される予測モードがイントラモードである場合、スイッチがイントラに切り替えられてよい。復号に使用される予測モードがインターモードである場合、スイッチがインターに切り替えられてよい。
復号装置２００は、入力されたビットストリームから、再構築された残余ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を取得することができ、予測ブロックを生成することができる。再構築された残余ブロック及び予測ブロックが取得されると、復号装置２００は、再構築された残余ブロックと予測ブロックを加えることにより、復号対象ブロックである再構築ブロックを生成することができる。復号対象ブロックは現在ブロックと称されることもある。
エントロピー復号部２１０は、ビットストリームに対する確率分布に基づくエントロピー復号を行うことにより、シンボルを生成することができる。生成されたシンボルは、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）形態のシンボルを含むことができる。ここで、エントロピー復号方法は、上述したエントロピー符号化方法と類似することができる。例えば、エントロピー復号方法は上述したエントロピー符号化方法の逆処理であり得る。
エントロピー復号部２１０は、変換係数レベルを復号するために、変換係数のスキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法によって１次元のベクトル形態係数を２次元のブロック形態に変更することができる。例えば、アップライト（ｕｐ ｒｉｇｈｔ）スキャニングを用いてブロックの係数をスキャニングすることにより、２次元ブロック形態に変更させることができる。変換ユニットのサイズ及びイントラ予測モードに応じて、アップライトスキャンの代わりに垂直スキャン、水平スキャンが使用されてもよい。つまり、変換ユニットのサイズ及びイントラ予測モードに応じてアップライトスキャン、垂直方向スキャン及び水平方向スキャンのうちのいずれのスキャン方法が使用されるかを決定することができる。
量子化された変換係数レベルは、逆量子化部２２０で逆量子化でき、逆変換部２３０で逆変換できる。量子化された変換係数レベルが逆量子化及び逆変換された結果として、再構築された残余ブロックが生成できる。このとき、逆量子化部２２０は、量子化された変換係数レベルに量子化行列を適用することができる。
イントラモードが使用される場合、イントラ予測部２４０は、復号対象ブロック近傍の、既に復号されたブロックのピクセル値を用いる空間予測を行うことにより、予測ブロックを生成することができる。
インターモードが使用される場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に保存されている参照画像を用いる動き補償を行うことにより、予測ブロックを生成することができる。前記動き補償部２５０は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタ（Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用して予測ブロックを生成することができる。動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き補償方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ）、及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて動き補償を行うことができる。ここで、現在ピクチャ参照モードは、復号対象ブロックの属する現在ピクチャ内の既に再構築された領域を用いた予測モードを意味することができる。前記既に再構築された領域を特定するために、現在ピクチャ参照モードのための動きベクトルが利用できる。復号対象ブロックが現在ピクチャ参照モードで符号化されたブロックであるか否かを示すフラグ或いはインデックスが、シグナリング（ｓｉｇｎａｌｉｎｇ）されることもでき、復号対象ブロックの参照画像インデックスを用いて類推されることもできる。現在ピクチャ参照モードのための現在ピクチャは、復号対象ブロックのための参照画像リスト内で固定された位置（例えば、参照画像インデックスが０である位置又は最後の位置）に存在することができる。又は、参照画像リスト内に可変的に位置してもよく、このために、現在ピクチャの位置を示す別途の参照画像インデックスがシグナリングされてもよい。ここで、フラグ或いはインデックスをシグナリングするというのは、符号化器（ｅｎｃｏｄｅｒ）では、当該フラグ或いはインデックスをエントロピー符号化（Ｅｎｔｒｏｐｙ Ｅｎｃｏｄｉｎｇ）してビットストリーム（Ｂｉｔｓｔｒｅａｍ）に含むことを意味することができ、復号器（ｄｅｃｏｄｅｒ）では、ビットストリームから当該フラグ或いはインデックスをエントロピー復号（Ｅｎｔｒｏｐｙ Ｄｅｃｏｄｉｎｇ）することを意味することができる。
再構築された残予ブロック及び予測ブロックは加算器２５５を介して加わり得る。再構築された残予ブロック及び予測ブロックが加わることにより生成されたブロックはフィルタ部２６０を経ることができる。フィルタ部２６０は、デブロッキングフィルタ、サンプル適応的オフセット及び適応的ループフィルタのうちの少なくとも一つを再構築ブロック又は再構築画像に適用することができる。フィルタ部２６０は再構築画像を出力することができる。再構築画像は参照ピクチャバッファ２７０に保存されてインター予測に使用できる。
図３は画像を符号化及び復号するときの画像の分割構造を示す概略図である。図３は一つのユニットが複数の下位ユニットに分割される実施形態を概略的に示す。
画像を効率よく分割するために、符号化及び復号において、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）が使用できる。ここで、符号化ユニットは、コーディングユニットを意味することができる。ユニットは、１）構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）及び２）画像サンプルを含むブロックを合わせて指し示す用語であり得る。例えば、「ユニットの分割」は、「ユニットに該当するブロックの分割」を意味することができる。ブロック分割情報には、ユニットの深さ（ｄｅｐｔｈ）に関する情報が含まれ得る。深さ情報は、ユニットが分割される回数及び／又は程度を示すことができる。
図３を参照すると、画像３００は、最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＬＣＵ）単位で順次分割され、ＬＣＵ単位で分割構造が決定される。ここで、ＬＣＵは、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ；ＣＴＵ）と同一の意味で使用できる。一つのユニットは、ツリー構造（ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）に基づいて深さ情報（ｄｅｐｔｈ）をもって階層的に分割できる。それぞれの分割された下位ユニットは深さ情報を持つことができる。前記深さ情報は、ユニットが分割された回数及び／又は程度を示すので、前記下位ユニットの大きさに関する情報を含むこともできる。
分割構造は、ＬＣＵ３１０内での符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）の分布を意味することができる。ＣＵは画像を効率よく符号化／復号するためのユニットであり得る。このような分布は、単一のＣＵを複数（２、４、８、１６などを含む２以上の正の整数）のＣＵに分割するか否かによって決定することができる。分割により生成されたＣＵの横幅と縦幅は、それぞれ分割前のＣＵの横幅の半分及び縦幅の半分であるか、分割された個数に応じて分割前のＣＵの横幅よりも小さいサイズ及び縦幅よりも小さいサイズを持つことができる。分割されたＣＵは、同様の方式で横幅及び縦幅が減少した複数のＣＵに再帰的に分割できる。
このとき、ＣＵの分割は所定の深さまで再帰的に行われ得る。深さ情報は、ＣＵのサイズを示す情報であり、ＣＵごとに保存できる。例えば、ＬＣＵの深さは０であり、最小符号化ユニット（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＳＣＵ）の深さは予め定義された最大深さであり得る。ここで、ＬＣＵは、上述したように、最大の符号化ユニットのサイズを持つ符号化ユニットであり、ＳＣＵは、最小の符号化ユニットのサイズを持つ符号化ユニットであり得る。
ＬＣＵ３１０から分割が始まり、分割によりＣＵの横幅及び縦幅が減少するたびに、ＣＵの深さは１ずつ増加する。それぞれの深さ別に、分割されないＣＵは２Ｎｘ２Ｎのサイズを持つことができる。分割されるＣＵの場合は、２Ｎ×２ＮサイズのＣＵがＮｘＮサイズの複数のＣＵに分割できる。Ｎのサイズは、深さが１ずつ増加するたびに半分に減少する。
例えば、一つの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットの横幅及び縦幅は、分割される前の符号化ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの符号化ユニットが４つの符号化ユニットに分割される場合、符号化ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
例えば、一つの符号化ユニットが２つの符号化ユニットに分割される場合、分割された２つの符号化ユニットの横幅或いは縦幅は、分割される前の符号化ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが２つの符号化ユニットに縦分割される場合、分割された２つの符号化ユニットは、それぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが２つの符号化ユニットに横分割される場合、分割された２つの符号化ユニットは、それぞれ３２ｘ１６のサイズを持つことができる。一つの符号化ユニットが２つの符号化ユニットに分割される場合、符号化ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
図３を参照すると、深さが０であるＬＣＵは６４ｘ６４画素であり得る。０は最小深さであり得る。深さが３であるＳＣＵは８ｘ８画素であり得る。３は最大深さであり得る。このとき、ＬＣＵである６４ｘ６４画素のＣＵは深さ０で表現できる。３２ｘ３２画素のＣＵは深さ１で表現できる。１６ｘ１６画素のＣＵは深さ２で表現できる。ＳＣＵである８ｘ８画素のＣＵは深さ３で表現できる。
また、ＣＵが分割されるか否かについての情報は、ＣＵの分割情報を用いて表現できる。分割情報は１ビットの情報であり得る。ＳＣＵを除くすべてのＣＵは分割情報を含むことができる。例えば、分割情報の値が０であれば、ＣＵが分割されなくてもよく、分割情報の値が１であれば、ＣＵが分割されてもよい。
図４は符号化ユニットＣＵが含むことが可能な予測ユニットＰＵの形態を示す図である。
ＬＣＵから分割されたＣＵのうち、それ以上分割されないＣＵは、一つ以上の予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ；ＰＵ）に分けられ得る。このような処理も分割と称されることがある。
ＰＵは予測に対する基本単位であり得る。ＰＵはスキップ（ｓｋｉｐ）モード、インターモード及びイントラモードのいずれかで符号化及び復号できる。ＰＵはモードに応じて様々な形で分割できる。
また、符号化ユニットは予測ユニットに分割されず、符号化ユニットと予測ユニットは同じサイズを持つことができる。
図４に示すように、スキップモードでは、ＣＵ内に分割が存在しないことがある。スキップモードでは、分割なしでＣＵと同じサイズの２Ｎｘ２Ｎモード４１０がサポートできる。
インターモードでは、ＣＵ内で８つに分割された形態がサポートできる。例えば、インターモードでは、２Ｎｘ２Ｎモード４１０、２ＮｘＮモード４１５、Ｎｘ２Ｎモード４２０、ＮｘＮモード４２５、２ＮｘｎＵモード４３０、２ＮｘｎＤモード４３５、ｎＬｘ２Ｎモード４４０及びｎＲｘ２Ｎモード４４５がサポートできる。イントラモードでは、２Ｎｘ２Ｎモード４１０及びＮｘＮモード４２５がサポートできる。
一つの符号化ユニットは一つ以上の予測ユニットに分割でき、一つの予測ユニットも一つ以上の予測ユニットに分割できる。
例えば、一つの予測ユニットが４つの予測ユニットに分割される場合、分割された４つの予測ユニットの横幅及び縦幅は、分割される前の予測ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが４つの予測ユニットに分割される場合、分割された４つの予測ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの予測ユニットが４つの予測ユニットに分割される場合、予測ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
例えば、一つの予測ユニットが２つの予測ユニットに分割される場合、分割された２つの予測ユニットの横幅或いは縦幅は、分割される前の予測ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが２つの予測ユニットに縦分割される場合、分割された２つの予測ユニットはそれぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが２つの予測ユニットに横分割される場合、分割された２つの予測ユニットはそれぞれ３２ｘ１６のサイズを持つことができる。一つの予測ユニットが２つの予測ユニットに分割される場合、予測ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
図５は符号化ユニットＣＵが含むことが可能な変換ユニットＴＵの形態を示す図である。
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ；ＴＵ）は、ＣＵ内で変換、量子化、逆変換及び逆量子化の処理のために使用される基本単位であり得る。ＴＵは、正方形や長方形などの形状を持つことができる。ＴＵはＣＵのサイズ及び／又は形状に依存的に（ｄｅｐｅｎｄｅｎｔ）決定されることもある。
ＬＣＵから分割されたＣＵのうち、それ以上ＣＵに分割されないＣＵは、一つ以上のＴＵに分割できる。このとき、ＴＵの分割構造は４分木（ｑｕａｄ－ｔｒｅｅ）構造であり得る。例えば、図５に示すように、一つのＣＵ５１０が４分木構造によって１回或いはそれ以上分割できる。一つのＣＵが１回以上に分割される場合、再帰的に分割されるといえる。分割を介して、一つのＣＵ５１０は様々なサイズのＴＵから構成できる。又は、ＣＵを分割する垂直線（ｖｅｒｔｉｃａｌ ｌｉｎｅ）及び／又は水平線（ｈｏｒｉｚｏｎｔａｌ ｌｉｎｅ）の個数に基づいて一つ以上のＴＵに分割されることも可能である。ＣＵは対称型のＴＵに分割されてもよく、非対称型のＴＵに分割されてもよい。非対称型のＴＵへの分割のために、ＴＵのサイズ／形状に関する情報が、シグナリングされてもよく、ＣＵのサイズ／形状に関する情報から導出されてもよい。
また、符号化ユニットは変換ユニットに分割されず、符号化ユニットと変換ユニットは同じサイズを持つことができる。
一つの符号化ユニットは一つ以上の変換ユニットに分割でき、一つの変換ユニットも一つ以上の変換ユニットに分割できる。
例えば、一つの変換ユニットが４つの変換ユニットに分割される場合、分割された４つの変換ユニットの横幅及び縦幅は、分割される前の変換ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが４つの変換ユニットに分割される場合、分割された４つの変換ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの変換ユニットが４つの変換ユニットに分割される場合、変換ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
例えば、一つの変換ユニットが２つの変換ユニットに分割される場合、分割された２つの変換ユニットの横幅或いは縦幅は、分割される前の変換ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが２つの変換ユニットで縦分割される場合、分割された２つの変換ユニットはそれぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが２つの変換ユニットに横分割される場合、分割された２つの変換ユニットはそれぞれ３２ｘ１６のサイズを持つことができる。一つの変換ユニットが２つの変換ユニットに分割される場合、変換ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
変換実行の際に残余ブロックを、予め定義された複数の変換方法のうちの少なくとも一つを用いて変換させることができる。一例として、予め定義された複数の変換方法として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又はＫＬＴなどが用いられ得る。残余ブロックを変換するためにいずれの変換方法が適用されるかは、予測ユニットのインター予測モード情報、イントラ予測モード情報、変換ブロックのサイズ／形状のうちの少なくとも一つを用いて決定されてもよく、一定の場合、変換方法を指し示す情報がシグナリングされてもよい。
図６はイントラ予測処理の実施形態を説明するための図である。
イントラ予測モードは非方向性モード又は方向性モードであり得る。非方向性モードは、ＤＣモード又はＰｌａｎａｒモードであり、方向性モードは、特定の方向又は角度を持つ予測モードであって、個数は一つ以上のＭ個であり得る。前記方向性モードはモード番号、モード値、モード数及びモード角度のうちの少なくとも一つで表現できる。
イントラ予測モードの個数は、前記非方向性及び方向性モードを含む一つ以上のＮ個であり得る。
イントラ予測モードの個数は、ブロックのサイズによって異なり得る。例えば、ブロックのサイズが４ｘ４又は８ｘ８である場合には６７個、１６ｘ１６である場合には３５個、３２ｘ３２である場合には１９個、６４ｘ６４である場合には７個であり得る。
イントラ予測モードの個数は、ブロックのサイズを問わずにＮ個に固定できる。例えば、ブロックのサイズを問わず、３５個又は６７個のうちの少なくとも一つに固定できる。
イントラ予測モードの個数は、色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）のタイプによって異なり得る。例えば、色成分が輝度（ｌｕｍａ）信号であるか色差（ｃｈｒｏｍａ）信号であるかによって、予測モードの個数が異なり得る。
イントラ符号化及び／又は復号は、近傍の再構築されたブロックに含まれるサンプル値又は符号化パラメータを用いて行われ得る。
現在ブロックをイントラ予測で符号化／復号するために、近傍の再構築されたブロックに含まれるサンプルが符号化／復号対象ブロックの参照サンプルとして利用可能であるか否かをチェックするステップが行われ得る。符号化／復号対象ブロックの参照サンプルとして利用できないサンプルが存在する場合、近傍の再構築されたブロックに含まれているサンプルのうちの少なくとも一つを用いて、参照サンプルとして利用することができないサンプルにサンプル値をコピー及び／又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して符号化／復号対象ブロックの参照サンプルとして用いることができる。
イントラ予測の際にイントラ予測モード及び符号化／復号対象ブロックのサイズの少なくとも一つに基づいて、参照サンプル又は予測サンプルの少なくとも一つにフィルタを適用することができる。このとき、符号化／復号対象ブロックは現在ブロックを意味することができ、符号化ブロック、予測ブロック及び変換ブロックのうちの少なくとも一つを意味することができる。参照サンプル又は予測サンプルに適用されるフィルタの種類は、現在ブロックのイントラ予測モード又はサイズ／形状のうちの少なくとも一つによって異なり得る。前記フィルタの種類はフィルタタップ数、フィルタ係数値又はフィルタ強度の少なくとも一つによって異なり得る。
イントラ予測モードのうち、非方向性プラナー（Ｐｌａｎａｒ）モードは、対象符号化／復号ブロックの予測ブロックを生成するとき、予測ブロック内のサンプル値をサンプル位置に応じて現在サンプルの上側参照サンプル、現在サンプルの左側参照サンプル、現在ブロックの右上側参照サンプル、現在ブロックの左下側参照サンプルの加重和として生成することができる。
イントラ予測モードのうち、非方向性ＤＣモードは、対象符号化／復号ブロックの予測ブロックを生成するとき、現在ブロックの上側参照サンプルと現在ブロックの左側参照サンプルとの平均値として生成することができる。また、符号化／復号ブロック内の参照サンプルに隣接する一つ又はそれ以上の上行、及び一つ又はそれ以上の左列に対しては参照サンプル値を用いてフィルタリングを行うこともできる。
イントラ予測モードのうち、複数の方向性モード（ａｎｇｕｌａｒ ｍｏｄｅ）の場合、右上側及び／又は左下側参照サンプルを用いて予測ブロックを生成することができ、方向性モードは、互いに異なる方向性を持つことができる。予測サンプル値を生成するために、実数単位の補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うこともできる。
イントラ予測方法を行うために、現在予測ブロックのイントラ予測モードは、現在予測ブロックの近傍に存在する予測ブロックのイントラ予測モードから予測することができる。近傍のイントラ予測モードから予測されたモード情報を用いて現在予測ブロックのイントラ予測モードを予測する場合、現在予測ブロックと近傍予測ブロックとのイントラ予測モードが同一であれば、所定のフラグ情報を用いて現在予測ブロックと近傍予測ブロックとのイントラ予測モードが同一であるという情報をシグナリングすることができ、もし現在予測ブロックと近傍予測ブロックとのイントラ予測モードが互いに異なる場合、エントロピー符号化を行って符号化／復号対象ブロックのイントラ予測モード情報を符号化することができる。
図７はインター予測処理の実施形態を説明するための図である。
図７における四角形は画像（又はピクチャ）を示すことができる。また、図７の矢印は予測方向を示すことができる。すなわち、画像は予測方向に応じて符号化及び／又は復号できる。各画像は、符号化タイプによってＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｕｎｉ－ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉ－ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）などに分類できる。各ピクチャは、各ピクチャの符号化タイプに応じて符号化され、復号され得る。
符号化の対象である画像がＩピクチャである場合、画像はインター予測なしで画像自体に対してイントラ符号化できる。符号化の対象である画像がＰピクチャである場合、画像は、順方向にのみ参照画像を用いるインター予測或いは動き補償を介して符号化できる。符号化の対象である画像がＢピクチャである場合、順方向及び逆方向の両側に参照ピクチャを用いるインター予測或いは動き補償を介して符号化でき、順方向及び逆方向のうちのいずれかの方向に参照ピクチャを用いるインター予測或いは動き補償を介して符号化できる。ここで、インター予測モードが使用される場合、符号化器ではインター予測或いは動き補償を行うことができ、復号器ではそれに対応する動き補償を行うことができる。参照画像を用いて符号化及び／又は復号されるＰピクチャ及びＢピクチャの画像は、インター予測が使用される画像と看做すことができる。
次に、実施形態に係るインター予測について具体的に説明する。
インター予測或いは動き補償は、参照ピクチャ及び動き情報を用いて行われ得る。また、インター予測は、上述したスキップモードを用いることも可能である。
参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）は、現在ピクチャよりも前のピクチャ又は現在ピクチャよりも後のピクチャのうちの少なくとも一つであり得る。このとき、インター予測は、参照ピクチャに基づいて、現在ピクチャのブロックに対する予測を行うことができる。ここで、参照ピクチャはブロックの予測に用いられる画像を意味することができる。このとき、参照ピクチャ内の領域は、参照ピクチャを指し示す参照画像インデックス（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ；ｒｅｆＩｄｘ）及び後述する動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）などを用いることにより特定できる。
インター予測は、参照ピクチャ、及び参照ピクチャ内で現在ブロックに対応する参照ブロックを選択することができ、選択された参照ブロックを用いて現在ブロックに対する予測ブロックを生成することができる。現在ブロックは、現在ピクチャのブロックのうち、現在符号化又は復号の対象となるブロックであり得る。
動き情報は、符号化装置１００及び復号装置２００のそれぞれによってインター予測の処理から導出できる。また、導出された動き情報は、インター予測を行うために使用できる。このとき、符号化装置１００及び復号装置２００は、再構築された近傍ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）の動き情報及び／又はコロケーテッドブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ；ｃｏｌ ｂｌｏｃｋ）の動き情報を用いることにより、符号化及び／又は復号効率を向上させることができる。コロケーテッドブロックは、既に再構築されたコロケーテッドピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ； ｃｏｌ ｐｉｃｔｕｒｅ）内で符号化／復号対象ブロックの空間的位置に対応するブロックであり得る。再構築された近傍ブロックは、現在ピクチャ内のブロックであるとともに、既に符号化及び／又は復号を介して再構築されたブロックであり得る。また、再構築ブロックは、符号化／復号対象ブロックに隣接する隣接ブロック及び／又は符号化／復号対象ブロックの外側コーナーに位置するブロックであり得る。ここで、符号化／復号対象ブロックの外側コーナーに位置するブロックとは、符号化／復号対象ブロックに横方向に隣接する隣接ブロックに縦方向に隣接するブロック、又は符号化／復号対象ブロックに縦方向に隣接する隣接ブロックに横方向に隣接するブロックであり得る。
符号化装置１００及び復号装置２００のそれぞれは、コロケーテッドピクチャ内で空間的に符号化／復号対象ブロックに対応する位置に存在するブロックを決定することができ、決定されたブロックを基準に所定の相対的な位置を決定することができる。所定の相対的な位置は、空間的に符号化／復号対象ブロックに対応する位置に存在するブロックの内部及び／又は外部の位置であり得る。また、符号化装置１００及び復号装置２００のそれぞれは、決定された所定の相対的な位置に基づいてコロケーテッドブロックを導出することができる。ここで、コロケーテッドピクチャは、参照ピクチャリストに含まれている少なくとも一つの参照ピクチャのうちのいずれかであり得る。
動き情報の導出方式は、符号化／復号対象ブロックの予測モードに応じて変わり得る。例えば、インター予測のために適用される予測モードとして、高度動きベクトル予測（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ；ＡＭＶＰ）及びマージモード（ｍｅｒｇｅ ｍｏｄｅ）などがあり得る。ここで、マージモードを動き併合モード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）と呼ぶことができる。
例えば、予測モードとしてＡＭＶＰが適用される場合、符号化装置１００及び復号装置２００のそれぞれは、再構築された近傍ブロックの動きベクトル及び／又はコロケーテッドブロックの動きベクトルを用いて動きベクトル候補リスト（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。再構築された近傍ブロックの動きベクトル及び／又はコロケーテッドブロックの動きベクトルは、動きベクトル候補として使用できる。ここで、コロケーテッドブロックの動きベクトルを時間動きベクトル候補（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ）と呼ぶことができ、再構築された近傍ブロックの動きベクトルを空間動きベクトル候補（ｓｐａｔｉａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ）と呼ぶことができる。
符号化装置１００によって生成されたビットストリームは、動きベクトル候補インデックス（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ ｉｎｄｅｘ）を含むことができる。すなわち、符号化装置１００は、動きベクトル候補インデックスをエントロピー符号化してビットストリームを生成することができる。動きベクトル候補インデックスは、動きベクトル候補リストに含まれている動きベクトル候補の中から選択された最適の動きベクトル候補を指し示すことができる。動きベクトル候補インデックスは、ビットストリームを介して符号化装置１００から復号装置２００へシグナリングできる。
復号装置２００は、動きベクトル候補インデックスをビットストリームからエントロピー復号し、エントロピー復号された動きベクトル候補インデックスを用いて、動きベクトル候補リストに含まれている動きベクトル候補の中から復号対象ブロックの動きベクトル候補を選択することができる。
符号化装置１００は、符号化対象ブロックの動きベクトルと動きベクトル候補との動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を計算することができ、ＭＶＤをエントロピー符号化することができる。ビットストリームは、エントロピー符号化されたＭＶＤを含むことができる。ＭＶＤはビットストリームを介して符号化装置１００から復号装置２００へシグナリングできる。このとき、復号装置２００は、受信されたＭＶＤをビットストリームからエントロピー復号することができる。復号装置２００は、復号されたＭＶＤと動きベクトル候補との和によって復号対象ブロックの動きベクトルを導出することができる。
ビットストリームは、参照ピクチャを指し示す参照画像インデックスなどを含むことができる。参照画像インデックスは、エントロピー符号化されてビットストリームを介して符号化装置１００から復号装置２００へシグナリングできる。復号装置２００は、近傍ブロックの動き情報を用いて復号対象ブロックの動きベクトルを予測することができ、予測された動きベクトル及び動きベクトル差分を用いて復号対象ブロックの動きベクトルを導出することができる。復号装置２００は、導出された動きベクトルと参照画像インデックス情報に基づいて復号対象ブロックに対する予測ブロックを生成することができる。
動き情報の導出方式の他の例として、マージモード（ｍｅｒｇｅ ｍｏｄｅ）がある。マージモードとは、複数のブロックに対する動きの併合を意味することができる。マージモードは、一つのブロックの動き情報を他のブロックにも一緒に適用させることを意味することができる。マージモードが適用される場合、符号化装置１００及び復号装置２００のそれぞれは、再構築された近傍ブロックの動き情報及び／又はコロケーテッド（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報を用いてマージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。動き情報は、１）動きベクトル、２）参照画像インデックス、及び３）インター予測インジケータのうちの少なくとも一つを含むことができる。予測インジケータは、一方向（Ｌ０予測、Ｌ１予測）又は双方向であり得る。
この時、マージモードはＣＵ単位又はＰＵ単位で適用できる。ＣＵ単位又はＰＵ単位でマージモードが行われる場合、符号化装置１００は、予め定義された情報をエントロピー符号化してビットストリームを生成した後、復号装置２００へシグナリングすることができる。ビットストリームは予め定義された情報を含むことができる。予め定義された情報は、１）ブロックパーティション（ｐａｒｔｉｔｉｏｎ）ごとにマージモードを行うか否かを示す情報であるマージフラグ（ｍｅｒｇｅ ｆｌａｇ）、２）符号化対象ブロックに隣接する近傍ブロックのうちのいずれのブロックとマージするかについての情報であるマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を含むことができる。例えば、符号化対象ブロックの近傍ブロックは、符号化対象ブロックの左側隣接ブロック、符号化対象ブロックの上側隣接ブロック及び符号化対象ブロックの時間的（ｔｅｍｐｏｒａｌ）隣接ブロックを含むことができる。
マージ候補リストは、動き情報が保存されたリストを示すことができる。また、マージ候補リストは、マージモードが行われる前に生成できる。マージ候補リストに保存される動き情報は、符号化／復号対象ブロックに隣接する近傍ブロックの動き情報、及び参照画像における符号化／復号対象ブロックに対応する（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報、既にマージ候補リストに存在する動き情報の組み合わせによって生成された新たな動き情報、及びゼロマージ候補のうちの少なくとも一つであり得る。ここで、符号化／復号対象ブロックに隣接する近傍ブロックの動き情報は、空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）及び参照画像における符号化／復号対象ブロックに対応する（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報は、時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と呼ぶことができる。
スキップモードは、近傍ブロックの動き情報をそのまま符号化／復号対象ブロックに適用するモードであり得る。スキップモードは、インター予測に用いられるモードのいずれかであり得る。スキップモードが使用される場合、符号化装置１００は、どのブロックの動き情報を符号化対象ブロックの動き情報として用いるかについての情報をエントロピー符号化してビットストリームを介して復号装置２００へシグナリングすることができる。符号化装置１００は、他の情報は復号装置２００へシグナリングしなくてもよい。例えば、他の情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）情報であり得る。構文要素情報は、動きベクトル差分情報、符号化ブロックフラグ及び変換係数レベルのうちの少なくとも一つを含むことができる。
イントラ又はインター予測以降に生成された残余信号は、量子化処理の一環として、変換処理を介して周波数ドメインに変換することができる。この時、実行する１次変換はＤＣＴ ｔｙｐｅ ２（ＤＣＴ－ＩＩ）の他にさまざまなＤＣＴ、ＤＳＴカーネルを使用することができ、これらの変換カーネルは、残余信号に対して水平及び／又は垂直方向に１次元変換（１Ｄ ｔｒａｎｓｆｏｒｍ）をそれぞれ実行する可分変換（ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）によって変換が行われてもよく、又は２次元非可分変換（２Ｄ Ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）によって変換が行われてもよい。
一例として、変換に使用されるＤＣＴ、ＤＳＴ ｔｙｐｅは、下記表のとおり、ＤＣＴ－ＩＩの他にＤＣＴ－Ｖ、ＤＣＴ－ＶＩＩＩ、ＤＳＴ－Ｉ、ＤＳＴ－ＶＩＩを１Ｄ変換の際に適応的に使用することができ、例えば、表１及び表２の例のとおり、変換セット（Ｔｒａｎｓｆｏｒｍ ｓｅｔ）を構成して、変換に使用されたＤＣＴ又はＤＳＴタイプを導出することができる。
Figure 2022008317000002
Figure 2022008317000003
例えば、図８に示すように、イントラ予測モードに応じて、水平又は垂直方向に対して互いに異なる変換セット（Ｔｒａｎｓｆｏｒｍ ｓｅｔ）を定義した後、符号化器／復号器において、現在符号化／復号対象ブロックのイントラ予測モード及びこれに対応する変換セットに含まれている変換を用いて変換及び／又は逆変換を行うことができる。この場合、変換セットは、エントロピー符号化／復号されるのではなく、符号化器／復号器で同一のルールに基づいて定義できる。この場合、当該変換セットに属する変換のうちのいずれの変換が使用されたかを指し示す情報が、エントロピー符号化／復号である。例えば、ブロックのサイズが６４ｘ６４以下である場合、イントラ予測モードに応じて、表２の例のように合計３つの変換セットを構成し、水平方向の変換と垂直方向の変換としてそれぞれ３つの変換を用いて合計９つの多重変換方法を組み合わせて行った後、最適の変換方法で残余信号を符号化／復号することにより符号化効率を向上させることができる。このとき、一つの変換セットに属する３つの変換のうちどんな変換が使用されたかについての情報をエントロピー符号化／復号するために、切り捨てられた単項（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）２値化（Ｂｉｎａｒｉｚａｔｉｏｎ）を使用することもできる。このとき、垂直変換及び水平変換の少なくとも一つに対して、変換セットに属する変換のうちのいずれの変換が使用されたかを指し示す情報がエントロピー符号化／復号できる。
符号化器では、前述した１次変換が完了した後、図９の例のように変換係数（Ｔｒａｎｓｆｏｒｍｅｄ ｃｏｅｆｆｉｃｉｅｎｔｓ）に対するエネルギー集中度を高めるために２次変換（Ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を行うことができる。２次変換も水平及び／又は垂直方向に対して１次元変換をそれぞれ実行する可分変換を行うこともでき、又は２次元非可分変換を行うこともでき、使用された変換情報がシグナリングされるか或いは現在及び近傍符号化情報に応じて符号化器／復号器で暗黙的に導出され得る。例えば、１次変換のように２次変換に対する変換セットを定義することができ、変換セットは、エントロピー符号化／復号されるのではなく、符号化器／復号器で同じルールに基づいて定義できる。この場合、当該変換セットに属する変換のうちのいずれの変換が使用されたかを指し示す情報がシグナリングでき、イントラ又はインター予測による残余信号のうちの少なくとも一つに適用できる。
変換セット別に変換候補（ｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅ）の個数又は種類のうちの少なくとも一つは異なり、変換候補の個数又は種類のうちの少なくとも一つはブロック（ＣＵ、ＰＵ、ＴＵなど）の位置、大きさ、分割形態、予測モード（イントラ／インターモード）、又はイントラ予測モードの方向性／非方向性のうちの少なくとも一つを考慮して可変的に決定されることも可能である。
復号器では、２次逆変換を実行するか否かに応じて２次逆変換を行うことができ、２次逆変換の実行結果から１次逆変換を実行するか否かに応じて１次逆変換を行うことができる。
前述した１次変換及び２次変換は輝度／色差成分のうちの少なくとも一つの信号成分に適用されるか、或いは任意の符号化ブロックのサイズ／形状に応じて適用でき、任意の符号化ブロックでの使用有無、及び使用された１次変換／２次変換を指し示すインデックスをエントロピー符号化／復号するか、又は現在／近傍符号化情報のうちの少なくとも一つに基づいて符号化器／復号器で暗黙的に導出することができる。
イントラ又はインター予測以降に生成された残余信号は、１次及び／又は２次変換完了の後、量子化処理を経る。量子化された変換係数は、エントロピー符号化処理を経る。この時、量子化された変換係数は、図１０に示すように、イントラ予測モード又は最小ブロックサイズ／形状のうちの少なくとも一つを基準に対角線、垂直方向、および、水平方向に沿ってスキャニング（ｓｃａｎｎｉｎｇ）できる。
また、エントロピー復号された、量子化された変換係数は、逆スキャニング（Ｉｎｖｅｒｓｅ Ｓｃａｎｎｉｎｇ）され、ブロック形態で整列でき、当該ブロックに逆量子化又は逆変換のうちの少なくとも一つが実行されてよい。この時、逆スキャニングの方法として、対角（Ｄｉａｇｏｎａｌ）スキャン、水平（Ｈｏｒｉｚｏｎｔａｌ）スキャン及び垂直（Ｖｅｒｔｉｃａｌ）スキャンのうちの少なくとも一つが実行できる。
一例として、現在符号化ブロックのサイズが８ｘ８であるとき、８ｘ８ブロックに対する残余信号は、１次変換、２次変換及び量子化の後、４つの４ｘ４下位ブロックごとに、図１０に示された３つのスキャニング順序（Ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）方法のうちの少なくとも一つに応じて、量子化された変換係数をスキャニングしながらエントロピー符号することができる。また、量子化された変換係数を逆スキャニングしながらエントロピー復号することができる。逆スキャニングされた、量子化された変換係数は、逆量子化後の変換係数となり、２次逆変換又は１次逆変換のうちの少なくとも一つが実行されて再構築された残余信号が生成できる。
ビデオ符号化処理で、図１１を示すように、一つのブロックが分割されてよく、分割情報に該当するインジケータがシグナリングされてよい。この時、前記分割情報は、分割フラグ（ｓｐｌｉｔ＿ｆｌａｇ）、クワッド／２分木フラグ（ＱＢ＿ｆｌａｇ）、４分木分割フラグ（ｑｕａｄｔｒｅｅ＿ｆｌａｇ）、２分木分割フラグ（ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇ）、２分木分割タイプフラグ（Ｂｔｙｐｅ＿ｆｌａｇ）のうちの少なくとも一つであり得る。ここで、ｓｐｌｉｔ＿ｆｌａｇは、ブロックが分割されたか否かを示すフラグ、ＱＢ＿ｆｌａｇは、ブロックが４分木状に分割されたか、２分木状に分割されたかを示すフラグ、ｑｕａｄｔｒｅｅ＿ｆｌａｇは、ブロックが４分木状に分割されたか否かを示すフラグ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇは、ブロックが２分木状に分割されたか否かを示すフラグ、Ｂｔｙｐｅ＿ｆｌａｇは、ブロックが２分木状に分割された場合に垂直又は水平分割であることを示すフラグであり得る。
前記分割フラグが１である場合には分割されたことを示し、前記分割フラグが０である場合には分割されていないことを示すことができ、前記クワッド／２分木フラグの場合、０であれば４分木分割を示し、１であれば２分木分割を示すことができ、逆に、０であれば２分木分割を示し、１であれば４分木分割を示すことができる。前記２分木分割タイプフラグの場合、０であれば水平方向分割を示し、１であれば垂直方向分割を示すことができ、逆に、０であれば垂直方向分割を示し、１であれば水平方向分割を示すことができる。
例えば、図１１についての分割情報は、下記表３のとおり、ｑｕａｄｔｒｅｅ＿ｆｌａｇ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇ、Ｂｔｙｐｅ＿ｆｌａｇの少なくとも一つをシグナリングして導出することができる。
Figure 2022008317000004
例えば、図１１についての分割上方は、下記表４のとおり、ｓｐｌｉｔ＿ｆｌａｇ、ＱＢ＿ｆｌａｇ、Ｂｔｙｐｅ＿ｆｌａｇの少なくとも一つをシグナリングして導出することができる。
Figure 2022008317000005
前記分割方法は、ブロックのサイズ／形状に応じて４分木状にのみ分割可能であり、或いは２分木状にのみ分割可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは、４分木分割か２分木分割かを示すフラグを意味することができる。前記ブロックのサイズ／形状はブロックの深さ情報に応じて導出でき、深さ情報はシグナリングできる。
前記ブロックのサイズが所定の範囲内に属する場合には、４分木状にのみ分割が可能であり得る。ここで、所定の範囲は、４分木状にのみ分割が可能な最大ブロックのサイズ又は最小ブロックのサイズのうちの少なくとも一つと定義できる。前記４分木分割が許容される最大／最小ブロックのサイズを示す情報は、ビットストリームを介してシグナリングでき、当該情報は、シーケンス、ピクチャパラメータ又はスライス（セグメント）のうちの少なくとも一つの単位でシグナリングできる。又は、前記最大／最小ブロックのサイズは、符号化器／復号器に所定の固定されたサイズであってもよい。例えば、前記ブロックのサイズが２５６ｘ２５６～６４ｘ６４に該当する場合には、４分木状にのみ分割が可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは４分木分割か否かを示すフラグであり得る。
前記ブロックのサイズが所定の範囲内に属する場合には、２分木状にのみ分割が可能である。ここで、所定の範囲は、２分木状にのみ分割が可能な最大ブロックのサイズ又は最小ブロックのサイズのうちの少なくとも一つと定義できる。前記２分木分割が許容される最大／最小ブロックのサイズを示す情報は、ビットストリームを介してシグナリングでき、該当情報は、シーケンス、ピクチャパラメータ、又はスライス（セグメント）のうちの少なくとも一つの単位でシグナリングできる。又は、前記最大／最小ブロックのサイズは、符号化器／復号器に所定の固定されたサイズであってもよい。例えば、前記ブロックのサイズが１６ｘ１６～８ｘ８に該当する場合には、２分木状にのみ分割が可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは２分木分割か否かを示すフラグであり得る。
前記一つのブロックが２分木状に分割された後、前記分割されたブロックがさらに分割される場合には、２分木状にのみ分割できる。
前記分割されたブロックの横幅又は縦幅が、それ以上分割できないサイズである場合には、前記一つ以上のインジケータをシグナリングしないことがある。
前記４分木基盤の２分木分割の他に、２分木分割後、４分木基盤の分割が可能である。
上述した事項に基づいて、本発明に係る画像符号化／復号方法について詳細に説明する。
図１２は本発明に係るマージモードを用いた画像符号化方法を示すフローチャート、図１３は本発明に係るマージモードを用いた画像復号方法を示すフローチャートである。
図１２を参照すると、符号化装置は、マージ候補を導出し（Ｓ１２０１）、導出されたマージ候補を基にマージ候補リストを生成することができる。マージ候補リストが生成されると、生成されたマージ候補リストを用いて動き情報を決定し（Ｓ１２０２）、決定された動き情報を用いて現在ブロックの動き補償を行うことができる（Ｓ１２０３）。その後、符号化装置は、動き補償に関する情報をエントロピー符号化することができる（Ｓ１２０４）。
図１３を参照すると、復号装置は、符号化装置から受信した動き補償に関する情報をエントロピー復号して（Ｓ１３０１）、マージ候補を導出し（Ｓ１３０２）、導出されたマージ候補を基にマージ候補リストを生成することができる。マージ候補リストが生成されると、生成されたマージ候補リストを用いて、現在ブロックの動き情報を決定することができる（Ｓ１３０３）。その後、復号装置は、動き情報を用いて動き補償を行うことができる（Ｓ１３０４）。
以下、図１２及び図１３に示した各ステップについて詳細に説明する。
まず、マージ候補を導出するステップについて具体的に説明する（Ｓ１２０１、Ｓ１３０２）。
現在ブロックに対するマージ候補は、空間マージ候補、時間マージ候補または追加的なマージ候補のうちの少なくとも一つを含むことができる。
現在ブロックの空間マージ候補は、現在ブロック近傍の再構築ブロックから導出できる。一例として、現在ブロック近傍の再構築ブロックの動き情報が、現在ブロックに対する空間マージ候補として決定できる。ここで、動き情報は、動きベクトル、参照画像インデックスまたは予測リスト活用フラグを少なくとも一つ含むことができる。
この場合、空間マージ候補の動き情報は、Ｌ０及びＬ１に対応する動き情報だけでなく、Ｌ０、Ｌ１、．．．、ＬＸに対応する動き情報を持つことができる。ここで、Ｘは０を含む正の整数であり得る。よって、参照画像リストはＬ０、Ｌ１、．．．、ＬＸなどの少なくとも一つを含むことができる。
図１４は現在ブロックの空間マージ候補を導出する例を説明するための図である。ここで、空間マージ候補を導出するというのは、空間マージ候補を導出してマージ候補リストに追加することを意味することができる。
図１４を参照すると、現在ブロックの空間マージ候補は、現在ブロックＸに隣接する近傍ブロックから導出できる。現在ブロックに隣接する近傍ブロックは、現在ブロックの上側に隣接するブロックＢ１、現在ブロックの左側に隣接するブロックＡ１、現在ブロックの右上隅に隣接するブロックＢ０、現在ブロックの左上隅に隣接するブロックＢ２、及び現在ブロックの左下隅に隣接するブロックＡ０のうちの少なくとも一つを含むことができる。一方、現在ブロックに隣接する近傍ブロックは、正方形（ｓｑｕａｒｅ）または非正方形（ｎｏｎ－ｓｑｕａｒｅ）であり得る。
現在ブロックの空間マージ候補を導出するために、現在ブロックに隣接する近傍ブロックが現在ブロックの空間マージ候補の導出に使用できるか否かを判断することができる。この際、現在ブロックに隣接する近傍ブロックが現在ブロックの空間マージ候補の導出に使用できるか否かは、所定の優先順位に基づいて決定できる。一例として、図１４に示された例において、Ａ１、Ｂ１、Ｂ０、Ａ０及びＢ２位置のブロック順序とおりに空間マージ候補導出可用性が判断できる。前記可用性判断順序に基づいて決定された空間マージ候補を、現在ブロックのマージ候補リストに順次追加することができる。以下、現在ブロックの空間マージ候補の導出に使用できない近傍ブロックの一例を示す。
１）近傍ブロックがＢ２位置のブロックであるとき、Ａ０、Ａ１、Ｂ０及びＢ１位置のブロックからすべて空間マージ候補が導出された場合、
２）近傍ブロックが存在しない場合（ピクチャ境界、スライス境界またはタイル境界などに現在ブロックが存在する場合）
３）近傍ブロックがイントラ符号化（ｉｎｔｒａ ｃｏｄｉｎｇ）された場合
４）近傍ブロックが先に導出された空間マージ候補と、動きベクトル、参照画像インデックス及び参照画像のうちの少なくとも一つとが同じである場合
５）近傍ブロックの動きベクトルが、現在ブロックの含まれるピクチャ、スライスまたはタイルのうちの少なくとも一つの境界外部領域を参照する場合
図１５は空間マージ候補がマージ候補リストに追加される例を説明するための図である。
図１５を参照すると、Ａ１、Ｂ０、Ａ０、Ｂ２位置の近傍ブロックから４つの空間マージ候補が導出された場合、マージ候補リストに導出された空間マージ候補が順次追加できる。
ｍａｘＮｕｍＳｐａｔｉａｌＭｅｒｇｅＣａｎｄは、マージ候補リストに含まれ得る最大空間マージ候補の個数を意味し、ｎｕｍＭｅｒｇｅＣａｎｄは、マージ候補リストに含まれているマージ候補の個数を意味することができる。ｍａｘＮｕｍＳｐａｔｉａｌＭｅｒｇｅＣａｎｄは、０を含む正の整数であり得る。ｍａｘＮｕｍＳｐａｔｉａｌＭｅｒｇｅＣａｎｄは、符号化装置及び復号装置で同一の値を使用するように予め設定できる。または、符号化装置は、現在ブロックのマージ候補リストに含まれ得る最大マージ候補の個数を符号化し、ビットストリームを介して復号装置へシグナリングすることもできる。
上述したように、近傍ブロックＡ１、Ｂ１、Ｂ０、Ａ０及びＢ２から少なくとも一つの空間マージ候補が導出された場合、各導出されたマージ候補に空間マージ候補であるか否かを指し示す空間マージ候補フラグ情報（ｓｐａｔｉａｌＣａｎｄ）を設定することができる。一例として、空間マージ候補が導出された場合、ｓｐａｔｉａｌＣａｎｄを所定の値１に設定することができ、そうでない場合、所定の値０に設定することができる。また、空間マージ候補が導出されるたびに、空間マージ候補カウント（ｓｐａｔｉａｌＣａｎｄＣｎｔ）を１ずつ増加させることができる。
空間マージ候補は、現在ブロックまたは近傍ブロックの符号化パラメータのうちの少なくとも一つに基づいて導出することができる。
動き補償に関する情報がエントロピー符号化／復号されるブロックのサイズまたはブロックの深さを基準に、動き補償に関する情報がエントロピー符号化／復号されるブロックのサイズまたはブロックの深さよりも小さいサイズまたは深い深さのブロックで、空間マージ候補は共有できる。ここで、動き補償に関する情報は、スキップモード使用有無情報、マージモード使用有無情報またはマージインデックス情報のうちの少なくとも一つであり得る。
動き補償に関する情報がエントロピー符号化／復号されるブロックは、ＣＴＵまたはＣＴＵの下位ユニット、ＣＵまたはＰＵであり得る。
以下では、説明の便宜のために、動き補償に関する情報がエントロピー符号化／復号されるブロックのサイズを第１ブロックサイズとし、動き補償に関する情報がエントロピー符号化／復号されるブロックの深さを第１ブロックの深さとする。
具体的には、第１ブロックサイズよりも現在ブロックのサイズが小さい場合、第１ブロックサイズを持つ上位ブロックの近傍に再構築されたブロックのうちの少なくとも一つから現在ブロックの空間マージ候補を導出することができる。そして、上位ブロックの内部に含まれているブロックは、導出された空間マージ候補を共有することができる。ここで、第１ブロックサイズを有するブロックを現在ブロックの上位ブロックとすることができる。
図１６はＣＴＵで空間マージ候補を導出し共有する実施形態を説明するための図である。図１６を参照すると、第１ブロックサイズが３２ｘ３２である場合、３２ｘ３２よりも小さいブロックサイズを有するブロック１６０１、１６０２、１６０３、１６０４は、第１ブロックサイズを有する上位ブロック１６００の隣接する近傍ブロックのうちの少なくとも一つから空間マージ候補を導出し、導出された空間マージ候補を共有することができる。
一例として、第１ブロックサイズが３２ｘ３２であり、符号化ブロックのブロックサイズが３２ｘ３２である場合、３２ｘ３２よりも小さいブロックサイズを有する予測ブロックは、符号化ブロックの近傍ブロックの動き情報のうちの少なくとも一つから予測ブロックの空間マージ候補を導出することができ、符号化ブロック内の予測ブロックは、導出された空間マージ候補を共有することができる。ここで、符号化ブロックと予測ブロックは、より一般化された表現であるブロックを意味することができる。
現在ブロックのブロック深さが第１ブロック深さよりもさらに深い場合、第１ブロック深さを有する上位ブロックの近傍に再構築されたブロックのうちの少なくとも一つから空間マージ候補を導出することができる。そして、上位ブロックの内部に含まれているブロックは、導出された空間マージ候補を共有することができる。ここで、第１ブロック深さを有するブロックを現在ブロックの上位ブロックとすることができる。
一例として、第１ブロック深さが２であり、符号化ブロックのブロック深さが２である場合、ブロック深さ２よりもさらに深い深さを有する予測ブロックは、符号化ブロックの近傍ブロックの動き情報のうちの少なくとも一つに基づいて予測ブロックの空間マージ候補を導出することができ、符号化ブロック内の予測ブロックは、導出された空間マージ候補を共有することができる。
ここで、空間マージ候補を共有するというのは、同じ空間マージ候補を基に、共有するブロックのそれぞれのマージ候補リストを生成することができることを意味することができる。
また、空間マージ候補を共有するというのは、共有するブロックが一つのマージ候補リストを用いて動き補償を行うことができることを意味することができる。ここで、共有されるマージ候補リストは、動き補償に関する情報がエントロピー符号化／復号される上位ブロックを基準に導出される空間マージ候補のうちの少なくとも一つを含むことができる。
現在ブロックに隣接する近傍ブロックまたは現在ブロックは、正方形（ｓｑｕａｒｅ）あるいは非正方形（ｎｏｎ－ｓｑｕａｒｅ）の形状を有することができる。
そして、現在ブロックに隣接する近傍ブロックは、下位ブロック（ｓｕｂ－ｂｌｏｃｋ）単位に分割できる。この場合、現在ブロックに隣接する近傍ブロックの下位ブロックのうちのいずれかの下位ブロックの動き情報を、現在ブロックの空間マージ候補として決定することができる。また、現在ブロックに隣接する近傍ブロックの下位ブロックの動き情報のうちの少なくとも一つに基づいて、現在ブロックの空間マージ候補を決定することができる。ここでも、近傍ブロックの下位ブロックが空間マージ候補の導出に使用できるか否かを判断して、現在ブロックの空間マージ候補として決定することができる。前記空間マージ候補の導出に使用できるか否かは、近傍ブロックの下位ブロックの動き情報が存在するか否か、及び近傍ブロックの下位ブロックの動き情報が現在ブロックの空間マージ候補として利用可能であるか否かのうちの少なくとも一つを含むことができる。
また、近傍ブロックの下位ブロックの動き情報のうちの少なくとも一つ（一例として、動きベクトル）の中間値、平均値、最小値、最大値、加重平均値または最頻値のいずれかを、現在ブロックの空間マージ候補として決定することができる。
次に、現在ブロックの時間マージ候補を導出する方法について説明する。
現在ブロックの時間マージ候補は、現在画像の対応位置画像（Ｃｏ－ｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）に含まれている再構築ブロックから導出できる。ここで、対応位置画像は、現在画像の前に符号化／復号が完了した画像であって、現在画像とは異なる時間的順序を持つ画像であり得る。
図１７は現在ブロックの時間マージ候補を導出する例を説明するための図である。ここで、時間マージ候補を導出するというのは、時間マージ候補を導出してマージ候補リストに追加することを意味することができる。
図１７を参照すると、現在画像の対応位置画像（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）において、現在ブロックＸと空間的に同一の位置に対応するブロックの外部位置を含むブロック、又は現在ブロックＸと空間的に同一の位置に対応するブロックの内部位置を含むブロックから現在ブロックの時間マージ候補を導出することができる。ここで、時間マージ候補は、対応位置ブロックの動き情報を意味することができる。一例として、現在ブロックＸの時間マージ候補は、現在ブロックと空間的に同一の位置に対応するブロックＣの右下隅に隣接するブロックＨ、又はブロックＣの中心点を含むブロックＣ３から導出できる。現在ブロックの時間マージ候補を導出するために使用されるブロックＨ又はブロックＣ３などを「対応位置ブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）」と呼ぶことができる。
一方、現在ブロックの対応位置ブロックまたは現在ブロックは、正方形（ｓｑｕａｒｅ）または非正方形（ｎｏｎ－ｓｑｕａｒｅ）の形状であり得る。
ブロックＣの外部位置を含むブロックＨから現在ブロックの時間マージ候補を導出することができる場合、ブロックＨが現在ブロックの対応位置ブロックとして設定できる。この場合、現在ブロックの時間マージ候補は、ブロックＨの動き情報に基づいて導出することができる。これに対し、ブロックＨから現在ブロックの時間マージ候補を導出することができない場合には、ブロックＣの内部位置を含むブロックＣ３が現在ブロックの対応位置ブロックとして設定できる。この場合、現在ブロックの時間マージ候補は、ブロックＣ３の動き情報に基づいて導出できる。もしブロックＨ及びブロックＣ３から現在ブロックの時間マージを導出することができない場合には（例えば、ブロックＨ及びブロックＣ３が全てイントラ符号化された場合）、現在ブロックに対する時間マージ候補は導出されないか、或いはブロックＨ及びブロックＣ３とは異なる位置のブロックから導出できるだろう。
他の例として、現在ブロックの時間マージ候補は、対応位置画像内の複数のブロックから導出されることも可能である。一例として、ブロックＨ及びブロックＣ３から現在ブロックに対する複数の時間マージ候補を導出することもできる。
図１８は時間マージ候補がマージ候補リストに追加される例を説明するための図である。
図１８を参照すると、Ｈ１位置の対応位置ブロックから１つの時間マージ候補が導出された場合、マージ候補リストに導出された時間マージ候補を追加することができる。
現在ブロックの対応位置ブロックは、下位ブロック（ｓｕｂ－ｂｌｏｃｋ）単位に分割できる。この場合、現在ブロックの対応位置ブロックの下位ブロックのうち、いずれかの下位ブロックの動き情報を現在ブロックの時間マージ候補として決定することができる。また、現在ブロックの対応位置ブロックの下位ブロックの動き情報のうちの少なくとも一つに基づいて現在ブロックの時間マージ候補を決定することができる。
ここでも、対応位置ブロックの下位ブロックの動き情報が存在するか否か、または対応位置ブロックの下位ブロックの動き情報が現在ブロックの時間マージ候補として利用可能であるか否かを判断して、現在ブロックの時間マージ候補として決定することができる。
また、対応位置ブロックの下位ブロックの動き情報のうちの少なくとも一つ（一例として、動きベクトル）の中間値、平均値、最小値、最大値、加重平均値または最頻値のいずれかを、現在ブロックの時間マージ候補として決定することができる。
図１７では、対応位置ブロックの右下隅に隣接するブロック又は対応位置ブロックの中心点を含むブロックから現在ブロックの時間マージ候補を導出することができるものと図示した。ただし、現在ブロックの時間マージ候補を導出するためのブロックの位置は、図１７に示された例に限定されない。一例として、現在ブロックの時間マージ候補は、対応位置ブロックの上／下側境界、左／右側境界又は一つの隅に隣接するブロックから導出されてもよく、対応位置ブロック内の特定の位置を含むブロック（例えば、対応位置ブロックの隅境界に隣接するブロック）から導出されてもよい。
現在ブロックの時間マージ候補は、現在ブロックと対応位置ブロックの参照画像リスト（又は予測方向）を考慮して決定されてもよい。一方、時間マージ候補の動き情報は、Ｌ０及びＬ１に対応する動き情報だけでなく、Ｌ０、Ｌ１、…、ＬＸに対応する動き情報を持つことができる。ここで、Ｘは、０を含む正の整数であり得る。
一例として、現在ブロックが利用可能な参照画像リストがＬ０である場合（すなわち、インター予測インジケータがＰＲＥＤ＿Ｌ０を指示する場合）、対応位置ブロックでＬ０に対応する動き情報を現在ブロックの時間マージ候補として導出することができる。つまり、現在ブロックが利用可能な参照画像リストがＬＸである場合（ここで、Ｘは０、１、２又は３など、参照画像リストのインデックスを示す整数）、対応位置ブロックのＬＸに対応する動き情報（以下、「ＬＸ動き情報」という）を現在ブロックの時間マージ候補として導出することができる。
現在ブロックが複数の参照画像リストを用いる場合にも、現在ブロックと対応位置ブロックの参照画像リストを考慮して、現在ブロックの時間マージ候補を決定することができる。
一例として、現在ブロックが双方向予測を行う場合（すなわち、インター予測インジケータがＰＲＥＤ＿ＢＩである場合）、対応位置ブロックのＬ０動き情報、Ｌ１動き情報、Ｌ２動き情報、．．．、ＬＸ動き情報のうちの少なくとも２つを時間マージ候補として導出することができる。現在ブロックが三方向予測を行う場合（すなわち、インター予測インジケータがＰＲＥＤ＿ＴＲＩである場合）、対応位置ブロックのＬ０動き情報、Ｌ１動き情報、Ｌ２動き情報、．．．、ＬＸ動き情報のうちの少なくとも３つを時間マージ候補として導出することができる。現在ブロックが四方向予測を行う場合（すなわち、インター予測インジケータがＰＲＥＤ＿ＱＵＡＤである場合）、対応位置ブロックのＬ０動き情報、Ｌ１動き情報、Ｌ２動き情報、．．．、ＬＸ動き情報のうちの少なくとも４つを時間マージ候補として導出することができる。
また、現在ブロック、近傍ブロックまたは対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいて時間マージ候補、対応位置画像、対応位置ブロック、予測リスト活用フラグ及び参照画像インデックスのうちの少なくとも一つを導出することもできる。
時間マージ候補は、導出された空間マージ候補の個数がマージ候補の最大個数よりも小さいときに予備的に導出できる。これにより、導出された空間マージ候補の個数がマージ候補の最大個数に達した場合、時間マージ候補を導出する処理が省略できる。
一例として、マージ候補の最大個数が２つであり、導出された空間マージ候補２つが互いに異なる値を持つ場合には、時間マージ候補を導出する処理が省略できる。
他の例として、現在ブロックの時間マージ候補は、時間マージ候補の最大個数に基づいて導出されることも可能である。ここで、時間マージ候補の最大個数は、符号化装置及び復号装置で同一の値を使用するように予め設定できる。又は、現在ブロックの時間マージ候補の最大個数を示す情報は、ビットストリームを介して符号化され、復号装置へシグナリングされることも可能である。一例として、符号化装置は、現在ブロックの時間マージ候補の最大個数を示す「ｍａｘＮｕｍＴｅｍｐｏｒａｌＭｅｒｇｅＣａｎｄ」を符号化し、ビットストリームを介して復号装置へシグナリングすることができる。このとき、「ｍａｘＮｕｍＴｅｍｐｏｒａｌＭｅｒｇｅＣａｎｄ」は、０を含む正の整数として設定できる。例えば、「ｍａｘＮｕｍＴｅｍｐｏｒａｌＭｅｒｇｅＣａｎｄ」は１に設定できる。ｍａｘＮｕｍＴｅｍｐｏｒａｌＭｅｒｇｅＣａｎｄの値は、シグナリングされる時間マージ候補の個数に関する情報に基づいて可変的に導出されてもよく、符号化器／復号器に予め設定された固定値であってもよい。
現在ブロックが含まれている現在画像と現在ブロックの参照画像間の距離と、対応位置ブロックが含まれている対応位置画像と対応位置ブロックの参照画像間の距離とが異なる場合、現在ブロックの時間マージ候補の動きベクトルは、対応位置ブロックの動きベクトルをスケーリングすることにより取得できる。ここで、スケーリングは、現在画像と現在ブロックが参照する参照画像間の距離、及び対応位置画像と対応位置ブロックが参照する参照画像間の距離のうちの少なくとも一つに基づいて行われ得る。一例として、現在画像と現在ブロックが参照する参照画像間の距離と、対応位置画像と対応位置ブロックが参照する参照画像間の距離との比率に応じて対応位置ブロックの動きベクトルをスケーリングすることにより、現在ブロックの時間マージ候補の動きベクトルが導出できる。
動き補償に関する情報がエントロピー符号化／復号されるブロックのサイズ（第１ブロックサイズ）またはブロックの深さ（第１ブロック深さ）を基準に、動き補償に関する情報がエントロピー符号化／復号されるブロックサイズまたはブロック深さよりも小さいサイズまたは深い深さのブロックで、時間マージ候補は共有できる。ここで、動き補償に関する情報は、スキップモード使用有無の情報、マージモード使用有無の情報またはマージインデックス情報のうちの少なくとも一つであり得る。
動き補償に関する情報がエントロピー符号化／復号されるブロックは、ＣＴＵまたはＣＴＵの下位ユニット、ＣＵまたはＰＵであり得る。
具体的には、第１ブロックサイズよりも現在ブロックのサイズが小さい場合、第１ブロックサイズを有する上位ブロックの対応位置ブロックから現在ブロックの時間マージ候補を導出することができる。そして、上位ブロックの内部に含まれているブロックは、導出された時間マージ候補を共有することができる。
また、現在ブロックのブロック深さが第１ブロック深さよりもさらに深い場合には、第１ブロック深さを有する上位ブロックの対応位置ブロックから時間マージ候補を導出することができる。そして、上位ブロックの内部に含まれているブロックは、導出された時間マージ候補を共有することができる。
ここで、時間マージ候補を共有するというのは、同一の時間マージ候補を基に、共有するブロックのそれぞれのマージ候補リストを生成することができることを意味することができる。
また、時間マージ候補を共有するというのは、共有するブロックが一つのマージ候補リストを用いて動き補償を行うことができることを意味することができる。ここで、共有されるマージ候補リストは、動き補償に関する情報がエントロピー符号化／復号される上位ブロックを基準に導出される時間マージ候補を含むことができる。
図１９は現在ブロックの時間マージ候補を導出するために、対応位置ブロックの動き情報中の動きベクトルをスケーリングする例を示す。
対応位置ブロックの動きベクトルは、対応位置画像の表示順を示すＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）と対応位置ブロックの参照画像のＰＯＣとの差分値（ｔｄ）、及び現在画像のＰＯＣと現在ブロックの参照画像のＰＯＣとの差分値（ｔｂ）のうちの少なくとも一つに基づいてスケーリングできる。
スケーリングを行うに先立ち、所定の範囲内にｔｄ又はｔｂが存在するようにｔｄ又はｔｂを調節することができる。一例として、所定の範囲が－１２８～１２７を示す場合、ｔｄ又はｔｂが－１２８よりも小さい場合には、ｔｄ又はｔｂを－１２８に調節することができる。ｔｄ又はｔｂが１２７よりも大きい場合には、ｔｄ又はｔｂは１２７に調節することができる。ｔｄ又はｔｂが－１２８～１２７の範囲に含まれる場には、ｔｄ又はｔｂを調整しない。
ｔｄ又はｔｂに基づいてスケーリングファクターＤｉｓｔＳｃａｌｅＦａｃｔｏｒを演算することができる。このとき、スケーリングファクターは下記数式１に基づいて計算できる。
Figure 2022008317000006
式中、Ａｂｓ（）は絶対値関数を示し、該当関数の出力値は入力値の絶対値になる。
数式１に基づいて演算されたスケーリングファクターＤｉｓｔＳｃａｌｅＦａｃｔｏｒの値は所定の範囲に調整できる。一例として、ＤｉｓｔＳｃａｌｅＦａｃｔｏｒは－１０２４～１０２３の範囲内に存在するように調整できる。
スケーリングファクターを用いて対応位置ブロックの動きベクトルをスケーリングすることにより、現在ブロックの時間マージ候補の動きベクトルを決定することができる。一例として、現在ブロックの時間マージ候補の動きベクトルは、下記数式２によって決定できる。
Figure 2022008317000007
式中、Ｓｉｇｎ（）は、（）に含まれている値の符号情報を出力する関数である。一例として、Ｓｉｇｎ（－１）であれば－を出力する。前記数式２において、ｍｖＣｏｌは対応位置ブロックの動きベクトルを意味することができる。
次に、現在ブロックの追加的なマージ候補を導出する方法について説明する。
追加的なマージ候補は、変更された空間マージ候補（ｍｏｄｉｆｉｅｄ ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）、変更された時間マージ候補（ｍｏｄｉｆｉｅｄ ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）、組み合わせマージ候補（ｃｏｍｂｉｎｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）、所定の動き情報値を有するマージ候補のうちの少なくとも一つを意味することができる。ここで、追加的なマージ候補を導出することは、追加的なマージ候補を導出してマージ候補リストに追加することを意味することができる。
変更された空間マージ候補は、導出された空間マージ候補の動き情報のうちの少なくとも一つを変更したマージ候補を意味することができる。
変更された時間マージ候補は、導出された時間マージ候補の動き情報のうちの少なくとも一つを変更したマージ候補を意味することができる。
組み合わせマージ候補は、マージ候補リストに存在する空間マージ候補、時間マージ候補、変更された空間マージ候補、変更された時間マージ候補、組み合わせマージ候補、所定の動き情報値を有するマージ候補の動き情報のうちの少なくとも一つの動き情報を組み合わせて導出されるマージ候補を意味することができる。
または、組み合わせマージ候補は、マージ候補リストに存在しないものの、空間マージ候補及び時間マージ候補のうちの少なくとも一つを導出することができるブロックから導出された空間マージ候補及び導出された時間マージ候補、これを基に生成された、変更された空間マージ候補、変更された時間マージ候補、組み合わせマージ候補、及び所定の動き情報値を有するマージ候補のうちの少なくとも一つの動き情報を組み合わせて導出されるマージ候補を意味することができる。
または、復号器でビットストリームからエントロピー復号した動き情報を用いて組み合わせマージ候補を導出することができる。このとき、符号化器で、組み合わせマージ候補の導出に使用され動き情報は、ビットストリームにエントロピー符号化できる。
組み合わせマージ候補は、組み合わせ双予測マージ候補を意味することができる。組み合わせ双予測マージ候補は、双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）を用いるマージ候補であって、Ｌ０動き情報とＬ１動き情報を有するマージ候補を意味することができる。
また、組み合わせマージ候補は、Ｌ０動き情報、Ｌ１動き情報、Ｌ２動き情報、及びＬ３動き情報のうちの少なくともＮ個を有するマージ候補を意味することができる。ここで、Ｎは２以上の正の整数を意味することができる。
所定の動き情報値を持つマージ候補は、動きベクトルが（０，０）であるゼロマージ候補を意味することができる。一方、所定の動き情報値を有するマージ候補は、符号化装置及び復号装置で同一の値を使用するように予め設定されてもよい。
現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいて、変更された空間マージ候補、変更された時間マージ候補、組み合わせマージ候補、所定の動き情報値を有するマージ候補のうちの少なくとも一つを導出または生成することができる。また、変更された空間マージ候補、変更された時間マージ候補、組み合わせマージ候補、所定の動き情報値を有するマージ候補のうちの少なくとも一つを、現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいて、マージ候補リストに追加することができる。
追加的なマージ候補は、現在ブロック、近傍ブロック、または対応位置ブロックの下位ブロック（ｓｕｂ－ｂｌｏｃｋ）ごとに導出することができ、下位ブロックごとに導出されたマージ候補を現在ブロックのマージ候補リストに追加することができる。
追加的なマージ候補は、Ｂスライス／Ｂピクチャまたは参照画像リストをＭ個以上用いるスライス／ピクチャの場合にのみ導出できる。ここで、Ｍは３、４であってもよく、３以上の正の整数を意味することができる。
追加的なマージ候補は最大Ｎ個まで導出できる。このとき、Ｎは、０を含む正の整数である。Ｎは、マージ候補リストに含まれるマージ候補の最大個数に関する情報に基づいて導出される可変的な値であってもよい。または、符号化器／復号器に予め設定された固定値であってもよい。ここで、Ｎは、マージモードで符号化／復号されたブロックのサイズ、形状、深さまたは位置に応じて異なり得る。
マージ候補リストは、予め設定されサイズを有し、空間マージ候補または時間マージ候補を追加した後に生成された追加的なマージ候補の数だけ増加することができる。この場合、生成された追加的なマージ候補はいずれもマージ候補リストに含まれ得る。これに対し、マージ候補リストのサイズは、追加的なマージ候補の数よりも小さいサイズ（一例として、追加的なマージ候補の数－Ｎ、Ｎは正の整数）に増加することもできる。この場合、生成された追加的なマージ候補のうちの一部だけがマージ候補リストに含まれ得る。
また、マージ候補リストのサイズは、現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータに基づいて決定でき、符号化パラメータに基づいてサイズが変更できる。
符号化器と復号器でマージモードの処理量（ｔｈｒｏｕｇｈｐｕｔ）を増大させるために、組み合わせマージ候補は導出せず、空間マージ候補の導出、時間マージ候補の導出及びゼロマージ候補の導出のみを行って、マージモードを用いた動き補償を行うことができる。相対的に多くのサイクルタイム（ｃｙｃｌｅ ｔｉｍｅ）を必要とする時間マージ候補導出処理の実行後に組み合わせマージ候補導出処理が行われる場合、組み合わせマージ候補導出処理を行わなければ、マージモードのハードウェア複雑度が最悪の場合（ｗｏｒｓｔ ｃａｓｅ）は、時間マージ候補導出処理後の組み合わせマージ候補導出処理ではなく、時間マージ候補導出処理になることができる。よって、マージモードで、各マージ候補を導出するときに必要なサイクルタイムが減少することができる。また、組み合わせマージ候補を導出しないマージモードは、各マージ候補導出間の従属性（ｄｅｐｅｎｄｅｎｃｙ）がなくなるので、空間マージ候補の導出、時間マージ候補の導出、ゼロマージモード候補の導出が並列的（ｐａｒａｌｌｅｌ）に行われ得るという利点がある。
図２１（図２１ａ及び図２１ｂ）は、組み合わせマージ候補を導出する方法の一実施形態を説明するための図である。マージ候補リストに１つ以上のマージ候補が存在するか、或いは組み合わせマージ候補を導出する前にマージ候補リスト内にマージ候補個数（ｎｕｍＯｒｉｇＭｅｒｇｅＣａｎｄ）が最大マージ候補個数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）よりも小さい場合、図２１ａ及び図２１ｂの組み合わせマージ候補導出方法が行われ得る。
図２１ａ及び図２１ｂを参照すると、符号化器／復号器は、入力されたマージ候補個数（ｎｕｍＩｎｐｕｔＭｅｒｇｅＣａｎｄ）を現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）として設定し、組み合わせインデックス（ｃｏｍｂＩｄｘ）を０に設定することができる。ｋ（ｎｕｍＭｅｒｇｅＣａｎｄ ｎｕｍＩｎｐｕｔＭｅｒｇｅＣａｎｄ）番目の組み合わせマージ候補を導出することができる。
符号化器／復号器は、図２０に示されたような組み合わせインデックスを用いてＬ０候補インデックス（ｌ０ＣａｎｄＩｄｘ）、Ｌ１候補インデックス（ｌ１ＣａｎｄＩｄｘ）、Ｌ２候補インデックス（ｌ２ＣａｎｄＩｄｘ）及びＬ３候補インデックス（ｌ３ＣａｎｄＩｄｘ）のうちの少なくとも一つを導出することができる（Ｓ２１０１）。
各候補インデックスは、マージ候補リスト内のマージ候補を指し示し、Ｌ０、Ｌ１、Ｌ２、Ｌ３に従って候補インデックスが持つ動き情報が組み合わせマージ候補のＬ０、Ｌ１、Ｌ２、Ｌ３に対する動き情報になることができる。
符号化器／復号器は、Ｌ０候補（ｌ０Ｃａｎｄ）をマージ候補リスト内でＬ０候補インデックスに相当するマージ候補（ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｌ０ＣａｎｄＩｄｘ］）として導出することができ、Ｌ１候補（ｌ１Ｃａｎｄ）をマージ候補リスト内でＬ１候補インデックスに相当するマージ候補（ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｌ１ＣａｎｄＩｄｘ］）として導出することができ、Ｌ２候補（ｌ２Ｃａｎｄ）をマージ候補リスト内でＬ２候補インデックスに相当するマージ候補（ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｌ２ＣａｎｄＩｄｘ］）として導出することができ、Ｌ３候補（ｌ３Ｃａｎｄ）をマージ候補リスト内でＬ３候補インデックスに相当するマージ候補（ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｌ３ＣａｎｄＩｄｘ］）として導出することができる（Ｓ２１０２）。
符号化器／復号器は、次の場合のうちの少なくとも一つを満足すれば、Ｓ２１０４ステップを行い、そうでなければ、Ｓ２１０５ステップを行うことができる（Ｓ２１０３）。
１）Ｌ０候補がＬ０単予測を用いる場合（ｐｒｅｄＦｌａｇＬ０ｌ０Ｃａｎｄ＝＝１）
２）Ｌ１候補がＬ１単予測を用いる場合（ｐｒｅｄＦｌａｇＬ１ｌ１Ｃａｎｄ＝＝１）
３）Ｌ２候補がＬ２単予測を用いる場合（ｐｒｅｄＦｌａｇＬ２ｌ２Ｃａｎｄ＝＝１）
４）Ｌ３候補がＬ３単予測を用いる場合（ｐｒｅｄＦｌａｇＬ３ｌ３Ｃａｎｄ＝＝１）
５）Ｌ０、Ｌ１、Ｌ２、Ｌ３候補のうちの少なくとも一つの参照画像が他の候補の参照画像と異なり、Ｌ０、Ｌ１、Ｌ２、Ｌ３候補のうちの少なくとも一つの動きベクトルが他の候補の動きベクトルと異なる場合
これらの５つの場合のうちの少なくとも一つを満足すると（Ｓ２１０３－はい）、符号化器／復号器は、Ｌ０候補のＬ０動き情報を組み合わせ候補のＬ０動き情報として決定し、Ｌ１候補のＬ１動き情報を組み合わせ候補のＬ１動き情報として決定し、Ｌ２候補のＬ２動き情報を組み合わせ候補のＬ２動き情報として決定し、Ｌ３候補のＬ３動き情報を組み合わせ候補のＬ３動き情報として決定し、組み合わせマージ候補（ｃｏｍｂＣａｎｄｋ）をマージ候補リストに追加することができる（Ｓ２１０４）。
例えば、組み合わせマージ候補についての情報は、次のとおりである。
Ｋ番目の組み合わせマージ候補のＬ０参照画像インデックス（ｒｅｆＩｄｘＬ０ｃｏｍｂＣａｎｄｋ）＝Ｌ０候補のＬ０参照画像インデックス（ｒｅｆＩｄｘＬ０ｌ０Ｃａｎｄ）
Ｋ番目の組み合わせマージ候補のＬ１参照画像インデックス（ｒｅｆＩｄｘＬ１ｃｏｍｂＣａｎｄｋ）＝Ｌ１候補のＬ１参照画像インデックス（ｒｅｆＩｄｘＬ１ｌ１Ｃａｎｄ）
Ｋ番目の組み合わせマージ候補のＬ２参照画像インデックス（ｒｅｆＩｄｘＬ２ｃｏｍｂＣａｎｄｋ）＝Ｌ２候補のＬ２参照画像インデックス（ｒｅｆＩｄｘＬ２ｌ２Ｃａｎｄ）
Ｋ番目の組み合わせマージ候補のＬ３参照画像インデックス（ｒｅｆＩｄｘＬ３ｃｏｍｂＣａｎｄｋ）＝Ｌ３候補のＬ３参照画像インデックス（ｒｅｆＩｄｘＬ３ｌ３Ｃａｎｄ）
Ｋ番目の組み合わせマージ候補のＬ０予測リスト活用フラグ（ｐｒｅｄＦｌａｇＬ０ｃｏｍｂＣａｎｄｋ）＝１
Ｋ番目の組み合わせマージ候補のＬ１予測リスト活用フラグ（ｐｒｅｄＦｌａｇＬ１ｃｏｍｂＣａｎｄｋ）＝１
Ｋ番目の組み合わせマージ候補のＬ２予測リスト活用フラグ（ｐｒｅｄＦｌａｇＬ２ｃｏｍｂＣａｎｄｋ）＝１
Ｋ番目の組み合わせマージ候補のＬ３予測リスト活用フラグ（ｐｒｅｄＦｌａｇＬ３ｃｏｍｂＣａｎｄｋ）＝１
Ｋ番目の組み合わせマージ候補のＬ０動きベクトルのｘ成分（ｍｖＬ０ｃｏｍｂＣａｎｄｋ［０］）＝Ｌ０候補のＬ０動きベクトルのｘ成分（ｍｖＬ０ｌ０Ｃａｎｄ［０］）
Ｋ番目の組み合わせマージ候補のＬ０動きベクトルのｙ成分（ｍｖＬ０ｃｏｍｂＣａｎｄｋ［１］）＝Ｌ０候補のＬ０動きベクトルのｙ成分（ｍｖＬ０ｌ０Ｃａｎｄ［１］）
Ｋ番目の組み合わせマージ候補のＬ１動きベクトルのｘ成分（ｍｖＬ１ｃｏｍｂＣａｎｄｋ［０］）＝Ｌ１候補のＬ１動きベクトルのｘ成分（ｍｖＬ１ｌ１Ｃａｎｄ［０］）
Ｋ番目の組み合わせマージ候補のＬ１動きベクトルのｙ成分（ｍｖＬ１ｃｏｍｂＣａｎｄｋ［１］）＝Ｌ１候補のＬ１動きベクトルのｙ成分（ｍｖＬ１ｌ１Ｃａｎｄ［１］）
Ｋ番目の組み合わせマージ候補のＬ２動きベクトルのｘ成分（ｍｖＬ２ｃｏｍｂＣａｎｄｋ［０］）＝Ｌ２候補のＬ２動きベクトルのｘ成分（ｍｖＬ２ｌ２Ｃａｎｄ［０］）
Ｋ番目の組み合わせたマージ候補のＬ２動きベクトルのｙ成分（ｍｖＬ２ｃｏｍｂＣａｎｄｋ［１］）＝Ｌ２候補のＬ２動きベクトルのｙ成分（ｍｖＬ２ｌ２Ｃａｎｄ［１］）
Ｋ番目の組み合わせマージ候補のＬ３動きベクトルのｘ成分（ｍｖＬ３ｃｏｍｂＣａｎｄｋ［０］）＝Ｌ３候補のＬ３動きベクトルのｘ成分（ｍｖＬ３ｌ３Ｃａｎｄ［０］）
Ｋ番目の組み合わせマージ候補のＬ３動きベクトルのｙ成分（ｍｖＬ３ｃｏｍｂＣａｎｄｋ［１］）＝Ｌ３候補のＬ３動きベクトルのｙ成分（ｍｖＬ３ｌ３Ｃａｎｄ［１］）
ｎｕｍＭｅｒｇｅＣａｎｄ＝ｎｕｍＭｅｒｇｅＣａｎｄ＋１
また、符号化器／復号器は、組み合わせインデックスを１だけ増加させることができる（Ｓ２１０５）。
また、符号化器／復号器は、組み合わせインデックスが（ｎｕｍＯｒｉｇＭｅｒｇｅＣａｎｄ＊（ｎｕｍＯｒｉｇＭｅｒｇｅＣａｎｄ－１））と同じであるか、或いは現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）が最大マージ候補個数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）と同じである場合には、組み合わせマージ候補導出ステップを終了し、そうでない場合には、Ｓ２１０１ステップに戻ることができる（Ｓ２１０６）。
図２１ａ及び図２１ｂの組み合わせマージ候補導出方法が行われる場合、図２２に示すようにマージ候補リストに導出された組み合わせマージ候補が追加できる。
一方、マージ候補リストに２つ以上の空間マージ候補が存在するか、或いは組み合わせマージ候補導出前にマージ候補リスト内のマージ候補個数（ｎｕｍＯｒｉｇＭｅｒｇｅＣａｎｄ）が最大マージ候補個数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）よりも小さい場合には、空間マージ候補のみを用いて組み合わせマージ候補を導出する方法が行われ得る。この場合にも、図２１ａ及び図２１ｂの組み合わせマージ候補導出方法を用いて行われ得る。
ただし、図２１ａのＳ２１０１ステップで導出されるＬ０候補インデックス、Ｌ１候補インデックス、Ｌ２候補インデックス、Ｌ３候補インデックスは、空間マージ候補フラグ情報（ｓｐａｔｉａｌＣａｎｄ）が１であるマージ候補だけを指し示すことができる。
よって、Ｓ２１０２ステップで導出されるＬ０候補、Ｌ１候補、Ｌ２候補、Ｌ３候補は、マージ候補リスト内で空間マージ候補フラグ情報（ｓｐａｔｉａｌＣａｎｄ）が１であるマージ候補、すなわち空間マージ候補のみを用いて導出できる。
そして、図２１ｂのＳ２１０６ステップで、（ｎｕｍＯｒｉｇＭｅｒｇｅＣａｎｄ＊（ｎｕｍＯｒｉｇＭｅｒｇｅＣａｎｄ－１））値の代わりに、（ｓｐａｔｉａｌＣａｎｄＣｎｔ＊（ｓｐａｔｉａｌＣａｎｄＣｎｔ－１））値を組み合わせインデックスと比較することにより、組み合わせインデックスが（ｓｐａｔｉａｌＣａｎｄＣｎｔ＊（ｓｐａｔｉａｌＣａｎｄＣｎｔ－１））と同じであるか、或いは現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）が「ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ」と同じである場合には、組み合わせマージ候補導出ステップを終了し、そうでない場合には、Ｓ２１０１ステップに戻ることができる。
空間マージ候補のみを用いて組み合わされマージ候補を導出する方法が行われる場合、図２３に示すように、マージ候補リストに、空間マージ候補のみから組み合わせられた組み合わせマージ候補が追加できる。
図２２及び図２３は空間マージ候補、時間マージ候補及びゼロマージ候補のうちの少なくとも一つを用いて組み合わせマージ候補を導出し、マージ候補リストに追加した一例を示す。
ここで、マージ候補リストには、Ｌ０動き情報、Ｌ１動き情報、Ｌ２動き情報、Ｌ３動き情報のうちの少なくとも一つの動き情報を有するマージ候補が含まれ得る。一方、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストの例を挙げて説明したが、これに限定されず、Ｌ０～ＬＸの参照画像リスト（Ｘは正の整数）に対する動き情報を有するマージ候補がマージ候補リストに含まれてもよい。
各動き情報は、動きベクトル、参照画像インデックス及び予測リスト活用フラグのうちの少なくとも一つが含まれ得る。
図２２及び図２３に示すように、マージ候補のうちの少なくとも一つが最終マージ候補として決定できる。決定された最終マージ候補は、現在ブロックの動き情報として使用できる。現在ブロックのインター予測或いは動き補償に前記動き情報を使用することができる。また、現在ブロックの動き情報に該当する情報のうちの少なくとも一つの値を変更して現在ブロックのインター予測或いは動き補償に前記動き情報を使用することができる。ここで、動き情報に該当する情報のうち、変更される値は、動きベクトルのｘ成分、動きベクトルのｙ成分、参照画像インデックスのうちの少なくとも一つであり得る。また、動き情報に該当する情報のうちの少なくとも一つの値を変更するとき、歪み計算方式（ＳＡＤ、ＳＳＥ、ＭＳＥなど）を用いて最小の歪みを示すように、動き情報に該当する情報のうちの少なくとも一つの値を変更することができる。
マージ候補の動き情報に基づいて、Ｌ０動き情報、Ｌ１動き情報、Ｌ２動き情報及びＬ３動き情報のうちの少なくとも一つを用いて現在ブロックに対する予測ブロックを生成し、生成された予測ブロックを現在ブロックのインター予測或いは動き補償に使用することができる。
インター予測インジケータは、Ｌ０動き情報、Ｌ１動き情報、Ｌ２動き情報及びＬ３動き情報のうちの少なくとも一つが予測ブロックの生成に使用されるとき、ＰＲＥＤ＿Ｌ０或いはＰＲＥＤ＿Ｌ１を指示する一方向予測であるＰＲＥＤ＿ＬＸ、参照画像リストＸに対する双方向予測であるＰＲＥＤ＿ＢＩ＿ＬＸで表現できる。ここで、Ｘは、０を含む正の整数を意味し、０、１、２、３などになることができる。
また、インター予測インジケータは、Ｌ０動き情報、Ｌ１動き情報、Ｌ２動き情報及びＬ３動き情報のうちの少なくとも３つを使用する場合、三方向予測であるＰＲＥＤ＿ＴＲＩで表現できる。また、インター予測インジケータは、Ｌ０動き情報、Ｌ１動き情報、Ｌ２動き情報及びＬ３動き情報のうちの少なくとも４つを使用する場合、四方向予測であるＰＲＥＤ＿ＱＵＡＤで表現できる。
例えば、参照画像リストＬ０に対するインター予測インジケータはＰＲＥＤ＿Ｌ０であり、参照画像リストＬ１に対するインター予測インジケータはＰＲＥＤ＿ＢＩ＿Ｌ１である場合には、現在ブロックのインター予測インジケータはＰＲＥＤ＿ＴＲＩになることができる。つまり、参照画像リストごとにインター予測インジケータが指示する予測ブロックの数の合計が、現在ブロックのインター予測インジケータになることができる。
また、参照画像リストは、Ｌ０、Ｌ１、Ｌ２、Ｌ３など、少なくとも一つになることができるが、各参照画像リストに対して図２２及び図２３のようなマージ候補リストを生成することができる。よって、現在ブロックに対する予測ブロックの生成の際に、最小１個から最大Ｎ個までの予測ブロックを生成して現在ブロックに対するインター予測或いは動き補償に使用することができる。ここで、Ｎは、１以上の正の整数を意味し、１、２、３、４などになることができる。
メモリ帯域幅の減少及び処理速度の向上のために、マージ候補の参照画像インデックスまたは動きベクトル値のうちの少なくとも一つが他のマージ候補と同一であるか、或いは所定の範囲以内に含まれる場合にのみ、組み合わせマージ候補の導出に使用することができる。
一例として、マージ候補リストに含まれているマージ候補のうち、参照画像インデックスが所定の値に等しいマージ候補を用いて、組み合わせマージ候補を導出することができる。このとき、所定の値は、０を含む正の整数であり得る。
他の例として、マージ候補リストに含まれているマージ候補のうち、参照画像インデックスが所定の範囲内に含まれるマージ候補を用いて、組み合わせマージ候補を導出することができる。このとき、所定の範囲は、０を含む正の整数値の範囲であり得る。
別の例として、マージ候補リストに含まれているマージ候補のうち、動きベクトル値が所定の範囲以内に含まれるマージ候補を用いて、組み合わせマージ候補を導出することができる。このとき、所定の範囲は、０を含む正の整数値の範囲であり得る。
別の例として、マージ候補リストに含まれているマージ候補のうち、マージ候補間の動きベクトルの差の値が所定の範囲以内に含まれるマージ候補を用いて、組み合わせマージ候補を導出することができる。このとき、所定の範囲は、０を含む正の整数値の範囲であり得る。
ここで、前記所定の値及び所定の範囲のうちの少なくとも一つは、符号化器／復号器で共通して設定された値に基づいて決定できる。また、前記所定の値及び所定の範囲のうちの少なくとも一つは、エントロピー符号化／復号された値に基づいて決定できる。
また、変更された空間マージ候補、変更された時間マージ候補、所定の動き情報値を有するマージ候補を導出する場合にも、マージ候補の参照画像インデックスまたは動きベクトル値のうちの少なくとも一つが他のマージ候補と同一であるか或いは所定の範囲内に含まれる場合にのみ導出されてマージ候補リストに追加できる。
図２４はマージモードを用いた動き補償の際に、空間マージ候補だけを用いて組み合わせマージ候補を導出する利点を説明するための図である。
図２４を参照すると、符号化器と復号器でマージモードの処理量（ｔｈｒｏｕｇｈｐｕｔ）を増大させるために、時間マージ候補を使用せずに、空間マージ候補のみを用いて組み合わせマージ候補を導出することができる。空間マージ候補導出処理よりも、時間マージ候補導出処理は、動きベクトルスケーリング（ｓｃａｌｉｎｇ）の実行により、相対的に多くのサイクルタイム（ｃｙｃｌｅ ｔｉｍｅ）を必要とする。よって、時間マージ候補導出処理の実行後に組み合わせマージ候補導出処理が行われる場合、マージモードを用いて動き情報決定時のサイクルタイムが多く必要であった。
しかし、時間マージ候補を使用せずに、空間マージ候補のみを用いて組み合わせマージ候補を導出する場合には、時間マージ候補導出処理よりも相対的にサイクルタイムが少なくかかる空間マージ候補の導出直後に組み合わせマージ候補導出処理を行うことができるので、時間マージ候補導出処理を含む方法に比べて、マージモードを用いて動き情報を決定するときに必要なサイクルタイムを減少させることができる。
つまり、時間マージ候補と組み合わせマージ候補導出間の従属性を除去することにより、マージモードの処理量を増大させることができる。また、送信エラーなどにより参照画像にエラーが発生した場合には、時間マージ候補の代わりに、空間マージ候補のみを用いて組み合わせマージ候補を導出することにより、復号器の誤り耐性（ｅｒｒｏｒ ｒｅｓｉｌｉｅｎｃｙ）も高くなることができる。
また、時間マージ候補を使用せずに、空間マージ候補のみを用いて組み合わせマージ候補を導出する方法を使用する場合、時間マージ候補を用いて組み合わせマージ候補を導出する方法と、時間マージ候補を使用せずに組み合わせマージ候補を導出する方法とが互いに同様に動作でき、且つそれぞれの方法が互いに同様に実現できるので、ハードウェアロジック（ｌｏｇｉｃ）が統合されるという利点がある。
図２５は組み合わせ双予測マージ候補（ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）分割方法の一実施形態を説明するための図である。ここで、組み合わせ双予測マージ候補は、Ｌ０動き情報、．．．、ＬＸ動き情報のうち、２つの動き情報を含む組み合わせマージ候補であり得る。以下では、組み合わせ双予測マージ候補がＬ０動き情報及びＬ１動き情報を含むと仮定して、図２５を説明する。
図２５を参照すると、符号化器／復号器は、マージ候補リスト内の組み合わせ双予測マージ候補の情報をＬ０動き情報とＬ１動き情報に分割して生成された各動き情報を、新しいマージ候補としてマージ候補リストに追加することができる。
具体的に、符号化器／復号器は、マージ候補リストから分割インデックス（ｓｐｌｉｔＩｄｘ）を用いて分割を行う組み合わせ双予測マージ候補を判断することができる（Ｓ２５０１）。ここで、分割インデックス（ｓｐｌｉｔＩｄｘ）は、分割を行う組み合わせ双予測マージ候補を指し示すインデックス情報であり得る。
符号化器／復号器は、組み合わせ双予測マージ候補のＬ０動き情報をＬ０分割候補の動き情報として設定してマージ候補リストに追加し、ｎｕｍＭｅｒｇｅＣａｎｄを１だけ増加させることができる（Ｓ２５０２）。
符号化器／復号器は、現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）が最大マージ候補個数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）と同一であるかを判断することができる。もし同一であれば（Ｓ２５０３－はい）、分割プロセスを終了することができる。これに対し、もし同一でなければ（Ｓ２５０３－いいえ）、符号化器／復号器は、組み合わせ双予測マージ候補のＬ１動き情報をＬ１分割候補の動き情報として設定してマージ候補リストに追加し、ｎｕｍＭｅｒｇｅＣａｎｄを１だけ増加させることができる（Ｓ２５０４）。分割インデックス（ｓｐｌｉｔＩｄｘ）を１だけ増加させることができる（Ｓ２５０５）。
また、符号化器／復号器は、現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）が最大マージ候補コア数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）と同一である場合には、組み合わせマージ候補分割処理を終了し、そうでない場合には、Ｓ２５０１ステップに戻ることができる（Ｓ２５０６）。
図２５に示すように双予測マージ候補を分割する組み合わせ双予測マージ候補分割方法は、組み合わせ双予測マージ候補を分割するので、Ｂスライス／Ｂピクチャである場合、または参照画像リストをＭ個以上使用するスライス／ピクチャである場合にのみ実行できる。ここで、Ｍは、３、４であってもよく、３以上の正の整数を意味することができる。
組み合わせ双予測マージ候補分割は、１）組み合わせ双予測マージ候補が存在する場合には、単予測マージ候補に分割する方法、２）組み合わせ双予測マージ候補が存在し且つ組み合わせ双予測マージ候補でＬ０参照画像とＬ１参照画像とが互いに異なる場合には、単予測マージ候補に分割する方法、３）組み合わせ双予測マージ候補が存在し且つ組み合わせ双予測マージ候補でＬ０参照画像とＬ１参照画像とが互いに同じである場合には、単予測マージ候補に分割する方法の少なくとも一つを用いて行うことができる。
組み合わせ双予測マージ候補は、双予測を使用するため、最大２つの互いに異なる参照画像内の再構築されたピクセルデータ（ｐｉｘｅｌ ｄａｔａ）を用いて動き補償を行うので、１つの参照画像内の再構築されたピクセルデータを使用する単予測よりは動き補償時のメモリアクセス帯域幅が大きい。よって、組み合わせ双予測マージ候補分割を利用すれば、組み合わせ双予測マージ候補を単予測マージ候補に分割するので、分割された単予測マージ候補が現在ブロックの動き情報として決定される場合、動き補償時のメモリアクセス帯域幅が減少できる。
符号化器／復号器は、動きベクトルが（０，０）であるゼロ動きベクトルを有するゼロマージ候補（ｚｅｒｏ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を導出することができる。
ゼロマージ候補は、Ｌ０動き情報、Ｌ１動き情報、Ｌ２動き情報及びＬ３動き情報のうちの少なくとも一つの動き情報における動きベクトルが（０，０）であるマージ候補を意味することができる。
また、ゼロマージ候補は、２種類のうちの少なくとも一つであり得る。一番目のゼロマージ候補は、動きベクトルが（０，０）であり、参照画像インデックスが０以上の値を持つことが可能なマージ候補を意味することができる。そして、二番目のゼロマージ候補は、動きベクトルが（０，０）であり、参照画像インデックスが０である値だけを持つことが可能なマージ候補を意味することができる。
現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）が最大マージ候補個数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）と同じでない場合（つまり、マージ候補リストにマージ候補が満ちていない場合）、マージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）が最大マージ候補個数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）と同一になるまで一番目のゼロマージ候補及び二番目のゼロマージ候補のうちの少なくとも一つを繰り返しマージ候補リストに追加することができる。
また、一番目のゼロマージ候補は、導出されてマージ候補リストに追加でき、二番目のゼロマージ候補は、マージ候補リストがマージ候補で満ちていない場合、導出されてマージ候補リストに追加できる。
図２６はゼロマージ候補導出方法の一実施形態を説明するための図である。現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）が最大マージ候補個数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）よりも小さい場合に、ゼロマージ候補の導出が図２６のような順に実行できる。
まず、符号化器／復号器は、入力されたマージ候補個数（ｎｕｍＩｎｐｕｔＭｅｒｇｅＣａｎｄ）を現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）として設定することができる。また、ゼロマージ候補の参照画像インデックス（ｚｅｒｏＩｄｘ）を０に設定することができる。このとき、ｍ（ｎｕｍＭｅｒｇｅＣａｎｄ ｎｕｍＩｎｐｕｔＭｅｒｇｅＣａｎｄ）番目のゼロマージ候補を導出することができる。
符号化器／復号器は、スライスタイプ（ｓｌｉｃｅ＿ｔｙｐｅ）がＰスライスであるかを決定することができる（Ｓ２６０１）。
スライスタイプ（ｓｌｉｃｅ＿ｔｙｐｅ）がＰスライスである場合（Ｓ２６０１－はい）、符号化器／復号器は、参照画像数（ｎｕｍＲｅｆＩｄｘ）をＬ０リスト内の可用参照画像数（ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）に設定することができる。
また、符号化器／復号器は、ゼロマージ候補を次のように導出し、ｎｕｍＭｅｒｇｅＣａｎｄを１だけ増加させることができる（Ｓ２６０２）。
ｍ番目のゼロマージ候補のＬ０参照画像インデックス（ｒｅｆＩｄｘＬ０ｚｅｒｏＣａｎｄｍ）＝ゼロマージ候補の参照画像インデックス（ｚｅｒｏＩｄｘ）
ｍ番目のゼロマージ候補のＬ１参照画像インデックス（ｒｅｆＩｄｘＬ１ｚｅｒｏＣａｎｄｍ）＝１
ｍ番目のゼロマージ候補のＬ０予測リスト活用フラグ（ｐｒｅｄＦｌａｇＬ０ｚｅｒｏＣａｎｄｍ）＝１
ｍ番目のゼロマージ候補のＬ１予測リスト活用フラグ（ｐｒｅｄＦｌａｇＬ１ｚｅｒｏＣａｎｄｍ）＝０
ｍ番目のゼロマージ候補のＬ０動きベクトルのｘ成分（ｍｖＬ０ｚｅｒｏＣａｎｄｍ［０］）＝０
ｍ番目のゼロマージ候補のＬ０動きベクトルのｙ成分（ｍｖＬ０ｚｅｒｏＣａｎｄｍ［１］）＝０
ｍ番目のゼロマージ候補のＬ１動きベクトルのｘ成分（ｍｖＬ１ｚｅｒｏＣａｎｄｍ［０］）＝０
ｍ番目のゼロマージ候補のＬ１動きベクトルのｙ成分（ｍｖＬ１ｚｅｒｏＣａｎｄｍ［１］）＝０
これに対し、スライスタイプがＰスライスではない場合（Ｂスライスである場合、または他のスライスである場合）（Ｓ２６０１－いいえ）、参照画像数（ｎｕｍＲｅｆＩｄｘ）をＬ０リスト内の可用参照画像数（ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）、Ｌ１リスト内の可用参照画像数（ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）、Ｌ２リスト内の可用参照画像数（ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ２＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）、Ｌ３リスト内の可用参照画像数（ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ３＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）のうちの少なくとも一つで少ない値に設定することができる。
また、符号化器／復号器は、ゼロマージ候補を次のように導出し、ｎｕｍＭｅｒｇｅＣａｎｄを１だけ増加させることができる（Ｓ２６０３）。
ｒｅｆＩｄｘＬ０ｚｅｒｏＣａｎｄｍ＝ｚｅｒｏＩｄｘ
ｒｅｆＩｄｘＬ１ｚｅｒｏＣａｎｄｍ＝ｚｅｒｏＩｄｘ
ｒｅｆＩｄｘＬ２ｚｅｒｏＣａｎｄｍ＝ｚｅｒｏＩｄｘ
ｒｅｆＩｄｘＬ３ｚｅｒｏＣａｎｄｍ＝ｚｅｒｏＩｄｘ
ｐｒｅｄＦｌａｇＬ０ｚｅｒｏＣａｎｄｍ＝１
ｐｒｅｄＦｌａｇＬ１ｚｅｒｏＣａｎｄｍ＝１
ｐｒｅｄＦｌａｇＬ２ｚｅｒｏＣａｎｄｍ＝１
ｐｒｅｄＦｌａｇＬ３ｚｅｒｏＣａｎｄｍ＝１
ｍｖＬ０ｚｅｒｏＣａｎｄｍ［０］＝０
ｍｖＬ０ｚｅｒｏＣａｎｄｍ［１］＝０
ｍｖＬ１ｚｅｒｏＣａｎｄｍ［０］＝０
ｍｖＬ１ｚｅｒｏＣａｎｄｍ［１］＝０
ｍｖＬ２ｚｅｒｏＣａｎｄｍ［０］＝０
ｍｖＬ２ｚｅｒｏＣａｎｄｍ［１］＝０
ｍｖＬ３ｚｅｒｏＣａｎｄｍ［０］＝０
ｍｖＬ３ｚｅｒｏＣａｎｄｍ［１］＝０
Ｓ２６０２ステップまたはＳ２６０３ステップが行われた後、符号化器／復号器は、参照画像カウント（ｒｅｆＣｎｔ）が参照画像数（ｎｕｍＲｅｆＩｄｘ）－１と同一である場合には、ゼロマージ候補の参照画像インデックス（ｚｅｒｏＩｄｘ）を０に設定し、そうでない場合には、ｒｅｆＣｎｔとｚｅｒｏＩｄｘをそれぞれ１だけ増加させることができる（Ｓ２６０４）。
また、符号化器／復号器は、ｎｕｍＭｅｒｇｅＣａｎｄがＭａｘＮｕｍＭｅｒｇｅＣａｎｄと同じである場合には、ゼロマージ候補導出処理を終了し、そうでない場合には、Ｓ２６０１ステップに戻ることができる（Ｓ２６０５）。
図２６のゼロマージ候補導出方法が行われる場合には、図２７のようにマージ候補リストに導出されたゼロマージ候補が追加できる。
図２８はゼロマージ候補導出方法の他の実施形態を説明するための図である。現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）が最大マージ候補個数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）よりも小さい場合、Ｌ０単予測ゼロマージ候補の導出が図２８のような順に行われ得る。
まず、符号化器／復号器は、入力されたマージ候補個数（ｎｕｍＩｎｐｕｔＭｅｒｇｅＣａｎｄ）を現在マージ候補リスト内のマージ候補個数（ｎｕｍＭｅｒｇｅＣａｎｄ）として設定することができる。また、ゼロマージ候補の参照画像インデックス（ｚｅｒｏＩｄｘ）を０に設定することができる。このとき、ｍ（ｎｕｍＭｅｒｇｅＣａｎｄ ｎｕｍＩｎｐｕｔＭｅｒｇｅＣａｎｄ）番目のゼロマージ候補を導出することができる。そして、参照画像数（ｎｕｍＲｅｆＩｄｘ）をＬ０リスト内の可用参照画像数（ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）に設定することができる。
符号化器／復号器は、ゼロマージ候補を次のように導出し、ｎｕｍＭｅｒｇｅＣａｎｄを１だけ増加させることができる（Ｓ２８０１）。
ｍ番目のゼロマージ候補のＬ０参照画像インデックス（ｒｅｆＩｄｘＬ０ｚｅｒｏＣａｎｄｍ）＝ゼロマージ候補の参照画像インデックス（ｚｅｒｏＩｄｘ）
ｍ番目のゼロマージ候補のＬ１参照画像インデックス（ｒｅｆＩｄｘＬ１ｚｅｒｏＣａｎｄｍ）＝１
ｍ番目のゼロマージ候補のＬ０予測リスト活用フラグ（ｐｒｅｄＦｌａｇＬ０ｚｅｒｏＣａｎｄｍ）＝１
ｍ番目のゼロマージ候補のＬ１予測リスト活用フラグ（ｐｒｅｄＦｌａｇＬ１ｚｅｒｏＣａｎｄｍ）＝０
ｍ番目のゼロマージ候補のＬ０動きベクトルのｘ成分（ｍｖＬ０ｚｅｒｏＣａｎｄｍ［０］）＝０
ｍ番目のゼロマージ候補のＬ０動きベクトルのｙ成分（ｍｖＬ０ｚｅｒｏＣａｎｄｍ［１］）＝０
ｍ番目のゼロマージ候補のＬ１動きベクトルのｘ成分（ｍｖＬ１ｚｅｒｏＣａｎｄｍ［０］）＝０
ｍ番目のゼロマージ候補のＬ１動きベクトルのｙ成分（ｍｖＬ１ｚｅｒｏＣａｎｄｍ［１］）＝０
符号化器／復号器は、参照画像カウント（ｒｅｆＣｎｔ）がｎｕｍＲｅｆＩｄｘ－１と同じである場合には、ｚｅｒｏＩｄｘを０に設定し、そうでない場合には、ｒｅｆＣｎｔとｚｅｒｏＩｄｘをそれぞれ１だけ増加させることができる（Ｓ２８０２）。
また、符号化器／復号器は、ｎｕｍＭｅｒｇｅＣａｎｄがＭａｘＮｕｍＭｅｒｇｅＣａｎｄと同じである場合には（Ｓ２８０３－はい）、ゼロマージ候補導出ステップを終了し、そうでない場合には、Ｓ２８０１ステップに戻ることができる（Ｓ２８０３－いいえ）。
図２６のゼロマージ候補導出方法は、スライスタイプに応じて双予測ゼロマージ候補の導出またはＬ０単予測ゼロマージ候補の導出を行うので、スライスタイプに応じて２種類の実現方法が必要であった。
図２８のゼロマージ候補導出方法は、スライスタイプに応じて双予測ゼロマージ候補の導出或いはＬ０単予測ゼロマージ候補の導出を行わず、スライスタイプに関係なく、Ｌ０単予測ゼロマージ候補を導出することにより、ハードウェアロジックが簡略になり、ゼロマージ候補導出ステップの実行時に必要なサイクル時間も減少させることができる。また、双予測ゼロマージ候補ではなく、Ｌ０単予測ゼロマージ候補が現在ブロックの動き情報として決定される場合、双予測動き補償ではなく、単予測動き補償が行われるので、動き補償時のメモリアクセス帯域幅が減少することができる。
一例として、Ｐスライスではない場合、Ｌ０単予測ゼロマージ候補が導出されてマージ候補リストに追加できる。
符号化器／復号器は、マージ候補リストにゼロマージ候補を除いた他のマージ候補をマージ候補リストに追加した後、Ｌ０単予測ゼロマージ候補を追加することができる。また、符号化器／復号器は、マージ候補リストをＬ０単予測ゼロマージ候補で初期化（ｉｎｉｔｉａｌｉｚａｔｉｏｎ）した後、初期化されたマージ候補リストに空間マージ候補、時間マージ候補、組み合わせマージ候補、ゼロマージ候補、追加的なマージ候補などを追加することもできる。
図２９はＣＴＵでマージ候補リストを導出し共有する実施形態を説明するための図である。所定のブロックサイズまたは所定のブロック深さよりも小さいサイズまたは深い深さのブロックで、マージ候補リストは共有できる。ここで、所定のブロックサイズまたは所定のブロック深さは、動き補償に関する情報がエントロピー符号化／復号されるブロックのサイズまたはブロック深さであり得る。また、所定のブロックサイズまたは所定のブロック深さは、符号化器でエントロピー符号化されて復号器でエントロピー復号される情報であってもよく、符号化器／復号器に共通して予め設定された値であってもよい。
図２９を参照すると、前記所定のブロックサイズが１２８ｘ１２８である場合には、１２８ｘ１２８よりも小さいサイズを有するブロック（図２９の斜線領域のブロック）は、マージ候補リストを共有することができる。
次に、生成されたマージ候補リストを用いて、現在ブロックの動き情報を決定するステップについて、具体的に説明する（Ｓ１２０２、Ｓ１３０３）。
符号化器は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介してマージ候補リスト内のマージ候補のうち、動き補償に用いられるマージ候補を決定し、決定されたマージ候補を指し示すマージ候補インデックス（ｍｅｒｇｅ＿ｉｄｘ）をビットストリームに符号化することができる。
一方、符号化器は、予測ブロックを生成するために、上述したマージ候補インデックスに基づいてマージ候補リストからマージ候補を選択して現在ブロックの動き情報を決定することができる。ここで、決定された動き情報に基づいて動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を行って現在ブロックの予測ブロックを生成することができる。
一例として、マージ候補インデックスが３と選択された場合、マージ候補リストにおける、マージ候補インデックス３が指し示すマージ候補が動き情報として決定され、符号化対象ブロックの動き補償に使用できる。
復号器は、ビットストリーム内のマージ候補インデックスを復号して、マージ候補インデックスが指し示すマージ候補リスト内のマージ候補を決定することができる。決定されたマージ候補は、現在ブロックの動き情報として決定することができる。決定された動き情報は、現在ブロックの動き補償に使用される。このとき、動き補償はインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）の意味と同一であり得る。
一例として、マージ候補インデックスが２である場合、マージ候補リストにおける、マージ候補インデックス２が指し示すマージ候補が動き情報として決定され、復号対象ブロックの動き補償に使用できる。
また、現在ブロックの動き情報に該当する情報のうちの少なくとも一つの値を変更して、現在ブロックのインター予測、或いは動き補償に動き情報を使用することができる。ここで、動き情報に該当する情報のうち、変更される値は、動きベクトルのｘ成分、動きベクトルのｙ成分及び参照画像インデックスの少なくとも一つであり得る。また、動き情報に該当する情報のうちの少なくとも一つの値を変更するとき、歪み計算方式（ＳＡＤ、ＳＳＥ、ＭＳＥなど）を用いて最小の歪みを示すように、動き情報に該当する情報のうちの少なくとも一つの値を変更することができる。
次に、決定された動き情報を用いて、現在ブロックの動き補償を行うステップについて具体的に説明する（Ｓ１２０３、Ｓ１３０４）。
符号化器及び復号器では、決定されたマージ候補の動き情報を用いてインター予測或いは動き補償を行うことができる。ここで、現在ブロック（符号化／復号対象ブロック）は、決定されたマージ候補の動き情報を有することができる。
現在ブロックは、予測方向に応じて最小１個から最大Ｎ個の動き情報を有することができる。動き情報を用いて、最小１個から最大Ｎ個の予測ブロックを生成して、現在ブロックの最終予測ブロックを導出することができる。
一例として、現在ブロックが１つの動き情報を有する場合、前記動き情報を用いて生成された予測ブロックを、現在ブロックの最終予測ブロックとして決定することができる。
一方、現在ブロックが複数の動き情報を有する場合、複数の動き情報を用いて複数の予測ブロックを生成し、複数の予測ブロックの加重和に基づいて、現在ブロックの最終予測ブロックを決定することができる。複数の動き情報によって指し示される複数の予測ブロックそれぞれを含む参照画像は、互いに異なる参照画像リストに含まれてもよく、同一の参照画像リストに含まれてもよい。また、現在ブロックが複数の動き情報を有する場合、複数の動き情報のうち、複数の参照画像は、互いに同一の参照画像を指し示すこともある。
一例として、空間マージ候補、時間マージ候補、変更された空間マージ候補、変更された時間マージ候補、所定の動き情報値を有するマージ候補または組み合わせマージ候補、及び追加的なマージ候補のうちの少なくとも一つに基づいて複数の予測ブロックを生成し、複数の予測ブロックの加重和に基づいて、現在ブロックの最終予測ブロックを決定することができる。
他の例として、予め設定されたマージ候補インデックスによって指し示されるマージ候補に基づいて、複数の予測ブロックを生成し、複数の予測ブロックの加重和に基づいて、現在ブロックの最終予測ブロックを決定することができる。また、予め設定されマージ候補インデックス範囲に存在するマージ候補に基づいて複数の予測ブロックを生成し、複数の予測ブロックの加重和に基づいて、現在ブロックの最終予測ブロックを決定することができる。
各予測ブロックに適用される重みは、１／Ｎ（ここで、Ｎは生成された予測ブロックの数）であって、均等な値を持ってもよい。一例として、２つの予測ブロックが生成された場合には、各予測ブロックに適用される重みは１／２であり、３つの予測ブロックが生成された場合には、各予測ブロックに適用される重みは１／３であり、４つの予測ブロックが生成された場合には、各予測ブロックに適用される重みは１／４であり得る。又は、予測ブロック別に異なる重みを付けて、現在ブロックの最終予測ブロックを決定することもできる。
重みは、予測ブロック別に固定された値を持たなければならないのではなく、予測ブロック別の可変的値を持つこともできる。このとき、各予測ブロックに適用される重みは、互いに同一であってもよく、互いに異なってもよい。一例として、２つの予測ブロックが生成された場合、２つの予測ブロックに適用される重みは、（１／２、１／２）だけでなく、（１／３、２／３）、（１／４、３／４）、（２／５、３／５）、（３／８、５／８）などのようにブロック別に可変的な値であり得る。一方、重みは、正の実数値及び負の実数値であり得る。一例として、（－１／２、３／２）、（－１／３、４／３）、（－１／４、５／４）などのように負の実数値を含むことができる。
一方、可変的重みを適用するために、現在ブロックのための一つ又はそれ以上の重み情報がビットストリームを介してシグナリングされてもよい。重み情報は、予測ブロック別にそれぞれシグナリングされてもよく、参照画像別にシグナリングされてもよい。複数の予測ブロックが一つの重み情報を共有することも可能である。
符号化器及び復号器は、予測ブロックリスト活用フラグに基づいてマージ候補の動き情報の利用可否を判断することができる。一例として、参照画像リスト別に予測ブロックリスト活用フラグが第１の値である１を指し示す場合、符号化器及び復号器は、インター予測または動き補償を行うために、現在ブロックのマージ候補の動き情報を用いることができることを示し、第２の値である０を指し示す場合には、符号化器及び復号器は、現在ブロックのマージ候補の動き情報を用いてインター予測または動き補償を行わないことを示すことができる。一方、予測ブロックリスト活用フラグの第１の値は０、第２の値は１にそれぞれ設定されることもできる。
下記数式３乃至数式５は、それぞれ、現在ブロックのインター予測インジケータが、ＰＲＥＤ＿ＢＩ（または現在ブロックが２つの動き情報を使用可能な場合）、ＰＲＥＤ＿ＴＲＩ（または現在ブロックが３つの動き情報を使用可能な場合）及びＰＲＥＤ＿ＱＵＡＤ（または現在ブロックが４つの動き情報を使用可能な場合）であり、各参照画像リストに対する予測方向が単方向である場合には、現在ブロックの最終予測ブロックを生成する例を示す。
Figure 2022008317000008
Figure 2022008317000009
Figure 2022008317000010
前記数式３乃至数式５において、Ｐ＿ＢＩ、Ｐ＿ＴＲＩ、Ｐ＿ＱＵＡＤは現在ブロックの最終予測ブロックを示し、ＬＸ（Ｘ＝０、１、２、３）は参照画像リストを意味することができる。ＷＦ＿ＬＸは、ＬＸを用いて生成された予測ブロックの重み値を示し、ＯＦＦＳＥＴ＿ＬＸは、ＬＸを用いて生成された予測ブロックに対するオフセット値を示すことができる。Ｐ＿ＬＸは、現在ブロックのＬＸに対する動き情報を用いて生成した予測ブロックを意味する。ＲＦは、丸めファクター（Ｒｏｕｎｄｉｎｇ ｆａｃｔｏｒ）を意味し、０、正数又は負数と設定できる。ＬＸ参照画像リストはロング・ターム（ｌｏｎｇ－ｔｅｒｍ）参照画像、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）を行っていない参照画像、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）を行っていない参照画像、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）を行っていない参照画像、デブロッキングフィルタ及び適応的オフセットのみを行った参照画像、デブロッキングフィルタ及び適応的ループフィルタのみを行った参照画像、サンプル適応的オフセット及び適応的ループフィルタのみを行った参照画像、デブロッキングフィルタ、サンプル適応的オフセット及び適応的ループフィルタを全て行った参照画像のうちの少なくとも一つを含むことができる。この場合、ＬＸ参照画像リストは、Ｌ０参照画像リスト、Ｌ１参照画像リスト、Ｌ２参照画像リスト及びＬ３参照画像リストのうちの少なくとも一つであり得る。
所定の参照画像リストに対する予測方向が複数方向である場合でも、予測ブロックの加重和に基づいて、現在ブロックに対する最終予測ブロックを取得することができる。このとき、同一の参照画像リストから導出された予測ブロックに適用される重みは、同一の値を持ってもよく、互いに異なる値を持ってもよい。
複数の予測ブロックに対する重み（ＷＦ＿ＬＸ）及びオフセット（ＯＦＦＳＥＴ＿ＬＸ）のうちの少なくとも一つは、エントロピー符号化／復号される符号化パラメータであり得る。
他の例として、重み及びオフセットは、現在ブロック近傍の符号化／復号された近傍ブロックから導出されてもよい。ここで、現在ブロックの近傍ブロックは、現在ブロックの空間マージ候補を導出するために用いられるブロック、又は現在ブロックの時間マージ候補を導出するために用いられるブロックのうちの少なくとも一つを含むことができる。
他の例として、重み及びオフセットは、現在画像と各参照画像の表示順（ＰＯＣ）に基づいて決定されてもよい。この場合、現在画像と参照画像間の距離が遠いほど、重み又はオフセットを小さい値に設定し、現在画像と参照画像間の距離が近いほど、重み又はオフセットを大きな値に設定することができる。一例として、現在画像とＬ０参照画像とのＰＯＣの差が２である場合、Ｌ０参照画像を参照して生成された予測ブロックに適用される重み値を１／３に設定するのに対し、現在画像とＬ０参照画像とのＰＯＣの差が１である場合、Ｌ０参照画像を参照して生成された予測ブロックに適用される重み値を２／３に設定することができる。上記に例示したように、重み又はオフセット値は、現在画像と参照画像間の表示順の差と反比例の関係を持つことができる。他の例として、重み又はオフセット値は、現在画像と参照画像間の表示順の差と比例の関係を持つようにすることも可能である。
他の例として、現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいて、重み又はオフセットのうちの少なくとも一つをエントロピー符号化／復号することもできる。また、現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいて、予測ブロックの加重和を計算することもできる。
複数の予測ブロックの加重和は、予測ブロック内の一部領域でのみ適用できる。ここで、一部の領域は、予測ブロック内の境界に該当する領域であり得る。上述したように、一部の領域にのみ加重和を適用するために、予測ブロックの下位ブロック（ｓｕｂ－ｂｌｏｃｋ）単位で加重和を行うことができる。
次に、動き補償に関する情報をエントロピー符号化／復号する処理について詳細に説明する（Ｓ１２０４、Ｓ１３０１）。
図３０及び図３１は動き補償に関する情報の構文（ｓｙｎｔａｘ）を例示する図である。図３０は符号化ユニット（ｃｏｄｉｎｇ＿ｕｎｉｔ）における動き補償に関する情報の構文の一実施形態を示し、図３１は予測ユニット（ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ）における動き補償に関する情報の構文の一実施形態を示す。
符号化装置は、動き補償に関する情報をビットストリームを介してエントロピー符号化し、復号装置は、ビットストリームに含まれている動き補償に関する情報をエントロピー復号することができる。ここで、エントロピー符号化／復号される動き補償に関する情報は、スキップモード使用有無情報（ｃｕ＿ｓｋｉｐ＿ｆｌａｇ）、マージモード使用有無情報（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス情報（ｍｅｒｇｅ＿ｉｎｄｅｘ）、インター予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）（ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ）、重み値（ｗｆ＿ｌ０、ｗｆ＿ｌ１、ｗｆ＿ｌ２、ｗｆ＿ｌ３）及びオフセット値（ｏｆｆｓｅｔ＿ｌ０、ｏｆｆｓｅｔ＿ｌ１、ｏｆｆｓｅｔ＿ｌ２、ｏｆｆｓｅｔ＿ｌ３）のうちの少なくとも一つを含むことができる。前記動き補償に関する情報は、ＣＴＵ、符号化ブロック及び予測ブロックの少なくとも一つの単位でエントロピー符号化／復号できる。
スキップモード使用有無情報（ｃｕ＿ｓｋｉｐ＿ｆｌａｇ）は、第１の値である１を有する場合には、スキップモードの使用を指し示すことができ、第２の値である０を有する場合には、スキップモード使用を指し示さないことができる。スキップモード使用有無情報に基づいて、スキップモードを用いて現在ブロックの動き補償を行うことができる。
マージモード使用有無情報（ｍｅｒｇｅ＿ｆｌａｇ）は、第１の値である１を有する場合には、マージモード使用を指し示すことができ、第２の値である０を有する場合には、マージモードの使用を指し示さないことができる。マージモード使用有無情報に基づいて、スキップモードを用いて現在ブロックの動き補償を行うことができる。
マージインデックス情報（ｍｅｒｇｅ＿ｉｎｄｅｘ）は、マージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）内のマージ候補（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を指し示す情報を意味することができる。
また、マージインデックス情報は、マージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）に関する情報を意味することができる。
また、マージインデックス情報は、空間的／時間的に現在ブロックと隣接するように再構築されたブロックのうちのマージ候補を導出したブロックを指し示すことができる。
また、マージインデックス情報は、マージ候補が持つ動き情報のうちの少なくとも一つを指し示すことができる。たとえば、マージインデックス情報は、第１の値である０を有する場合、マージ候補リスト内の一番目のマージ候補を指し示すことができ、第２の値１を有する場合、マージ候補リスト内の二番目のマージ候補を指し示すことができ、第３の値２を有する場合、マージ候補リスト内の三番目のマージ候補を指し示すことができる。同様に、第４乃至第Ｎの値を有する場合、マージ候補リスト内の順序に基づいて、値に該当するマージ候補を指し示すことができる。ここで、Ｎは、０を含む正の整数を意味することができる。
マージモードインデックス情報に基づいて、マージモードを用いて現在ブロックの動き補償を行うことができる。
インター予測インジケータは、現在ブロックのインター予測で符号化／復号される場合、現在ブロックのインター予測方向または予測方向の個数のうちの少なくとも一つを意味することができる。一例として、インター予測インジケータは、一方向予測を指示し、或いは、双方向予測、三方向予測又は四方向予測などの複数方向予測を指示することができる。インター予測インジケータは、現在ブロックが予測ブロックを生成するときに使用する参照画像の数を意味することができる。又は、一つの参照画像が複数の方向予測のために利用されることもある。この場合、Ｍ個の参照画像を用いて、Ｎ（Ｎ＞Ｍ）個の方向予測を行うことができる。インター予測インジケータは、現在ブロックに対するインター予測又は動き補償を行うときに使用される予測ブロックの数を意味することもできる。
このように、インター予測インジケータに応じて、現在ブロックの予測ブロックを生成するときに使用される参照画像の数、現在ブロックのインター予測又は動き補償を行うときに使用される予測ブロックの数、又は現在ブロックが利用可能な参照画像リストの個数などが決定できる。ここで、参照画像リストの個数Ｎは、正の整数であって、１、２、３、４又はそれ以上の値を持つことができる。例えば、参照画像リストは、Ｌ０、Ｌ１、Ｌ２及びＬ３などを含むことができる。現在ブロックは、一つ以上の参照画像リストを用いて動き補償を行うことができる。
一例として、現在ブロックは、少なくとも一つの参照画像リストを用いて、少なくとも一つの予測ブロックを生成して、現在ブロックの動き補償を行うことができる。一例として、参照画像リストＬ０を用いて一つ又は一つ以上の予測ブロックを生成して動き補償を行うか、或いは、参照画像リストＬ０及びＬ１を用いて一つ又は一つ以上の予測ブロックを生成して動き補償を行うことができる。又は、参照画像リストＬ０、Ｌ１及びＬ２を用いて一つ、一つ以上の予測ブロック又は最大Ｎ個の予測ブロック（ここで、Ｎは３又は２以上の正の整数）を生成して動き補償を行うか、或いは、参照画像リストＬ０、Ｌ１、Ｌ２及びＬ３を用いて、一つ、一つ以上の予測ブロック又は最大Ｎ個の予測ブロック（ここで、Ｎは４又は２以上の正の整数）を用いて現在ブロックに対する動き補償を行うことができる。
参照画像インジケータは、現在ブロックの予測方向の数に応じて、一方向（ＰＲＥＤ＿ＬＸ）、双方向（ＰＲＥＤ＿ＢＩ）、三方向（ＰＲＥＤ＿ＴＲＩ）、四方向（ＰＲＥＤ＿ＱＵＡＤ）又はそれ以上の方向性を指示することができる。
一例として、各参照画像リストに対して一方向予測が行われることを仮定する場合、インター予測インジケータＰＲＥＤ＿ＬＸは、参照画像リストＬＸ（Ｘは０、１、２又は３などの整数）を用いて一つの予測ブロックを生成し、生成された一つの予測ブロックを用いてインター予測又は動き補償を行うことを意味することができる。インター予測インジケータＰＲＥＤ＿ＢＩは、Ｌ０、Ｌ１、Ｌ２及びＬ３参照画像リストを用いて、２つの予測ブロックを生成し、生成された２つの予測ブロックを用いて、インター予測又は動き補償を行うことを意味することができる。インター予測インジケータＰＲＥＤ＿ＴＲＩは、Ｌ０、Ｌ１、Ｌ２及びＬ３参照画像リストのうちの少なくとも一つを用いて３つの予測ブロックを生成し、生成された３つの予測ブロックを用いてインター予測又は動き補償を行うことを意味することができる。インター予測インジケータＰＲＥＤ＿ＱＵＡＤは、Ｌ０、Ｌ１、Ｌ２及びＬ３参照画像リストのうちの少なくとも一つを用いて４つの予測ブロックを生成し、生成された４つの予測ブロックを用いてインター予測又は動き補償を行うことを意味することができる。すなわち、現在ブロックのインター予測の実行に用いられる予測ブロックの数の合計がインター予測インジケータに設定できる。
参照画像リストに対して複数方向予測が行われる場合、インター予測インジケータＰＲＥＤ＿ＢＩは、Ｌ０参照画像リストに対する双方向予測が行われることを意味し、インター予測インジケータＰＲＥＤ＿ＴＲＩは、Ｌ０参照画像リストに対して三方向予測が行われること、Ｌ０参照画像リストに対して一方向予測が行われ、Ｌ１参照画像リストに対して双方向予測が行われること、又はＬ０参照画像リストに対して双方向予測が行われ、Ｌ１参照画像リストに対して一方向予測が行われることを意味することができる。
このように、インター予測インジケータは、少なくとも一つの参照画像リストから最小１個から最大Ｎ個（ここで、Ｎはインター予測インジケータによって指示される予測方向の数）の予測ブロックを生成して動き補償を行うことを意味し、或いは、Ｎ個の参照画像から最小１個から最大Ｎ個の予測ブロックを生成し、生成された予測ブロックを用いて現在ブロックに対する動き補償を行うことを意味することができる。
例えば、インター予測インジケータＰＲＥＤ＿ＴＲＩは、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストのうちの少なくとも一つを用いて３つの予測ブロックを生成して現在ブロックのインター予測或いは動き補償を行うことを意味するか、或いは、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストのうちの少なくとも３つを用いて３つの予測ブロックを生成して現在ブロックのインター予測或いは動き補償を行うことを意味することができる。また、ＰＲＥＤ＿ＱＵＡＤは、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストのうちの少なくとも一つを用いて４つの予測ブロックを生成して現在ブロックのインター予測或いは動き補償を行うことを意味するか、或いは、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストのうちの少なくとも４つを用いて４つの予測ブロックを生成して現在ブロックのインター予測或いは動き補償を行うインター予測インジケータを意味することができる。
インター予測インジケータに応じて利用可能なインター予測方向が決定でき、現在ブロックのサイズ及び／又は形状に基づいて前記利用可能なインター予測方向の全部又は一部が選択的に利用されてもよい。
予測リスト活用フラグ（ｐｒｅｄｉｃｔｉｏｎ ｌｉｓｔ ｕｔｉｌｉｚａｔｉｏｎ ｆｌａｇ）は、該当参照画像リストを用いて予測ブロックを生成するか否かを示す。
一例として、予測リスト活用フラグが、第１の値である１を指し示す場合には、当該参照画像リストを用いて予測ブロックを生成することができることを示し、第２の値である０を指し示す場合には、当該参照画像リストを用いて予測ブロックを生成しないことを示すことができる。ここで、予測リスト活用フラグの第１の値は０、第２の値は１に設定されてもよい。
つまり、予測リスト活用フラグが第１の値を指し示すとき、当該参照画像リストに相応する動き情報を用いて現在ブロックの予測ブロックを生成することができる。
一方、予測リスト活用フラグは、インター予測インジケータをベースに設定できる。一例として、インター予測インジケータがＰＲＥＤ＿ＬＸ、ＰＲＥＤ＿ＢＩ、ＰＲＥＤ＿ＴＲＩまたはＰＲＥＤ＿ＱＵＡＤを指し示す場合には、予測リスト活用フラグｐｒｅｄＦｌａｇＬＸは、第１の値である１に設定できる。もし、インター予測インジケータがＰＲＥＤ＿ＬＮ（ＮはＸではなく、正の整数）である場合には、予測リスト活用フラグｐｒｅｄＦｌａｇＬＸは、第２の値を０に設定できる。
また、インター予測インジケータは、予測リスト活用フラグに基づいて設定できる。一例として、予測リスト活用フラグｐｒｅｄＦｌａｇＬ０とｐｒｅｄＦｌａｇＬ１が、第１の値である１を指し示す場合には、インター予測インジケータをＰＲＥＤ＿ＢＩに設定することができる。一例として、予測リスト活用フラグｐｒｅｄＦｌａｇＬ０だけ第１の値である１を指し示す場合には、インター予測インジケータをＰＲＥＤ＿Ｌ０に設定することができる。
現在ブロックに対する動き補償の際に２つ以上の予測ブロックが生成された場合、各予測ブロックに対する加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）を介して、現在ブロックに対する最終予測ブロックが生成できる。加重和演算の際に、各予測ブロックに対して重み及びオフセットのうちの少なくとも一つが適用できる。重み（重み付け係数（ｗｅｉｇｈｔｅｄ ｆａｃｔｏｒ））又はオフセット（ｏｆｆｓｅｔ）などのように加重和演算に用いられる加重和ファクターは、参照画像リスト、参照画像、動きベクトル候補インデックス、動きベクトル差分、動きベクトル、スキップモード使用有無情報、マージモード使用有無情報、マージインデックス情報のうちの少なくとも一つの個数だけエントロピー符号化／復号できる。また、各予測ブロックの加重和ファクターは、インター予測インジケータに基づいてエントロピー符号化／復号できる。ここで、加重和ファクターは、重み及びオフセットのうちの少なくとも一つを含むことができる。
加重和ファクターは、符号化装置及び復号装置で予め定義された集合のいずれかを特定するインデックス情報によって導出されることも可能である。この場合、重み及びオフセットのうちの少なくとも一つを特定するためのインデックス情報がエントロピー符号化／復号できる。符号化器及び復号器で予め定義された集合は、重みとオフセットに対してそれぞれ定義できる。予め定められた集合は、一つまたはそれ以上の重み候補者またはオフセット候補者を含むことができる。また、重みとオフセットとのマッピング関係を規定するテーブルが利用されることもある。この場合、一つのインデックス情報を用いて前記テーブルから予測ブロックに対する重み値とオフセット値を取得することができる。エントロピー符号化／復号される重みに対するインデックス情報毎に、これにマッピングされるオフセットに対するインデックス情報がエントロピー符号化／復号されることも可能である。
加重和ファクターに関連する情報は、ブロック単位でエントロピー符号化／復号されてもよく、上位レベルでエントロピー符号化／復号されてもよい。一例として、重み又はオフセットは、ＣＴＵ、ＣＵ又はＰＵなどのブロック単位でエントロピー符号化／復号されるか、或いは、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、適応パラメータセット（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はスライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ）などの上位レベルでエントロピー符号化／復号できる。
加重和ファクターは、加重和ファクターと加重和ファクター予測値との差分値を示す加重和ファクター差分値に基づいてエントロピー符号化／復号されることも可能である。一例として、重み予測値と重み差分値をエントロピー符号化／復号し、或いはオフセット予測値とオフセット差分値をエントロピー符号化／復号することができる。ここで、重み差分値は重みと重み予測値との差分値を示し、オフセット差分値はオフセットとオフセット予測値との差分値を示すことができる。
このとき、加重和ファクター差分値は、ブロック単位でエントロピー符号化／復号され、加重和ファクター予測値は、上位レベルでエントロピー符号化／復号され得る。重み予測値又はオフセット予測値などの加重和ファクター予測値がピクチャ又はスライス単位でエントロピー符号化／復号される場合、ピクチャ又はスライスに含まれているブロックは共通の加重和ファクター予測値を用いることができる。
加重和ファクター予測値は、画像、スライス或いはタイル内の特定の領域又はＣＴＵ又はＣＵ内の特定の領域を介して導出されることも可能である。一例として、画像、スライス、タイル、ＣＴＵ又はＣＵ内の特定の領域の重み値又はオフセット値を重み予測値又はオフセット予測値として使用することができる。この場合、加重和ファクター予測値のエントロピー符号化／復号は省略し、加重和ファクター差分値のみをエントロピー符号化／復号することができる。
又は、加重和ファクター予測値は、現在ブロックの近傍に符号化／復号された近傍ブロックから導出されることも可能である。一例として、現在ブロックの近傍に符号化／復号された近傍ブロックの重み値又はオフセット値を現在ブロックの重み予測値又はオフセット予測値として設定することができる。ここで、現在ブロックの近傍ブロックは、空間マージ候補の導出に用いられるブロック、及び時間マージ候補の導出に用いられるブロックのうちの少なくとも一つを含むことができる。
重み予測値及び重み差分値を用いる場合、復号装置は、重み予測値及び重み差分値を合わせて予測ブロックに対する重み値を算出することができる。また、オフセット予測値及びオフセット差分値を用いる場合、復号装置は、オフセット予測値及びオフセット差分値を合わせて、予測ブロックに対するオフセット値を算出することができる。
加重和ファクター或いは加重和ファクターの差分値は、現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいてエントロピー符号化／復号できる。
現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいて加重和ファクター、加重和ファクターの予測値或いは加重和ファクターの差分値を、現在ブロックの加重和ファクター、加重和ファクターの予測値或いは加重和ファクターの差分値として導出することができる。
現在ブロックの加重和ファクターに関する情報をエントロピー符号化／復号する代わりに、現在ブロックの近傍に符号化／復号されたブロックの加重和ファクターを、現在ブロックの加重和ファクターとして用いることも可能である。一例として、現在ブロックの重みまたはオフセットは、現在ブロックの近傍に符号化／復号された近傍ブロックの重みまたはオフセットと同一の値に設定することができる。
現在ブロックは、加重和ファクターのうちの少なくとも一つを用いて動き補償を行うか、或いは導出された加重和ファクターのうちの少なくとも一つを用いて動き補償を行うことができる。
前記加重和ファクターは、動き補償に関する情報に含まれ得る。
上述した動き補償に関する情報のうちの少なくとも一つは、ＣＴＵまたはＣＴＵの下位ユニット（ｓｕｂ－ＣＴＵ）のうちの少なくとも一つの単位でエントロピー符号化／復号できる。ここで、ＣＴＵの下位ユニットは、ＣＵ及びＰＵのうちの少なくとも一つの単位を含むことができる。ＣＴＵの下位ユニットのブロックは、正方形（ｓｑｕａｒｅ）または非正方形（ｎｏｎ－ｓｑｕａｒｅ）の形態であり得る。後述する動き補償に関する情報は、便宜上、動き補償に関する情報のうちの少なくとも一つを意味することができる。
ＣＴＵの動き補償に関する情報がエントロピー符号化／復号される場合、動き補償に関する情報の値に応じて、ＣＴＵに存在する全部または一部のブロックで当該動き補償に関する情報を用いて動き補償を行うことができる。
ＣＴＵまたはＣＴＵの下位ユニットで動き補償に関する情報をエントロピー符号化／復号される場合、所定のブロックサイズまたは所定のブロック深さのうちの少なくとも一つに基づいて、動き補償に関する情報をエントロピー符号化／復号することができる。
ここで、所定のブロックサイズまたは所定のブロック深さに関する情報は、さらにエントロピー符号化／復号できる。または、所定のブロックサイズまたは所定のブロック深さに関する情報は、符号化器及び復号器で予め設定された値、符号化パラメータのうちの少なくとも一つまたは他の構文要素の値のうちの少なくとも一つに基づいて決定されることもある。
所定のブロックサイズと同じかそれより大きいブロックサイズを有するブロックでのみ、動き補償に関する情報がエントロピー符号化／復号され、所定のブロックサイズよりも小さいブロックサイズを有するブロックでは、動き補償に関する情報がエントロピー符号化／復号されないことがある。この場合には、所定のブロックサイズと同じかそれより大きいブロックサイズを有するブロック内の下位ブロックは、所定のブロックサイズと同じかそれより大きいブロックサイズを有するブロックでエントロピー符号化／復号された動き補償に関する情報に基づいて動き補償を実行することができる。つまり、所定のブロックサイズと同じかそれより大きいブロックサイズを有するブロック内の下位ブロックは、動きベクトル候補、動きベクトル候補リスト、マージ候補、マージ候補リストなどを含む動き補償に関する情報が共有できる。
所定のブロック深さと同じかそれより浅いブロック深さを有するブロックのみで、動き補償に関する情報がエントロピー符号化／復号され、所定のブロック深さよりも深いブロック深さを有するブロックでは、動き補償に関する情報がエントロピー符号化／復号されないことがある。この場合には、所定のブロック深さと同じかそれより浅いブロック深さを有するブロック内の下位ブロックは、所定のブロック深さと同じかそれよりも浅いブロック深さを有するブロックでエントロピー符号化／復号される動き補償に関する情報に基づいて動き補償を行うことができる。つまり、所定のブロック深さと同じかそれより浅いブロック深さを有するブロック内の下位ブロックは、動きベクトル候補、動きベクトル候補リスト、マージ候補、マージ候補リストなどを含む動き補償に関する情報が共有できる。
一例として、ＣＴＵのブロックサイズが６４ｘ６４である、サイズ３２ｘ３２のＣＴＵ下位ユニットで動き補償に関する情報がエントロピー符号化／復号される場合には、３２ｘ３２ブロックに属し、３２ｘ３２ブロック単位よりもサイズが小さいブロックでは、３２ｘ３２ブロック単位でエントロピー符号化／復号される動き補償に関する情報に基づいて動き補償を行うことができる。
他の例として、ＣＴＵのブロックサイズが１２８ｘ１２８である、サイズ１６ｘ１６のＣＴＵ下位ユニットで動き補償に関する情報がエントロピー符号化／復号される場合には、１６ｘ１６ブロックに属し、１６ｘ１６ブロック単位と同じかそれより小さいサイズのブロックでは、１６ｘ１６ブロック単位でエントロピー符号化／復号される動き補償に関する情報に基づいて動き補償を行うことができる。
他の例として、ＣＴＵのブロック深さが０であり且つブロック深さが１であるＣＴＵ下位ユニットで動き補償に関する情報がエントロピー符号化／復号される場合には、ブロック深さ１に属し、ブロック深さ１よりもさらに深いブロック深さを有するブロックでは、ブロック深さ１でエントロピー符号化／復号される動き補償に関する情報に基づいて動き補償を行うことができる。
たとえば、ＣＴＵのブロック深さが０であり且つブロック深さが２であるＣＴＵ下位ユニットで動き補償に関する情報のうちの少なくとも一つがエントロピー符号化／復号される場合には、ブロック深さ２に属し、ブロック深さ２と同じかそれよりもさらに深いブロック深さを有するブロックでは、ブロック深さ２でエントロピー符号化／復号される動き補償に関する情報に基づいて動き補償を行うことができる。
ここで、ブロック深さの値は、０を含む正の整数を持つことができる。ブロック深さの値が増加するほど深さが深いことを意味することができ、ブロック深さの値が減少するほど深さが浅いことを意味することができる。したがって、ブロック深さの値が増加するほど、ブロックサイズは小さくなることができ、ブロック深さの値が減少するほど、ブロックサイズは増加することができる。また、所定のブロック深さの下位は、所定のブロック深さよりもさらに深い深さを意味することができ、所定のブロック深さの下位は、所定のブロック深さに該当するブロック内でさらに深い深さを意味することができる。
動き補償に関する情報は、ブロック単位でエントロピー符号化／復号されることもあり、上位レベルでエントロピー符号化／復号されることもある。一例として、動き補償に関する情報は、ＣＴＵ、ＣＵまたはＰＵなどのブロック単位でエントロピー符号化／復号されるか、ビデオのパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、適応パラメータセット（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）またはスライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ）などの上位レベルでエントロピー符号化／復号できる。
動き補償に関する情報は、動き補償に関する情報と動き補償に関する情報予測値との間の差分値を示す動き補償に関する情報差分値に基づいてエントロピー符号化／復号されることもできる。動き補償に関する情報の一つであるインター予測インジケータを例として挙げると、インター予測インジケータ予測値とインター予測インジケータ差分値をエントロピー符号化／復号することができる。このとき、インター予測インジケータ差分値は、ブロック単位でエントロピー符号化／復号され、インター予測インジケータ予測値は、上位レベルでエントロピー符号化／復号され得る。インター予測インジケータ予測値などの動き補償に関する情報予測値がピクチャまたはスライス単位でエントロピー符号化／復号される場合には、ピクチャまたはスライスに含まれているブロックは、共通の動き補償に関する情報予測値を用いることができる。
動き補償に関する情報予測値は、画像、スライス或いはタイル内の特定の領域、またはＣＴＵまたはＣＵ内の特定の領域を介して導出されることもある。一例として、画像、スライス、タイル、ＣＴＵまたはＣＵ内の特定の領域のインター予測インジケータをインター予測インジケータ予測値として使用することができる。この場合には、動き補償に関する情報予測値のエントロピー符号化／復号は省略し、動き補償に関する情報差分値のみをエントロピー符号化／復号することができる。
または、動き補償に関する情報予測値は、現在ブロックの近傍に符号化／復号された近傍ブロックから導出されることもある。一例として、現在ブロックの近傍に符号化／復号された近傍ブロックのインター予測インジケータを、現在ブロックのインター予測インジケータ予測値として設定することができる。ここで、現在ブロックの近傍ブロックは、空間マージ候補を導出するために用いられるブロックと、時間マージ候補を導出するために用いられるブロックのうちの少なくとも一つを含むことができる。また、近傍ブロックは、現在ブロックの深さと同じかそれより小さい深さを有するものであってもよい。複数の近傍ブロックがある場合には、所定の優先順位に基づいていずれか一つを選択的に用いることができる。動き補償に関する情報を予測するために用いられる近傍ブロックは、現在ブロックを基準に固定された位置を持ってもよく、現在ブロックの位置に応じた可変的位置を持ってもよい。ここで、現在ブロックの位置は、現在ブロックの属したピクチャまたはスライスを基準とする位置であってもよく、現在ブロックの属したＣＴＵ、ＣＵ、またはＰＵの位置を基準とする位置であってもよい。
前記マージインデックス情報は、符号化器と復号器で予め決められた集合内でインデックス情報を用いて算出できる。
動き補償に関する情報予測値及び動き補償に関する情報差分値を用いる場合には、復号装置は、動き補償に関する情報予測値と動き補償に関する情報差分値を合わせて予測ブロックに対する動き補償に関する情報値を算出することができる。
動き補償に関する情報または動き補償に関する情報の差分値は、現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいてエントロピー符号化／復号できる。
現在ブロック、近傍ブロック、または対応位置ブロックの符号化パラメータのうちの少なくとも一つに基づいて、動き補償に関する情報、動き補償に関する情報の予測値、或いは動き補償に関する情報の差分値を、現在ブロックの動き補償に関する情報、動き補償に関する情報の予測値、あるいは動き補償に関する情報の差分値として導出することができる。
現在ブロックの動き補償に関する情報をエントロピー符号化／復号する代わりに、現在ブロックの近傍に符号化／復号されたブロックの動き補償に関する情報を、現在ブロックの動き補償に関する情報として用いることも可能である。一例として、現在ブロックのインター予測インジケータは、現在ブロックの近傍に符号化／復号された近傍ブロックのインター予測インジケータと同一の値に設定できる。
また、動き補償に関する情報のうちの少なくとも一つは、符号化器と復号器で予め設定された固定値を持つことができる。前記予め設定された固定値を、動き補償に関する情報のうちの少なくとも一つの値に対する値として決定することができ、特定のブロックサイズの内部でより小さいブロックサイズを持つブロックでは、前記予め設定された固定値を持つ動き補償に関する情報のうちの少なくとも一つを共有することができる。同様に、特定のブロックサイズの下位でより深いブロック深さを有するブロックでは、前記予め設定された固定値を持つ動き補償に関する情報のうちの少なくとも一つを共有することができる。ここで、固定値は、０を含む正の整数値であるか、（０，０）を含む整数ベクトル値であり得る。
ここで、動き補償に関する情報のうちの少なくとも一つを共有するというのは、ブロックで動き補償に関する情報のうちの少なくとも一つの情報に対して互いに同一の値を持つことができるか、ブロックで動き補償に関する情報のうちの少なくとも一つの互いに同一の値を用いて動き補償を行うことを意味することができる。
動き補償に関する情報は、動きベクトル、動きベクトル候補、動きベクトル候補インデックス、動きベクトル差分値、動きベクトル予測値、スキップモード使用有無情報（ｓｋｉｐ＿ｆｌａｇ）、マージモード使用有無情報（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス情報（ｍｅｒｇｅ＿ｉｎｄｅｘ）、動きベクトル解像度（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）情報、重畳したブロック動き補償（ｏｖｅｒｌａｐｐｅｄ ｂｌｏｃｋ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）情報、地域照明補償（ｌｏｃａｌ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）情報、アフィン動き補償（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）情報、復号器動きベクトル導出（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ）情報、及び双方向光学流れ（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）情報のうちの少なくとも一つをさらに含むことができる。
動きベクトル解像度情報は、動きベクトル及び動きベクトル差分値のうちの少なくとも一つに対して特定の解像度を使用するか否かを示す情報であり得る。ここで、解像度は、精度（ｐｒｅｃｉｓｉｏｎ）を意味することができる。また、特定の解像度は、整数－画素（ｉｎｔｅｇｅｒ－ｐｅｌ）ユニット、１／２画素（１／２－ｐｅｌ）ユニット、１／４画素（１／４－ｐｅｌ）ユニット、１／８画素（１／８－ｐｅｌ）ユニット、１／１６画素（１／１６－ｐｅｌ）ユニット、１／３２画素（１／３２－ｐｅｌ）ユニット、１／６４画素（１／６４－ｐｅｌ）単位のうちの少なくとも一つに設定できる。
重畳したブロック動き補償情報は、現在ブロックの動き補償時に現在ブロックに空間的に隣接する近傍ブロックの動きベクトルをさらに使用して現在ブロックの予測ブロックの加重和を計算するか否かを示す情報であり得る。
地域照明補償情報は、現在ブロックの予測ブロック生成の際に重み値及びオフセット値のうちの少なくとも一つを適用するか否かを示す情報であり得る。ここで、重み値及びオフセット値のうちの少なくとも一つは、参照ブロックに基づいて算出された値であり得る。
アフィン動き補償情報は、現在ブロックに対する動き補償の際にアフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を使用するか否かを示す情報であり得る。ここで、アフィン動きモデルは、複数のパラメータを用いて１つのブロックを多数の下位ブロックに分割し、代表動きベクトルを用いて分割された下位ブロックの動きベクトルを算出するモデルであり得る。
復号器動きベクトル導出情報は、動き補償に必要な動きベクトルを復号器で導出して使用するか否かを示す情報であり得る。復号器動きベクトル導出情報に基づいて、動きベクトルに関する情報はエントロピー符号化／復号されないことがある。そして、復号器動きベクトル導出情報が復号器で動きベクトルを導出して使用することを示す場合、マージモードに関する情報がエントロピー符号化／復号できる。つまり、復号器動きベクトル導出情報は、復号器でマージモードを用いるか否かを示すことができる。
双方向光学流れ情報は、ピクセル単位または下位ブロック単位で動きベクトルを補正して動き補償を行うか否かを示す情報であり得る。双方向光学流れ情報に基づいて、ピクセル単位または下位ブロック単位の動きベクトルはエントロピー符号化／復号されないことがある。ここで、動きベクトル補正は、ブロック単位の動きベクトルをピクセル単位または下位ブロック単位の動きベクトル値に変更することであり得る。
現在ブロックは動き補償に関する情報のうちの少なくとも一つを用いて動き補償を行い、動き補償に関する情報のうちの少なくとも一つをエントロピー符号化／復号することができる。
図３２は所定のブロックサイズよりも小さいブロックでマージモードが用いられる一実施形態を説明するための図である。
図３２を参照すると、所定のブロックサイズが８ｘ８である場合、８ｘ８よりも小さいブロック（斜線付きブロック）は、マージモードを使用することができる。
一方、ブロック間のサイズを比較するとき、所定のブロックサイズよりも小さいというのは、ブロック内に存在するサンプルの総和が小さいことを意味することができる。一例として、３２ｘ１６ブロックは、５１２個のサンプルを持つので、１０２４個のサンプルを持つ３２ｘ３２ブロックよりもサイズが小さく、４ｘ１６ブロックは、６４個のサンプルを持つので、８ｘ８ブロックとサイズが同じであるといえる。
動き補償に関連した情報をエントロピー符号化／復号する場合、切り捨てられたライス（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）２値化方法、Ｋ次数指数－ゴロム（Ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐ＿Ｇｏｌｏｍｂ）２値化方法、制限されたＫ次数指数－ゴロム（Ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐ＿Ｇｏｌｏｍｂ）２値化方法、固定長（Ｆｉｘｅｄ－ｌｅｎｇｔｈ）２値化方法、単項（Ｕｎａｒｙ）２値化方法、又は切り捨てられた単項（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）２値化方法などの２値化（Ｂｉｎａｒｉｚａｔｉｏｎ）方法が利用できる。
動き補償に関する情報をエントロピー符号化／復号するとき、現在ブロック近傍の近傍ブロックの動き補償に関する情報または近傍ブロックの領域情報、前に符号化／復号された動き補償に関する情報または前に符号化／復号された領域情報、現在ブロックの深さに関する情報、及び現在ブロックのサイズに関する情報のうちの少なくとも一つを用いて、コンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができる。
また、動き補償に関する情報をエントロピー符号化／復号するとき、近傍ブロックの動き補償に関する情報、前に符号化／復号された動き補償に関する情報、現在ブロックの深さに関する情報、及び現在ブロックのサイズに関する情報のうちの少なくとも一つを、現在ブロックの動き補償に関する情報に対する予測値として用いて、エントロピー符号化／復号を行うこともできる。
輝度及び色差信号それぞれに対して前記符号化／復号処理を行うことができる。例えば、前記符号化／復号処理で、インター予測インジケータの取得、マージ候補リストの生成、動き情報の導出及び動き補償の実行のうちの少なくとも一つの方法が、輝度信号及び色差信号に対して異ならせて適用できる。
輝度及び色差信号に対する前記符号化／復号処理を同様に行うことができる。例えば、輝度信号に対して適用した前記符号化／復号処理でインター予測インジケータ、マージ候補リスト、マージ候補、参照画像及び参照画像リストのうちの少なくとも一つを色差信号に同様に適用することができる。
これらの方法は、符号化器及び復号器で同様の方法で行うことができる。例えば、前記符号化／復号処理で、インター予測インジケータの取得、マージ候補リストの生成、動き情報の導出及び動き補償の実行のうちの少なくとも一つの方法が符号化器及び復号器で同様に適用できる。また、これらの方法の適用順序は符号化器と復号器で互いに異なってもよい。
上述した本発明の実施形態は、符号化ブロック、予測ブロック、ブロック及びユニットのうちの少なくとも一つの大きさに応じて適用できる。ここでのサイズは、これらの実施形態が適用されるために、最小サイズ及び／又は最大サイズと定義されることもあり、前記実施形態が適用される固定サイズと定義されることもある。また、これらの実施形態は、第１の大きさでは第１実施形態が適用でき、第２の大きさでは第２実施形態が適用できる。すなわち、これらの実施形態は、大きさに応じて複合的に適用できる。また、上述した本発明の実施形態は、最小サイズ以上及び最大サイズ以下の場合にのみ適用できる。すなわち、これらの実施形態を、ブロックのサイズが一定の範囲内に含まれる場合にのみ適用可能である。
たとえば、符号化／復号対象ブロックのサイズが８ｘ８以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが１６ｘ１６以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが３２ｘ３２以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが６４ｘ６４以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが１２８ｘ１２８以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが４ｘ４である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが８ｘ８以下である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが１６ｘ１６以下である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが８ｘ８以上、１６ｘ１６以下である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが１６ｘ１６以上、６４ｘ６４以下である場合にのみ、前記実施形態が適用できる。
上述した本発明の実施形態は、時間的階層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）に応じて適用できる。これらの実施形態が適用可能な時間的階層を識別するために、別途の識別子（ｉｄｅｎｔｉｆｉｅｒ）がシグナリングされ、該当識別子によって特定された時間的階層に対してこれらの実施形態が適用できる。ここでの識別子は、前記実施形態に適用可能な最小階層及び／又は最大階層と定義されることもあり、前記実施形態が適用される特定の階層を指し示すものと定義されることもある。
たとえば、現在画像の時間的階層が最下位階層である場合にのみ、前記実施形態が適用できる。たとえば、現在画像の時間的階層識別子が０である場合にのみ、前記実施形態が適用できる。たとえば、現在画像の時間的階層識別子が１以上である場合にのみ、前記実施形態が適用できる。たとえば、現在画像の時間的階層が最上位階層である場合にのみ、前記実施形態が適用できる。
上述した本発明の実施形態のように、参照画像リストの生成（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ ｃｏｎｓｔｒｕｃｔｉｏｎ）及び参照画像リストの修正（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ ｍｏｄｉｆｉｃａｔｉｏｎ）処理に使用される参照画像セット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）は、Ｌ０、Ｌ１、Ｌ２及びＬ３のうちの少なくとも一つの参照画像リストを使用することができる。
本発明の実施形態によってデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）が境界強度（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）を算出するとき、符号化／復号対象ブロックの動きベクトルを一つ以上、最大Ｎ個まで使用することができる。ここで、Ｎは、１以上の正の整数であって、２、３、４などを示す。
動きベクトル予測時の動きベクトルが１６－画素（１６－ｐｅｌ）単位、８－画素（８－ｐｅｌ）単位、４－画素（４－ｐｅｌ）単位、整数－画素（ｉｎｔｅｇｅｒ－ｐｅｌ）単位、１／２－画素（１／２－ｐｅｌ）単位、１／４－画素（１／４－ｐｅｌ）単位、１／８－画素（１／８－ｐｅｌ）単位、１／１６－画素（１／１６－ｐｅｌ）単位、１／３２－画素（１／３２－ｐｅｌ）単位及び１／６４－画素（１／６４－ｐｅｌ）単位のうちの少なくとも一つを持つときも、上述した本発明の実施形態が適用できる。また、マージモードの実行の際に、動きベクトルは前記画素単位別に選択的に使用できる。
上述した本発明の実施形態が適用されるスライスタイプ（ｓｌｉｃｅ ｔｙｐｅ）が定義され、当該スライスタイプに応じて本発明の実施形態が適用できる。
例えば、スライスタイプがＴ（Ｔｒｉ－ｐｒｅｄｉｃｔｉｖｅ）－ｓｌｉｃｅである場合、少なくとも３つの動きベクトルを用いて予測ブロックを生成し、少なくとも３つの予測ブロックの加重和を計算して符号化／復号対象ブロックの最終予測ブロックとして使用することができる。例えば、スライスタイプがＱ（Ｑｕａｄ－ｐｒｅｄｉｃｔｉｖｅ）－ｓｌｉｃｅである場合、少なくとも４つの動きベクトルを用いて予測ブロックを生成し、少なくとも４つの予測ブロックの加重和を計算して符号化／復号対象ブロックの最終予測ブロックとして使用することができる。
上述した本発明の実施形態は、マージモードを用いたインター予測及び動き補償方法に適用できるのみならず、動きベクトル予測を用いたインター予測及び動き補償方法、スキップモードなどを用いたインター予測及び動き補償方法に適用できる。
上述した本発明の実施形態が適用されるブロックの形状は、正方形（ｓｑｕａｒｅ）或いは非正方形（ｎｏｎ－ｓｑｕａｒｅ）の形状を有することができる。
以上では、図１２乃至図３２を参照して、本発明に係るマージモードを用いた画像符号化及び復号方法について説明した。以下、図３３及び図３４を参照して、本発明に係る画像復号方法、画像符号化方法、画像復号器、画像符号化器及びビットストリームについて具体的に説明する。
図３３は本発明に係る画像復号方法を説明するための図である。
図３３を参照すると、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成することができる（Ｓ３３０１）。
ここで、複数の参照画像リストそれぞれに対応するマージ候補は、参照画像リストＬＸの対応するＬＸ動き情報を持つマージ候補を意味することができる。一例として、Ｌ０動き情報を持つＬ０マージ候補、Ｌ１動き情報を持つＬ１マージ候補、Ｌ２動き情報を持つＬ２マージ候補、Ｌ３動き情報を持つＬ３マージ候補などがあり得る。
一方、マージ候補リストは、現在ブロックの空間的近傍ブロックから導出される空間マージ候補、現在ブロックの対応位置ブロックから導出される時間マージ候補、空間マージ候補を変更して導出される変更された空間マージ候補、時間マージ候補を変更して導出される変更された時間マージ候補、予め定義された動き情報値を持つマージ候補のうちの少なくとも一つを含むことができる。ここで、予め定義された動き情報値を持つマージ候補はゼロマージ候補であり得る。
この場合、空間マージ候補は、現在ブロックに隣接する近傍ブロックの下位ブロックから導出できる。そして、時間マージ候補は、現在ブロックの対応位置ブロックの下位ブロックから導出できる。
一方、マージ候補リストは、空間マージ候補、時間マージ候補、変更された空間マージ候補、変更された時間マージ候補のうちの２つ以上を用いて導出される組み合わせマージ候補をさらに含むことができる。
生成されたマージ候補リストを用いて、少なくとも一つの動き情報を決定することができる（Ｓ３３０２）。
決定された少なくとも一つの動き情報を用いて、現在ブロックの予測ブロックを生成することができる（Ｓ３３０３）。
ここで、現在ブロックの予測ブロックを生成するステップ（Ｓ３３０３）は、現在ブロックのインター予測インジケータに応じて、複数の臨時予測ブロックを生成し、生成された複数の臨時予測ブロックに重み及びオフセットのうちの少なくとも一つを適用して現在ブロックの予測ブロックを生成することができる。
この場合、前記重み及び前記オフセットのうちの少なくとも一つは、所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深いブロックで共有できる。
一方、マージ候補リストは、所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深いブロックで共有できる。
そして、マージ候補リストは、現在ブロックが所定のブロックサイズよりも小さいか或いは所定のブロック深さよりも深い場合には、所定のブロックサイズまたは所定のブロック深さを有する現在ブロックの上位ブロックを基準に生成できる。
現在ブロックの予測ブロックは、複数のマージ候補または複数のマージ候補リストに基づいて生成された複数の予測ブロックに加重和に対する情報を適用して生成できる。
図３４は本発明に係る画像符号化方法を説明するための図である。
図３４を参照すると、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成することができる（Ｓ３４０１）。
生成されたマージ候補リストを用いて、少なくとも一つの動き情報を決定することができる（Ｓ３４０２）。
そして、決定された少なくとも一つの動き情報を用いて、現在ブロックの予測ブロックを生成することができる（Ｓ３４０３）。
本発明に係る画像復号器は、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成し、マージ候補リストを用いて、少なくとも一つの動き情報を決定し、決定された少なくとも一つの動き情報を用いて、現在ブロックの予測ブロックを生成するインター予測部を含む画像復号器であり得る。
本発明に係る画像符号化器は、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成し、マージ候補リストを用いて、少なくとも一つの動き情報を決定し、決定された少なくとも一つの動き情報を用いて、現在ブロックの予測ブロックを生成するインター予測部を含む画像符号化器であり得る。
本発明に係るビットストリームは、複数の参照画像リストそれぞれに対応するマージ候補のうちの少なくとも一つを含む現在ブロックのマージ候補リストを生成するステップと、マージ候補リストを用いて、少なくとも一つの動き情報を決定するステップ、及び決定された少なくとも一つの動き情報を用いて、現在ブロックの予測ブロックを生成するステップを含む画像符号化方法によって生成されたビットストリームであり得る。
上述した実施形態において、これらの方法は、一連のステップ又はユニットをもってフローチャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるものではなく、あるステップは、上述したのとは異なるステップ及び異なる順に又は同時に行われてもよい。また、当該技術分野における通常の知識を有する者であれば、フローチャートに示されたステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響することなく削除できることを理解することができるだろう。
上述した実施形態は、様々な態様の例示を含む。様々な態様を示すためのすべての可能な組み合わせを記述することはできないが、当該技術分野における通常の知識を有する者は、他の組み合わせが可能であることを認識することができるだろう。よって、本発明は、以下の特許請求の範囲内に属するすべての様々な交替、修正及び変更を含むといえる。
以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行できるプログラム命令の形で実現され、コンピュータ可読の記録媒体に記録できる。前記コンピュータ可読の記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ可読の記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたもの、又はコンピュータソフトウェア分野の当業者に公知されて使用可能なものである。コンピュータ可読の記録媒体の例には、ハードディスク、フロッピーディスク（登録商標）及び磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
以上で、本発明が、具体的な構成要素などの特定の事項、限定された実施形態及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施形態に限定されるものではない。本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形したすべてのものは本発明の思想の範疇に属するというべきである。
本発明は、画像を符号化／復号する装置に利用可能である。

Claims (4)

  1. 現在ブロックのマージ候補リストを生成するステップと、
    前記現在ブロックのマージ候補リストから、第１参照画像リストに対する第１動き情報及び第２参照画像リストに対する第２動き情報を導出するステップと、
    差分絶対値和（ＳＡＤ）に基づいて計算された歪みに基づいて、前記第１動き情報及び前記第２動き情報を精緻化するステップと、
    を含む画像復号方法。
  2. 前記第１参照画像リストの予測方向は、前記第２参照画像リストの予測方向と異なる、
    請求項１に記載の画像復号方法。
  3. 前記精緻化された第１動き情報及び前記精緻化された第２動き情報は、前記現在ブロックの下位ブロック単位で導出される、
    請求項１に記載の画像復号方法。
  4. 現在ブロックのマージ候補リストを生成するステップと、
    前記現在ブロックのマージ候補リストから、第１参照画像リストに対する第１動き情報及び第２参照画像リストに対する第２動き情報を導出するステップと、
    差分絶対値和（ＳＡＤ）に基づいて計算された歪みに基づいて、前記第１動き情報及び前記第２動き情報を精緻化するステップと、
    を含む画像符号化方法。
JP2021142499A 2016-07-12 2021-09-01 画像復号方法及び画像符号化方法 Pending JP2022008317A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023159358A JP2023164731A (ja) 2016-07-12 2023-09-25 画像復号方法、画像符号化方法及びコンピュータ可読の記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160088250 2016-07-12
KR10-2016-0088250 2016-07-12
JP2019500638A JP6938612B2 (ja) 2016-07-12 2017-07-12 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
PCT/KR2017/007481 WO2018012886A1 (ko) 2016-07-12 2017-07-12 영상 부호화/복호화 방법 및 이를 위한 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019500638A Division JP6938612B2 (ja) 2016-07-12 2017-07-12 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023159358A Division JP2023164731A (ja) 2016-07-12 2023-09-25 画像復号方法、画像符号化方法及びコンピュータ可読の記録媒体

Publications (1)

Publication Number Publication Date
JP2022008317A true JP2022008317A (ja) 2022-01-13

Family

ID=60953183

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019500638A Active JP6938612B2 (ja) 2016-07-12 2017-07-12 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
JP2021142499A Pending JP2022008317A (ja) 2016-07-12 2021-09-01 画像復号方法及び画像符号化方法
JP2023159358A Pending JP2023164731A (ja) 2016-07-12 2023-09-25 画像復号方法、画像符号化方法及びコンピュータ可読の記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019500638A Active JP6938612B2 (ja) 2016-07-12 2017-07-12 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023159358A Pending JP2023164731A (ja) 2016-07-12 2023-09-25 画像復号方法、画像符号化方法及びコンピュータ可読の記録媒体

Country Status (5)

Country Link
US (2) US11509930B2 (ja)
JP (3) JP6938612B2 (ja)
KR (5) KR102270228B1 (ja)
CN (6) CN116614641A (ja)
WO (1) WO2018012886A1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095898B2 (en) * 2016-03-28 2021-08-17 Lg Electronics Inc. Inter-prediction mode based image processing method, and apparatus therefor
US10484703B2 (en) * 2017-02-07 2019-11-19 Mediatek Inc. Adapting merge candidate positions and numbers according to size and/or shape of prediction block
US10750181B2 (en) 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
KR20190044533A (ko) * 2017-10-20 2019-04-30 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019151093A1 (en) * 2018-01-30 2019-08-08 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction for video coding using motion vector predictor origins
US11233996B2 (en) 2018-02-22 2022-01-25 Lg Electronics Inc. Image decoding method and apparatus according to block division structure in image coding system
US11595664B2 (en) * 2018-04-03 2023-02-28 Intellectual Discovery Co., Ltd. Affine model-based image encoding/decoding method and device
WO2019194653A1 (ko) * 2018-04-06 2019-10-10 가온미디어 주식회사 움직임 정보의 복합적 머지 모드 처리를 제공하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
CN116668678A (zh) 2018-05-10 2023-08-29 Lg电子株式会社 图像编解码方法、计算机可读存储介质和数据发送方法
US10798407B2 (en) * 2018-06-01 2020-10-06 Tencent America LLC Methods and apparatus for inter prediction with a reduced above line buffer in video coding
WO2019234578A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
CN112272952B (zh) 2018-06-11 2022-07-01 寰发股份有限公司 用于视频编解码的双向光流的方法以及装置
US11695967B2 (en) * 2018-06-22 2023-07-04 Op Solutions, Llc Block level geometric partitioning
TWI724442B (zh) 2018-06-29 2021-04-11 大陸商北京字節跳動網絡技術有限公司 用於查找表更新的編碼的運動信息的選擇
SG11202013028PA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Interaction between lut and amvp
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
KR102648120B1 (ko) 2018-06-29 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
SG11202011714RA (en) 2018-06-29 2020-12-30 Beijing Bytedance Network Technology Co Ltd Partial/full pruning when adding a hmvp candidate to merge/amvp
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
CN112369035A (zh) * 2018-06-30 2021-02-12 金起佰 图像编码/解码方法和设备
BR112020025916A2 (pt) * 2018-06-30 2021-03-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Método para decodificar um sinal de vídeo
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
KR102545728B1 (ko) * 2018-07-16 2023-06-20 엘지전자 주식회사 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
WO2020024966A1 (en) * 2018-07-31 2020-02-06 Mediatek Inc. Method and apparatus of merge with motion vector difference for video coding
CN112585976A (zh) 2018-08-06 2021-03-30 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
US11470348B2 (en) * 2018-08-17 2022-10-11 Hfi Innovation Inc. Methods and apparatuses of video processing with bi-direction prediction in video coding systems
US10924731B2 (en) * 2018-08-28 2021-02-16 Tencent America LLC Complexity constraints on merge candidates list construction
CN111064959B (zh) 2018-09-12 2023-09-01 北京字节跳动网络技术有限公司 要检查多少个hmvp候选
SG11202102857QA (en) * 2018-09-21 2021-04-29 Guangdong Oppo Mobile Telecommunications Corp Ltd Method for encoding/decoding image signal and apparatus therefor
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN112840654B (zh) 2018-10-12 2024-04-16 韦勒斯标准与技术协会公司 使用多假设预测的视频信号处理方法和装置
GB2595053B (en) 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
JP7460616B2 (ja) * 2018-11-08 2024-04-04 オッポ広東移動通信有限公司 ビデオエンコーディング／デコーディング方法、ビデオエンコーダ、ビデオデコーダ、ビデオエンコーディング装置、ビデオデコーディング装置及びコンピュータ可読記憶媒体
WO2020096425A1 (ko) * 2018-11-08 2020-05-14 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
EP3861744A4 (en) * 2018-11-13 2021-12-08 Beijing Bytedance Network Technology Co. Ltd. CREATION OF LIST OF MOVEMENT CANDIDATES BASED ON A HISTORY, FOR AN IN-BLOCK COPY
WO2020101392A1 (ko) 2018-11-14 2020-05-22 에스케이텔레콤 주식회사 인터 예측 방법 및 이를 이용한 영상 복호화 장치
JP7319365B2 (ja) * 2018-11-22 2023-08-01 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測のための調整方法
US10958900B2 (en) * 2018-12-06 2021-03-23 Qualcomm Incorporated Derivation of spatial-temporal motion vectors prediction in video coding
CN113273209A (zh) * 2018-12-17 2021-08-17 交互数字Vc控股公司 Mmvd和smvd与运动和预测模型的组合
CN112565785B (zh) 2018-12-28 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
JP7399973B2 (ja) * 2019-02-19 2023-12-18 ヒューマックス・カンパニー・リミテッド イントラ予測ベースのビデオ信号処理方法及び装置
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
EP3935839A4 (en) * 2019-04-09 2022-06-22 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND DEVICES FOR SIGNALING MERGE MODES IN VIDEO ENCODING
WO2020222617A1 (ko) * 2019-05-02 2020-11-05 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020233513A1 (en) * 2019-05-17 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Motion information determination and storage for video processing
US20220248029A1 (en) * 2019-06-19 2022-08-04 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium for storing bitstream
CN113596478B (zh) * 2019-06-21 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
JP2022536967A (ja) * 2019-06-21 2022-08-22 ヴィド スケール インコーポレイテッド オプティカルフローによる動き補償のための精度精緻化
CN114208205A (zh) * 2019-07-25 2022-03-18 韦勒斯标准与技术协会公司 视频信号处理方法和设备
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
JP7267885B2 (ja) * 2019-09-20 2023-05-02 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
US11399195B2 (en) * 2019-10-30 2022-07-26 Tencent America LLC Range of minimum coding block size in video coding
WO2023131250A1 (en) * 2022-01-08 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016934A (ja) * 2011-06-30 2013-01-24 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711211B1 (en) 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
EP1719347A1 (en) 2004-02-27 2006-11-08 THOMSON Licensing Error concealment technique using weighted prediction
JP5020953B2 (ja) 2005-07-18 2012-09-05 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法
KR101553850B1 (ko) * 2008-10-21 2015-09-17 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
EP2625855B8 (en) * 2010-10-08 2021-03-10 GE Video Compression, LLC Picture coding supporting block partitioning and block merging
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
JP5477340B2 (ja) 2011-05-31 2014-04-23 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2012177052A2 (ko) * 2011-06-21 2012-12-27 한국전자통신연구원 인터 예측 방법 및 그 장치
ES2886357T3 (es) 2011-06-27 2021-12-17 Samsung Electronics Co Ltd Codificación y decodificación de información de movimiento
JP2014529254A (ja) * 2011-09-09 2014-10-30 エルジー エレクトロニクス インコーポレイティド インタ予測方法及びその装置
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
JP5900308B2 (ja) 2011-12-16 2016-04-06 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
TWI658725B (zh) * 2011-12-28 2019-05-01 日商Ｊｖｃ建伍股份有限公司 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
SG11201405038RA (en) * 2012-04-24 2014-09-26 Mediatek Inc Method and apparatus of motion vector derivation for 3d video coding
KR20140005099A (ko) * 2012-07-02 2014-01-14 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
CN104396248B (zh) 2012-10-12 2019-11-08 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9800895B2 (en) 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US9628795B2 (en) 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
WO2015137783A1 (ko) * 2014-03-14 2015-09-17 삼성전자 주식회사 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치
CN108632629B9 (zh) 2014-03-19 2021-06-15 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
US20170164003A1 (en) * 2014-06-26 2017-06-08 Kt Corporation Multiview video signal processing method and apparatus
KR20170084055A (ko) * 2014-11-06 2017-07-19 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN114584765A (zh) * 2016-04-29 2022-06-03 英迪股份有限公司 解码和编码视频的方法以及传送比特流的方法
US11178398B2 (en) * 2016-05-06 2021-11-16 Samsung Electronics Co., Ltd. Method and electronic device for coding a segment of an inter frame
WO2018008905A1 (ko) * 2016-07-05 2018-01-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
WO2019103564A1 (ko) * 2017-11-27 2019-05-31 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016934A (ja) * 2011-06-30 2013-01-24 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, JIANLE ET AL.: "Algorithm Description of Joint Exploration Test Model 3", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 3RD MEETING: G, vol. JVET-C1001 (version 3), JPN6022045248, 6 July 2016 (2016-07-06), ISSN: 0004910719 *
FUKUSHIMA, SHIGERU ET AL.: "Merge based mvd transmission", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH M, vol. JCTVC-F373 (version 3), JPN6022045250, 15 July 2011 (2011-07-15), ISSN: 0004910720 *

Also Published As

Publication number Publication date
JP2023164731A (ja) 2023-11-10
CN109479141A (zh) 2019-03-15
CN109479141B (zh) 2023-07-14
KR102270228B1 (ko) 2021-06-28
JP6938612B2 (ja) 2021-09-22
KR20230013012A (ko) 2023-01-26
CN116614642A (zh) 2023-08-18
CN116614638A (zh) 2023-08-18
KR102480907B1 (ko) 2022-12-23
JP2019525572A (ja) 2019-09-05
US20230058060A1 (en) 2023-02-23
KR102591695B1 (ko) 2023-10-19
KR20220041808A (ko) 2022-04-01
CN116614639A (zh) 2023-08-18
KR20180007345A (ko) 2018-01-22
KR20210080322A (ko) 2021-06-30
KR102379174B1 (ko) 2022-03-25
US11895329B2 (en) 2024-02-06
US20190200040A1 (en) 2019-06-27
CN116614641A (zh) 2023-08-18
US11509930B2 (en) 2022-11-22
CN116614640A (zh) 2023-08-18
WO2018012886A1 (ko) 2018-01-18
KR20230150240A (ko) 2023-10-30

Similar Documents

Publication Publication Date Title
JP6938612B2 (ja) 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
JP7374286B2 (ja) 画像復号方法、画像符号化方法及び記録媒体
KR102379693B1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
KR102533727B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102634794B1 (ko) 영상 부호화/복호화 방법 및 장치
KR102634795B1 (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230530