JP2023018046A - ビデオ信号の符号化／復号化方法及び前記方法のための装置 - Google Patents

ビデオ信号の符号化／復号化方法及び前記方法のための装置 Download PDF

Info

Publication number
JP2023018046A
JP2023018046A JP2022185306A JP2022185306A JP2023018046A JP 2023018046 A JP2023018046 A JP 2023018046A JP 2022185306 A JP2022185306 A JP 2022185306A JP 2022185306 A JP2022185306 A JP 2022185306A JP 2023018046 A JP2023018046 A JP 2023018046A
Authority
JP
Japan
Prior art keywords
prediction
block
current block
intra
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022185306A
Other languages
English (en)
Inventor
リー、ベグン
Bae Keun Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2023018046A publication Critical patent/JP2023018046A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】ビデオ信号を符号化／復号化する際に複数の予測方法を組み合わせる組合せ予測方法及び該方法を実行するための装置を提供する。【解決手段】ビデオデコーダにおいて、ビデオ復号化方法は、組合せ予測モードを現在ブロックに適用するかどうかを決定することと、前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックの第１予測ブロック及び第２予測ブロックを取得することと、前記第１予測ブロックと前記第２予測ブロックの加重和演算によって前記現在ブロックの第３予測ブロックを取得することと、を含む。【選択図】図２

Description

本発明はビデオ信号の符号化／復号化方法及び前記方法のための装置に関する。
表示パネルが大きくなるにつれて、画質の一層高いビデオサービスを必要とすることになっている。高解像度ビデオサービスの最大問題はデータ量が大幅に増加することである。このような問題を解決するために、ビデオ圧縮率を向上させるための研究は積極的に行われている。代表例として、動画専門家グループ（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及び国際電気通信連合－電気通信（ＩＴＵ－Ｔ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）傘下のビデオ符号化専門家グループ（ＶＣＥＧ、Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は２００９年で映像符号化共同研究部会ＪＣＴ－ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を設立した。ＪＣＴ－ＶＣはビデオ圧縮規格ＨＥＶＣ（高効率映像符号化、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を提案し、２０１３年１月２５日に承認を得たが、その圧縮性能がＨ．２６４／ＡＶＣの約２倍である。高解像度ビデオサービスの急速な発展に伴い、ＨＥＶＣの性能の限定性も徐々に明らかになっている。
本発明の目的はビデオ信号を符号化／復号化する際に複数の予測方法を組み合わせる組合せ予測方法、及び該方法を実行するための装置を提供することである。
本発明の目的はビデオ信号を符号化／復号化する際に符号化ブロックを複数の予測ユニットに分割する方法、及び該方法を実行するための装置を提供することである。
本発明が実現しようとする技術的課題は以上に言及した技術的課題に限らず、当業者は以下の説明から、言及しない他の技術的課題を明確に理解することができる。
本発明に係るビデオ信号復号化／符号化方法は、組合せ予測モードを現在ブロックに適用するかどうかを決定することと、前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックの第１予測ブロック及び第２予測ブロックを取得することと、前記第１予測ブロックと前記第２予測ブロックの加重和演算によって前記現在ブロックの第３予測ブロックを取得することと、を含む。このような場合、前記現在ブロックのマージ候補の運動情報に基づいて前記第１予測ブロックを取得し、前記現在ブロックのイントラ予測モードに基づいて前記第２予測ブロックを取得することができる。
本発明に係るビデオ信号復号化／符号化方法では、前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックに対して三角形分割を適用しないように設定してもよい。
本発明に係るビデオ信号復号化／符号化方法では、前記現在ブロックのイントラ予測モードをプレーナモードとして設定してもよい。
本発明に係るビデオ信号復号化／符号化方法では、隣接参照サンプルラインに含まれる参照サンプルラインに基づいて前記第２予測ブロックを取得してもよい。
本発明に係るビデオ信号復号化／符号化方法では、前記加重和演算を実行するとき、前記現在ブロックに隣接する隣接ブロックの予測符号化モードに基づいて、前記第１予測ブロック及び前記第２予測ブロックに適用される重み付け値を決定してもよい。
本発明に係るビデオ信号復号化／符号化方法では、前記現在ブロックの幅及び高さのうちの少なくとも１つが閾値より大きい場合、前記組合せ予測モードを前記現在ブロックに適用しなくてもよい。
本発明に係るビデオ信号復号化／符号化方法では、マージモードを前記現在ブロックに適用することを示すフラグが真である場合、前記組合せ予測モードを前記現在ブロックに適用できるように設定してもよい。
上記の本発明の簡明な特徴は、以下に説明される本発明の詳しい説明の例示的な実施形態であって、本発明の範囲を制限するものではない。
本発明によれば、複数の予測方法を組み合わせる組合せ予測方法を提供することにより、インター予測効率を向上させることができる。
本発明によれば、符号化ブロックを複数の予測ブロックに分割して複数の予測ブロックのうちの各予測ブロックの運動情報を導き出す方法を提供することにより、インター予測効率を向上させることができる。
本発明に実現できる効果は上記効果に限らず、当業者は以下の説明から、言及しない他の効果を明確に理解することができる。
図１は本発明の実施例のビデオエンコーダ（ｅｎｃｏｄｅｒ）のブロック図である。 図２は本発明の実施例のビデオデコーダ（ｄｅｃｏｄｅｒ）のブロック図である。 図３は本発明の実施例の基本符号化ツリーユニットを示す図である。 図４は符号化ブロックの複数の分割タイプを示す図である。 図５は符号化ツリーユニットの分割例を示す図である。 図６は基本データユニットの形状を示す図である。 図７は符号化ブロックを複数のサブブロックに分割する例を示す図である。 図８は符号化ブロックを複数のサブブロックに分割する例を示す図である。 図９は本発明の実施例に係るインター予測方法のフローチャートである。 図１０はマージモードにおいて現在ブロックの運動情報を導き出す過程のフローチャートである。 図１１はマージ候補を導き出すための候補ブロックの例を示す図である。 図１２は対角線を使用して符号化ブロックを複数の予測ユニットに分割する例を示す図である。 図１３は符号化ブロックを２つの予測ユニットに分割する例を示す図である。 図１４は符号化ブロックを様々なサイズの複数の予測ブロックに分割する例を示す図である。 図１５は対角線による分割を変換ユニットに適用する例を示す図である。 図１６は三角形マージ候補を導き出すための隣接ブロックを示す図である。 図１７は各三角形予測ユニットの隣接ブロックの利用可能性を決定する例を説明するための図である。 図１８及び図１９は第１予測サンプル及び第２予測サンプルの加重和演算によって予測サンプルを導き出す例を示す図である。 図１９は第１予測サンプル及び第２予測サンプルの加重和演算によって予測サンプルを導き出す例を示す図である。 図２０は本発明の実施例に係るイントラ予測方法を示すフローチャートである。 図２１はイントラ予測モードを示す図である。 図２２は参照サンプルを１行に配列する一次元配列の例を示す図である。 図２３は参照サンプルを１行に配列する一次元配列の例を示す図である。 図２４は角度イントラ予測モードとｘ軸に平行する直線がなす角度を示す図である。 図２５は現在ブロックが非正方形である場合に予測サンプルを取得する実施例を示す図である。 図２６は広角イントラ予測モードを示す図である。 図２７はＰＤＰＣを適用する実施例を示す図である。 図２８は重み付け値を適用する実施例を示す図である。 図２９はマージ候補が双方向運動情報を有するかどうかによって、異なる重み付け値をサブブロックに割り当てる例を示す図である。 図３０は現在ブロックのイントラ予測モードに基づいて、異なる重み付け値をサブブロックに割り当てる例を示す図である。 図３１は候補ブロックの検索順序を考慮して第２マージ候補を指定する例を示す図である。 図３２は非隣接ブロックから導き出したマージ候補から第１マージ候補及び第２マージ候補を選択する例を示す図である。 図３３は第２マージ候補を決定する例を説明するための図である。 図３４は候補ブロックの形状に基づいて、予測ブロックに適用される重み付け値を決定する例を示す図である。 図３５は置換されたマージ候補の例を示す図である。 図３６は二次変換を実行するサブブロックを示す図である。 図３７は二次変換を実行するサブブロックを示す図である。 図３８は現在ブロックの変換タイプを決定する例を説明するための図である。 図３９はブロック強度の決定過程を示すフローチャートである。 図４０は予め定義されたフィルタ候補を示す図である。
以下、図面を参照しながら本発明の実施例を詳しく説明する。
ビデオの符号化及び復号化はブロック単位で実行される。例えば、符号化ブロック、変換ブロック又は予測ブロックに対して、変換、量子化、予測、ループ内フィルタリング又は再構築等の符号化／復号化処理を実行することができる。
以下、符号化／復号化されようとするブロックは「現在ブロック」と称される。例えば、現在符号化／復号化処理ステップによって、現在ブロックは符号化ブロック、変換ブロック又は予測ブロックを示してもよい。
また、本明細書に使用される用語「ユニット」は特定の符号化／復号化過程を実行するための基本ユニットを示し、「ブロック」は所定サイズのサンプル配列を示すと理解されてもよい。特に断りがない限り、「ブロック」と「ユニット」は交換可能に使用される。例えば、以下に説明される実施例では、符号化ブロックと符号化ユニットは同じ意味を有すると理解されてもよい。
図１は本発明の実施例のビデオエンコーダ（ｅｎｃｏｄｅｒ）のブロック図である。
図１に示すように、ビデオ符号化装置１００はピクチャ分割部１１０、予測部１２０、１２５、変換部１３０、量子化部１３５、並べ替え部１６０、エントロピー符号化部１６５、逆量子化部１４０、逆変換部１４５、フィルタ部１５０及びメモリ１５５を備えてもよい。
図１に示される各部材は独立して示され、これは各部材が分離したハードウェア又は単一のソフトウェアコンポーネントからなることを示さず、ビデオ符号化装置の様々な特徴的機能を示す。即ち、各部材については、説明の都合上、各部材の配列方式で各部材のうちの少なくとも２つの部材を１つの部材に組み合わせ、又は１つの部材を複数の部材に分割し、これにより機能を実行する。本発明の本質から逸脱しない限り、このような各部材を組み合わせる実施例及び各部材を分離する実施例も本発明の権限範囲に属する。
そして、一部の構造要素は本発明において本質的機能を実行するために必要な構造要素ではなく、性能の向上のみに用いられる選択可能な構造要素である。本発明は性能の向上のみに用いられる構造要素以外の、本発明の本質を実現するために必要な部材のみを含むことによって実施されてもよく、且つ、性能の向上のみに用いられる選択可能な構造要素以外の必要な構造要素のみを含む構造も本発明の権限範囲に属する。
ピクチャ分割部１１０は入力されたピクチャを少なくとも１つの処理ユニットに分割することができる。このような場合、処理ユニットは予測ユニット（ＰＵ、Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）であってもよく、変換ユニット（ＴＵ、Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であってもよく、符号化ユニット（ＣＵ、Ｃｏｄｉｎｇ Ｕｎｉｔ）であってもよい。ピクチャ分割部１１０は１つのピクチャを複数の符号化ユニット、予測ユニット及び変換ユニットの組み合わせに分割し、所定規格（例えば、コスト関数）に基づいて１つの符号化ユニット、予測ユニット及び変換ユニットの組み合わせを選択してピクチャを符号化することができる。
例えば、１つのピクチャを複数の符号化ユニットに分割してもよい。ピクチャを符号化ユニットに分割するために、例えば４分木構造（Ｑｕａｄ Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）の再帰型ツリー構造を使用してもよく、１つのビデオ又は最大符号化ユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ）をルート（ｒｏｏｔ）とするが、符号化ユニットを、分割された符号化ユニット数に相当する子ノードを有し得る他の符号化ユニットに分割することができる。何らかの制限によって、再び分割されない符号化ユニットは葉ノードとなる。即ち、１つの符号化ユニットが正方形分割しか実現できないと仮定すれば、１つの符号化ユニットは多くとも４つの他の符号化ユニットに分割され得る。
以下、本発明の実施例では、符号化ユニットとは符号化を実行するユニットを意味してもよく、更に復号化を実行するユニットを意味してもよい。
１つの符号化ユニットにおける予測ユニットを同じサイズの正方形又は矩形のうちの少なくとも１つの形状に分割してもよく、１つの符号化ユニットにおける１つの予測ユニットを他の予測ユニットと異なる形状及び／又はサイズに分割してもよい。
符号化ユニットによりイントラ予測を実行する予測ユニットは最小符号化ユニットではない場合、複数の予測ユニットＮ×Ｎに分割せずにイントラ予測を実行してもよい。
予測部１２０、１２５はインター予測を実行するインター予測部１２０、及びイントラ予測を実行するイントラ予測部１２５を含んでもよい。予測ユニットに対してインター予測を使用するかそれともイントラ予測を実行するかを決定して、各予測方法に基づいて具体的な情報（例えば、イントラ予測モード、運動ベクトル、参照ピクチャ等）を決定してもよい。このような場合、予測を実行する処理ユニットは予測方法及び具体的な内容を決定する処理ユニットと異なる可能性がある。例えば、予測ユニットによって予測方法及び予測モード等を決定してもよく、変換ユニットによって予測を実行してもよい。生成された予測ブロックと原ブロックとの残余値（残余ブロック）は変換部１３０に入力され得る。且つ、予測のための予測モード情報、運動ベクトル情報等を残余値とともにエントロピー符号化部１６５において符号化して、デコーダに伝送してもよい。特定の符号化モードを使用する場合、予測部１２０、１２５により予測ブロックを生成せずに、原ブロックを直接に符号化してデコーダに伝送してもよい。
インター予測部１２０は現ピクチャの前のピクチャ又は後のピクチャのうちの少なくとも１つのピクチャの情報に基づいて予測ユニットを予測してもよい。いくつかの場合、更に現ピクチャにおける符号化された一部の領域の情報に基づいて予測ユニットを予測してもよい。インター予測部１２０は参照ピクチャ補間部、運動予測部、運動補償部を含んでもよい。
参照ピクチャ補間部はメモリ１５５から参照ピクチャ情報を受信して、参照ピクチャに基づいて整数画素又は分数画素の画素情報を生成することができる。輝度画素については、１／４画素単位で分数画素の画素情報を生成するために、フィルタ係数の異なるＤＣＴベース８タップ補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を使用してもよい。色度信号については、１／８画素単位で分数画素の画素情報を生成するために、フィルタ係数の異なるＤＣＴベース４タップ補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を使用してもよい。
運動予測部は参照ピクチャ補間部により補間された参照ピクチャに基づいて運動予測を実行することができる。運動ベクトルの計算方法はフルサーチブロックマッチングアルゴリズム（ＦＢＭＡ、Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ａｌｇｏｒｉｔｈｍ）、３段探索法（ＴＳＳ、Ｔｈｒｅｅ Ｓｔｅｐ Ｓｅａｒｃｈ）、新たな３段探索アルゴリズム（ＮＴＳ、Ｎｅｗ Ｔｈｒｅｅ－Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ）等の複数の方法を使用してもよい。運動ベクトルは補間された画素に基づいて１／２画素又は１／４画素を単位とする運動ベクトル値を有してもよい。運動予測部において様々な運動予測方法を用いて現在予測ユニットを予測してもよい。運動予測方法はスキップ（Ｓｋｉｐ）方法、マージ（Ｍｅｒｇｅ）方法、高度動きベクトル予測（ＡＭＶＰ、Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法、イントラブロックコピー（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）方法等の複数の方法を使用してもよい。
イントラ予測部１２５は現ピクチャにおける画素情報としての現在ブロック周辺の参照画素情報に基づいて予測ユニットを生成することができる。現在予測ユニットの隣接ブロックがインター予測を実行したブロックであり且つ参照画素がインター予測を実行した画素である場合、インター予測を実行したブロックに含まれる参照画素を、周辺のイントラ予測を実行したブロックの参照画素情報として使用してもよい。即ち、参照画素が利用不可能である場合、利用可能な参照画素のうちの少なくとも１つの参照画素で利用不可能な参照画素情報を代替してもよい。
イントラ予測において、予測モードは予測方向に基づいて参照画素情報を使用する角度予測モード、及び予測を実行する際に方向情報を使用しない非角度モードを有してもよい。輝度情報の予測モードと色度情報の予測モードは異なってもよく、色度情報を予測するために、輝度情報を予測するために使用するイントラ予測モード情報又は予測された輝度信号情報を適用してもよい。
イントラ予測を実行するとき、予測ユニットのサイズが変換ユニットのサイズと同じである場合、予測ユニットの左側に存在する画素、左上に存在する画素、上方に存在する画素に基づいて予測ユニットに対してイントラ予測を実行してもよい。しかしながら、イントラ予測を実行するとき、予測ユニットのサイズが変換ユニットのサイズと異なる場合、変換ユニットに基づく参照画素を使用してイントラ予測を実行してもよい。且つ、最小符号化ユニットのみに対してＮ×Ｎ分割を用いるイントラ予測を適用してもよい。
イントラ予測方法は予測モードに基づいて参照画素に対して適応型画面内平滑化（ＡＩＳ、Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタを適用した後、予測ブロックを生成してもよい。参照画素のための適応型画面内平滑化フィルタのタイプは異なる可能性がある。イントラ予測方法を実行するために、現在予測ユニットの周辺に存在する予測ユニットのイントラ予測モードによって現在予測ユニットのイントラ予測モードを予測してもよい。周辺予測ユニットにより予測されたモード情報を使用して現在予測ユニットの予測モードを予測する場合、現在予測ユニット及び周辺予測ユニットのイントラ予測モードが同じであれば、所定のフラグ情報を使用して、現在予測ユニット及び周辺予測ユニットの予測モードが同じであることを示す情報を伝送してもよく、現在予測ユニット及び周辺予測ユニットの予測モードが異なれば、エントロピー符号化を実行することにより現在ブロックの予測モード情報を符号化してもよい。
且つ、残余情報を含む残余ブロックを生成することができる。前記残余情報は予測部１２０、１２５において生成された予測ユニットにより予測を実行する予測ユニットと予測ユニットの原ブロックとの差分である。生成された残余ブロックを変換部１３０に入力することができる。
変換部１３０において、離散コサイン変換（ＤＣＴ、Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又は離散サイン変換（ＤＳＴ、Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の変換方法を使用して残余ブロックを変換してもよい。前記残余ブロックは原ブロックと予測部１２０、１２５により生成された予測ユニットとの残余値（ｒｅｓｉｄｕａｌ）情報を含む。ＤＣＴ変換コアはＤＣＴ２又はＤＣＴ８のうちの少なくとも１つを含み、ＤＳＴ変換コアはＤＳＴ７を含む。残余ブロックを生成するために使用する予測ユニットのイントラ予測モード情報に基づいて、ＤＣＴを適用して残余ブロックを変換するかそれともＤＳＴを適用して残余ブロックを変換するかを決定してもよい。更に残余ブロックの変換をスキップしてもよい。残余ブロックの変換をスキップするかどうかを示すフラグを符号化してもよい。サイズが閾値以下である残余ブロック、輝度成分又は色度成分（４：４：４フォーマット以下）については、変換をスキップすることが許容されてもよい。
量子化部１３５は変換部１３０において周波数領域に変換された値を量子化することができる。量子化係数はブロック又はビデオの重要性によって変化してもよい。逆量子化部１４０及び並べ替え部１６０に量子化部１３５において計算された値を提供することができる。
並べ替え部１６０は量子化された残余値に対して係数値の並べ替えを実行することができる。
並べ替え部１６０は係数スキャニング（Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法によって２次元のブロック形状係数を１次元のベクトル形式に変更することができる。例えば、並べ替え部１６０はジグザグスキャン（Ｚｉｇ－Ｚａｇ Ｓｃａｎ）方法を使用してＤＣ係数乃至高周波数領域の係数を走査して、１次元ベクトル形式に変更することができる。変換ユニットのサイズ及びイントラ予測モードに基づいて、ジグザグスキャンの代わりに、更に列方向に沿って２次元ブロック形状係数を走査する垂直走査、及び行方向に沿って２次元ブロック形状係数を走査する水平走査を使用してもよい。即ち、変換ユニットのサイズ及びイントラ予測モードに基づいて、ジグザグスキャン、垂直方向走査及び水平方向走査のうちのどの走査方法を使用するかを決定してもよい。
エントロピー符号化部１６５は並べ替え部１６０により計算された値に基づいてエントロピー符号化を実行することができる。例えば、エントロピー符号化は指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、コンテキスト適応型可変長符号化（ＣＡＶＬＣ、Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ、Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等の複数の符号化方法を使用してもよい。
エントロピー符号化部１６５は並べ替え部１６０及び予測部１２０、１２５からの符号化ユニットの残余値係数情報及びブロックタイプ情報、予測モード情報、分割ユニット情報、予測ユニット情報及び伝送ユニット情報、運動ベクトル情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報等の複数の情報を符号化することができる。
エントロピー符号化部１６５において並べ替え部１６０から入力された符号化ユニットの係数値に対してエントロピー符号化を行ってもよい。
逆量子化部１４０及び逆変換部１４５は量子化部１３５により量子化された複数の値を逆量子化して、変換部１３０により変換された値を逆変換する。逆量子化部１４０及び逆変換部１４５において生成された残余値は予測部１２０、１２５に含まれる運動予測部、運動補償部及びイントラ予測部により予測された予測ユニットとマージすることにより、再構築ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｂｌｏｃｋ）を生成することができる。
フィルタ部１５０はデブロッキングフィルタ、オフセット補正部、適応型ループフィルタ（ＡＬＦ、Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）のうちの少なくとも１つを含んでもよい。
デブロッキングフィルタはブロック間の境界により再構築されたピクチャにおいて生成されたブロック歪みを除去することができる。デブロッキングを実行するかどうかを判断するために、ブロックに含まれるいくつかの列又は行に含まれる画素に基づいて、現在ブロックに対してデブロッキングフィルタを適用するかどうかを判断することができる。ブロックに対してデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に基づいてストロングフィルタ（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）又はウィークフィルタ（Ｗｅａｋ Ｆｉｌｔｅｒ）を適用してもよい。且つ、デブロッキングフィルタの使用過程において、垂直フィルタリング及び水平フィルタリングを実行するとき、水平方向フィルタリング及び垂直方向フィルタリングを同期処理してもよい。
オフセット補正部は画素単位でデブロッキングを実行するビデオにおける原ビデオとの間のオフセットを補正することができる。指定されたピクチャをオフセット補正するために、ビデオに含まれる画素を所定数の領域に分割した後、オフセットを実行しようとする領域を決定して、対応の領域に対してオフセットを適用し、又は各画素のエッジ情報を考慮した上でオフセットを適用するという方法を使用してもよい。
適応型ループフィルタリング（ＡＬＦ、Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ）はフィルタリング後の再構築ピクチャと原ビデオとを比較した値に基づいて実行されてもよい。ビデオに含まれる画素を所定組に分割した後、対応の組に使用されようとする１つのフィルタを決定することにより、各組に対してフィルタリングを区別的に実行することができる。適応型ループフィルタリングを適用するかどうかに関連する情報及び輝度信号は符号化ユニット（ＣＵ、Ｃｏｄｉｎｇ Ｕｎｉｔ）により伝送されてもよく、適用されようとする適応型ループフィルタの形状及びフィルタ係数は各ブロックによって異なる。且つ、適用されるブロックの特性にかかわらず、同じタイプ（固定タイプ）の適応型ループフィルタを適用することもできる。
メモリ１５５はフィルタ部１５０により計算された再構築ブロック又はピクチャを記憶することができ、インター予測を実行する際に記憶される再構築ブロック又はピクチャを予測部１２０、１２５に提供することができる。
図２は本発明の実施例のビデオデコーダ（ｄｅｃｏｄｅｒ）のブロック図である。
図２に示すように、ビデオデコーダ２００はエントロピー復号化部２１０、並べ替え部２１５、逆量子化部２２０、逆変換部２２５、予測部２３０、予測部２３５、フィルタ部２４０、メモリ２４５を備えてもよい。
ビデオエンコーダからビデオストリームを入力するとき、ビデオエンコーダと反対のステップに応じて、入力されたストリームを復号化してもよい。
エントロピー復号化部２１０はビデオエンコーダのエントロピー符号化部においてエントロピー符号化を実行するステップと反対のステップに応じてエントロピー復号化してもよい。例えば、ビデオエンコーダにおいて実行される方法に対応して、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、コンテキスト適応型可変長符号化（ＣＡＶＬＣ、Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ、Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等の複数の方法を適用してもよい。
エントロピー復号化部２１０はエンコーダにより実行されるイントラ予測及びインター予測に関連する情報を復号化することができる。
並べ替え部２１５は符号化部においてエントロピー復号化部２１０によりエントロピー復号化されたストリームを並べ替える方法に基づいて並べ替えを実行することができる。１次元ベクトル形式で示される複数の係数を２次元のブロック形状の係数に再構築して並べ替えてもよい。並べ替え部２１５は符号化部において実行される係数スキャニングに関連する情報を受信し、対応の符号化部において実行される走査順序に従って逆方向走査を行う方法によって並べ替えを実行してもよい。
逆量子化部２２０はエンコーダの提供する量子化パラメータ及び並べ替えられるブロックの係数値に基づいて逆量子化を実行してもよい。
逆変換部２２５はビデオエンコーダにより実行される量子化結果に対して逆離散コサイン変換、逆離散サイン変換を実行することができる。前記逆離散コサイン変換、逆離散サイン変換は変換部において実行される変換の逆変換、即ち離散コサイン変換、離散サイン変換の逆変換に属する。ＤＣＴ変換コアはＤＣＴ２又はＤＣＴ８のうちの少なくとも１つを含んでもよく、ＤＳＴ変換コアはＤＳＴ７を含んでもよい。代替的に、ビデオエンコーダにおいて変換をスキップすれば、逆変換部２２５において逆変換を実行しなくてもよい。逆変換はビデオエンコーダにより決定された伝送ユニットにより実行されてもよい。ビデオデコーダの逆変換部２２５において、予測方法、現在ブロックのサイズ及び予測方向等の複数の情報に基づいて変換方法（例えば、ＤＣＴ又はＤＳＴ）を選択的に実行してもよい。
予測部２３０、２３５はエントロピー復号化部２１０の提供する予測ブロックの生成に関連する情報及びメモリ２４５の提供する以前に復号化されたブロック又はピクチャ情報に基づいて予測ブロックを生成することができる。
以上のように、ビデオエンコーダにおける操作と同じ方式でイントラ予測を実行するとき、予測ユニットのサイズが変換ユニットのサイズと同じである場合、予測ユニットの左側に存在する画素、左上に存在する画素、上方に存在する画素に基づいて予測ユニットに対してイントラ予測を実行し、イントラ予測を実行する際の予測ユニットのサイズが変換ユニットのサイズと異なる場合、変換ユニットに基づく参照画素を使用してイントラ予測を実行してもよい。且つ、更に最小符号化ユニットのみに対してＮ×Ｎ分割を用いるイントラ予測を適用してもよい。
予測部２３０、２３５は予測ユニット判定部、インター予測部及びイントラ予測部を含んでもよい。予測ユニット判定部はエントロピー復号化部２１０から入力された予測ユニット情報、イントラ予測方法の予測モード情報、インター予測方法の運動予測関連情報等の複数種類の情報を受信し、現在符号化ユニットに基づいて予測ユニットを分類し、予測ユニットがインター予測を実行しているかそれともイントラ予測を実行しているかを決定できる。インター予測部２３０はビデオエンコーダの提供する現在予測ユニットのインター予測に必要な情報を使用して、現在予測ユニットの属する現ピクチャの前のピクチャ又は後のピクチャのうちの少なくとも１つのピクチャに含まれる情報に基づいて現在予測ユニットに対してインター予測を実行してもよい。代替的に、更に現在予測ユニットの属する現ピクチャにおける再構築された一部の領域の情報に基づいてインター予測を実行してもよい。
インター予測を実行するために、符号化ユニットによって対応の符号化ユニットに含まれる予測ユニットの運動予測方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ Ｍｏｄｅ）、高度動きベクトル予測モード（ＡＭＶＰ Ｍｏｄｅ）、イントラブロックコピーモードのうちのどのモードであるかを判断することができる。
イントラ予測部２３５は現ピクチャにおける画素情報に基づいて予測ブロックを生成することができる。予測ユニットがイントラ予測を実行した予測ユニットである場合、ビデオエンコーダの提供する予測ユニットのイントラ予測モード情報に基づいてイントラ予測を実行することができる。イントラ予測部２３５は適応型画面内平滑化（ＡＩＳ、Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタ、参照画素補間部、ＤＣフィルタを含んでもよい。適応型画面内平滑化フィルタは現在ブロックの参照画素に対してフィルタリングを実行する部分であり、現在予測ユニットの予測モードに基づいてフィルタを適用するかどうかを決定することができる。ビデオエンコーダの提供する予測ユニットの予測モード及び適応型画面内平滑化フィルタ情報を使用して現在ブロックの参照画素に対して適応型画面内平滑化フィルタリングを実行してもよい。現在ブロックの予測モードが適応型画面内平滑化フィルタリングを実行しないモードである場合、適応型画面内平滑化フィルタを適用しなくてもよい。
参照画素補間部については、予測ユニットの予測モードが参照画素を補間する画素値に基づいてイントラ予測を実行する予測ユニットである場合、参照画素を補間することにより整数値又は分数値の画素単位の参照画素を生成することができる。現在予測ユニットの予測モードが参照画素を補間しない方式で予測ブロックを生成する予測モードである場合、参照画素を補間しなくてもよい。現在ブロックの予測モードがＤＣモードである場合、ＤＣフィルタはフィルタリングによって予測ブロックを生成することができる。
再構築されたブロック又はピクチャをフィルタ部２４０に提供してもよい。フィルタ部２４０はデブロッキングフィルタ、オフセット補正部、ＡＬＦを含んでもよい。
ビデオエンコーダから、対応のブロック又はピクチャに対してデブロッキングフィルタを適用するかどうかに関連する情報、及びデブロッキングフィルタを適用する際にストロングフィルタを適用するかそれともウィークフィルタを適用するかに関連する情報を受信することができる。ビデオデコーダのデブロッキングフィルタから、ビデオエンコーダの提供するデブロッキングフィルタに関連する情報を受信し、且つ、ビデオデコーダにおいて対応ブロックに対してデブロッキングフィルタリングを実行することができる。
オフセット補正部は符号化時にビデオをオフセット補正するためのタイプ及びオフセット量情報等に基づいて、再構築されたビデオに対してオフセット補正を実行することができる。
エンコーダの提供するＡＬＦを適用するかどうかに関連する情報、ＡＬＦ係数情報等に基づいて、ＡＬＦを符号化ユニットに適用することができる。このようなＡＬＦ情報は特定のパラメータセットに含まれることで提供され得る。
メモリ２４５は再構築されたピクチャ又はブロックを記憶し、それにより前記ピクチャ又はブロックが参照ピクチャ又は参照ブロックとして利用でき、且つ再構築されたピクチャを出力部に提供することができる。
図３は本発明の実施例の基本符号化ツリーユニットを示す図である。
最大サイズの符号化ブロックを符号化ツリーブロックとして定義してもよい。１つのピクチャは複数の符号化ツリーユニット（ＣＴＵ、Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割されてもよい。符号化ツリーユニットは最大サイズの符号化ユニットであり、更に最大符号化ユニット（ＬＣＵ、Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と称されてもよい。図３には１つのピクチャを複数の符号化ツリーユニットに分割する例を示す。
符号化ツリーユニットのサイズはピクチャレベル又はシーケンスレベルで定義されてもよい。このため、ピクチャパラメータセット又はシーケンスパラメータセットによって、信号を利用して、符号化ツリーユニットのサイズを示す情報を送信してもよい。
例えば、シーケンスにおけるピクチャ全体の符号化ツリーユニットのサイズは１２８×１２８として設定されてもよい。代替的に、ピクチャレベルの１２８×１２８又は２５６×２５６のうちのいずれか１つを符号化ツリーユニットのサイズとして決定してもよい。例えば、第１ピクチャにおける符号化ツリーユニットのサイズを１２８×１２８として設定してもよく、第２ピクチャにおける符号化ツリーユニットのサイズを２５６×２５６として設定してもよい。
符号化ツリーユニットを分割することにより符号化ブロックを生成することができる。符号化ブロックは符号化／復号化処理を行うための基本ユニットを示す。例えば、異なる符号化ブロックによって予測又は変換を実行してもよく、又は異なる符号化ブロックによって予測符号化モードを決定してもよい。予測符号化モードは予測ピクチャの生成方法を示す。例えば、予測符号化モードは画面内予測（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ、イントラ予測）、画面間予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ、インター予測）、現ピクチャ参照（ＣＰＲ、Ｃｕｒｒｅｎｔ Ｐｉｃｔｕｒｅ Ｒｅｆｅｒｅｎｃｉｎｇ）、又はイントラブロックコピー（ＩＢＣ、Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ））又は組合せ予測（Ｃｏｍｂｉｎｅｄ Ｐｒｅｄｉｃｔｉｏｎ）を含んでもよい。符号化ブロックに対して、イントラ予測、インター予測、現ピクチャ参照又は組合せ予測のうちの少なくとも１つの予測符号化モードを使用して符号化ブロックに関連する予測ブロックを生成してもよい。
ストリームを介して信号によって、現在ブロックの予測符号化モードを示す情報を送信してもよい。例えば、前記情報は予測符号化モードがイントラモードであるかそれともインターモードであるかを示す１ビットフラグであってもよい。現在ブロックの予測符号化モードがインターモードであることを決定する場合のみ、現ピクチャ参照又は組合せ予測を使用してもよい。
現ピクチャ参照は現ピクチャを参照ピクチャとして設定して、現ピクチャにおける符号化／復号化後の領域から現在ブロックの予測ブロックを取得することに用いられる。現ピクチャとは現在ブロックを含むピクチャを意味する。ストリームを介して信号によって、現在ブロックに対して現ピクチャ参照を適用するかどうかを示す情報を送信してもよい。例えば、前記情報は１ビットフラグであってもよい。前記フラグが真である場合、現在ブロックの予測符号化モードを現ピクチャ参照として決定してもよく、前記フラグが偽である場合、現在ブロックの予測モードをインター予測として決定してもよい。
代替的に、参照ピクチャインデックスに基づいて現在ブロックの予測符号化モードを決定してもよい。例えば、参照ピクチャインデックスが現ピクチャを指す場合、現在ブロックの予測符号化モードを現ピクチャ参照として決定してもよい。参照ピクチャインデックスが現ピクチャではなく他のピクチャを指す場合、現在ブロックの予測符号化モードをインター予測として決定してもよい。即ち、現ピクチャ参照は現ピクチャにおける符号化／復号化後の領域の情報を使用する予測方法であり、インター予測は符号化／復号化後の他のピクチャの情報を使用する予測方法である。
組合せ予測はイントラ予測、インター予測及び現ピクチャ参照のうちの２つ以上が組み合わせられてなる符号化モードを示す。例えば、組合せ予測を適用する場合、イントラ予測、インター予測又は現ピクチャ参照のうちの１つによって第１予測ブロックを生成してもよく、イントラ予測、インター予測又は現ピクチャ参照のうちのもう１つによって第２予測ブロックを生成してもよい。第１予測ブロック及び第２予測ブロックを生成する場合、第１予測ブロック及び第２予測ブロックの平均演算又は加重和演算によって最終的な予測ブロックを生成してもよい。ストリームを介して信号によって、組合せ予測を適用するかどうかを示す情報を送信してもよい。前記情報は１ビットフラグであってもよい。
図４は符号化ブロックの複数の分割タイプを示す図である。
４分木分割、２分木分割又は３分木分割によって符号化ブロックを複数の符号化ブロックに分割してもよい。そして４分木分割、２分木分割又は３分木分割によって、分割された符号化ブロックを複数の符号化ブロックに再び分割してもよい。
４分木分割とは現在ブロックを４つのブロックに分割する分割技術を指す。４分木分割の結果として、現在ブロックを４つの正方形セグメントに分割してもよい（図４（ａ）部分における「ＳＰＬＩＴ＿ＱＴ」を参照）。
２分木分割とは現在ブロックを２つのブロックに分割する分割技術を指す。垂直方向に沿って（即ち、現在ブロックを横切る垂直線を使用して）現在ブロックを２つのブロックに分割する過程は垂直方向２分木分割と称されてもよく、水平方向に沿って（即ち、現在ブロックを横切る水平線を使用して）現在ブロックを２つのブロックに分割する過程は水平方向２分木分割と称されてもよい。２分木分割の後で現在ブロックを２つの非正方形セグメントに分割してもよい。図４（ｂ）部分における「ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ」は垂直方向２分木分割結果を示し、図４（ｃ）部分における「ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ」は水平方向２分木分割結果を示す。
３分木分割とは現在ブロックを３つのブロックに分割する分割技術を指す。垂直方向に沿って（即ち、現在ブロックを横切る２つの垂直線を使用して）現在ブロックを３つのブロックに分割する過程は垂直方向３分木分割と称されてもよく、水平方向に沿って（即ち、現在ブロックを横切る２つの水平線を使用して）現在ブロックを３つのブロックに分割する過程は水平方向３分木分割と称されてもよい。３分木分割の後で現在ブロックを３つの非正方形セグメントに分割してもよい。このような場合、現在ブロックの中心に位置するセグメントの幅／高さは他のセグメントの幅／高さの２倍であってもよい。図４（ｄ）部分における「ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ」は垂直方向３分木分割結果を示し、図４（ｅ）部分における「ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ」は水平方向３分木分割結果を示す。
符号化ツリーユニットの分割回数を分割深度（Ｐａｒｔｉｔｉｏｎｉｎｇ Ｄｅｐｔｈ）として定義してもよい。シーケンス又はピクチャレベルで符号化ツリーユニットの最大分割深度を決定してもよい。これにより、符号化ツリーユニットの最大分割深度は様々なシーケンス又はピクチャによって異なってもよい。
代替的に、複数の分割技術のそれぞれに対する最大分割深度を独立して決定してもよい。例えば、４分木分割が許容される最大分割深度は２分木分割及び／又は３分木分割が許容される最大分割深度と異なってもよい。
エンコーダはストリームを介して信号によって、現在ブロックの分割形状又は分割深度のうちの少なくとも１つを示す情報を送信してもよい。デコーダはストリームから解析された情報に基づいて符号化ツリーユニットの分割形状及び分割深度を決定してもよい。
図５は符号化ツリーユニットの分割例を示す図である。
４分木分割、２分木分割及び／又は３分木分割等の分割技術を使用して符号化ブロックを分割する過程はマルチツリー分割（Ｍｕｌｔｉ Ｔｒｅｅ Ｐａｒｔｉｔｉｏｎｉｎｇ）と称されてもよい。
符号化ブロックに対してマルチツリー分割を適用して生成した符号化ブロックは複数の下流符号化ブロックと称されてもよい。符号化ブロックの分割深度がｋである場合、複数の下流符号化ブロックの分割深度がｋ＋１として設定される。
一方、分割深度ｋ＋１の複数の符号化ブロックに対して、分割深度ｋの符号化ブロックは上流符号化ブロックと称されてもよい。
上流符号化ブロックの分割形状又は隣接符号化ブロックの分割タイプのうちの少なくとも１つに基づいて現在符号化ブロックの分割タイプを決定してもよい。隣接符号化ブロックは現在符号化ブロックに隣接し、現在符号化ブロックの上側隣接ブロック、左側隣接ブロック又は左上角に隣接する隣接ブロックのうちの少なくとも１つを含んでもよい。分割タイプは４分木に分割されるかどうか、２分木に分割されるかどうか、２分木の分割方向、３分木に分割されるかどうか又は３分木の分割方向のうちの少なくとも１つを含んでもよい。
符号化ブロックの分割形状を決定するために、ストリームを介して信号によって、符号化ブロックが分割されたかどうかを示す情報を送信してもよい。前記情報は１ビットフラグ「ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ」であり、前記フラグが真である場合、マルチツリー分割技術によって符号化ブロックを分割することを示す。
「ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ」が真である場合、ストリームを介して信号によって、符号化ブロックが４分木分割されたかどうかを示す情報を送信してもよい。前記情報は１ビットフラグ「ｓｐｌｉｔ＿ｑｔ＿ｆｌａｇ」であり、前記フラグが真である場合、符号化ブロックは４つのブロックに分割され得る。
例えば、図５に示される例には符号化木ユニットが４分木分割されるにつれて分割深度１の４つの符号化ブロックを生成することを示す。且つ、４分木分割の結果として生成された４つの符号化ブロックのうちの１番目の符号化ブロック及び４番目の符号化ブロックに対して４分木分割を再び適用することを示す。最終的に、分割深度２の４つの符号化ブロックを生成することができる。
且つ、分割深度２の符号化ブロックに対して４分木分割を再び適用して分割深度３の符号化ブロックを生成してもよい。
符号化ブロックに対して４分木分割を適用しない場合、符号化ブロックのサイズ、符号化ブロックがピクチャ境界に位置するかどうか、最大分割深度又は隣接ブロックの分割形状のうちの少なくとも１つを考慮した上で、前記符号化ブロックに対して２分木分割を実行するかそれとも３分木分割を実行するかを決定してもよい。前記符号化ブロックに対して２分木分割又は３分木分割を実行することを決定する場合、ストリームを介して信号によって、分割方向を示す情報を送信してもよい。前記情報は１ビットフラグ「ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ」であってもよい。前記フラグに基づいて、分割方向が垂直方向であるかそれとも水平方向であるかを決定してもよい。また、ストリームを介して信号によって、前記符号化ブロックに対して２分木分割又は３分木分割のうちのどの分割を適用するかを示す情報を送信してもよい。前記情報は１ビットフラグ「ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ」であってもよい。前記フラグに基づいて、前記符号化ブロックに対して２分木分割を適用するかそれとも３分木分割を適用するかを決定してもよい。
例えば、図５に示される例には、分割深度１の符号化ブロックに対して垂直方向２分木分割を適用し、前記分割結果として生成された符号化ブロックのうちの左側符号化ブロックに対して垂直方向３分木分割を適用し、右側符号化ブロックに対して垂直方向２分木分割を適用することを示す。
ビデオの符号化又は復号化装置を実施するとき、閾値を超える領域を処理することがハードウェア性能により困難であるという問題がある。例えば、ハードウェア性能は多くとも４０９６個のサンプルを同時に処理することを許容する場合、サイズ６４×６４のデータユニットが冗長的にアクセス・処理されるべきであり、４０９６個より多くのサンプルの領域におけるデータが同時に処理できないという問題がある恐れがある。以上のように、データ処理の基本ユニットはパイプラインに基づく基本データユニット（仮想処理データユニット、ＶＰＤＵ、以下に基本データユニットと称される）として定義されてもよい。
基本データユニットは正方形、非正方形又は非矩形タイプに分けられてもよい。
図６は基本データユニットの形状を示す図である。
基本データユニットは同時に処理できる最大サンプル数以下のサンプルを含んでもよい。例えば、図６（ａ）に示される例では、６４×６４サイズの正方形ブロックを基本データユニットとして設定してもよい。代替的に、非正方形ブロックを基本データユニットとして設定してもよい。例えば、図６（ｂ）又は図６（ｃ）に示される例では、３２×１２８サイズのブロック又は６４×３２サイズのブロックを基本データユニットとして設定してもよい。
図示しないが、三角形、Ｌ字形又は多角形の基本データユニットを定義してもよい。
ストリームを介して信号によって、基本データユニットを決定するための情報を送信してもよい。前記情報は基本データユニットのサイズ又は形状のうちの少なくとも１つを決定することに用いられてもよい。前記情報に基づいて、非正方形基本データユニットが許容されるか、それとも非矩形基本データユニットが許容されるかを決定してもよい。
代替的に、エンコーダ及びデコーダにおいて基本データユニットのサイズ又は形状のうちの少なくとも１つを予め定義してもよい。
基本データユニットのサイズを考慮した上で、符号化ブロックの分割タイプが許容されるかどうかを決定してもよい。例えば、符号化ブロックの分割結果として生成された符号化ブロックが基本データユニットより大きい場合、このような分割が許容されない可能性がある。代替的に、符号化ブロックの分割結果として生成された非正方形符号化ブロックが基本データユニットより大きい場合、このような分割が許容されない可能性がある。例えば、符号化ブロックの幅又は高さが閾値より大きく又は符号化ブロックに含まれるサンプル数が閾値より大きい場合、２分木又は３分木分割が許容されない可能性がある。従って、２分木又は３分木分割に関連する情報の符号化は省略してもよい。
代替的に、基本データユニットより大きい符号化ブロックを分割しなければならないように設定してもよい。代替的に、基本データユニットより大きい符号化ブロックに対して２分木分割又は３分木分割を実行しなければならないように設定してもよい。従って、基本データユニットより大きい符号化ブロックに対して、符号化ブロックが分割されたかどうかを示すフラグｓｐｌｉｔ＿ｆｌａｇを符号化しないが、該フラグの値を１として導き出してもよい。
他の例として、基本データユニットより大きい符号化ブロックは複数のサブブロックに分割されてもよい。ここで、サブブロックを、予測のための基本ユニットとしての予測ユニット、又は変換及び／又は量子化のための基本ユニットとしての変換ユニットとして設定してもよい。このような場合、符号化ブロックを複数の予測ユニットに分割することはＶＰＤＵ予測ユニット分割として定義されてもよく、符号化ブロックを複数の変換ユニットに分割することはＶＰＤＵ変換ユニット分割として定義されてもよい。
ＶＰＤＵ予測ユニット分割及びＶＰＤＵ変換ユニット分割のうちの少なくとも１つを符号化ブロックに適用してもよい。ＶＰＤＵ予測ユニット分割を適用する符号化ブロックの分割タイプを、ＶＰＤＵ変換ユニット分割を適用する符号化ブロックの分割タイプと同じであるように設定してもよい。
ＶＰＤＵ予測ユニット分割のみを符号化ブロックに適用する場合、各サブブロックに対して予測を実行するが、符号化ブロックに対して変換及び／又は量子化を実行してもよい。このような場合、符号化ブロックに対して予測符号化モード、イントラ予測モード又はインター予測モード等のような予測モードを決定してもよい。
ＶＰＤＵ変換ユニット分割のみを符号化ブロックに適用する場合、サブブロックに対して予測を実行するが、各サブブロックに対して変換及び／又は量子化を実行してもよい。
図７及び図８は符号化ブロックを複数のサブブロックに分割する例を示す図である。
図７は正方形基本データユニットしか許容されない場合の分割モードを示す図であり、図８は正方形基本データユニットと非正方形基本データユニットが許容される場合の分割モードを示す図である。
正方形基本データユニットしか許容されないと仮定すれば、図７（ａ）及び図７（ｂ）では、ＣＵ０とＣＵ２は２つの異なるＶＰＤＵとして定義され、ＣＵ１は４つの異なるＶＰＤＵとして定義される。従って、ＣＵ０とＣＵ２は２つのサブブロックに分割されてもよく、ＣＵ１は４つのサブブロックに分割されてもよい。
正方形基本データユニットと非正方形基本データユニットが許容されると仮定すれば、図８（ａ）及び図８（ｂ）では、ＣＵ０とＣＵ２は１つのＶＰＤＵとして定義されてもよく、ＣＵ１は２つの異なるＶＰＤＵとして定義されてもよい。従って、ＣＵ０とＣＵ２はサブブロックに分割されないが、ＣＵ１は２つのサブブロックに分割されてもよい。
このような場合、ＣＵ１は正方形サブブロック又は非正方形サブブロックに分割されてもよい。例えば、ＣＵ１を上下分割する水平線に基づいて、ＣＵ１は２つの正方形サブブロックに分割されてもよい。代替的に、ＣＵ１を左右分割する垂直線に基づいて、ＣＵ１は２つの非正方形サブブロックに分割されてもよい。
符号化ブロックに適用される分割タイプ候補が複数ある場合、ストリームを介して信号によって、複数の分割タイプ候補のうちのいずれか１つの情報を送信してもよい。例えば、前記情報は符号化ブロックが正方形サブブロックに分割されたかどうか、又は符号化ブロックが非正方形サブブロックに分割されたかどうかを示してもよい。
代替的に、符号化ブロックを正方形サブブロックに分割することは、符号化ブロックを非正方形サブブロックに分割する優先度より高い優先度を有するように設定されてもよい。例えば、符号化ブロックが正方形サブブロックに分割できない場合、符号化ブロックを非正方形サブブロックに分割することが許容され得る。
代替的に、父ノードとしての符号化ブロックの分割タイプに基づいて符号化ブロックの分割タイプを決定してもよい。例えば、３分木によって父ノード符号化ブロックを分割する場合、該符号化ブロックを正方形サブブロックに分割するように設定してもよい。一方、２分木又は３分木によって父ノード符号化ブロックを分割する場合、符号化ブロックを非正方形サブブロックに分割するように設定してもよい。
インター予測とは前のピクチャの情報を使用して現在ブロックの予測符号化モードを予測することを指す。例えば、前のピクチャにおける現在ブロックと同じ位置のブロック（以下にコロケーテッドブロック（Ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）と称される）を現在ブロックの予測ブロックとして設定してもよい。以下、位置が現在ブロックと同じであるブロックに基づいて生成された予測ブロックはコロケーテッド予測ブロック（Ｃｏｌｌｏｃａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）と称される。
一方、前のピクチャに存在するオブジェクトは既に現ピクチャにおける他の位置に移動した場合、オブジェクトの運動によって現在ブロックを効果的に予測してもよい。例えば、前のピクチャと現ピクチャとを比較することによりオブジェクトの移動方向及びサイズを把握できる場合、オブジェクトの運動情報を考慮した上で現在ブロックの予測ブロック（又は予測ピクチャ）を生成してもよい。以下、運動情報により生成された予測ブロックは運動予測ブロックと称されてもよい。
現在ブロックから予測ブロックを除去することにより残余ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。このような場合、オブジェクトが運動する場合、運動予測ブロックでコロケーテッド予測ブロックを代替してもよい。これにより、残余ブロックのエネルギーを減少させ、残余ブロックの圧縮性能を向上させることができる。
以上のように、運動情報により予測ブロックを生成する過程は運動補償予測と称されてもよい。大部分のインター予測において、運動補償予測によって予測ブロックを生成してもよい。
運動情報は運動ベクトル、参照ピクチャインデックス、予測方向又は双方向重み付け値インデックスのうちの少なくとも１つを含んでもよい。運動ベクトルはオブジェクトの移動方向及びサイズを示す。参照ピクチャインデックスは参照ピクチャリストに含まれる複数の参照ピクチャのうちの現在ブロックの参照ピクチャを指定する。予測方向とは単方向Ｌ０予測、単方向Ｌ１予測又は双方向予測（Ｌ０予測及びＬ１予測）のうちのいずれか１つを指す。現在ブロックの予測方向に基づいてＬ０方向の運動情報又はＬ１方向の運動情報のうちの少なくとも１つを使用してもよい。双方向重み付け値インデックスはＬ０予測ブロックのための重み付け値及びＬ１予測ブロックに適用される重み付け値を指定する。
図９は本発明の実施例に係るインター予測方法のフローチャートである。
図９に示すように、インター予測方法は、現在ブロックのインター予測モードを決定すること（Ｓ９０１）と、決定されたインター予測モードに基づいて現在ブロックの運動情報を取得すること（Ｓ９０２）と、取得された運動情報に基づいて現在ブロックの運動補償予測を実行すること（Ｓ９０３）と、を含む。
インター予測モードは現在ブロックの運動情報を決定するための複数の技術を示し、並進（Ｔｒａｎｓｌａｔｉｏｎ）運動情報を使用するインター予測モード、及びアフィン（Ａｆｆｉｎｅ）運動情報を使用するインター予測モードを含んでもよい。例えば、並進運動情報を使用するインター予測モードはマージモード及び高度動きベクトル予測モードを含んでもよく、アフィン運動情報を使用するインター予測モードはアフィンマージモード及びアフィン運動ベクトル予測モードを含んでもよい。インター予測モードに応じて、現在ブロックに隣接する隣接ブロック又はストリームから解析された情報に基づいて現在ブロックの運動情報を決定してもよい。
現在ブロックの他のブロックの運動情報から現在ブロックの運動情報を導き出してもよい。他のブロックは現在ブロックより優先的にインター予測で符号化／復号化を行うブロックであってもよい。現在ブロックの運動情報が他のブロックの運動情報と同じであるように設定される場合はマージモードとして定義されてもよい。且つ、他のブロックの運動ベクトルが現在ブロックの運動ベクトルの予測値として設定される場合は運動ベクトル予測モードとして定義されてもよい。
図１０はマージモードにおいて現在ブロックの運動情報を導き出す過程のフローチャートである。
現在ブロックのマージ候補を導き出してもよい（Ｓ１００１）。現在ブロックのマージ候補は現在ブロックの前にインター予測で符号化／復号化を行うブロックから導き出されてもよい。
図１１はマージ候補を導き出すための候補ブロックの例を示す図である。
候補ブロックは現在ブロックに隣接するサンプルを含む隣接ブロック、又は現在ブロックに隣接しないサンプルを含む非隣接ブロックのうちの少なくとも１つを含んでもよい。以下、候補ブロックを決定するためのサンプルは参照サンプルとして指定される。また、現在ブロックに隣接する参照サンプルは隣接参照サンプルと称され、現在ブロックに隣接しない参照サンプルは非隣接参照サンプルと称される。
隣接参照サンプルは現在ブロックの最左側列の隣接列又は現在ブロックの最上方行の隣接行に含まれてもよい。例えば、現在ブロックの左上サンプルの座標が（０，０）である場合、（－１，Ｈ－１）位置での参照サンプルを含むブロック、（Ｗ－１，－１）位置での参照サンプルを含むブロック、（Ｗ，－１）位置での参照サンプルを含むブロック、（－１，Ｈ）位置での参照サンプルを含むブロック、又は（－１，－１）位置での参照サンプルを含むブロックのうちの少なくとも１つは候補ブロックとして使用されてもよい。図面を参照しながら、インデックス０～４の隣接ブロックは候補ブロックとして使用されてもよい。
非隣接参照サンプルは現在ブロックに隣接する参照サンプルとのｘ軸距離又はｙ軸距離のうちの少なくとも１つが予め定義された値を有するサンプルを示す。例えば、左側参照サンプルとのｘ軸距離が予め定義された値である参照サンプルを含むブロック、上方参照サンプルとのｙ軸距離が予め定義された値である非隣接サンプルを含むブロック、又は左上参照サンプルとのｘ軸距離及びｙ軸距離が予め定義された値である非隣接サンプルを含むブロックのうちの少なくとも１つは候補ブロックとして使用されてもよい。予め定義された値は４、８、１２、１６等の整数であってもよい。図面を参照しながら、インデックス５～２６のブロックのうちの少なくとも１つは候補ブロックとして使用されてもよい。
代替的に、現在ブロックと同じ符号化ツリーユニットに属しない候補ブロックはマージ候補として使用できないように設定されてもよい。例えば、参照サンプルが現在ブロックの属する符号化ツリーユニットの上境界を超える場合、参照サンプルを含む候補ブロックはマージ候補として使用できないように設定されてもよい。
更に現在ブロックと異なるピクチャに含まれる時間隣接ブロックからマージ候補を導き出してもよい。例えば、コロケーテッドピクチャに含まれるコロケーテッドブロックからマージ候補を導き出してもよい。参照ピクチャリストに含まれる複数の参照ピクチャのうちのいずれか１つはコロケーテッドピクチャとして設定されてもよい。ストリームを介して信号によって、複数の参照ピクチャのうちのコロケーテッドピクチャを示すためのインデックス情報を送信してもよい。代替的に、複数の参照ピクチャのうちの予め定義されたインデックスを有する参照ピクチャはコロケーテッドピクチャとして決定されてもよい。
マージ候補の運動情報を候補ブロックの運動情報と同じであるように設定してもよい。例えば、候補ブロックの運動ベクトル、参照ピクチャインデックス、予測方向又は双方向重み付け値インデックスのうちの少なくとも１つはマージ候補の運動情報として設定されてもよい。
マージ候補を含むマージ候補リストを生成してもよい（Ｓ１００２）。
所定順序に従ってマージ候補リストにおける複数のマージ候補のインデックスを割り当ててもよい。例えば、左側隣接ブロックから導き出したマージ候補、上側隣接ブロックから導き出したマージ候補、右上隣接ブロックから導き出したマージ候補、左下隣接ブロックから導き出したマージ候補、左上隣接ブロックから導き出したマージ候補、及び時間隣接ブロックから導き出したマージ候補の順序に従って、インデックスを割り当ててもよい。
マージ候補リストは複数のマージ候補を含む場合、前記複数のマージ候補のうちの少なくとも１つを選択してもよい（Ｓ１００３）。具体的に、ストリームを介して信号によって、複数のマージ候補のうちのいずれか１つを指定するための情報を送信してもよい。例えば、ストリームを介して信号によって、マージ候補リストに含まれる複数のマージ候補のうちのいずれか１つを示すインデックスの情報ｍｅｒｇｅ＿ｉｄｘを送信してもよい。
マージ候補リストに含まれるマージ候補の数が閾値より小さい場合、インター運動情報リストに含まれるマージ候補をマージ候補リストに追加してもよい。閾値はマージ候補リストに含まれ得る最大マージ候補の数又は最大マージ候補の数からオフセット量を引いた値であってもよい。オフセット量は１又は２等の整数であってもよい。インター運動情報リストは現在ブロックの前に符号化／復号化されるブロックに基づいて導き出したマージ候補を含んでもよい。
インター運動情報リストは現ピクチャにおけるインター予測により符号化／復号化されたブロックから導き出したマージ候補を含む。例えば、インター運動情報リストに含まれるマージ候補の運動情報はインター予測により符号化／復号化されたブロックの運動情報と同じであるように設定されてもよい。運動情報は運動ベクトル、参照ピクチャインデックス、予測方向又は双方向重み付け値インデックスのうちの少なくとも１つを含んでもよい。
符号化ブロックを複数の予測ユニットに分割してもよく、それぞれ分割された予測ユニットに対して予測を実行してもよい。予測ユニットは予測のための基本ユニットを示す。
符号化ブロックは垂直線、水平線、斜線又は対角線のうちの少なくとも１つを使用して分割してもよい。ストリームを介して信号によって、符号化ブロックを分割する線の数、角度又は位置のうちの少なくとも１つを決定するための情報を送信してもよい。例えば、ストリームを介して信号によって、符号化ブロックの分割タイプ候補のうちのいずれか１つを示す情報を送信してもよく、又は、ストリームを介して信号によって、符号化ブロックを分割する複数の線候補のうちのいずれか１つを指定する情報を送信してもよい。代替的に、ストリームを介して信号によって、符号化ブロックを分割する線候補の数又はタイプを決定するための情報を送信してもよい。例えば、１ビットフラグを使用して、角度が対角線より大きい斜線及び／又は角度が対角線より小さい斜線が線候補として使用できるかどうかを決定してもよい。
代替的に、符号化ブロックのイントラ予測モード、インター予測モード、使用可能なマージ候補の位置又は隣接ブロックの分割タイプのうちの少なくとも１つに基づいて、符号化ブロックを分割する線の数、角度又は位置のうちの少なくとも１つを適応的に決定してもよい。
符号化ブロックが複数の予測ユニットに分割される場合、分割された各予測ユニットに対してイントラ予測又はインター予測を実行してもよい。
図１２は対角線を使用して符号化ブロックを複数の予測ユニットに分割する例を示す図である。
図１２（ａ）及び図１２（ｂ）に示される例では、対角線を使用して符号化ブロックを２つの三角形予測ユニットに分割してもよい。
図１２（ａ）及び図１２（ｂ）には、符号化ブロックの２つの頂点を接続する対角線を使用して符号化ブロックを２つの予測ユニットに分割することを示す。しかしながら、線の少なくとも１つの末端が符号化ブロックの頂点を通らない斜線を使用して、符号化ブロックを２つの予測ユニットに分割してもよい。
図１３は符号化ブロックを２つの予測ユニットに分割する例を示す図である。
図１３（ａ）及び図１３（ｂ）に示される例では、その両端がそれぞれ符号化ブロックの上境界及び下境界に接触する斜線を使用して符号化ブロックを２つの予測ユニットに分割してもよい。
代替的に、図１３（ｃ）及び図１３（ｄ）に示される例では、その両端がそれぞれ符号化ブロックの左境界及び右境界に接触する斜線を使用して符号化ブロックを２つの予測ユニットに分割してもよい。
代替的に、符号化ブロックを異なるサイズの２つの予測ブロックに分割してもよい。例えば、符号化ブロックを分割する斜線は１つの頂点を形成する２つの境界面に接触するように設定され、これにより、符号化ブロックを異なるサイズの２つの予測ユニットに分割することができる。
図１４は符号化ブロックを異なるサイズの複数の予測ブロックに分割する例を示す図である。
図１４（ａ）及び図１４（ｂ）に示される例では、符号化ブロックの左上角又は右下角で接続される対角線を、符号化ブロックの左上角又は右下角を通ることなく、符号化ブロックの左境界、右境界、上境界又は下境界を通るように設定することにより、符号化ブロックを異なるサイズの２つの予測ユニットに分割することができる。
代替的に、図１４（ｃ）及び図１４（ｄ）に示される例では、符号化ブロックの右上角又は左下角で接続される対角線を、符号化ブロックの左上角又は右下角を通ることなく、符号化ブロックの左境界、右境界、上境界又は下境界を通るように設定することにより、符号化ブロックを異なるサイズの２つの予測ユニットに分割することができる。
符号化ブロックを分割することにより生成された各予測ユニットは「第Ｎ予測ユニット」と称される。例えば、図１２～図１４に示される例では、ＰＵ１は第１予測ユニットとして定義されてもよく、ＰＵ２は第２予測ユニットとして定義されてもよい。第１予測ユニットとは符号化ブロックにおける左下のサンプル又は左上のサンプルを含む予測ユニットを指してもよく、第２予測ユニットとは符号化ブロックにおける右上のサンプル又は右下のサンプルを含む予測ユニットを指してもよい。
上記とは逆に、符号化ブロックにおける右上のサンプル又は右下のサンプルを含む予測ユニットは第１予測ユニットとして定義されてもよく、符号化ブロックにおける左下のサンプル又は左上のサンプルを含む予測ユニットは第２予測ユニットとして定義されてもよい。
以下に記載される実施例は主に対角線を使用する分割例を説明する。特に、対角線を使用して符号化ブロックを２つの予測ユニットに分割する過程は対角線分割又は三角形分割と称され、対角線分割により生成された予測ユニットは三角形予測ユニットと称される。しかしながら、無論、以下に記載される実施例において垂直線、水平線又は対角線と異なる角度の斜線による分割例を使用してもよい。
スライスタイプ、マージ候補リストに含まれ得るマージ候補の最大数、符号化ブロックのサイズ、符号化ブロックの形状、符号化ブロックの予測符号化モード又は親ノードの分割タイプのうちの少なくとも１つに基づいて、符号化ブロックに対して対角線分割を適用するかどうかを決定してもよい。
例えば、現在スライスがＢ－スライスであるかどうかによって、符号化ブロックに対して対角線分割を適用するかどうかを決定してもよい。現在スライスがＢ－スライスである場合のみ、対角線分割が許容され得る。
代替的に、マージ候補リストに含まれるマージ候補の最大数が２つ以上であるかどうかによって、符号化ブロックに対して対角線分割を適用するかどうかを決定してもよい。マージ候補リストに含まれるマージ候補の最大数が２つ以上である場合のみ、対角線分割が許容され得る。
代替的に、ハードウェアの幅及び高さのうちの少なくとも１つが６４より大きい場合、６４×６４サイズのデータ処理ユニットが冗長的にアクセスされてしまうこととなる。これにより、符号化ブロックの幅及び高さのうちの少なくとも１つが閾値より大きい場合、符号化ブロックを複数の予測ブロックに分割することが許容されない可能性がある。例えば、符号化ブロックの高さ及び幅のうちの少なくとも１つが６４より大きい場合（例えば、幅及び高さのうちの少なくとも１つが１２８である場合）、対角線分割を使用しなくてもよい。
代替的に、ハードウェア実施形態において同時に処理できる最大サンプル数を考慮した上で、サンプル数が閾値より大きい符号化ブロックに対して、対角線分割が許容されない可能性がある。例えば、サンプル数が４０９６より大きい符号化ツリーブロックに対して、対角線分割が許容されない可能性がある。
代替的に、符号化ブロックに含まれるサンプル数が閾値より小さい符号化ブロックに対して、対角線分割が許容されない可能性がある。例えば、符号化ブロックに含まれるサンプル数が６４より小さい場合、対角線分割を符号化ブロックに適用しないように設定してもよい。
代替的に、符号化ブロックの幅と高さの比が第１閾値より小さいかどうか、又は符号化ブロックの幅と高さの比が第２閾値より大きいかどうかによって、符号化ブロックに対して対角線分割を適用するかどうかを決定してもよい。ここで、符号化ブロックの幅と高さの比ｗｈＲａｔｉｏは符号化ブロックの幅ＣｂＷと高さＣｂＨの比として決定されてもよく、下記等式１に示される。
等式１
Figure 2023018046000002
第２閾値は第１閾値の逆数であってもよい。例えば、第１閾値がｋである場合、第２閾値は１／ｋであってもよい。
符号化ブロックの幅と高さの比が第１閾値と第２閾値との間にある場合のみ、符号化ブロックに対して対角線分割を適用できる。
代替的に、符号化ブロックの幅と高さの比が第１閾値より小さく又は第２閾値より大きい場合のみ、三角形分割を使用できる。例えば、第１閾値が１６である場合、６４×４又は４×６４サイズの符号化ブロックに対して対角線分割が許容できない。
代替的に、親ノードの分割タイプに基づいて、対角線分割が許容されるかどうかを決定してもよい。例えば、親ノードとしての符号化ブロックが４分木分割を行う場合、葉ノードとしての符号化ブロックに対して対角線分割を適用できる。一方、親ノードとしての符号化ブロックが２分木又は３分木分割によって分割される場合、葉ノードとしての符号化ブロックは対角線分割が許容されないように設定される。
代替的に、符号化ブロックの予測符号化モードに基づいて、対角線分割が許容されるかどうかを決定してもよい。例えば、符号化ブロックがイントラ予測によって符号化される場合、符号化ブロックがインター予測によって符号化される場合又は符号化ブロックが予め定義されたインター予測モードで符号化される場合のみ、対角線分割が許容され得る。予め定義されたインター予測モードはマージモード、高度動きベクトル予測モード、アフィンマージモード又はアフィン運動ベクトル予測モードのうちの少なくとも１つを示してもよい。
代替的に、並列処理領域のサイズに基づいて、対角線分割が許容されるかどうかを決定してもよい。例えば、符号化ブロックのサイズが並列処理領域のサイズより大きい場合、対角線分割を使用しない可能性がある。
更に前記列挙した条件のうちの２つ以上の条件を考慮した上で、符号化ブロックに対して対角線分割を適用するかどうかを決定してもよい。
他の例として、ストリームを介して信号によって、対角線分割を符号化ブロックに適用するかどうかを示す情報を送信してもよい。前記情報はシーケンスレベル、ピクチャレベル、スライスレベル又はブロックレベルで信号によって送信されてもよい。例えば、符号化ブロックレベルで信号によって、符号化ブロックに対して三角形分割を適用したかどうかを示すフラグｔｒｉａｎｇｌｅ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇを送信してもよい。
符号化ブロックに対して対角線分割を適用することを決定する場合、ストリームを介して信号によって、符号化ブロックを分割する線の数又は線の位置を示す情報を送信してもよい。
例えば、符号化ブロックが対角線により分割される場合、ストリームを介して信号によって、符号化ブロックを分割する対角線の方向を示す情報を送信してもよい。例えば、ストリームを介して信号によって、対角線の方向を示すフラグｔｒｉａｎｇｌｅ＿ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅ＿ｆｌａｇを送信してもよい。前記フラグは符号化ブロックが左上と右下を接続する対角線により分割されるかどうか、又は右上と左下を接続する対角線により分割されるかどうかを示す。左上と右下を接続する対角線で符号化ブロックを分割することは左三角形分割タイプと称されるが、右上と左下を接続する対角線で符号化ブロックを分割することは右三角形分割タイプと称される。例えば、前記フラグの値が０である場合、符号化ブロックの分割タイプが左三角形分割タイプであることを示し、前記フラグの値が１である場合、符号化ブロックの分割タイプが右三角形分割タイプであることを示す。
また、ストリームを介して信号によって、予測ユニットが同じサイズを有するかどうかを示す情報、又は符号化ブロックを分割するための対角線の位置を示す情報を送信してもよい。例えば、予測ユニットのサイズを示す情報は予測ユニットのサイズが同じであることを示す場合、対角線位置を示す情報の符号化は省略し、符号化ブロックの２つの頂点を通る対角線を使用して符号化ブロックを２つの予測ユニットに分割してもよい。一方、予測ユニットのサイズを示す情報は予測ユニットのサイズが異なることを示す場合、対角線の位置を示す情報に基づいて、符号化ブロックを分割するための対角線の位置を決定してもよい。例えば、左三角形分割タイプを符号化ブロックに適用する場合、位置情報は対角線が符号化ブロックの左境界及び下境界又は上境界及び右境界に接触するかどうかを示してもよい。代替的に、右三角形分割タイプを符号化ブロックに適用する場合、位置情報は対角線が符号化ブロックの右境界及び下境界又は上境界及び左境界に接触するかどうかを示してもよい。
符号化ブロックの分割タイプを示す情報は符号化ブロックレベルで信号によって送信されてもよい。これにより、対角線分割を適用する異なる符号化ブロックに対して分割タイプを決定してもよい。
他の例として、シーケンス、ピクチャ、スライス、セグメント又は符号化ツリーユニットに対して、信号によって分割タイプを示す情報を送信してもよい。このような場合、対角線分割を適用する符号化ブロックの分割タイプはシーケンス、ピクチャ、スライス、セグメント又は符号化ツリーユニットにおいて同じであるように設定されてもよい。
代替的に、符号化ツリーユニットにおける対角線分割を適用する第１符号化ユニットに対して、分割タイプを決定するための情報を符号化して信号によって送信し、対角線分割を適用する２番目及び以後の符号化ユニットは１番目の符号化ユニットと同じ分割タイプを使用するように設定される。
他の例として、隣接ブロックの分割タイプに基づいて、符号化ブロックの分割タイプを決定してもよい。隣接ブロックは符号化ブロックの左上角に隣接する隣接ブロック、右上角に隣接する隣接ブロック、左下角に隣接する隣接ブロック、上方に位置する隣接ブロック又は左側に位置する隣接ブロックのうちの少なくとも１つを含んでもよい。例えば、現在ブロックの分割タイプは隣接ブロックの分割タイプと同じであるように設定されてもよい。代替的に、左上隣接ブロックが左三角形分割タイプを適用するかどうか、右上隣接ブロック又は左下隣接ブロックが右三角形分割タイプを適用するかどうかによって、現在ブロックの分割タイプを決定してもよい。
予測ユニットのサイズを変換ユニットのサイズ以下に設定してもよい。また、１つの変換ユニットが１つの予測ユニットを含まなければならないように設定してもよい。従って、ＶＰＤＵ変換ユニット分割を符号化ブロックに適用する場合、対角線分割を符号化ブロックに適用する代わりに、対角線分割を変換ユニットに適用してもよい。
図１５は対角線分割を変換ユニットに適用する例を示す図である。
図１５に示される例では、符号化ブロックを複数の変換ユニットに分割する場合、各変換ユニットに対して対角線分割を適用するかどうかを決定してもよい。代替的に、サイズが変換ユニットのサイズより小さいブロックを単位として対角線分割を適用するかどうかを決定してもよい。
代替的に、ＶＰＤＵ変換ユニット分割を符号化ブロックに適用する場合、対角線分割を符号化ブロックに適用するかどうかを決定し、且つ、符号化ブロックに含まれるすべての変換ユニットは前記決定に従うように設定されてもよい。例えば、対角線分割を符号化ブロックに適用することを決定する場合、符号化ブロックに含まれるすべての変換ユニットを２つの予測ユニットに分割してもよい。
第１三角形予測ユニット及び第２三角形予測ユニットに対して運動予測補償を実行するために、第１三角形予測ユニット及び第２三角形予測ユニットそれぞれの運動情報を導き出してもよい。このような場合、マージ候補リストに含まれるマージ候補から第１三角形予測ユニット及び第２三角形予測ユニットの運動情報を導き出してもよい。一般的なマージ候補リストと三角形予測ユニットの運動情報を導き出す際に使用されるマージ候補リストとを区別するために、三角形予測ユニットの運動情報を導き出すためのマージ候補リストは三角形マージ候補リストと称され、三角形マージ候補リストに含まれるマージ候補は三角形マージ候補と称される。しかしながら、上記マージ候補導き出し方法及びマージ候補リスト構築方法を三角形マージ候補及び三角形マージ候補リスト構築方法に用いることも本発明の主旨に含まれる。
ストリームを介して信号によって、三角形マージ候補リストに含まれ得る最大三角形マージ候補の数を決定するための情報を送信してもよい。前記情報はマージ候補リストに含まれ得る最大マージ候補の数と三角形マージ候補リストに含まれ得る最大三角形マージ候補の数との差を示してもよい。
符号化ブロックの空間隣接ブロック及び時間隣接ブロックから三角形マージ候補を導き出してもよい。
図１６は三角形マージ候補を導き出すための隣接ブロックを示す図である。
符号化ブロックの上方に位置する隣接ブロック、符号化ブロックの左側に位置する隣接ブロック、又は符号化ブロックと異なるピクチャに含まれるコロケーテッドブロックのうちの少なくとも１つを使用して、三角形マージ候補を導き出してもよい。上側隣接ブロックは、符号化ブロックの上方に位置するサンプル（ｘＣｂ＋ＣｂＷ－１，ｙＣｂ－１）を含むブロック、符号化ブロックの上方に位置するサンプル（ｘＣｂ＋ＣｂＷ，ｙＣｂ－１）を含むブロック、又は符号化ブロックの上方に位置するサンプル（ｘＣｂ－１，ｙＣｂ－１）を含むブロックのうちの少なくとも１つを含んでもよい。左側隣接ブロックは、符号化ブロックの左側に位置するサンプル（ｘＣｂ－１，ｙＣｂ＋ＣｂＨ－１）を含むブロック、又は符号化ブロックの左側に位置するサンプル（ｘＣｂ－１，ｙＣｂ＋ＣｂＨ）を含むブロックのうちの少なくとも１つを含んでもよい。コロケーテッドブロックはコロケーテッドピクチャにおける符号化ブロックの右上角に隣接するサンプル（ｘＣｂ＋ＣｂＷ，ｙＣｂ＋ＣｂＨ）を含むブロック、又は符号化ブロックの中心に位置するサンプル（ｘＣｂ／２，ｙＣｂ／２）を含むブロックのうちのいずれか１つとして決定されてもよい。
予め定義された順序に従って隣接ブロックを検索してもよく、予め定義された順序に従って三角形マージ候補を三角形マージ候補リストに構築してもよい。例えば、Ｂ１、Ａ１、Ｂ０、Ａ０、Ｃ０、Ｂ２及びＣ１の順序に従って三角形マージ候補を検索して三角形マージ候補リストを構築してもよい。
三角形予測ユニットの運動情報は前記三角形マージ候補リストに基づいて導き出されてもよい。即ち、三角形予測ユニットは１つの三角形マージ候補リストを共有してもよい。
三角形マージユニットの運動情報を導き出すために、ストリームを介して信号によって、三角形マージ候補リストに含まれる三角形マージ候補のうちの少なくとも１つを指定するための情報を送信してもよい。例えば、ストリームを介して信号によって、三角形マージ候補のうちの少なくとも１つを指定するためのインデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘを送信してもよい。
インデックス情報は第１三角形予測ユニットのマージ候補と第２三角形予測ユニットのマージ候補との組み合わせを指定することができる。例えば、下記表１にはインデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに基づくマージ候補の組み合わせの例を示す。
Figure 2023018046000003
インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘの値が１である場合、第１三角形予測ユニットの運動情報がインデックス１のマージ候補から導き出され、第２三角形予測ユニットの運動情報がインデックス０のマージ候補から導き出されることを示す。インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘによって、第１三角形予測ユニットの運動情報を導き出すための三角形マージ候補、及び第２三角形予測ユニットの運動情報を導き出すための三角形マージ候補を決定してもよい。
更にインデックス情報に基づいて対角線分割を適用する符号化ブロックの分割タイプを決定してもよい。即ち、インデックス情報は第１三角形予測ユニットのマージ候補、第２三角形予測ユニットのマージ候補及び符号化ブロックの分割方向の組み合わせを指定することができる。インデックス情報に基づいて符号化ブロックの分割タイプを決定する場合、符号化ブロックを分割する対角線の方向を示す情報ｔｒｉａｎｇｌｅ＿ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅ＿ｆｌａｇを符号化しなくてもよい。表２にはインデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに関して符号化ブロックの分割タイプを示す。
Figure 2023018046000004
変数ＴｒｉａｎｇｌｅＤｉｒが０である場合、符号化ブロックが左三角形分割タイプを適用することを示し、変数ＴｒｉａｎｇｌｅＤｉｒが１である場合、符号化ブロックが右三角形分割タイプを適用することを示す。表１と表２を組み合わせることにより、インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに基づいて第１三角形予測ユニットのマージ候補、第２三角形予測ユニットのマージ候補及び符号化ブロックの分割方向の組み合わせを指定するように設定してもよい。
他の例として、信号によって第１三角形予測ユニット及び第２三角形予測ユニットのうちのいずれか一方のみに使用されるインデックス情報を送信してもよく、前記インデックス情報に基づいて第１三角形予測ユニット及び第２三角形予測ユニットのうちの他方に使用される三角形マージ候補のインデックスを決定してもよい。例えば、三角形マージ候補のうちのいずれか１つのインデックスを示すインデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに基づいて第１三角形予測ユニットの三角形マージ候補を決定してもよい。且つ、前記ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに基づいて第２三角形予測ユニットの三角形マージ候補を指定してもよい。例えば、前記インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘにオフセット量を加え、又は前記インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘからオフセット量を引くことにより、第２三角形予測ユニットの三角形マージ候補を導き出すことができる。オフセット量は１又は２等の整数であってもよい。例えば、第２三角形予測ユニットの三角形マージ候補を、ｍｅｒｇｅ＿ｔｒａｉｎｇｌｅ＿ｉｄｘに１を加えた値をインデックスとする三角形マージ候補として決定してもよい。ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘが三角形マージ候補のうちのインデックス値の最も大きい三角形マージ候補を示す場合、インデックス０の三角形マージ候補又はｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘから１を引いた値をインデックスとする三角形マージ候補から第２三角形予測ユニットの運動情報を導き出してもよい。
代替的に、インデックス情報に基づいて指定された第１三角形予測ユニットの三角形マージ候補と同じ参照ピクチャを有する三角形マージ候補から第２三角形予測ユニットの運動情報を導き出してもよい。第１三角形予測ユニットの三角形マージ候補と同じ参照ピクチャを有する三角形マージ候補は、第１三角形予測ユニットの三角形マージ候補と同じ三角形マージ候補を有するＬ０参照ピクチャ又はＬ１参照ピクチャのうちの少なくとも１つを示してもよい。参照ピクチャが第１三角形予測ユニットの三角形マージ候補と同じである三角形マージ候補が複数ある場合、マージ候補が双方向運動情報を含むかどうか、又はマージ候補のインデックスとインデックス情報との差分のうちの少なくとも１つによって、いずれか１つを選択してもよい。
他の例として、第１三角形予測ユニット及び第２三角形予測ユニットに対して、それぞれ信号によってインデックス情報を送信してもよい。例えば、ストリームを介して信号によって、第１三角形予測ユニットの三角形マージ候補を決定するための第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘ、及び第２三角形予測ユニットの三角形マージ候補を決定するための第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘを送信してもよい。第１三角形予測ユニットの運動情報は第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘに基づいて決定した三角形マージ候補から導き出されてもよく、第２三角形予測ユニットの運動情報は第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘに基づいて決定した三角形マージ候補から導き出されてもよい。
第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘは三角形マージ候補リストに含まれる三角形マージ候補のうちのいずれか１つのインデックスを示してもよい。第１三角形予測ユニットの三角形マージ候補は第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘが指す三角形マージ候補として決定されてもよい。
第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘが指す三角形マージ候補は第２三角形予測ユニットの三角形マージ候補として使用できないように設定される。これにより、第２三角形予測ユニットの第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘは第１インデックス情報が指す三角形マージ候補以外の残りの三角形マージ候補のうちのいずれか１つのインデックスを示してもよい。第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘの値が第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘの値より小さい場合、第２三角形予測ユニットの三角形マージ候補は第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘで示されるインデックス情報を有する三角形マージ候補として決定されてもよい。一方、第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘの値が同じであり又は第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘの値より大きい場合、第２三角形予測ユニットの三角形マージ候補は第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘの値に１を加えた値をインデックスとする三角形マージ候補として決定されてもよい。
代替的に、三角形マージ候補リストに含まれる三角形マージ候補の数に基づいて、信号によって第２インデックス情報を送信するかどうかを決定してもよい。例えば、三角形マージ候補リストに含まれ得る三角形マージ候補の最大数が２以下である場合、信号によって第２インデックス情報を送信することは省略してもよい。信号によって第２インデックス情報を送信することは省略する場合、第１インデックス情報にオフセット量を加え、又は第１インデックス情報からオフセット量を引くことにより第２三角形マージ候補を導き出すことができる。例えば、三角形マージ候補リストに含まれ得る三角形マージ候補の最大数が２であり且つ第１インデックス情報がインデックス０である場合、第１インデックス情報に１を加えることにより第２三角形マージ候補を導き出すことができる。代替的に、三角形マージ候補リストに含まれ得る三角形マージ候補の最大数が２であり且つ第１インデックス情報が１である場合、第１インデックス情報から１を引くことにより第２三角形マージ候補を導き出すことができる。
代替的に、信号によって第２インデックス情報を送信することは省略する場合、第２インデックス情報をデフォルト値として設定してもよい。デフォルト値は０であってもよい。第１インデックス情報と第２インデックス情報とを比較することにより、第２三角形マージ候補を導き出すことができる。例えば、第２インデックス情報が第１インデックス情報より小さい場合、インデックス０のマージ候補を第２三角形マージ候補として設定し、第２インデックス情報が同じであり又は第１インデックス情報より大きい場合、インデックス１のマージ候補を第２三角形マージ候補として設定する。
三角形マージ候補が単方向運動情報を有する場合、三角形マージ候補の単方向運動情報を三角形予測ユニットの運動情報として設定する。一方、三角形マージ候補が双方向運動情報を有する場合、Ｌ０運動情報又はＬ１運動情報のうちのいずれか１つのみを三角形予測ユニットの運動情報として設定する。三角形マージ候補のインデックス又は他の三角形予測ユニットの運動情報に基づいてＬ０運動情報又はＬ１運動情報のうちのどれを取得するかを決定してもよい。
例えば、三角形マージ候補のインデックスが偶数である場合、三角形予測ユニットのＬ０運動情報を０として設定し、三角形マージ候補のＬ１運動情報を三角形予測ユニットのＬ１運動情報として設定する。一方、三角形マージ候補のインデックスが奇数である場合、三角形予測ユニットのＬ１運動情報を０として設定し、三角形マージ候補のＬ０運動情報を０として設定する。上記とは逆に、三角形マージ候補のインデックスが偶数である場合、三角形マージ候補のＬ０運動情報を三角形予測ユニットのＬ０運動情報として設定し、三角形マージ候補のインデックスが奇数である場合、更に三角形マージ候補のＬ１運動情報を三角形予測ユニットのＬ１運動情報として設定してもよい。代替的に、第１三角形予測ユニットに対して、三角形マージ候補が偶数である場合、三角形マージ候補のＬ０運動情報を第１三角形予測ユニットのＬ０運動情報として設定する一方、第２三角形予測ユニットに対して、三角形マージ候補が奇数である場合、三角形マージ候補のＬ１運動情報を第２三角形予測ユニットのＬ１運動情報として設定する。
代替的に、第１三角形予測ユニットがＬ０運動情報を有する場合、第２三角形予測ユニットのＬ０運動情報を０として設定し、三角形マージ候補のＬ１運動情報を第２三角形予測ユニットのＬ１情報として設定する。一方、第１三角形予測ユニットがＬ１運動情報を有する場合、第２三角形予測ユニットのＬ１運動情報を０として設定し、三角形マージ候補のＬ０運動情報を第２三角形予測ユニットのＬ０運動信号として設定する。
更に、第１三角形予測ユニットの運動情報を導き出すための三角形マージ候補リストと第２三角形予測ユニットの運動情報を導き出すための三角形マージ候補リストが異なるように設定してもよい。
例えば、第１三角形予測ユニットに関連するインデックス情報に基づいて三角形マージ候補リストにおける第１三角形予測ユニットの運動情報を導き出すための三角形マージ候補を指定する場合、前記インデックス情報が指す三角形マージ候補以外の残りの三角形マージ候補を含む三角形マージリストを使用して、第２三角形予測ユニットの運動情報を導き出してもよい。具体的に、残りの三角形マージ候補のうちのいずれか１つから第２三角形予測ユニットの運動情報を導き出してもよい。
これにより、第１三角形予測ユニットの三角形マージ候補リストに含まれる最大三角形マージ候補の数と第２三角形予測ユニットの三角形マージ候補リストに含まれる最大三角形マージ候補の数は異なる。例えば、第１三角形予測ユニットの三角形マージ候補リストはＭ個のマージ候補を含む場合、第２三角形予測ユニットの三角形マージ候補リストは第１三角形予測ユニットのインデックス情報が指す三角形マージ候補以外のＭ－１個のマージ候補を含んでもよい。
他の例として、符号化ブロックに隣接する隣接ブロックに基づいて各三角形予測ユニットのマージ候補を導き出してもよく、三角形予測ユニットの形状又は位置を考慮した上で隣接ブロックの利用可能性を決定してもよい。
図１７は各三角形予測ユニットの隣接ブロックの利用可能性を決定する例を説明するための図である。
第１三角形予測ユニットに隣接しない隣接ブロックを第１三角形予測ユニットに利用不可能な隣接ブロックとして設定してもよく、第２三角形予測ユニットに隣接しない隣接ブロックを第２三角形予測ユニットに利用不可能な隣接ブロックとして設定してもよい。
例えば、図１７（ａ）に示される例では、左三角形分割タイプを符号化ブロックに適用する場合、符号化ブロックに隣接する隣接ブロックのうちの第１三角形予測ユニットに隣接するブロックＡ１、Ａ０及びＡ２が第１三角形予測ユニットに使用できるが、ブロックＢ０及びＢ１が第１三角形予測ユニットに使用できないことを決定できる。これにより、第１三角形予測ユニットに関連する三角形マージ候補リストはブロックＡ１、Ａ０及びＡ２から導き出した三角形マージ候補を含むが、ブロックＢ０及びＢ１から導き出した三角形マージ候補を含まない。
図１７（ｂ）に示される例では、左三角形分割タイプを符号化ブロックに適用する場合、第２三角形予測ユニットに隣接するブロックＢ０及びＢ１が第２三角形予測ユニットに使用できるが、ブロックＡ１、Ａ０及びＡ２が第２三角形予測ユニットに使用できないことを決定できる。これにより、第２三角形予測ユニットに関連する三角形マージ候補リストはブロックＢ０及びＢ１から導き出した三角形マージ候補を含むが、ブロックＡ１、Ａ０及びＡ２から導き出した三角形マージ候補を含まない。
これにより、三角形予測ユニットの位置又は符号化ブロックの分割タイプのうちの少なくとも１つに基づいて、三角形予測ユニットが使用できる三角形マージ候補の数又は三角形マージ候補の範囲を決定してもよい。
他の例として、マージモードを第１三角形予測ユニット及び第２三角形予測ユニットのうちのいずれか一方のみに適用できる。且つ、第１三角形予測ユニット及び第２三角形予測ユニットにおける他方の運動情報を、前記マージモードを適用する三角形予測ユニットの運動情報と同じであるように設定し、又は前記マージモードを適用する三角形予測ユニットの運動情報を細分化して導き出してもよい。
例えば、三角形マージ候補に基づいて第１三角形予測ユニットの運動ベクトル及び参照ピクチャインデックスを導き出してもよく、第１三角形予測ユニットの運動ベクトルを細分化して第２三角形予測ユニットの運動ベクトルを導き出してもよい。例えば、第１三角形予測ユニットの運動ベクトル｛ｍｖＤ１ＬＸｘ，ｍｖＤ１ＬＸｙ｝に微細運動ベクトル｛Ｒｘ，Ｒｙ｝を加え、又は第１三角形予測ユニットの運動ベクトル｛ｍｖＤ１ＬＸｘ，ｍｖＤ１ＬＸｙ｝から微細運動ベクトル｛Ｒｘ，Ｒｙ｝を引くことにより、第２三角形予測ユニットの運動ベクトルを導き出すことができる。第２三角形予測ユニットの参照ピクチャインデックスを第１三角形予測ユニットの参照ピクチャインデックスと同じであるように設定してもよい。
ストリームを介して信号によって、第１三角形予測ユニットの運動ベクトルと第２三角形予測ユニットの運動ベクトルとの差分を示す微細運動ベクトルを決定するための情報を送信してもよい。前記情報は微細運動ベクトルのサイズを示す情報又は微細運動ベクトルのシンボルを示す情報のうちの少なくとも１つを含んでもよい。
代替的に、三角形予測ユニットの位置、インデックス又は符号化ブロックに適用される分割タイプのうちの少なくとも１つに基づいて微細運動ベクトルのシンボルを導き出してもよい。
他の例として、信号によって第１三角形予測ユニット及び第２三角形予測ユニットのうちのいずれか一方の運動ベクトル及び参照ピクチャインデックスを送信してもよい。信号により送信された前記運動ベクトルを細分化することにより、第１三角形予測ユニット及び第２三角形予測ユニットのうちの他方の運動ベクトルを導き出すことができる。
例えば、ストリームから信号により送信された情報に基づいて、第１三角形予測ユニットの運動ベクトル及び参照ピクチャインデックスを決定してもよい。且つ、第１三角形予測ユニットの運動ベクトルを細分化することにより、第２三角形予測ユニットの運動ベクトルを導き出すことができる。例えば、第１三角形予測ユニットの運動ベクトル｛ｍｖＤ１ＬＸｘ，ｍｖＤ１ＬＸｙ｝に微細運動ベクトル｛Ｒｘ，Ｒｙ｝を加え、又は第１三角形予測ユニットの運動ベクトル｛ｍｖＤ１ＬＸｘ，ｍｖＤ１ＬＸｙ｝から微細運動ベクトル｛Ｒｘ，Ｒｙ｝を引くことにより、第２三角形予測ユニットの運動ベクトルを導き出すことができる。第２三角形予測ユニットの参照ピクチャインデックスを第１三角形予測ユニットの参照ピクチャインデックスと同じであるように設定してもよい。
第１三角形予測ユニットの運動情報及び第２三角形予測ユニットの運動情報に基づいてそれぞれ符号化ブロックに対して運動予測・補償予測を実行してもよい。このような場合、第１三角形予測ユニット及び第２三角形予測ユニットの境界部分に画質劣化が生じる恐れがある。例えば、第１三角形予測ユニット及び第２三角形予測ユニットの境界上のエッジ（Ｅｄｇｅ）近傍に画質が連続的に悪くなることとなる。境界部分の画質劣化を減少するために、平滑化（Ｓｍｏｏｔｈｉｎｇ）フィルタリング又は重み付け予測によって予測サンプルを導き出してもよい。
第１三角形予測ユニットの運動情報に基づいて取得した第１予測サンプル及び第２三角形予測ユニットの運動情報に基づいて取得した第２予測サンプルの加重和演算によって、符号化ブロックにおける対角線分割を適用する予測サンプルを導き出してもよい。代替的に、第１三角形予測ユニットの運動情報に基づいて決定した第１予測ブロックから第１三角形予測ユニットの予測サンプルを導き出し、第２三角形予測ユニットの運動情報に基づいて決定した第２予測ブロックから第２三角形予測ユニットの予測サンプルを導き出し、且つ、第１予測ブロックに含まれる第１予測サンプル及び第２予測ブロックに含まれる第２予測サンプルの加重和演算によって、第１三角形予測ユニット及び第２三角形予測ユニットの境界領域に位置する予測サンプルを導き出してもよい。例えば、下記等式２には第１三角形予測ユニット及び第２三角形予測ユニットの予測サンプルを導き出す例を示す。
等式２
Figure 2023018046000005
等式２では、Ｐ１が第１予測サンプルを示し、Ｐ２が第２予測サンプルを示す。ｗ１は第１予測サンプルに適用される重み付け値を示し、（１－ｗ１）は第２予測サンプルに適用される重み付け値を示す。等式２に示される例では、定数から第１予測サンプルに適用される重み付け値を引くことにより、第２予測サンプルに適用される重み付け値を導き出すことができる。
符号化ブロックに対して左三角形分割タイプを適用する場合、境界領域は同じｘ軸座標及びｙ軸座標を有する予測サンプルを含んでもよい。一方、符号化ブロックに対して右三角形分割タイプを適用する場合、境界領域はｘ軸座標とｙ軸座標との和が第１閾値以上且つ第２閾値以下である予測サンプルを含んでもよい。
符号化ブロックのサイズ、符号化ブロックの形状、三角形予測ユニットの運動情報、三角形予測ユニットの運動ベクトル差分、参照ピクチャの出力順序又は対角境界での第１予測サンプルと第２予測サンプルとの差分のうちの少なくとも１つに基づいて、境界領域のサイズを決定してもよい。
図１８及び図１９は第１予測サンプル及び第２予測サンプルの加重和演算によって予測サンプルを導き出す例を示す図である。図１８には左三角形分割タイプを符号化ブロックに適用する例を示し、図１９には右三角形分割タイプを符号化ブロックに適用する例を示す。また、図１８（ａ）及び図１９（ａ）は輝度成分の予測パターンを示す図であり、図１８（ｂ）及び図１９（ｂ）は色度成分の予測パターンを示す図である。
図面では、第１予測ユニット及び第２予測ユニットの境界近傍で予測サンプルに書き込まれた数字は第１予測サンプルに適用される重み付け値を示す。例えば、予測サンプルに書き込まれた数字がＮである場合、第１予測サンプルにＮ／８の重み付け値を適用し、第２予測サンプルに（１－（Ｎ／８））の重み付け値を適用し、これにより、前記予測サンプルを導き出すことができる。
非境界領域において、第１予測サンプル又は第２予測サンプルは予測サンプルとして決定されてもよい。図１８の例では、ｘ軸座標とｙ軸座標との差の絶対値が閾値より大きい領域のうちの第１三角形予測ユニットに属する領域において、第１三角形予測ユニットの運動情報に基づいて導き出した第１予測サンプルを予測サンプルとして決定してもよい。一方、ｘ軸座標とｙ軸座標との差分が閾値より大きい領域のうちの第２三角形予測ユニットに属する領域において、第２三角形予測ユニットの運動情報に基づいて導き出した第２予測サンプルを予測サンプルとして決定してもよい。
図１９の例では、ｘ軸座標とｙ軸座標との和が第１閾値より小さい領域において、第１三角形予測ユニットの運動情報に基づいて導き出した第１予測サンプルを予測サンプルとして決定してもよい。一方、ｘ軸座標とｙ軸座標との和が第２閾値より大きい領域において、第２三角形予測ユニットの運動情報に基づいて導き出した第２予測サンプルを予測サンプルとして決定してもよい。
符号化ブロックのサイズ、符号化ブロックの形状又は色成分のうちの少なくとも１つに基づいて、非境界領域を決定するための閾値を決定してもよい。例えば、輝度成分に関連する閾値がＮとして設定される場合、色度成分に関連する閾値をＮ／２として設定してもよい。
第１予測サンプル及び第２予測サンプルの加重和演算によって境界領域に含まれる予測サンプルを導き出してもよい。このような場合、予測サンプルの位置、符号化ブロックのサイズ、符号化ブロックの形状又は色成分のうちの少なくとも１つに基づいて、第１予測サンプル及び第２予測サンプルに適用される重み付け値を決定してもよい。
例えば、図１８（ａ）に示される例では、同じ重み付け値を第１予測サンプル及び第２予測サンプルに適用することにより、同じｘ軸座標及びｙ軸座標を有する位置での予測サンプルを導き出すことができる。第１予測サンプル及び第２予測サンプルに適用される重み付け値比率を（３：１）又は（１：３）として設定することにより、ｘ軸座標とｙ軸座標との差分の絶対値が１である予測サンプルを導き出すことができる。且つ、第１予測サンプル及び第２予測サンプルに適用される重み付け値比率を（７：１）又は（１：７）として設定することにより、ｘ軸座標とｙ軸座標との差分の絶対値が２である予測サンプルを導き出すことができる。
代替的に、図１８（ｂ）に示される例では、同じ重み付け値を第１予測サンプル及び第２予測サンプルに適用することにより、同じｘ軸座標及びｙ軸座標を有する位置での予測サンプルを導き出すことができ、且つ、第１予測サンプル及び第２予測サンプルに適用される重み付け値比率を（７：１）又は（１：７）として設定することにより、ｘ軸座標とｙ軸座標との差の絶対値が１である予測サンプルを導き出すことができる。
例えば、図１９（ａ）に示される例では、同じ重み付け値を第１予測サンプル及び第２予測サンプルに適用することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さより１小さい予測サンプルを導き出すことができる。第１予測サンプル及び第２予測サンプルに適用される重み付け値比率を（３：１）又は（１：３）として設定することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さと同じであり又は符号化ブロックの幅又は高さより２小さい予測サンプルを導き出すことができる。第１予測サンプル及び第２予測サンプルに適用される重み付け値比率を（７：１）又は（１：７）として設定することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さより１大きく又は符号化ブロックの幅又は高さより３小さい予測サンプルを導き出すことができる。
代替的に、図１９（ｂ）に示される例では、同じ重み付け値を第１予測サンプル及び第２予測サンプルに適用することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さより１小さい予測サンプルを導き出すことができる。第１予測サンプル及び第２予測サンプルに適用される重み付け値比率を（７：１）又は（１：７）として設定することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さと同じであり又は符号化ブロックの幅又は高さより２小さい予測サンプルを導き出すことができる。
他の例として、予測サンプルの位置又は符号化ブロックの形状を考慮した上で重み付け値を決定してもよい。等式３～５には左三角形分割タイプを符号化ブロックに適用する場合に重み付け値を導き出す例を示す。等式３には符号化ブロックが正方形である場合に第１予測サンプルに適用される重み付け値を導き出す例を示す。
等式３
Figure 2023018046000006
等式３では、ｘとｙが予測サンプルの位置を示す。符号化ブロックが非正方形である場合、等式４又は５に示すように第１予測サンプルに適用される重み付け値を導き出してもよい。等式４には符号化ブロックの幅が高さより大きい場合を示し、等式５には符号化ブロックの幅が高さより小さい場合を示す。
等式４
Figure 2023018046000007
等式５
Figure 2023018046000008
右三角形分割タイプを符号化ブロックに適用する場合、等式６～８に示すように第１予測サンプルに適用される重み付け値を決定してもよい。等式６には符号化ブロックが正方形である場合に第１予測サンプルに適用される重み付け値を導き出す例を示す。
等式６
Figure 2023018046000009
等式６では、ＣｂＷが符号化ブロックの幅を示す。符号化ブロックが非正方形である場合、等式７又は８に示すように第１予測サンプルに適用される重み付け値を導き出してもよい。等式７には符号化ブロックの幅が高さより大きい場合を示し、等式８には符号化ブロックの幅が高さより小さい場合を示す。
等式７
Figure 2023018046000010
等式８
Figure 2023018046000011
等式７では、ＣｂＨが符号化ブロックの高さを示す。
図示の例では、境界領域における予測サンプルに対して、第１予測サンプルに第２予測サンプルより大きい重み付け値を与えることにより、第１三角形予測ユニットに含まれるサンプルを導き出すことができ、第２予測サンプルに第１予測サンプルより大きい重み付け値を与えることにより、第２三角形予測ユニットに含まれるサンプルを導き出すことができる。
符号化ブロックに対して対角線分割を適用する場合、符号化ブロックはイントラ予測モードとマージモードを組み合わせる組合せ予測モードを適用しないように設定されてもよい。
イントラ予測は現在ブロック周辺の符号化／復号化後の再構築サンプルを使用して現在ブロックを予測することである。このような場合、現在ブロックのイントラ予測はループ内フィルタを適用する前の再構築サンプルを使用してもよい。
イントラ予測技術は行列（Ｍａｔｒｉｘ）に基づくイントラ予測、及び周辺再構築サンプルの指向性を考慮した一般的なイントラ予測を含む。ストリームを介して信号によって、現在ブロックのイントラ予測技術を示す情報を送信してもよい。前記情報は１ビットフラグであってもよい。代替的に、現在ブロックの位置、サイズ、形状又は隣接ブロックのイントラ予測技術のうちの少なくとも１つに基づいて、現在ブロックのイントラ予測技術を決定してもよい。例えば、現在ブロックがピクチャ境界を跨いで存在する場合、現在ブロックは行列に基づくイントラ予測を適用しないように設定される。
行列に基づくイントラ予測はエンコーダ及びデコーダに記憶される行列と現在ブロック周辺の再構築サンプルとの行列乗算によって現在ブロックの予測ブロックを取得する方法である。ストリームを介して信号によって、記憶される複数の行列のうちのいずれか１つを指定するための情報を送信してもよい。デコーダは前記情報及び現在ブロックのサイズに基づいて現在ブロックのイントラ予測のための行列を決定してもよい。
一般的なイントラ予測は非角度イントラ予測モード又は角度イントラ予測モードに基づいて、現在ブロックに関連する予測ブロックを取得する方法である。以下、図面を参照しながら、一般的なイントラ予測に基づいてイントラ予測を実行する過程をより詳しく説明する。
図２０は本発明の実施例に係るイントラ予測方法を示すフローチャートである。
現在ブロックの参照サンプルラインを決定してもよい（Ｓ２００１）。参照サンプルラインとは現在ブロックの上方及び／又は左側からのＫ番目の行に含まれる参照サンプルのセットを指す。現在ブロック周辺の符号化／復号化後の再構築サンプルから参照サンプルを導き出してもよい。
ストリームを介して信号によって、複数の参照サンプルラインのうちの現在ブロックの参照サンプルラインを示すインデックス情報を送信してもよい。例えば、ストリームを介して信号によって、現在ブロックの参照サンプルラインを指定するためのインデックス情報ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘを送信してもよい。符号化ブロックを単位として信号によって前記インデックス情報を送信してもよい。
複数の参照サンプルラインは現在ブロックの上方及び／又は左側に位置する第１線、第２線、第３線又は第４線のうちの少なくとも１つを含んでもよい。複数の参照サンプルラインのうちの現在ブロックの上方に隣接する行と現在ブロックの左側に隣接する列とからなる参照サンプルラインは隣接参照サンプルラインと称されてもよく、それ以外の参照サンプルラインは更に非隣接参照サンプルラインと称されてもよい。
複数の参照サンプルラインのうちのいくつかは現在ブロックの参照サンプルラインとして選択されてもよい。例えば、複数の参照サンプルラインのうちの第３非隣接参照サンプルライン以外の残りの参照サンプルラインは候補参照サンプルラインとして設定されてもよい。表３にはそれぞれ各候補参照サンプルラインに割り当てられたインデックスを示す。
Figure 2023018046000012
説明されるサンプルラインより多い候補参照サンプルラインを設定してもよく、又はより少ない候補参照サンプルラインを設定してもよい。且つ、候補参照サンプルラインとして設定される非隣接参照サンプルラインの数又は位置は説明される例に限らない。例えば、第１非隣接参照サンプルライン及び第３非隣接参照サンプルラインを候補参照サンプルラインとして設定してもよく、又は第２非隣接参照サンプルライン及び第３非隣接参照サンプルラインを候補参照サンプルラインとして設定してもよい。代替的に、更に第１非隣接参照サンプルライン、第２非隣接参照サンプルライン及び第３非隣接参照サンプルラインをいずれも候補参照サンプルラインとして設定してもよい。
現在ブロックのサイズ、形状、位置、サブブロックが分割されるかどうか又はイントラ予測モードのうちの少なくとも１つに基づいて、候補参照サンプルラインの数又はタイプを決定してもよい。
更に現在ブロックの位置、サイズ、形状又は隣接ブロックの予測符号化モードのうちの少なくとも１つに基づいて、現在ブロックの参照サンプルラインを決定してもよい。例えば、現在ブロックがピクチャ、セグメント、スライス又は符号化ツリーユニットの境界に接触する場合、１番目の参照サンプルラインを現在ブロックの参照サンプルラインとして決定してもよい。
代替的に、現在ブロックが非正方形である場合、隣接参照サンプルラインを現在ブロックの参照サンプルラインとして設定してもよい。代替的に、現在ブロックの幅と高さの比が閾値以上又は閾値以下である場合、隣接参照サンプルラインを現在ブロックの参照サンプルラインとして決定してもよい。
参照サンプルラインは現在ブロックの上方に位置する上方参照サンプル及び現在ブロックの左側に位置する左側参照サンプルを含んでもよい。現在ブロック周辺の再構築サンプルから上方参照サンプル及び左側参照サンプルを導き出してもよい。前記再構築サンプルはループ内フィルタを適用する前の状態にあってもよい。
次に、現在ブロックのイントラ予測モードを決定してもよい（Ｓ２００２）。現在ブロックのイントラ予測モードに対して、非角度イントラ予測モード又は角度イントラ予測モードのうちの少なくとも１つを現在ブロックのイントラ予測モードとして決定してもよい。非角度イントラ予測モードはプレーナ（ｐｌａｎｅｒ）及びＤＣを含み、角度イントラ予測モードは左下対角線方向から右上対角線方向までの３３個又は６５個のモードを含む。
図２１はイントラ予測モードを示す図である。
図２１（ａ）には３５個のイントラ予測モードを示し、図２１（ｂ）には６７個のイントラ予測モードを示す。
図２１に示されるものより多く又は少ない数のイントラ予測モードを定義してもよい。
現在ブロックに隣接する隣接ブロックのイントラ予測モードに基づいて最確モード（ＭＰＭ、Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）を設定してもよい。隣接ブロックは現在ブロックの左側に隣接する左側隣接ブロック、及び現在ブロックの上方に隣接する上側隣接ブロックを含んでもよい。
エンコーダ及びデコーダにおいてＭＰＭリストに含まれるＭＰＭの数を予め定義してもよい。例えば、ＭＰＭの数は３つ、４つ、５つ又は６つであってもよい。代替的に、ストリームを介して信号によって、ＭＰＭの数を示す情報を送信してもよい。代替的に、隣接ブロックの予測符号化モード、現在ブロックのサイズ又は形状のうちの少なくとも１つに基づいてＭＰＭの数を決定してもよい。例えば、隣接参照サンプルラインを現在ブロックの参照サンプルラインとして決定する場合、Ｎ個のＭＰＭを使用するが、非隣接参照サンプルラインを現在ブロックの参照サンプルラインとして決定する場合、Ｍ個のＭＰＭを使用してもよい。ＭはＮより小さい整数であり、例えば、Ｎは６であってもよく、Ｍは５、４又は３であってもよい。これにより、現在ブロックの参照サンプルラインのインデックスが０であり且つＭＰＭフラグが真である場合、現在ブロックのイントラ予測モードを６つの候補イントラ予測モードのうちのいずれか１つとして決定してもよいが、現在ブロックの参照サンプルラインのインデックスが０より大きく且つＭＰＭフラグが真である場合、現在ブロックのイントラ予測モードを５つの候補イントラ予測モードのうちのいずれか１つとして決定してもよい。
代替的に、現在ブロックの参照サンプルラインのインデックスにかかわらず、固定数（例えば、６つ又は５つ）のＭＰＭ候補を使用してもよい。
複数のＭＰＭを含むＭＰＭリストを生成してもよく、ストリームを介して信号によって、現在ブロックのイントラ予測モードと同じＭＰＭがＭＰＭリストに含まれるかどうかを示す情報を送信してもよい。前記情報は１ビットフラグであり、ＭＰＭフラグと称されてもよい。ＭＰＭフラグは現在ブロックと同じＭＰＭがＭＰＭリストに含まれることを示す場合、ストリームを介して信号によって、ＭＰＭのうちの１つを示すインデックス情報を送信してもよい。例えば、ストリームを介して信号によって、複数のＭＰＭのうちのいずれか１つを指定するインデックス情報ｍｐｍ＿ｉｄｘを送信してもよい。前記インデックス情報により指定されたＭＰＭを現在ブロックのイントラ予測モードとして設定してもよい。ＭＰＭフラグは現在ブロックと同じＭＰＭがＭＰＭリストに含まれないことを示す場合、ストリームを介して信号によって、ＭＰＭ以外の残りのイントラ予測モードのうちのいずれか１つを示す残りのモード情報を送信してもよい。残りのモード情報はＭＰＭ以外の残りのイントラ予測モードにインデックスを改めて割り当てる場合に現在ブロックのイントラ予測モードに対応するインデックス値を示す。デコーダは昇順でＭＰＭを配列して、残りのモード情報とＭＰＭとを比較することで現在ブロックのイントラ予測モードを決定してもよい。例えば、残りのモード情報がＭＰＭと同じであり又はＭＰＭより小さい場合、残りのモード情報に１を加えることで現在ブロックのイントラ予測モードを導き出してもよい。
現在ブロックのイントラ予測モードを導き出す場合、ＭＰＭの一部と残りのモード情報との比較は省略してもよい。例えば、非角度イントラ予測モードのＭＰＭを比較オブジェクトから排除してもよい。非角度イントラ予測モードがＭＰＭとして設定される場合、残りのモード情報は角度イントラ予測モードを明確に示すため、非角度イントラ予測モード以外の残りのＭＰＭと残りのモード情報との比較によって現在ブロックのイントラ予測モードを導き出してもよい。非角度イントラ予測モードを比較オブジェクトから排除する代わりに、残りのモード情報に非角度イントラ予測モードの数を加えた結果値とＭＰＭとを比較してもよい。
デフォルトモードをＭＰＭとして設定する代わりに、ストリームを介して信号によって、現在ブロックのイントラ予測モードがデフォルトモードであるかどうかを示す情報を送信してもよい。前記情報は１ビットフラグであり、前記フラグはデフォルトモードフラグと称されてもよい。ＭＰＭフラグは現在ブロックと同じＭＰＭがＭＰＭリストに含まれることを示す場合のみ、信号によってデフォルトモードフラグを送信してもよい。以上のように、デフォルトモードはプレーナ、ＤＣ、垂直方向モード又は水平方向モードのうちの少なくとも１つを含んでもよい。例えば、プレーナがデフォルトモードとして設定される場合、デフォルトモードフラグは現在ブロックのイントラ予測モードがプレーナであるかどうかを示してもよい。デフォルトモードフラグは現在ブロックのイントラ予測モードがデフォルトモードではないことを示す場合、インデックス情報で示されるＭＰＭのうちの１つを現在ブロックのイントラ予測モードとして設定してもよい。
デフォルトモードフラグを使用する場合、デフォルトモードと同じイントラ予測モードはＭＰＭとして設定されなくてもよい。例えば、デフォルトモードフラグは現在ブロックのイントラ予測モードがプレーナであるかどうかを示す場合、プレーナに相当するＭＰＭ以外の５つのＭＰＭを使用して現在ブロックのイントラ予測モードを導き出してもよい。
複数のイントラ予測モードをデフォルトモードとして設定する場合、更に信号によって、デフォルトモードのうちのいずれか１つを示すインデックス情報を送信してもよい。現在ブロックのイントラ予測モードを前記インデックス情報が指すデフォルトモードとして設定してもよい。
現在ブロックの参照サンプルラインのインデックスが０ではない場合、デフォルトモードを使用しないように設定する。例えば、非隣接参照サンプルラインが現在ブロックの参照サンプルラインとして決定される場合、ＤＣモード又はプレーナモード等の非角度イントラ予測モードを使用しないように設定してもよい。これにより、参照サンプルラインのインデックスが０ではない場合、信号によってデフォルトモードフラグを送信せず、前記デフォルトモードフラグの値を予め定義された値（即ち、偽）として設定してもよい。
現在ブロックのイントラ予測モードを決定する場合、決定されたイントラ予測モードに基づいて現在ブロックの予測サンプルを取得してもよい（Ｓ２００３）。
ＤＣモードを選択するとき、参照サンプルの平均値に基づいて現在ブロックに関連する予測サンプルを生成してもよい。具体的に、参照サンプルの平均値に基づいて予測ブロックにおけるサンプル全体の値を生成してもよい。現在ブロックの上方に位置する上方参照サンプル及び現在ブロックの左側に位置する左側参照サンプルのうちの少なくとも１つを使用して平均値を導き出してもよい。
現在ブロックの形状に基づいて平均値を導き出す際に使用される参照サンプルの数又は範囲は異なる。例えば、現在ブロックは幅が高さより大きい非正方形ブロックである場合、上方参照サンプルのみを使用して平均値を計算してもよい。一方、現在ブロックは幅が高さより小さい非正方形ブロックである場合、左側参照サンプルのみを使用して平均値を計算してもよい。即ち、現在ブロックの幅及び高さが異なる場合、長さの一層長い片側に隣接する参照サンプルのみを使用して平均値を計算してもよい。代替的に、現在ブロックの幅と高さの比率に基づいて、上方参照サンプルのみを使用して平均値を計算するかどうか、又は左側参照サンプルのみを使用して平均値を計算するかどうかを決定してもよい。
プレーナモードを選択する場合、水平方向予測サンプル及び垂直方向予測サンプルを使用して予測サンプルを取得してもよい。予測サンプルと同じ水平線に位置する左側参照サンプル及び右側参照サンプルに基づいて水平方向予測サンプルを取得し、予測サンプルと同じ垂直線に位置する上方参照サンプル及び下方参照サンプルに基づいて垂直方向予測サンプルを取得する。現在ブロックの右上角に隣接する参照サンプルをコピーすることにより右側参照サンプルを生成することができ、現在ブロックの左下角に隣接する参照サンプルをコピーすることにより下方参照サンプルを生成することができる。左側参照サンプル及び右側参照サンプルの加重和演算によって水平方向予測サンプルを取得することができ、上方参照サンプル及び下方参照サンプルの加重和演算によって垂直方向予測サンプルを取得することができる。このような場合、予測サンプルの位置に基づいて各参照サンプルに与えられる重み付け値を決定してもよい。水平方向予測サンプル及び垂直方向予測サンプルの平均演算又は加重和演算によって予測サンプルを取得してもよい。加重和演算を実行する場合、予測サンプルの位置に基づいて水平方向予測サンプル及び垂直方向予測サンプルに与えられる重み付け値を決定してもよい。
角度予測モードを選択する場合、選択された角度予測モードの予測方向（又は、予測角度）を示すパラメータを決定してもよい。下記表４には各イントラ予測モードのイントラ予測パラメータｉｎｔｒａＰｒｅｄＡｎｇを示す。
Figure 2023018046000013
表４には３５個のイントラ予測モードを定義した場合に２～３４のうちのいずれか１つのインデックスを有する各イントラ予測モードのイントラ方向パラメータを示す。３３個以上の角度イントラ予測モードを定義した場合、表４は更に各角度イントラ予測モードのイントラ方向パラメータを設定するように細分される。
現在ブロックの上方参照サンプル及び左側参照サンプルを１列に配列した後、イントラ方向パラメータの値に基づいて予測サンプルを取得してもよい。このような場合、イントラ方向パラメータの値が負数である場合、左側参照サンプルと上方参照サンプルを１列に配列してもよい。
図２２及び図２３は参照サンプルを１行に配列する一次元配列の例を示す図である。
図２２には垂直方向において参照サンプルを配列する垂直方向一次元配列の例を示し、図２３には水平方向において参照サンプルを配列する水平方向一次元配列の例を示す。３５個のイントラ予測モードを定義すると仮定した上で、図２２及び図２３の実施例を説明する。
イントラ予測モードインデックスが１１～１８のうちのいずれか１つである場合、上方参照サンプルを逆時計回りに回転させる水平方向一次元配列を適用してもよい。イントラ予測モードインデックスが１９～２５のうちのいずれか１つである場合、左側参照サンプルを時計回りに回転させる垂直方向一次元配列を適用してもよい。参照サンプルを１列に配列する場合、イントラ予測モード角度を考慮してもよい。
イントラ方向パラメータに基づいて参照サンプル決定パラメータを決定してもよい。参照サンプル決定パラメータは参照サンプルを指定するための参照サンプルインデックス、及び参照サンプルに適用される重み付け値を決定するための重み付け値パラメータを含んでもよい。
参照サンプルインデックスｉＩｄｘ及び重み付け値パラメータｉｆａｃｔはそれぞれ下記等式９及び等式１０により取得されてもよい。
等式９
Figure 2023018046000014
等式１０
Figure 2023018046000015
等式９及び１０では、Ｐａｎｇがイントラ方向パラメータを示す。参照サンプルインデックスｉＩｄｘに基づいて指定した参照サンプルは整数画素（Ｉｎｔｅｇｅｒ ｐｅｌ）に相当する。
予測サンプルを導き出すために、１つ以上の参照サンプルを指定してもよい。具体的に、予測モードの傾斜度を考慮した上で、予測サンプルを導き出す際に使用される参照サンプルの位置を指定してもよい。例えば、参照サンプルインデックスｉＩｄｘを使用して、予測サンプルを導き出す際に使用される参照サンプルを指定してもよい。
このような場合、イントラ予測モードの傾斜度が１つの参照サンプルで示されない場合、複数の参照サンプルを補間することにより予測サンプルを生成することができる。例えば、イントラ予測モードの傾斜度が予測サンプルと第１参照サンプルとの間の傾斜度及び予測サンプルと第２参照サンプルとの間の傾斜度との間の値である場合、第１参照サンプル及び第２参照サンプルを補間して予測サンプルを取得してもよい。即ち、イントラ予測角度に従う角線（Ａｎｇｕｌａｒ Ｌｉｎｅ）は整数画素に位置する参照サンプルを通らない場合、前記角線が通る位置の左右又は上下に隣接する参照サンプルを補間して予測サンプルを取得してもよい。
下記等式１１には参照サンプルに基づいて予測サンプルを取得する例を示す。
等式１１
Figure 2023018046000016
等式１１では、Ｐが予測サンプルを示し、Ｒｅｆ＿１Ｄが一次元配列の参照サンプルのうちのいずれか１つを示す。このような場合、予測サンプルの位置（ｘ，ｙ）及び参照サンプルインデックスｉＩｄｘに基づいて参照サンプルの位置を決定してもよい。
イントラ予測モードの傾斜度が１つの参照サンプルとして示されてもよい場合、重み付け値パラメータｉｆａｃｔを０として設定してもよい。従って、等式１１は下記等式１２に簡略化されてもよい。
等式１２
Figure 2023018046000017
更に複数のイントラ予測モードに基づいて現在ブロックに対してイントラ予測を実行してもよい。例えば、異なる予測サンプルに対してイントラ予測モードを導き出してもよく、各予測サンプルに割り当てられたイントラ予測モードに基づいて予測サンプルを導き出してもよい。
代替的に、異なる領域に対してイントラ予測モードを導き出してもよく、各領域に割り当てられたイントラ予測モードに基づいて各領域に対してイントラ予測を実行してもよい。前記領域は少なくとも１つのサンプルを含んでもよい。現在ブロックのサイズ、形状又はイントラ予測モードのうちの少なくとも１つに基づいて前記領域のサイズ又は形状のうちの少なくとも１つを適応的に決定してもよい。代替的に、エンコーダ及びデコーダにおいて、現在ブロックのサイズ又は形状にかかわらず、領域のサイズ又は形状のうちの少なくとも１つを予め定義する可能性がある。
代替的に、それぞれ複数のイントラ予測に基づいてイントラ予測を実行してもよく、複数回のイントラ予測により取得された複数の予測サンプルの平均演算又は加重和演算によって最終的な予測サンプルを導き出してもよい。例えば、第１イントラ予測モードに基づいてイントラ予測を実行して第１予測サンプルを取得してもよく、第２イントラ予測モードに基づいてイントラ予測を実行して第２予測サンプルを取得してもよい。その後、第１予測サンプル及び第２予測サンプルの平均演算又は加重和演算によって最終的な予測サンプルを取得してもよい。このような場合、第１イントラ予測モードが非角度／角度予測モードであるかどうか、第２イントラ予測モードが非角度／角度予測モードであるかどうか、又は隣接ブロックのイントラ予測モードのうちの少なくとも１つを考慮した上で、それぞれ第１予測サンプル及び第２予測サンプルに割り当てられた重み付け値を決定してもよい。
複数のイントラ予測モードは非角度イントラ予測モードと角度予測モードとの組み合わせ、角度予測モードの組み合わせ又は非角度予測モードの組み合わせであってもよい。
図２４は角度イントラ予測モードとｘ軸に平行する直線がなす角度を示す図である。
図２４に示される例では、角度予測モードは左下対角線方向と右上対角線方向との間に存在してもよい。ｘ軸と角度予測モードがなす角度として説明される場合、角度予測モードは４５度（左下対角線方向）～－１３５度（右上対角線方向）の間に存在してもよい。
現在ブロックが非正方形形状である場合、現在ブロックのイントラ予測モードに基づいて、予測サンプルに接近する参照サンプルではなく、イントラ予測角度に従う角線に位置する参照サンプルのうちの予測サンプルから離れる参照サンプルを使用して予測サンプルを導き出す状況は発生することとなる。
図２５は現在ブロックが非正方形である場合に予測サンプルを取得する実施例を示す図である。
例えば、図２５（ａ）に示される例では、現在ブロックは幅が高さより大きい非正方形であり、現在ブロックのイントラ予測モードは角度が０度～４５度である角度イントラ予測モードであると仮定する。このような場合、現在ブロックの右側列近傍の予測サンプルＡを導き出すとき、前記角度に位置する角度モードにおける参照サンプルのうちの前記予測サンプルから離れる左側参照サンプルＬで前記予測サンプルに接近する上方参照サンプルＴを代替する状況は発生することとなる。
他の例として、図２５（ｂ）に示される例では、現在ブロックは高さが幅より大きい非正方形であり、現在ブロックのイントラ予測モードは角度が－９０度～－１３５度である角度イントラ予測モードであると仮定する。上記の場合、現在ブロックの下方行近傍の予測サンプルＡを導き出すとき、前記角度に位置する角度モードにおける参照サンプルのうちの前記予測サンプルから離れる上方参照サンプルＴで前記予測サンプルに接近する左側参照サンプルＬを代替する状況は発生することとなる。
上記問題を解決するために、現在ブロックが非正方形である場合、現在ブロックのイントラ予測モードを反方向のイントラ予測モードに置換してもよい。従って、非正方形のブロックに対して、図２１に示される角度予測モードの角度より大きく又は小さい角度を有する角度予測モードを使用してもよい。このような角度イントラ予測モードは広角イントラ予測モードとして定義されてもよい。広角イントラ予測モードは４５度～－１３５度範囲に位置しない角度イントラ予測モードを示す。
図２６は広角イントラ予測モードを示す図である。
図２６に示される例では、インデックス－１～－１４のイントラ予測モード及びインデックス６７～８０のイントラ予測モードは広角イントラ予測モードを示す。
図２６には４５度より大きい角度を有する１４個の広角イントラ予測モード（－１～－１４）及び－１３５度より小さい角度を有する１４個の広角イントラ予測モード（６７～８０）を示すが、より多く又はより少ない数の広角イントラ予測モードを定義してもよい。
広角イントラ予測モードを使用する場合、上方参照サンプルの長さは２Ｗ＋１として設定され、左側参照サンプルの長さは２Ｈ＋１として設定される。
広角イントラ予測モードを使用する場合、参照サンプルＴを使用して図２５（ａ）に示されるサンプルＡを予測してもよく、参照サンプルＬを使用して図２５（ｂ）に示されるサンプルＡを予測してもよい。
既存のイントラ予測モードとＮ個の広角イントラ予測モードとを加えることにより、全部で６７＋Ｎ個のイントラ予測モードを使用可能である。例えば、表５には２０個の広角イントラ予測モードを定義した場合のイントラ予測モードのイントラ方向パラメータを示す。
Figure 2023018046000018
現在ブロックが非正方形であり且つステップＳ２００２における取得された現在ブロックのイントラ予測モードが変換範囲内にある場合、現在ブロックのイントラ予測モードを広角イントラ予測モードに変換してもよい。現在ブロックのサイズ、形状又は比率のうちの少なくとも１つに基づいて前記変換範囲を決定してもよい。前記比率は現在ブロックの幅と高さの比率を示してもよい。
現在ブロックは幅が高さより大きい非正方形である場合、変換範囲を右上対角線方向のイントラ予測モードインデックス（例えば、６６）～（右上対角線方向のイントラ予測モードのインデックス－Ｎ）に設定してもよい。Ｎは現在ブロックの比率に基づいて決定されてもよい。現在ブロックのイントラ予測モードが変換範囲内にある場合、前記イントラ予測モードを広角イントラ予測モードに変換してもよい。前記イントラ予測モードから予め定義された値を引くことにより前記変換を実行してもよく、前記予め定義された値は広角イントラ予測モード以外のイントラ予測モードの総数（例えば、６７）であってもよい。
前記実施例に基づいて、６６番目～５３番目の間のイントラ予測モードをそれぞれ－１番目～－１４番目の間の広角イントラ予測モードに変換してもよい。
現在ブロックは高さが幅より大きい非正方形である場合、変換範囲を左下対角線方向のイントラ予測モードインデックス（例えば、２）～（左下対角線方向のイントラ予測モードのインデックス＋Ｍ）に設定してもよい。Ｍは現在ブロックの比率に基づいて決定されてもよい。現在ブロックのイントラ予測モードが変換範囲内にある場合、前記イントラ予測モードを広角イントラ予測モードに変換してもよい。前記イントラ予測モードに予め定義された値を加えることにより前記変換を実行してもよく、予め定義された値は広角イントラ予測モード以外の角度イントラ予測モードの総数（例えば、６５）であってもよい。
前記実施例に基づいて、２番目～１５番目の間のイントラ予測モードをそれぞれ６７番目～８０番目の間の広角イントラ予測モードに変換する。
以下、変換範囲内にあるイントラ予測モードは広角イントラ置換予測モードと称される。
変換範囲は現在ブロックの比率に基づいて決定されてもよい。例えば、表６及び表７のそれぞれには広角イントラ予測モード以外の３５個のイントラ予測モード及び６７個のイントラ予測モードを定義した場合の変換範囲を示す。
Figure 2023018046000019
Figure 2023018046000020
表６及び表７に示される例では、変換範囲内にある広角イントラ置換予測モードの数は現在ブロックの比率によって異なってもよい。
現在ブロックの比率を細分することにより、表８に示すように変換範囲を設定することができる。
Figure 2023018046000021
非隣接参照サンプルラインを現在ブロックの参照サンプルラインとして決定し、又は複数の参照サンプルラインのうちのいずれか１つを選択するためのマルチラインイントラ予測符号化方法を使用する場合、広角イントラ予測モードを使用しないように設定してもよい。即ち、現在ブロックが非正方形であり且つ現在ブロックのイントラ予測モードが変換範囲内にある場合にも、現在ブロックのイントラ予測モードを広角イントラ予測モードに変換しない可能性がある。
代替的に、現在ブロックのイントラ予測モードを広角イントラ予測モードとして決定する場合、非隣接参照サンプルラインは現在ブロックの参照サンプルラインとして使用できないように設定されてもよく、又は複数の参照サンプルラインのうちのいずれか１つを選択するためのマルチラインイントラ予測符号化方法を使用しないように設定されてもよい。マルチラインイントラ予測符号化方法を使用しない場合、隣接参照サンプルラインを現在ブロックの参照サンプルラインとして設定してもよい。
広角イントラ予測モードを使用しない場合、ｒｅｆＷ及びｒｅｆＨをｎＴｂＷとｎＴｂＨとの和として設定する。これにより、左上参照サンプル以外に、現在ブロックとの距離がｉである非隣接参照サンプルは（ｎＴｂＷ＋ｎＴｂＨ＋ｏｆｆｓｅｔＸ［ｉ］）個の上方参照サンプル及び（ｎＴｂＷ＋ｎＴｂＨ＋ｏｆｆｓｅｔＹ［ｉ］）個の左側参照サンプルを含んでもよい。即ち、現在ブロックとの距離がｉである非隣接参照サンプルは（２ｎＴｂＷ＋２ｎＴｂＨ＋ｏｆｆｓｅｔＸ［ｉ］＋ｏｆｆｓｅｔＹ［ｉ］＋１）個の参照サンプルを含んでもよい。例えば、ｗｈＲａｔｉｏの値が１より大きい場合、ｏｆｆｓｅｔＸの値をｏｆｆｓｅｔＹより大きい値として設定する。例えば、ｏｆｆｓｅｔＸの値が１として設定され、ｏｆｆｓｅｔＹの値が０として設定される。一方、ｗｈＲａｔｉｏの値が１より小さい場合、ｏｆｆｓｅｔＹの値をｏｆｆｓｅｔＸより大きい値として設定する。例えば、ｏｆｆｓｅｔＸの値を０として設定し、ｏｆｆｓｅｔＹの値を１として設定する。
既存のイントラ予測モード以外に広角イントラ予測モードを使用するにつれて、広角イントラ予測モードを符号化するために必要なリソースは増加することとなり、従って、符号化効率を低下させる恐れがある。これにより、広角イントラ予測モードを直接に符号化する代わりに、広角イントラ予測モードに関連する置換イントラ予測モードを符号化することにより、符号化効率を向上させることができる。
例えば、６７番目の広角イントラ予測モードを使用して現在ブロックを符号化する場合、６７番目の広角置換イントラ予測モードとしての番号２を現在ブロックのイントラ予測モードに符号化してもよい。且つ、－１番目の広角イントラ予測モードを使用して現在ブロックを符号化する場合、－１番目の広角置換イントラ予測モードとしての番号６６を現在ブロックのイントラ予測モードに符号化してもよい。
デコーダは現在ブロックのイントラ予測モードを復号化して、復号化されたイントラ予測モードが変換範囲に含まれるかどうかを決定することができる。復号化されたイントラ予測モードが広角置換イントラ予測モードである場合、イントラ予測モードを広角イントラ予測モードに変換してもよい。
代替的に、広角イントラ予測モードで現在ブロックを符号化する場合、更に広角イントラ予測モードを直接に符号化してもよい。
イントラ予測モードの符号化は前記ＭＰＭリストに基づいて実現されてもよい。具体的に、広角イントラ予測モードで隣接ブロックを符号化する場合、広角イントラ予測モードに対応する広角置換イントラ予測モードに基づいてＭＰＭを設定してもよい。
イントラ予測実行結果によって予測ブロックを生成する場合、予測ブロックに含まれる各予測サンプルの位置に基づいて予測サンプルを更新してもよい。以上に説明される更新方法はサンプル位置に基づくイントラ重み付け予測方法（又は、位置依存型予測合成（ＰＤＰＣ、Ｐｏｓｉｔｉｏｎ Ｄｅｐｅｎｄｅｎｔ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｍｂｉｎａｔｉｏｎ））と称されてもよい。
現在ブロックのイントラ予測モード、現在ブロックの参照サンプルライン、現在ブロックのサイズ又は色成分を考慮した上で、ＰＤＰＣを使用するかどうかを決定してもよい。例えば、現在ブロックのイントラ予測モードはプレーナモード、ＤＣモード、垂直方向モード、水平方向モード、インデックス値が垂直方向より小さいモード、又はインデックス値が水平方向より大きいモードのうちの少なくとも１つである場合、ＰＤＰＣを使用してもよい。代替的に、現在ブロックの幅及び高さのうちの少なくとも１つが４より大きい場合のみ、ＰＤＰＣを使用してもよい。代替的に、現在ブロックの参照ピクチャ線のインデックスが０である場合のみ、ＰＤＰＣを使用してもよい。代替的に、現在ブロックの参照ピクチャ線のインデックスが予め定義された値以上である場合のみ、ＰＤＰＣを使用してもよい。代替的に、輝度成分のみに対してＰＤＰＣを使用してもよい。代替的に、前記列挙した条件のうちの２つ以上を満足するかどうかによって、ＰＤＰＣを使用するかどうかを決定してもよい。
他の例として、ストリームを介して信号によって、ＰＤＰＣを適用するかどうかを示す情報を送信してもよい。
イントラ予測サンプルによって予測サンプルを取得する場合、取得された予測サンプルの位置に基づいて、前記予測サンプルを補正するための参照サンプルを決定してもよい。説明の都合上、後続の実施例では、予測サンプルを補正するための参照サンプルはＰＤＰＣ参照サンプルと称される。そして、イントラ予測により取得された予測サンプルは第１予測サンプルと称され、第１予測サンプルを補正して取得した予測サンプルは第２予測サンプルと称される。
図２７はＰＤＰＣを適用する実施例を示す図である。
少なくとも１つのＰＤＰＣ参照サンプルを利用して、第１予測サンプルを補正することができる。ＰＤＰＣ参照サンプルは現在ブロックの左上角に隣接する参照サンプル、現在ブロックの上方に位置する上方参照サンプル、又は現在ブロックの左側に位置する左側参照サンプルのうちの少なくとも１つを含んでもよい。
現在ブロックの参照サンプルラインに属する参照サンプルのうちの少なくとも１つをＰＤＰＣ参照サンプルとして設定してもよい。代替的に、現在ブロックの参照サンプルラインにかかわらず、インデックス０の参照サンプルラインに属する参照サンプルのうちの少なくとも１つをＰＤＰＣ参照サンプルとして設定してもよい。例えば、インデックス１又はインデックス２の参照サンプルラインに含まれる参照サンプルを利用して第１予測サンプルを取得しても、インデックス０の参照サンプルラインに含まれる参照サンプルを利用して第２予測サンプルを取得することができる。
現在ブロックのイントラ予測モード、現在ブロックのサイズ、現在ブロックの形状又は第１予測サンプルの位置のうちの少なくとも１つを考慮した上で、第１予測サンプルを補正するためのＰＤＰＣ参照サンプルの数又は位置を決定してもよい。
例えば、現在ブロックのイントラ予測モードがプレーナモード又はＤＣモードである場合、上方参照サンプル及び左側参照サンプルを利用して第２予測サンプルを取得してもよい。このとき、上方参照サンプルは第１予測サンプルに垂直である参照サンプル（例えば、ｘ座標が同じである参照サンプル）であってもよく、左側参照サンプルは第１予測サンプルに平行する参照サンプル（例えば、ｙ座標が同じである参照サンプル）であってもよい。
現在ブロックのイントラ予測モードが水平イントラ予測モードである場合、上方参照サンプルを利用して第２予測サンプルを取得してもよい。このとき、上方参照サンプルは第１予測サンプルに垂直である参照サンプルであってもよい。
現在ブロックのイントラ予測モードが垂直イントラ予測モードである場合、左側参照サンプルを利用して第２予測サンプルを取得してもよい。このとき、左側参照サンプルは第１予測サンプルに平行する参照サンプルであってもよい。
現在ブロックのイントラ予測モードが左下対角線イントラ予測モード又は右上対角線イントラ予測モードである場合、左上参照サンプル、上方参照サンプル及び左側参照サンプルに基づいて第２予測サンプルを取得してもよい。左上参照サンプルは現在ブロックの左上角に隣接する参照サンプル（例えば、（－１，－１）位置での参照サンプル）であってもよい。上方参照サンプルは第１予測サンプルの右上対角線方向に位置する参照サンプルであってもよく、左側参照サンプルは第１予測サンプルの左下対角線方向に位置する参照サンプルであってもよい。
要するに、第１予測サンプルの位置が（ｘ，ｙ）である場合、Ｒ（－１，－１）を左上参照サンプルとして設定し、Ｒ（ｘ＋ｙ＋１，－１）又はＲ（ｘ，－１）を上方参照サンプルとして設定してもよい。また、Ｒ（－１，ｘ＋ｙ＋１）又はＲ（－１，ｙ）を左側参照サンプルとして設定してもよい。
現在ブロックに対して１つの予測モードを複数回適用してもよく、又は現在ブロックに対して複数の予測モードを繰り返して適用してもよい。このように、同じ又は異なる予測モードを使用する予測方法は組合せ予測モード（又は、多仮説予測モード（Ｍｕｌｔｉ－ｈｙｐｏｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ））と称されてもよい。
組合せ予測モードは、マージモードとマージモードを組み合わせるモード、インター予測とイントラ予測を組み合わせるモード、マージモードと高度動きベクトル予測モードを組み合わせるモード、及びマージモードとイントラ予測を組み合わせるモードのうちの少なくとも１つを含んでもよい。
組合せ予測モードにおいて、第１予測モードに基づいて第１予測ブロックを生成してもよく、第２予測モードに基づいて第２予測ブロックを生成してもよい。その後、第１予測ブロックと第２予測ブロックの加重和演算によって第３予測ブロックを生成してもよい。第３予測ブロックを現在ブロックの最終的な予測ブロックとして設定してもよい。
現在ブロックのサイズ又は形状に基づいて、組合せ予測モードを使用するかどうかを決定してもよい。例えば、符号化ブロックのサイズ、符号化ブロックに含まれるサンプル数、符号化ブロックの幅及び符号化ブロックの高さのうちの少なくとも１つに基づいて、組合せ予測モードを使用するかどうかを決定してもよい。例えば、符号化ブロックの幅及び高さのうちの少なくとも１つが１２８以上であり又は符号化ブロックに含まれるサンプル数が６４以下である場合、組合せ予測モードを符号化ブロックに適用しなくてもよい。
また、ストリームを介して信号によって、現在ブロックに組合せ予測モードを適用したかどうかを示す情報を送信してもよい。例えば、前記情報は１ビットフラグであってもよい。例えば、ストリームを介して信号によって、マージモードとイントラ予測を組み合わせる組合せ予測モードを使用するかどうかを示すフラグｍｈ＿ｉｎｔｒａ＿ｆｌａｇを送信してもよい。ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが１である場合、マージモードとイントラ予測を組み合わせる組合せ予測モードを使用することを示し、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが０である場合、マージモードとイントラ予測を組み合わせる組合せ予測モードを使用しないことを示す。
現在ブロックの予測符号化モードがインター予測モードであり且つマージモードを現在ブロックに適用する場合のみ、マージモードとイントラ予測を組み合わせる組合せ予測モードを現在ブロックに適用してもよい。即ち、マージモードを現在ブロックに適用するかどうかを示すｍｅｒｇｅ＿ｆｌａｇフラグの値が１である場合、信号によってｍｈ＿ｉｎｔｒａ＿ｆｌａｇを送信してもよい。
マージモードとイントラ予測を組み合わせる組合せ予測モードにおいて、現在ブロックのイントラ予測モードを予め定義されたイントラ予測モードとして設定してもよい。例えば、組合せ予測モードを使用する場合、現在ブロックのイントラ予測モードをプレーナモードとして設定してもよい。
他の例として、マージモードとイントラ予測を組み合わせる組合せ予測モードを使用する場合、候補イントラ予測モードのうちの１つを現在ブロックのイントラ予測モードとして決定してもよい。ここで、候補イントラ予測モードは非角度イントラ予測モード及び特定方向の角度イントラ予測モードのうちの少なくとも１つを含んでもよい。ここで、非角度イントラ予測モードはＤＣモード及びプレーナモードのうちの少なくとも１つを含み、角度イントラ予測モードは水平方向のイントラ予測モード、垂直方向のイントラ予測モード及び対角線方向のイントラ予測モードのうちの少なくとも１つを含む。例えば、組合せ予測モードを使用する場合、ＤＣモード、プレーナモード、水平方向のイントラ予測モード又は垂直方向のイントラ予測モードのみを現在ブロックのイントラ予測モードとして設定してもよい。代替的に、組合せ予測モードを使用する場合、プレーナモード、水平方向のイントラ予測モード又は垂直方向のイントラ予測モードのみを現在ブロックのイントラ予測モードとして設定してもよい。代替的に、組合せ予測モードを使用する場合、ＤＣモード、プレーナモード又は垂直方向のイントラ予測モードのみを現在ブロックのイントラ予測モードとして設定してもよい。代替的に、組合せ予測モードを使用する場合、ＤＣモード、プレーナモード又は水平方向のイントラ予測モードのみを現在ブロックのイントラ予測モードとして設定してもよい。
ストリームを介して信号によって、候補イントラ予測モードのうちのいずれか１つを指定するためのインデックス情報を送信してもよい。例えば、ストリームを介して信号によって、候補イントラ予測モードのうちのいずれか１つを指定するインデックスｍｈ＿ｉｎｔｒａ＿ｉｄｘを送信してもよい。表９及び表１０にはｍｈ＿ｉｎｔｒａ＿ｉｄｘの値に基づくイントラ予測モードを示す。ｍｈ＿ｉｎｔｒａ＿ｉｄｘで示されるイントラ予測モードを現在ブロックのイントラ予測モードとして決定してもよい。
Figure 2023018046000022
Figure 2023018046000023
エンコーダ及びデコーダにおいて、候補イントラ予測モードの数は固定値を有してもよい。代替的に、候補イントラ予測モードの数又はタイプは現在ブロックのサイズ、現在ブロックの形状、又はイントラ予測によって隣接ブロックを符号化するかどうかのうちの少なくとも１つによって異なる。
他の例として、マージモードとイントラ予測を組み合わせる組合せ予測モードを適用する場合、ＭＰＭに基づいて現在ブロックのイントラ予測モードを決定してもよい。このような場合、一般的なイントラ予測を適用する場合、ＭＰＭリストに含まれるＭＰＭの数は組合せ予測モードを適用する場合にＭＰＭリストに含まれるＭＰＭの数と異なってもよい。例えば、組合せ予測モードを適用しない場合、ＭＰＭリストは６つ又は５つのＭＰＭを含んでもよいが、組合せ予測モードを適用する場合、ＭＰＭリストは４つ又は３つのＭＰＭを含んでもよい。即ち、一般的なイントラ予測を実行する場合、Ｎ個のＭＰＭを使用するが、組合せ予測モードを適用する場合、Ｎ個未満のＭＰＭを使用してもよい。
例えば、一般的なイントラ予測モードを適用する場合、現在ブロックに隣接する隣接ブロックのイントラ予測モードに基づいて導き出したＭＰＭがプレーナモード、ＤＣモード、ＩＮＴＲＡ＿ＭＯＤＥ３２、ＩＮＴＲＡ＿ＭＯＤＥ３１、ＩＮＴＲＡ＿ＭＯＤＥ３３及びＩＮＴＲＡ＿ＭＯＤＥ３０であると仮定する。組合せ予測モードを現在ブロックに適用する場合、６つのＭＰＭのうちのいくつかのみを使用して現在ブロックのイントラ予測モードを決定してもよい。例えば、ＭＰＭのうちの最小インデックスを有する３つのＭＰＭ（即ち、プレーナモード、ＤＣモード及びＩＮＴＲＡ＿ＭＯＤＥ３２）を含むＭＰＭリストを使用して現在ブロックのイントラ予測モードを決定してもよい。代替的に、ＭＰＭのうちの所定のインデックス値を有するいずれか１つを現在ブロックのイントラ予測モードとして決定してもよい。
他の例として、一般的なイントラ予測を適用する場合に現在ブロックのイントラ予測モードを決定するためのＭＰＭの数は、組合せ予測モードを適用する場合に現在ブロックのイントラ予測モードを決定するためのＭＰＭの数と同じであるように設定されてもよい。
組合せ予測モードを適用する場合、ＭＰＭフラグの符号化は省略してもよく、ＭＰＭフラグは真として見なされてもよい。即ち、組合せ予測モードを適用する場合、ＭＰＭのうちのいずれか１つを現在ブロックのイントラ予測モードとして決定してもよい。
マージモードとイントラ予測を組み合わせる組合せ予測モードを現在ブロックに適用する場合、マルチラインイントラ予測符号化方法を使用しないように設定してもよい。マルチラインイントラ予測符号化方法を使用しない場合、隣接参照サンプルラインを現在ブロックのイントラ予測に使用してもよい。
代替的に、マージモードとイントラ予測を組み合わせる組合せ予測モードを現在ブロックに適用する場合、マルチラインイントラ予測符号化方法を使用するように設定してもよい。ストリームを介して信号によって、複数の参照サンプルラインから現在ブロックの参照サンプルラインを決定するための情報を送信してもよい。代替的に、現在ブロックのサイズ、現在ブロックの形状、現在ブロックのイントラ予測モード又は隣接ブロックの参照サンプルラインのうちの少なくとも１つを考慮した上で、現在ブロックの参照サンプルラインを決定してもよい。
現在ブロックの参照サンプルラインの相違によって利用可能な候補イントラ予測モードの数を設定してもよい。例えば、隣接参照サンプルラインを使用する場合、候補イントラ予測モードはプレーナモード、ＤＣモード、水平方向のイントラ予測モード、垂直方向のイントラ予測モード、左下対角線方向のイントラ予測モード及び右上対角線方向のイントラ予測モードのうちの少なくとも１つを含んでもよい。一方、非隣接参照サンプルラインを使用する場合、候補イントラ予測モードは水平方向のイントラ予測モード、垂直方向のイントラ予測モード、左下対角線方向のイントラ予測モード及び右上対角線方向のイントラ予測モードのうちの少なくとも１つを含んでもよい。
マージモードにおいて選択されたマージ候補を使用して第１予測ブロックを生成してもよく、イントラ予測モードを使用して第２予測ブロックを生成してもよい。このような場合、第１予測ブロックを生成する場合、三角形分割を現在ブロックに適用しないように設定してもよい。即ち、マージモードとイントラ予測を組み合わせる組合せ予測モードにおいて、三角形分割が許容されない可能性がある。また、第２予測ブロックを生成する場合、ＰＤＰＣを現在ブロックに適用しないように設定してもよい。即ち、マージモードとイントラ予測を組み合わせる組合せ予測モードにおいて、ＰＤＰＣが許容されない可能性がある。
第１予測ブロックと第２予測ブロックの加重和演算によって第３予測ブロックを生成してもよい。例えば、等式１３には第１予測ブロックと第２予測ブロックの加重和演算によって第３予測ブロックを生成する例の図を示す。
等式１３
Figure 2023018046000024
等式１３では、Ｐｍｅｒｇｅはマージモードに基づいて取得した第１予測ブロックを示し、Ｐｉｎｔｒａはイントラ予測により取得した第２予測ブロックを示す。Ｐｃｏｍｂは第１予測ブロックと第２予測ブロックを組み合わせて取得した第３予測ブロックを示す。ｗは第１予測ブロックに適用される第１重み付け値を示す。定数Ｎから第１重み付け値ｗを引くことにより、第２予測ブロックに適用される第２重み付け値を導き出すことができる。ここで、Ｎはエンコーダ及びデコーダにより予め定義された値を有してもよい。例えば、Ｎが４又は８であってもよい。代替的に、現在ブロックのサイズ、形状及びイントラ予測モードのうちの少なくとも１つに基づいて定数Ｎを導き出してもよい。
等式１３に示される例と異なり、ｗを第２重み付け値として設定してもよく、所定の定数Ｎから第２重み付け値を引いた値を第１重み付け値として設定してもよい。
現在ブロックのイントラ予測モード、及びマージモードが双方向運動情報を有するかどうかのうちの少なくとも１つによって、第１予測ブロック及び第２予測ブロックに適用される重み付け値を決定してもよい。例えば、現在ブロックのイントラ予測モードが角度予測モードである場合の第１重み付け値ｗは、現在ブロックのイントラ予測モードが非角度予測モードである場合の第１重み付け値ｗより大きくてもよい。代替的に、マージ候補により双方向予測を実行する場合の第１重み付け値ｗは、マージ候補により単方向予測を実行する場合の第１重み付け値ｗより大きくてもよい。
他の例として、現在ブロックに隣接する隣接ブロックの予測符号化モードを考慮して重み付け値を決定してもよい。ここで、隣接ブロックは現在ブロックの上方に隣接する上側隣接ブロック、現在ブロックの左側に隣接する左側隣接ブロック、及び現在ブロックの左上角に隣接する左上隣接ブロックのうちの少なくとも１つを含んでもよい。現在ブロックに隣接する隣接ブロックのうちのイントラ予測により符号化された隣接ブロックの数に基づいて重み付け値を決定してもよい。例えば、現在ブロックに隣接する隣接ブロックのうちのイントラ予測により符号化された隣接ブロックの数が増加するにつれて、第１重み付け値は比較的小さい値を有してもよく、第２重み付け値は比較的大きい値を有してもよい。一方、現在ブロックに隣接する隣接ブロックのうちの非イントラ予測により符号化された隣接ブロックの数が減少するにつれて、第１重み付け値は比較的大きい値を有してもよく、第２重み付け値は比較的小さい値を有してもよい。例えば、左側隣接ブロック及び上側隣接ブロックがいずれもイントラ予測により符号化される場合、第２重み付け値はｎとして設定されてもよい。左側隣接ブロック及び上側隣接ブロックのうちの１つのみがイントラ予測により符号化される場合、第２重み付け値はｎ／２として設定されてもよい。左側隣接ブロック及び上側隣接ブロックがいずれもイントラ予測により符号化されない場合、第２重み付け値はｎ／４として設定されてもよい。ここで、ｎはＮ以下の整数を示す。
現在ブロックにおけるサンプル又はサブブロックを単位として重み付け値を決定してもよい。例えば、現在ブロックが複数のサブブロックに分割されてもよく、各サブブロックに適用される重み付け値を、異なる値を有するように設定してもよい。このような場合、エンコーダ及びデコーダにおいて、サブブロックの数は固定値を有してもよい。代替的に、現在ブロックのサイズ、現在ブロックの形状、現在ブロックのイントラ予測モード及び隣接ブロックの予測符号化モードのうちの少なくとも１つに基づいて、サブブロックの数を適応的に決定してもよい。
図２８は重み付け値を適用する実施例を示す図である。
現在ブロックが複数のサブブロックに分割されてもよく、各サブブロックに適用される重み付け値を異なる値として設定してもよい。例えば、図２８（ａ）及び図２８（ｂ）に示される例では、現在ブロックの左上角に位置するサンプルを含むサブブロックに対して、第２重み付け値は第１重み付け値より大きく設定される。一方、現在ブロックの右下角に位置するサンプルを含むサブブロックに対して、第１重み付け値は第２重み付け値より大きく設定されてもよい。
サブブロックの第３予測サブブロックは該サブブロックに対応する第１予測サブブロック及び第２予測サブブロックに対して重み付け予測を行うことにより取得されてもよい。このような場合、図２８に示される例では、各サブブロックの相違によって重み付け予測のための重み付け値を設定してもよい。
マージ候補が双方向運動情報を有するかどうかによって、サブブロックに割り当てられる重み付け値を個別に決定してもよい。
図２９はマージ候補が双方向運動情報を有するかどうかによって、異なる重み付け値をサブブロックに割り当てる例を示す図である。
マージ候補が単方向運動情報を有する場合に比べて、マージ候補が双方向運動情報を有する場合、少なくとも１つのサブブロックに割り当てられる第１重み付け値ｗをより大きい値として設定してもよい。例えば、図２９（ａ）及び図２９（ｂ）には、すべてのサブブロックに対して、双方向予測を適用する場合に適用される重み付け値ｗが、単方向予測を適用する場合に適用される重み付け値ｗより大きい値を有することを示す。
代替的に、現在ブロックのイントラ予測モードに基づいて、サブブロックに適用される重み付け値を決定してもよい。
図３０は現在ブロックのイントラ予測モードに基づいて異なる重み付け値をサブブロックに割り当てる例を示す図である。
現在ブロックのイントラ予測モードが垂直方向である場合、現在ブロックの上方に位置するサブブロックの第２重み付け値を、現在ブロックの下方に位置するサブブロックの第２重み付け値より大きく設定してもよい。
例えば、現在ブロックの上方に位置するサブブロックに対して、第２重み付け値を第１重み付け値より大きく設定してもよいが、現在ブロックの下方に位置するサブブロックに対して、第１重み付け値と第２重み付け値を等しく設定してもよく、又は第１重み付け値を第２重み付け値より大きく設定してもよい。
現在ブロックのイントラ予測モードが水平方向である場合、現在ブロックの左側に位置するサブブロックの第２重み付け値を、現在ブロックの右側に位置するサブブロックの第２重み付け値より大きく設定してもよい。
例えば、現在ブロックの左側に位置するサブブロックに対して、第２重み付け値を第１重み付け値より大きく設定してもよいが、現在ブロックの右側に位置するサブブロックに対して、第１重み付け値と第２重み付け値を等しく設定してもよく、又は第１重み付け値を第２重み付け値より大きく設定してもよい。
他の例として、現在ブロックのイントラ予測モードが垂直方向である場合、現在ブロックの上方に位置するサブブロックの第１重み付け値を、現在ブロックの下方に位置するサブブロックの第１重み付け値より大きく設定する。又は、ブロックのイントラ予測モードが水平方向である場合、現在ブロックの左側に位置するサブブロックの第１重み付け値を、現在ブロックの右側に位置するサブブロックの第１重み付け値より大きく設定してもよい。
他の例として、現在ブロックに隣接する隣接ブロックの予測符号化モードに基づいて、各サブブロックに割り当てられる重み付け値を決定してもよい。例えば、現在ブロックの上側隣接ブロックがイントラ予測により符号化されるが現在ブロックの左側隣接ブロックがイントラ予測により符号化されない場合、現在ブロックの上方に位置するサブブロックの第２重み付け値を、現在ブロックの下方に位置するサブブロックの第２重み付け値より大きく設定してもよい。一方、現在ブロックの上側隣接ブロックがイントラ予測により符号化されないが現在ブロックの左側隣接ブロックがイントラ予測により符号化される場合、現在ブロックの左側に位置するサブブロックの第２重み付け値を、現在ブロックの右側に位置するサブブロックの第２重み付け値より大きく設定してもよい。
複数のサブブロックのうちの少なくとも１つに対して、第１重み付け値又は第２重み付け値を０として設定してもよい。即ち、複数のサブブロックのうちの少なくとも１つに対して、第１予測サブブロック又は第２予測サブブロックを第３予測サブブロックとして設定してもよい。従って、複数のサブブロックのうちの少なくとも１つのサブブロックに対して組合せ予測を実行しなくてもよい。例えば、複数のサブブロックのうちの少なくとも１つに対して、第１重み付け値ｗは０として設定されてもよく、又は第１重み付け値ｗは定数Ｎとして設定されてもよい。
マージモードとイントラ予測を組み合わせる組合せ予測モードを適用するブロックは、インター予測により符号化されるように見なされてもよい。従って、組合せ予測モードで符号化されたブロックのイントラ予測モードを、以後に符号化／復号化されようとするブロックを導き出すことに使用できないイントラ予測モードとして設定してもよい。ＭＰＭを導き出すとき、利用不可能ブロックのイントラ予測モードはプレーナモードとして見なされてもよい。
一方、組合せ予測モードで符号化されたブロックの運動情報を、以後に符号化／復号化されようとするブロックを導き出すことに使用できる運動情報として設定してもよい。
マージモードとマージモードを組み合わせるモードにおいて、複数のマージ候補を使用して運動補償予測を実行してもよい。具体的に、第１マージ候補を使用して第１予測ブロックを生成してもよく、第２マージ候補を使用して第２予測ブロックを生成してもよい。第１予測ブロックと第２予測ブロックの加重和演算によって第３予測ブロックを生成してもよい。
ストリームを介してそれぞれ信号によって、第１マージ候補及び第２マージ候補を指定するための情報を送信してもよい。例えば、ストリームを介して信号によって、第１マージ候補を指定するためのインデックス情報ｍｅｒｇｅ＿ｉｄｘ、及び第２マージ候補を指定するためのインデックス情報ｍｅｒｇｅ＿２ｎｄ＿ｉｄｘを送信してもよい。インデックス情報ｍｅｒｇｅ＿２ｎｄ＿ｉｄｘ及びインデックス情報ｍｅｒｇｅ＿ｉｄｘに基づいて第２マージ候補を決定してもよい。
インデックス情報ｍｅｒｇｅ＿ｉｄｘはマージ候補リストに含まれるマージ候補のうちのいずれか１つを指定する。
インデックス情報ｍｅｒｇｅ＿２ｎｄ＿ｉｄｘはｍｅｒｇｅ＿ｉｄｘで指定されたマージ候補以外の残りのマージ候補のうちのいずれか１つを指定してもよい。従って、ｍｅｒｇｅ＿２ｎｄ＿ｉｄｘの値がｍｅｒｇｅ＿ｉｄｘの値より小さい場合、インデックスｍｅｒｇｅ＿２ｎｄ＿ｉｄｘの値のマージ候補を第２マージ候補として設定してもよい。ｍｅｒｇｅ＿２ｎｄ＿ｉｄｘの値がｍｅｒｇｅ＿ｉｄｘの値以上である場合、インデックス値ｍｅｒｇｅ＿２ｎｄ＿ｉｄｘの値に１を加えたマージ候補を第２マージ候補として設定してもよい。
代替的に、候補ブロックの検索順序を考慮して第２マージ候補を指定してもよい。
図３１は候補ブロックの検索順序を考慮して第２マージ候補を指定する例を示す図である。
図３１に示される例では、隣接サンプル及び非隣接サンプルにマークしたインデックスは候補ブロックの検索順序を示す。例えば、Ａ０位置からＡ１４位置まで順に候補ブロックを検索してもよい。
ブロックＡ４を第１マージ候補として選択する場合、検索順序がＡ４の後である候補ブロックから導き出したマージ候補を第２マージ候補として指定してもよい。例えば、Ａ５から導き出したマージ候補を第２マージ候補として選択してもよい。位置Ａ５での候補ブロックがマージ候補として使用できない場合、次の候補ブロックから導き出したマージ候補を第２マージ候補として選択してもよい。
更に非隣接ブロックから導き出したマージ候補から第１マージ候補及び第２マージ候補を選択してもよい。
図３２は非隣接ブロックから導き出したマージ候補から第１マージ候補及び第２マージ候補を選択する例を示す図である。
図３２に示される例では、それぞれ現在ブロックに隣接しない第１候補ブロック及び第２候補ブロックから導き出したマージ候補を第１マージ候補及び第２マージ候補として選択してもよい。このような場合、第１候補ブロックの属するブロック行と第２候補ブロックの属するブロック行は異なってもよい。例えば、第１マージ候補はＡ５～Ａ１０のうちのいずれか１つの候補ブロックから導き出されてもよく、第２マージ候補はＡ１１～Ａ１５のうちのいずれか１つの候補ブロックから導き出されてもよい。
代替的に、第１候補ブロック及び第２候補ブロックが同じ行（ｌｉｎｅ）（例えば、行又は列）に含まれないように設定してもよい。
他の例として、第１マージ候補に基づいて第２マージ候補を指定してもよい。このような場合、第１マージ候補はストリームから信号により送信されたインデックス情報ｍｅｒｇｅ＿ｉｄｘにより指定されてもよい。例えば、第１マージ候補に隣接するマージ候補を第２マージ候補として指定してもよい。ここで、第１マージ候補に隣接するマージ候補とは第１マージ候補とのインデックス差分が１であるマージ候補を指してもよい。例えば、インデックス値ｍｅｒｇｅ＿ｉｄｘ＋１のマージ候補を第２マージ候補として設定してもよい。このような場合、ｍｅｒｇｅ＿ｉｄｘ＋１の値が最大インデックス値より大きい場合（又は、第１マージ候補のインデックス値が最大インデックスである場合）、インデックス値ｍｅｒｇｅ＿ｉｄｘ－１のマージ候補又はインデックス値が予め定義された値（例えば、０）であるマージ候補を第２マージ候補として設定してもよい。
代替的に、第１マージ候補に隣接するマージ候補とは第１マージ候補を導き出すための候補ブロックに空間的に隣接する候補ブロックから導き出したマージ候補を指してもよい。ここで、候補ブロックの隣接候補ブロックとは候補ブロックの左側、右側、上方、下方又は対角線方向における隣接ブロックを指してもよい。
他の例として、第１マージ候補の運動情報に基づいて第２マージ候補を指定してもよい。例えば、第１マージ候補と同じ参照ピクチャを有するマージ候補を第２マージ候補として選択してもよい。第１マージ候補と同じ参照ピクチャを共有するマージ候補が複数ある場合、前記複数のマージ候補のうちのインデックスが最も小さいマージ候補、第１マージ候補とのインデックス差分が最も小さいマージ候補、又は第１マージ候補との運動ベクトル差分が最も小さいマージ候補を第２マージ候補として選択してもよい。代替的に、複数のマージ候補のうちのいずれか１つを指定するインデックス情報に基づいて第２マージ候補を選択してもよい。
代替的に、第１マージ候補が第１方向の単方向予測である場合、第２方向における運動情報を含むマージ候補を第２マージ候補として設定してもよい。例えば、第１マージ候補が方向Ｌ０の運動情報を有する場合、方向Ｌ１の運動情報を有するマージ候補を第２マージ候補として設定してもよい。方向Ｌ１の運動情報を有するマージ候補が複数ある場合、前記複数のマージ候補のうちのインデックスが最も小さいマージ候補又は第１マージ候補とのインデックス差分が最も小さいマージ候補を第２マージ候補として設定する。代替的に、複数のマージ候補のうちのいずれか１つを指定するインデックス情報に基づいて第２マージ候補を選択してもよい。
他の例として、現在ブロックに隣接する隣接ブロックから導き出したマージ候補のうちの１つを第１マージ候補として設定してもよく、現在ブロックに隣接しない非隣接ブロックから導き出したマージ候補のうちの１つを第２マージ候補として設定してもよい。
他の例として、現在ブロックの上方に位置する候補ブロックから導き出したマージ候補のうちの１つを第１マージ候補として設定してもよく、左側に位置する候補ブロックから導き出したマージ候補のうちの１つを第２マージ候補として設定してもよい。
上記マージモードとマージモードを組み合わせる組合せ予測モードにおいて、前記マージモードとは並進運動モデルに基づくマージモード（以下、並進マージモードと称される）又はアフィン運動モデルに基づくマージモード（以下、アフィンマージモードと称される）を指してもよい。即ち、並進マージモードと並進マージモードを組み合わせ、又はアフィンマージモードとアフィンマージモードを組み合わせることにより運動補償予測を実行してもよい。
他の例として、アフィン運動情報に基づいて第１マージ候補を導き出すための隣接ブロックを符号化する場合、アフィン運動情報に基づいて符号化した隣接ブロックから導き出したマージ候補を第２マージ候補として設定してもよい。例えば、第１マージ候補がアフィンマージ候補であり、又は第１マージ候補がアフィン運動情報に基づいて符号化した符号化ブロックにおけるサブブロックの運動情報に基づいて導き出されたものである場合、アフィンマージ候補、又はアフィン運動情報に基づいて符号化を行う符号化ブロックにおけるサブブロックの運動情報に基づいて導き出したマージ候補を第２マージ候補として選択してもよい。ここで、第２マージ候補は以上の条件を満足するマージ候補のうちの、検索順序に従って第１マージ候補に最も近いマージ候補、第１マージ候補とのインデックス差分が最も小さいマージ候補、最小インデックスを有するマージ候補、及び第１マージ候補との運動ベクトル差分が最も小さいマージ候補のうちの少なくとも１つを含んでもよい。
上記例とは逆に、並進運動情報（即ち、非アフィン運動情報）に基づいて第１マージ候補を導き出すための隣接ブロックを符号化する場合、並進運動情報に基づいて符号化した隣接ブロックから導き出したマージ候補を第２マージ候補として設定してもよい。例えば、第１マージ候補が非アフィンマージ候補である場合、非アフィンマージ候補を第２マージ候補として選択してもよい。ここで、第２マージ候補は非アフィンマージ候補のうちの、検索順序に従って第１マージ候補に最も近いマージ候補、第１マージ候補とのインデックス差分が最も小さいマージ候補、最小インデックスを有するマージ候補、及び第１マージ候補との運動ベクトル差分が最も小さいマージ候補のうちの少なくとも１つを含んでもよい。
代替的に、第１マージ候補のインデックスにオフセット量を加え、又は第１マージ候補のインデックスからオフセット量を引くことにより、第２マージ候補を導き出し、且つ、第１マージ候補及び第２マージ候補を導き出すための隣接ブロックの符号化方法が異なる場合、第２マージ候補を他のマージ候補として改めて設定してもよい。
図３３は第２マージ候補を決定する例を説明するための図である。
第１マージ候補を選択した場合、第１マージ候補のインデックスにオフセット量を加え、又は第１マージ候補のインデックスからオフセット量を引くことにより導き出したインデックスを有するマージ候補を第２マージ候補として選択してもよい。例えば、ストリームから信号により送信されたｍｅｒｇｅ＿ｉｄｘで示される値をインデックスとして有するマージ候補を第１マージ候補として選択してもよく、ｍｅｒｇｅ＿ｉｄｘ＋１をインデックスとして有するマージ候補を第２マージ候補として選択してもよい。
このような場合、第１マージ候補がアフィンマージ候補、又はアフィン運動モデルにより符号化された符号化ブロックに属するサブブロックから導き出されたものである場合、アフィンマージ候補、又はアフィン運動モデルにより符号化された符号化ブロックに属するサブブロックから導き出したマージ候補を第２マージ候補として設定すべきである。ｍｅｒｇｅ＿ｉｄｘ＋１をインデックスとして有するマージ候補がアフィンマージ候補、又はアフィン運動モデルにより符号化された符号化ブロックに属するサブブロックから導き出されたものではない場合、他のマージ候補を第２マージ候補として設定してもよい。ここで、他のマージ候補は第１マージ候補又はアフィンマージ候補又はアフィン運動モデルにより符号化された符号化ブロックに属するサブブロックから導き出したマージ候補のうちのｍｅｒｇｅ＿ｉｄｘ＋１との差分が最も小さいマージ候補であってもよい。
一方、第１マージ候補が非アフィンマージ候補である場合、非アフィンマージ候補を第２マージ候補として設定すべきである。ｍｅｒｇｅ＿ｉｄｘ＋１をインデックスとして有するマージ候補がアフィンマージ候補、又はアフィン運動モデルにより符号化された符号化ブロックに属するサブブロックから導き出されたものである場合、他のマージ候補を第２マージ候補として設定してもよい。ここで、他のマージ候補は第１マージ候補又は非アフィンマージ候補のうちのｍｅｒｇｅ＿ｉｄｘ＋１との差分が最も小さいマージ候補であってもよい。例えば、図３３に示される例には、インデックスｍｅｒｇｅ＿ｉｄｘ＋２のマージ候補Ａ３を第２マージ候補として設定することを示す。
他の例として、並進マージモードとアフィンマージモードを組み合わせて運動補償予測を実行してもよい。即ち、第１マージ候補又は第２マージ候補のうちのいずれか一方はアフィンマージ候補であってもよく、他方は非アフィンマージ候補であってもよい。
第１マージ候補から導き出した第１予測ブロックと第２マージ候補から導き出した第２予測ブロックの加重和演算によって組合せ予測ブロックを取得してもよい。このような場合、第１予測ブロックに適用される重み付け値を第２予測ブロックに適用される重み付け値より大きく設定してもよい。
代替的に、第１マージ候補の運動情報及び第２マージ候補の運動情報に基づいて重み付け値を決定してもよい。例えば、参照ピクチャ及び現ピクチャの出力順序の相違によって、第１予測ブロック及び第２予測ブロックに適用される重み付け値を決定してもよい。具体的に、参照ピクチャ及び現ピクチャの出力順序の相違が大きければ大きいほど、予測ブロックに適用される重み付け値が小さく設定され得る。
代替的に、第１マージ候補を導き出すための候補ブロック（以下、第１候補ブロックと称される）及び第２マージ候補を導き出すための候補ブロック（以下、第２候補ブロックと称される）のサイズ又は形状を考慮した上で、第１予測ブロック及び第２予測ブロックに適用される重み付け値を決定してもよい。例えば、第１候補ブロック又は第２候補ブロックのうちの形状が現在ブロックに類似する候補ブロックから導き出した予測ブロックに適用される重み付け値を比較的大きい値として設定してもよい。一方、第１候補ブロック又は第２候補ブロックのうちの形状が現在ブロックに類似しない候補ブロックから導き出した予測ブロックに適用される重み付け値を比較的小さい値として設定してもよい。
図３４は候補ブロックの形状に基づいて、予測ブロックに適用される重み付け値を決定する例を示す図である。
現在ブロックは幅が高さより大きい非正方形であると仮定する。
第１マージ候補及び第２マージ候補に基づいて第１予測ブロック及び第２予測ブロックを導き出してもよく、第１予測ブロックと第２予測ブロックの加重和演算によって組合せ予測ブロックを生成してもよい。このような場合、第１候補ブロック及び第２候補ブロックの形状に基づいて、第１予測ブロック及び第２予測ブロックに適用される重み付け値を決定してもよい。
例えば、図３４に示される例では、第１候補ブロックは正方形であり、第２候補ブロックは幅が高さより大きい非正方形である。第２候補ブロックの形状が現在ブロックと同じであるため、第２予測ブロックに適用される重み付け値を第１予測ブロックに適用される重み付け値より大きく設定してもよい。例えば、５／８の重み付け値を第２予測ブロックに適用してもよく、３／８の重み付け値を第１予測ブロックに適用してもよい。等式１４には第１予測ブロックと第２予測ブロックの加重和演算によって組合せ予測ブロックを導き出す例を示す。
等式１４
Figure 2023018046000025
Ｐ（ｘ，ｙ）が組合せ予測ブロックを示し、Ｐ１（ｘ，ｙ）が第１予測ブロックを示し、Ｐ２（ｘ，ｙ）が第２予測ブロックを示す。
他の例として、現在ブロックの形状に基づいて第１予測ブロック及び第２予測ブロックに適用される重み付け値を決定してもよい。例えば、現在ブロックは幅が高さより大きい非正方形である場合、第１マージ候補及び第２マージ候補のうちの現在ブロックの上方に位置する候補ブロックから導き出したマージ候補に基づいて生成した予測ブロックに一層大きい重み付け値を適用してもよい。第１マージ候補及び第２マージ候補がいずれも現在ブロックの上方に位置する候補ブロックから導き出されたものである場合、第１予測ブロック及び第２予測ブロックに適用される重み付け値を同じであるように設定してもよい。一方、現在ブロックは高さが幅より大きい非正方形である場合、第１マージ候補及び第２マージ候補のうちの現在ブロックの左側に位置する候補ブロックから導き出したマージ候補に基づいて生成した予測ブロックに一層大きい重み付け値を適用してもよい。第１マージ候補及び第２マージ候補がいずれも現在ブロックの左側に位置する候補ブロックから導き出されたものである場合、第１予測ブロック及び第２予測ブロックに適用される重み付け値を同じであるように設定してもよい。現在ブロックが正方形である場合、第１予測ブロック及び第２予測ブロックに適用される重み付け値を同じであるように設定してもよい。
他の例として、現在ブロックと候補ブロックとの距離に基づいて、各予測ブロックに適用される重み付け値を決定してもよい。ここで、距離は現在ブロックとのｘ軸座標差分、ｙ軸座標差分又はそれらのうちの最小値に基づいて導き出されてもよい。現在ブロックとの距離が比較的小さいマージ候補から導き出した予測ブロックに適用される重み付け値を、現在ブロックとの距離が比較的大きいマージ候補から導き出した予測ブロックに適用される重み付け値より大きく設定してもよい。例えば、図３１に示される例では、第１マージ候補は現在ブロックに隣接する隣接ブロックから導き出され、第２マージ候補は現在ブロックに隣接しない非隣接ブロックから導き出される。このような場合、第１候補ブロックと現在ブロックとのｘ軸距離が第２候補ブロックと現在ブロックとのｘ軸距離より小さいため、第１予測ブロックに適用される重み付け値を、第２予測ブロックに適用される重み付け値より大きく設定してもよい。
代替的に、第１マージ候補及び第２マージ候補がいずれも非隣接ブロックから導き出される場合、前記非隣接ブロックのうちの現在ブロックとの距離が比較的小さい非隣接ブロックから導き出した予測ブロックに一層大きい重み付け値を割り当ててもよい。例えば、図３２に示される例では、第１候補ブロックと現在ブロックとのｙ軸距離が第２候補ブロックと現在ブロックとのｙ軸距離より小さいため、第１予測ブロックに適用される重み付け値を、第２予測ブロックに適用される重み付け値より大きく設定してもよい。
第１マージ候補及び第２マージ候補に基づいて整合後の運動情報を導き出してもよく、整合後の運動情報に基づいて現在ブロックに対して運動補償予測を実行してもよい。例えば、第１マージ候補の運動ベクトル及び第２マージ候補の運動ベクトルの平均演算又は加重和演算によって現在ブロックの運動ベクトルを導き出してもよい。このような場合、第１マージ候補に適用される運動ベクトルの重み付け値及び第２マージ候補に適用される運動ベクトルの重み付け値は上記実施例によって決定されてもよい。
第１マージ候補が非アフィンマージ候補であり且つ第２アフィンマージ候補がアフィンマージ候補である場合、第２マージ候補の運動ベクトルを拡大縮小することにより現在ブロックの運動ベクトルを導き出すことができる。等式１５には現在ブロックの運動ベクトルを導き出す例を示す。
等式１５
Figure 2023018046000026
等式１５では、（ｍｖＸ，ｍｖＹ）が現在ブロックの運動ベクトルを示し、（ｍｖ０ｘ，ｍｖ０ｙ）が第１マージ候補の運動ベクトルを示し、（ｍｖ１ｘ，ｍｖ１ｙ）が第２マージ候補の運動ベクトルを示す。Ｍが拡大縮小パラメータを示す。Ｍがエンコーダ及びデコーダにおいて予め定義されてもよい。代替的に、現在ブロック又は候補ブロックのサイズに基づいて拡大縮小パラメータＭの値を決定してもよい。例えば、第２候補ブロックの幅又は高さが３２より大きい場合、Ｍを３として設定してもよく、そうでない場合、Ｍを２として設定してもよい。
第１マージ候補又は第２マージ候補の運動情報は、マージモードとマージモードを組み合わせるマージ予測モードを適用するブロックの運動情報として記憶されてもよい。記憶される運動情報は以後に符号化／復号化されようとするブロックの運動情報を導き出すことに用いられてもよい。
代替的に、前記ブロックを複数のサブブロックに分割してもよく、第１マージ候補の運動情報及び第２マージ候補の運動情報のうちの１つを各サブブロックの運動情報として記憶してもよい。このような場合、複数のサブブロックのうちのいくつかのサブブロックの運動情報を第１マージ候補の運動情報として設定してもよく、他のサブブロックの運動情報を第２マージ候補の運動情報として設定してもよい。
代替的に、第１マージ候補及び第２マージ候補の運動情報に基づいて導き出した整合後の運動情報は、マージモードとマージモードを組み合わせるマージ予測モードを適用するブロックの運動情報として記憶されてもよい。
マージモードと高度動きベクトル予測モードを組み合わせる予測モードにおいて、マージ候補から導き出した運動情報を使用して第１予測ブロックを生成してもよく、運動ベクトル予測候補から導き出した運動ベクトルを使用して第２予測ブロックを生成してもよい。
高度動きベクトル予測モードにおいて、現在ブロックに隣接する隣接ブロック又はコロケーテッドピクチャにおけるコロケーテッドブロックから運動ベクトル予測候補を導き出してもよい。その後、複数の運動ベクトル予測候補のうちのいずれか１つを指定してもよく、指定された運動ベクトル予測候補を現在ブロックの運動ベクトル予測結果として設定してもよい。その後、現在ブロックの運動ベクトル予測結果と運動ベクトル差分とを加えて現在ブロックの運動ベクトルを導き出してもよい。
マージモードと高度動きベクトル予測モードを組み合わせる予測モードにおいて、同一の候補ブロックからマージ候補及び運動ベクトル予測候補を導き出してもよい。例えば、ｍｅｒｇｅ＿ｉｄｘでマージ候補を指定する場合、指定されたマージ候補を導き出すための候補ブロックの運動ベクトルを運動ベクトル予測結果として設定してもよい。代替的に、ｍｖｐ＿ｆｌａｇで運動ベクトル予測候補を指定する場合、指定されたマージ候補を導き出すための候補ブロックから導き出したマージ候補を選択してもよい。
代替的に、マージ候補を導き出すための候補ブロックと運動ベクトル予測候補を導き出すための候補ブロックは異なってもよい。例えば、現在ブロックの上方に位置する候補ブロックから導き出したマージ候補を選択した場合、現在ブロックの左側に位置する候補ブロックから導き出した運動ベクトル予測候補を選択するように設定してもよい。
代替的に、インデックス情報により選択されたマージ候補とインデックス情報により選択された運動ベクトル予測候補が同一の候補ブロックから導き出される場合、前記候補ブロックに隣接する隣接候補ブロックから導き出した運動ベクトル予測候補で前記運動ベクトル予測候補を置換してもよく、又は前記候補ブロックに隣接する候補ブロックから導き出したマージ候補で前記マージ候補を置換してもよい。
図３５はマージ候補を置換する例を示す図である。
図３５（ａ）に示される例には、位置Ａ２での候補ブロックから導き出したマージ候補及び運動ベクトル予測候補を選択することを示す。図示のように、マージ候補と運動ベクトル予測候補が同一の候補ブロックから導き出される場合、前記マージ候補又は前記運動ベクトル予測候補ではなく前記候補ブロックに隣接する候補ブロックから導き出したマージ候補又は運動ベクトル予測候補を使用してもよい。例えば、図３５（ｂ）に示すように、位置Ａ２でのマージ候補ではなく位置Ａ１でのマージ候補を使用してもよい。
現在ブロックのマージ候補に基づいて第１予測ブロックを導き出してもよく、前記運動ベクトル予測候補に基づいて第２予測ブロックを導き出してもよい。その後、第１予測ブロックと第２予測ブロックの加重和演算によって組合せ予測ブロックを導き出してもよい。このような場合、高度動きベクトル予測モードで生成した第２予測ブロックに適用される重み付け値を、マージモードで生成した第１予測ブロックに適用される重み付け値より大きく設定してもよい。
オリジナルピクチャと予測ピクチャとの減算により、導き出した残余ピクチャを導き出してもよい。このような場合、残余ピクチャを周波数領域に変更する場合、周波数成分における高周波数成分を取り除いても、ビデオの主観的画質が大幅に低下することもない。これにより、高周波数成分の値を減少し又は高周波数成分の値を０として設定すれば、顕著な視覚的歪みを生じさせずに圧縮効率を向上させる効果を有する。以上の特性を反映するために、現在ブロックを変換して残余ピクチャを２次元周波数成分に分解してもよい。離散コサイン変換（ＤＣＴ、Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又は離散サイン変換（ＤＳＴ、Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の変換技術で前記変換を実行してもよい。
ＤＣＴはコサイン変換を使用して残余ピクチャを２次元周波数成分に分解（又は変換）するが、ＤＳＴはサイン変換を使用して残余ピクチャを２次元周波数成分に分解（又は変換）する。残余ピクチャの変換結果として、周波数成分は基本ピクチャとして示されてもよい。例えば、サイズＮ×Ｎのブロックに対してＤＣＴ変換を実行するとき、Ｎ２個の基本パターン成分を取得することができる。変換によってサイズＮ×Ｎのブロックに含まれる各基本パターン成分のサイズを取得することができる。使用する変換技術に基づいて、基本パターン成分のサイズはＤＣＴ係数又はＤＳＴ係数と称されてもよい。
変換技術ＤＣＴは主に非０の低周波数成分の分布が比較的多いピクチャを変換することに用いられる。変換技術ＤＳＴは主に高周波数成分の分布が比較的多いピクチャに使用される。
更にＤＣＴ又はＤＳＴ以外の変換技術を使用して残余ピクチャを変換してもよい。
以下、残余ピクチャを２次元周波数成分に変換する過程は２次元ピクチャ変換と称される。そして、変換結果により取得された基本パターン成分のサイズは変換係数と称される。例えば、変換係数とはＤＣＴ係数又はＤＳＴ係数を指してもよい。以後に説明する主変換及び二次変換を同時に適用するとき、変換係数は二次変換の結果により生成された基本パターン成分のサイズを示してもよい。
ブロック単位で変換技術を決定してもよい。現在ブロックの予測符号化モード、現在ブロックのサイズ又は現在ブロックの形状のうちの少なくとも１つに基づいて変換技術を決定してもよい。例えば、イントラ予測モードで現在ブロックを符号化し且つ現在ブロックのサイズがＮ×Ｎより小さい場合、変換技術ＤＳＴを使用して変換を実行してもよい。一方、前記条件を満足できない場合、変換技術ＤＣＴを使用して変換を実行してもよい。
残余ピクチャにおいて、更に一部のブロックに対して２次元ピクチャ変換を行わなくてもよい。２次元ピクチャ変換を実行しないことは変換スキップ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）と称されてもよい。変換スキップを適用する場合、変換を実行しない残余値に量子化を適用してもよい。
ＤＣＴ又はＤＳＴを使用して現在ブロックを変換した後、変換された現在ブロックを再び変換してもよい。このような場合、ＤＣＴ又はＤＳＴに基づく変換は主変換として定義されてもよく、主変換を適用するブロックを再び変換する過程は二次変換と称されてもよい。
主変換は複数の変換コア候補のうちのいずれか１つを使用して実行されてもよい。例えば、ＤＣＴ２、ＤＣＴ８又はＤＣＴ７のうちのいずれか１つを使用して主変換を実行してもよい。
水平方向及び垂直方向に対して、異なる変換コアを使用してもよい。更に、ストリームを介して信号によって、水平方向の変換コアと垂直方向の変換コアとの組み合わせを示す情報を送信してもよい。
主変換及び二次変換の実行ユニットが異なる。例えば、８×８ブロックに対して主変換を実行してもよく、変換された８×８ブロックにおけるサイズ４×４のサブブロックに対して二次変換を実行してもよい。このような場合、更に二次変換を実行しない残りの領域の変換係数を０として設定してもよい。
代替的に、４×４ブロックに対して主変換を実行してもよく、変換された４×４ブロックを含むサイズ８×８の領域に対して二次変換を実行してもよい。
ストリームを介して信号によって、二次変換を実行するかどうかを示す情報を送信してもよい。
代替的に、水平方向変換コアと垂直方向変換コアが同じであるかどうかによって、二次変換を実行するかどうかを決定してもよい。例えば、水平方向変換コアと垂直方向変換コアが同じである場合のみ、二次変換を実行してもよい。代替的に、水平方向変換コアと垂直方向変換コアが異なる場合のみ、二次変換を実行してもよい。
代替的に、水平方向の変換及び垂直方向の変換が予め定義された変換コアを利用する場合のみ、二次変換が許容される。例えば、水平方向の変換及び垂直方向の変換がＤＣＴ２変換コアを使用する場合、二次変換が許容されてもよい。
代替的に、現在ブロックの非ゼロ変換係数の数に基づいて、二次変換を実行するかどうかを決定してもよい。例えば、現在ブロックの非ゼロ変換係数が閾値以下である場合、二次変換を使用しないように設定してもよく、現在ブロックの非ゼロ変換係数が閾値より大きい場合、二次変換を使用するように設定してもよい。更に、現在ブロックがイントラ予測により符号化される場合のみ、二次変換を使用するように設定してもよい。
現在ブロックの形状に基づいて、二次変換を実行しようとするサブブロックのサイズ又は形状を決定してもよい。
図３６及び図３７は二次変換を実行しようとするサブブロックを示す図である。
現在ブロックが正方形である場合、主変換を実行した後、現在ブロックの左上のサイズＮ×Ｎのサブブロックに対して二次変換を実行してもよい。例えば、現在ブロックが８×８サイズの符号化ブロックである場合、現在ブロックに対して主変換を実行した後、現在ブロックの左上角の４×４サイズのサブブロックに対して二次変換を実行してもよい（図３６参照）。
現在ブロックは幅が高さより４倍以上大きい非正方形である場合、主変換を実行した後、現在ブロックの左上のサイズ（ｋＮ）×（４ｋＮ）のサブブロックに対して二次変換を実行してもよい。例えば、現在ブロックが１６×４サイズの非正方形である場合、現在ブロックに対して主変換を実行した後、現在ブロックの左上角の２×８サイズのサブブロックに対して二次変換を実行してもよい（図３７（ａ）参照）。
現在ブロックは高さが幅より４倍以上大きい非正方形である場合、主変換を実行した後、現在ブロックの左上のサイズ（４ｋＮ）×（ｋＮ）のサブブロックに対して二次変換を実行してもよい。例えば、現在ブロックが１６×４サイズの非正方形である場合、現在ブロックに対して主変換を実行した後、現在ブロックの左上角の２×８サイズのサブブロックに対して二次変換を実行してもよい（図３７（ｂ）参照）。
デコーダにおいて二次変換の逆変換（第２逆変換）を実行してもよく、その結果に対して主変換の逆変換（第１逆変換）を実行してもよい。第２逆変換及び第１逆変換の実行結果として、現在ブロックの残余信号を取得することができる。
ストリームを介して信号によって、現在ブロックの変換タイプを示す情報を送信してもよい。前記情報は水平方向の変換タイプと垂直方向の変換タイプとの組み合わせのうちの１つを示すインデックス情報ｔｕ＿ｍｔｓ＿ｉｄｘであってもよい。
インデックス情報ｔｕ＿ｍｔｓ＿ｉｄｘに基づいて指定した変換タイプ候補によって、垂直方向の変換コア及び水平方向の変換コアを決定してもよい。表１１及び表１２にはｔｕ＿ｍｔｓ＿ｉｄｘに基づく変換タイプ組合せを示す。
Figure 2023018046000027
Figure 2023018046000028
変換タイプをＤＣＴ２、ＤＳＴ７、ＤＣＴ８又はスキップ変換のうちのいずれか１つとして決定してもよい。代替的に、変換スキップ以外に、変換コアのみを利用して変換タイプ組合せ候補を構成してもよい。
表１１を使用する場合、ｔｕ＿ｍｔｓ＿ｉｄｘが０である場合、水平方向及び垂直方向において変換スキップを適用してもよい。ｔｕ＿ｍｔｓ＿ｉｄｘが１である場合、水平方向及び垂直方向においてＤＣＴ２を適用してもよい。ｔｕ＿ｍｔｓ＿ｉｄｘが３である場合、水平方向においてＤＣＴ８を適用し、垂直方向においてＤＣＴ７を適用してもよい。
表１２を使用する場合、ｔｕ＿ｍｔｓ＿ｉｄｘが０である場合、水平方向及び垂直方向においてＤＣＴ２を適用してもよい。ｔｕ＿ｍｔｓ＿ｉｄｘが１である場合、水平方向及び垂直方向において変換スキップを適用してもよい。ｔｕ＿ｍｔｓ＿ｉｄｘが３である場合、水平方向においてＤＣＴ８を適用し、垂直方向においてＤＣＴ７を適用してもよい。
現在ブロックのサイズ、形状又は非ゼロ係数の数のうちの少なくとも１つに基づいて、インデックス情報を符号化するかどうかを決定してもよい。例えば、非ゼロ係数の数が閾値以下である場合、信号によってインデックス情報を送信せず、デフォルト変換タイプを現在ブロックに適用してもよい。デフォルト変換タイプはＤＳＴ７であってもよい。代替的に、デフォルトモードは現在ブロックのサイズ、形状又はイントラ予測モードによって異なる。
現在ブロックのサイズ又は形状に基づいて閾値を決定してもよい。例えば、現在ブロックのサイズが３２×３２以下である場合、閾値を２として設定してもよく、現在ブロックが３２×３２より大きい場合（例えば、現在ブロックがサイズ３２×６４又は６４×３２の符号化ブロックである場合）、閾値を４として設定してもよい。
複数のルックアップテーブルはエンコーダ／デコーダに予め記憶されてもよい。複数のルックアップテーブルにおいて、変換タイプ組合せ候補に割り当てられるインデックス値、変換タイプ組合せ候補の種類又は変換タイプ組合せ候補の数のうちの少なくとも１つは異なってもよい。
現在ブロックのサイズ、形状、予測符号化モード、イントラ予測モード、２回目変換を適用するかどうか、又は変換スキップを隣接ブロックに適用するかどうかのうちの少なくとも１つに基づいて、現在ブロックのルックアップテーブルを選択してもよい。
例えば、現在ブロックのサイズが４×４以下であり又はインター予測により現在ブロックを符号化する場合、表１１におけるルックアップテーブルを使用してもよく、現在ブロックのサイズが４×４より大きく又はブロック内予測により現在ブロックを符号化する場合、表１２におけるルックアップテーブルを使用してもよい。
代替的に、ストリームを介して信号によって、複数のルックアップテーブルのうちのいずれか１つを示す情報を送信してもよい。デコーダは前記情報に基づいて現在ブロックのルックアップテーブルを選択してもよい。
他の例として、現在ブロックのサイズ、形状、予測符号化モード、イントラ予測モード、２回目変換を行うかどうか、又は変換スキップを隣接ブロックに適用するかどうかのうちの少なくとも１つに基づいて、変換タイプ組合せ候補に割り当てられるインデックスを適応的に決定してもよい。例えば、現在ブロックのサイズが４×４である場合、変換スキップに割り当てられるインデックスは現在ブロックのサイズが４×４より大きい場合に変換スキップに割り当てられるインデックスより小さい値を有してもよい。具体的に、現在ブロックのサイズが４×４である場合、変換スキップにインデックス０を割り当ててもよく、現在ブロックが４×４より大きく且つ１６×１６以下である場合、変換スキップに０より大きいインデックス（例えば、インデックス１）を割り当ててもよい。現在ブロックが１６×１６より大きい場合、最大値（例えば、５）を変換スキップのインデックスとして割り当ててもよい。
代替的に、現在ブロックがインター予測により符号化される場合、変換スキップにインデックス０を割り当ててもよい。現在ブロックがイントラ予測により符号化される場合、変換スキップに０より大きいインデックス（例えば、インデックス１）を割り当ててもよい。
代替的に、現在ブロックはインター予測により符号化されるサイズ４×４のブロックである場合、変換スキップにインデックス０を割り当ててもよい。一方、現在ブロックがインター予測により符号化されず、又は現在ブロックが４×４より大きい場合、変換スキップに０より大きい値のインデックス（例えば、インデックス１）を割り当ててもよい。
表１１及び表１２に列挙した変換タイプ組合せ候補と異なる変換タイプ組合せ候補を定義・使用してもよい。例えば、ＤＣＴ７、ＤＣＴ８又はＤＳＴ２等のような変換コアが適用された変換タイプ組合せ候補を使用して、変換スキップを水平又は垂直変換及び他の変換に適用してもよい。このとき、現在ブロックのサイズ（例えば、幅及び／又は高さ）、形状、予測符号化モード又はイントラ予測モードのうちの少なくとも１つに基づいて、水平方向又は垂直方向の変換タイプ候補として変換スキップを使用するかどうかを決定してもよい。
代替的に、ストリームを介して信号によって、指定された変換タイプ候補が利用可能であるかどうかを示す情報を送信してもよい。例えば、水平方向及び垂直方向に対して変換スキップを変換タイプ候補として使用できるかどうかを示すフラグを信号によって送信してもよい。前記フラグに基づいて、複数の変換タイプ組合せ候補に指定された変換タイプ組合せ候補が含まれるかどうかを決定してもよい。
代替的に、ストリームを介して信号によって、変換タイプ候補を現在ブロックに適用するかどうかを指定することを示す情報を送信してもよい。例えば、ＤＣＴ２を水平方向及び垂直方向に適用するかどうかを示すフラグｃｕ＿ｍｔｓ＿ｆｌａｇを信号によって送信してもよい。ｃｕ＿ｍｔｓ＿ｆｌａｇの値が１である場合、ＤＣＴ２を垂直方向及び水平方向の変換コアとして設定してもよい。ｃｕ＿ｍｔｓ＿ｆｌａｇの値が０である場合、ＤＣＴ８又はＤＳＴ７を垂直方向及び水平方向の変換コアとして設定してもよい。代替的に、ｃｕ＿ｍｔｓ＿ｆｌａｇの値が０である場合、複数の変換タイプ組合せ候補のうちのいずれか１つを指定する情報ｔｕ＿ｍｔｓ＿ｉｄｘを信号によって送信してもよい。
現在ブロックは幅が高さより大きい非正方形又は高さが幅より大きい非正方形である場合、更にｃｕ＿ｍｔｓ＿ｆｌａｇの符号化を省略して、ｃｕ＿ｍｔｓ＿ｆｌａｇの値を０として見なしてもよい。
現在ブロックのサイズ、形状又はイントラ予測モードに基づいて、利用可能な変換タイプ組合せ候補の数を異なるように設定してもよい。例えば、現在ブロックが正方形である場合、３つ以上の変換タイプ組合せ候補を使用可能であり、現在ブロックが非正方形である場合、２つの変換タイプ組合せ候補を使用可能である。代替的に、現在ブロックが正方形である場合、変換タイプ組合せ候補のうちの水平方向の変換タイプ及び垂直方向の変換タイプが異なる変換タイプ組合せ候補のみを利用可能である。
現在ブロックが利用できる変換タイプ組合せ候補は３つ以上である場合、変換タイプ組合せ候補のうちの１つを示すインデックス情報ｔｕ＿ｍｔｓ＿ｉｄｘを信号によって送信してもよい。一方、現在ブロックが利用できる変換タイプ組合せ候補は２つある場合、変換タイプ組合せ候補のうちのいずれか１つを示すフラグｍｔｓ＿ｆｌａｇを信号によって送信してもよい。以下の表１３には現在ブロックの形状に基づいて変換タイプ組合せ候補を指定する情報を符号化する過程を示す。
Figure 2023018046000029
現在ブロックの形状に基づいて、変換タイプ組合せ候補のインデックスを並べ替える（又は、再整列する）。例えば、現在ブロックが正方形である場合に変換タイプ組合せ候補に割り当てられるインデックスは、現在ブロックが非正方形である場合に変換タイプ組合せ候補に割り当てられるインデックスと異なってもよい。例えば、現在ブロックが正方形である場合、以下の表１４に基づいて変換タイプ組合せを選択してもよく、現在ブロックが非正方形である場合、以下の表１５に基づいて変換タイプ組合せを選択してもよい。
Figure 2023018046000030
Figure 2023018046000031
現在ブロックの水平方向非ゼロ係数の数又は垂直方向非ゼロ係数の数に基づいて変換タイプを決定してもよい。水平方向非ゼロ係数の数は１×Ｎ（Ｎが現在ブロックの幅である）に含まれる非ゼロ係数の数を示し、垂直方向非ゼロ係数の数はＮ×１（Ｎが現在ブロックの高さである）に含まれる非ゼロ係数の数を示す。水平方向非ゼロ係数の最大値が閾値以下である場合、水平方向において主変換タイプを適用してもよく、水平方向非ゼロ係数の最大値が閾値より大きい場合、水平方向において二次変換タイプを適用してもよい。垂直方向非ゼロ係数の最大値が閾値以下である場合、垂直方向において主変換タイプを適用してもよく、垂直方向非ゼロ係数の最大値が閾値より大きい場合、垂直方向において二次変換タイプを適用してもよい。
図３８は現在ブロックの変換タイプを決定する例を説明するための図である。
例えば、イントラ予測により現在ブロックを符号化し且つ現在ブロックの水平方向非ゼロ係数の最大値が２以下である場合（図３８（ａ）参照）、水平方向の変換タイプをＤＳＴ７として決定してもよい。
イントラ予測により現在ブロックを符号化し且つ現在ブロックの垂直方向非ゼロ係数の最大値が２より大きい場合（図３８（ｂ）参照）、垂直方向の変換タイプをＤＣＴ２又はＤＣＴ８として決定してもよい。
ストリームを介して信号によって、ストリームから信号により送信された情報に基づいて現在ブロックの変換タイプを明示的に決定するかどうかを示す情報を送信してもよい。例えば、シーケンスレベルで信号によって、イントラ予測により符号化されたブロックが明示的変換タイプ決定を許容するかどうかを示す情報ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｉｎｔｒａ＿ｍｔｓ＿ｆｌａｇ、及び／又はインター予測により符号化されたブロックが明示的変換タイプ決定を許容するかどうかを示す情報ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｉｎｔｅｒ＿ｍｔｓ＿ｆｌａｇを送信してもよい。
明示的変換タイプ決定が許容される場合、ストリームから信号により送信されたインデックス情報ｔｕ＿ｍｔｓ＿ｉｄｘに基づいて現在ブロックの変換タイプを決定してもよい。一方、明示的変換タイプ決定が許容されない場合、現在ブロックのサイズ、現在ブロックの形状、サブブロックユニットの変換が許容されるかどうか及び非ゼロ変換係数を含むサブブロックの位置のうちの少なくとも１つに基づいて変換タイプを決定してもよい。例えば、現在ブロックの幅に基づいて現在ブロックの水平方向変換タイプを決定してもよく、現在ブロックの高さに基づいて現在ブロックの垂直方向変換タイプを決定してもよい。例えば、現在ブロックの幅が４より小さく又は１６より大きい場合、水平方向の変換タイプをＤＣＴ２として決定してもよい。そうでない場合、水平方向の変換タイプをＤＳＴ７として決定してもよい。現在ブロックの高さが４より小さく又は１６より大きい場合、垂直方向の変換タイプをＤＣＴ２として決定してもよい。そうでない場合、垂直方向の変換タイプをＤＳＴ７として決定してもよい。ここで、水平方向の変換タイプ及び垂直方向の変換タイプを決定するために、現在ブロックのサイズ、形状及びイントラ予測モードのうちの少なくとも１つに基づいて幅及び高さに比べる閾値を決定してもよい。
代替的に、現在ブロックは高さと幅が同じである正方形である場合、水平方向変換タイプと垂直方向変換タイプが同じであるように設定するが、現在ブロックは高さと幅が異なる非正方形である場合、水平方向変換タイプと垂直方向変換タイプが異なるように設定してもよい。例えば、現在ブロックの幅が高さより大きい場合、水平方向変換タイプをＤＳＴ７として決定し、垂直方向変換タイプをＤＣＴ２として決定してもよい。現在ブロックの高さが幅より大きい場合、垂直方向変換タイプをＤＳＴ７として決定し、水平方向変換タイプをＤＣＴ２として決定してもよい。
明示的変換タイプ決定が許容されるかどうかによって、変換タイプ候補の数及び／又はタイプ、あるいは変換タイプ組合せ候補の数及び／又はタイプは異なってもよい。例えば、明示的変換タイプ決定が許容される場合、ＤＣＴ２、ＤＳＴ７及びＤＣＴ８は変換タイプ候補として使用されてもよい。従って、水平方向変換タイプ及び垂直方向変換タイプのうちのそれぞれをＤＣＴ２、ＤＳＴ８又はＤＣＴ８として設定してもよい。明示的変換タイプ決定が許容されない場合、ＤＣＴ２及びＤＳＴ７は変換タイプ候補のみとして使用される。従って、水平方向変換タイプ及び垂直方向変換タイプのうちのそれぞれをＤＣＴ２又はＤＳＴ７として決定してもよい。
エンコーダにおいて変換及び量子化を実行すれば、デコーダは逆量子化及び逆変換によって残余ブロックを取得することができる。デコーダにおいて予測ブロックと残余ブロックとを加えて、現在ブロックの再構築ブロックを取得することができる。
現在ブロックの再構築ブロックを取得した場合、ループ内フィルタリング（Ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）によって量子化及び符号化過程に発生する情報紛失を減少させることができる。ループ内フィルタはデブロッキングフィルタ（Ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応型オフセットフィルタ（ＳＡＯ、Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ ｆｉｌｔｅｒ）又は適応型ループフィルタ（ＡＬＦ、Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）のうちの少なくとも１つを含んでもよい。以下、ループ内フィルタを適用する前の再構築ブロックは第１再構築ブロックと称され、ループ内フィルタを適用した後の再構築ブロックは第２再構築ブロックと称される。
第１再構築ブロックに対してデブロッキングフィルタ、ＳＡＯ又はＡＬＦのうちの少なくとも１つを適用して第２再構築ブロックを取得してもよい。このような場合、デブロッキングフィルタを適用した後にＳＡＯ又はＡＬＦを適用してもよい。
デブロッキングフィルタはブロック単位で量子化を実行する際にブロックの境界で発生する画質劣化（ブロック歪み、Ｂｌｏｃｋｉｎｇ Ａｒｔｉｆａｃｔ）を低減することに用いられる。デブロッキングフィルタを適用するために、第１再構築ブロックと隣接再構築ブロックとの間のブロッキング強度（ＢＳ、Ｂｌｏｃｋｉｎｇ Ｓｔｒｅｎｇｔｈ）を決定してもよい。
図３９はブロッキング強度の決定過程を示すフローチャートである。
図３９に示される例では、Ｐが第１再構築ブロックを示し、Ｑが隣接再構築ブロックを示す。隣接再構築ブロックは現在ブロックの左側又は上方に隣接してもよい。
図３９に示される例には、ＰとＱの予測符号化モード、非ゼロ変換係数を含むかどうか、同じ参照ピクチャを使用してインター予測を実行するかどうか、及び運動ベクトルの差分が閾値以上であるかどうかを考慮してブロッキング強度を決定することを示す。
ブロッキング強度に基づいて、デブロッキングフィルタを適用するかどうかを決定してもよい。例えば、ブロッキング強度が０である場合、フィルタリングを実行しない可能性がある。
ＳＡＯは周波数領域において量子化を実行する際に発生するリンギングアーティファクト（Ｒｉｎｇｉｎｇ Ａｒｔｉｆａｃｔ）を低減することに用いられる。第１再構築ピクチャのパターンを考慮して決定したオフセット量を加え又は引くことにより、ＳＡＯを実行することができる。オフセット量の決定方法はエッジオフセット（ＥＯ、Ｅｄｇｅ Ｏｆｆｓｅｔ）又はバンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）を含む。ＥＯは周辺画素のパターンに基づいて現在サンプルのオフセットを決定する方法を示す。ＢＯは領域における類似の輝度値を有する画素セットに対して同じオフセットを適用する方法を示す。具体的に、画素輝度を３２個の同じ区間に区別し、類似の輝度値を有する画素を１つのセットとして設定する。例えば、３２個のバンドのうちの隣接する４つのバンドを１組に設定し、４つのバンドの属するサンプルは同じオフセット量を適用してもよい。
ＡＬＦは第１再構築ピクチャ又はデブロッキングフィルタを適用する再構築ピクチャに対して予め定義されたサイズ／形状のフィルタを適用して第２再構築ピクチャを生成する方法である。下記等式１６にはＡＬＦを適用する例を示す。
等式１６
Figure 2023018046000032
ピクチャ、符号化ツリーユニット、符号化ブロック、予測ブロック又は変換ブロックを単位として、予め定義されたフィルタ候補のうちのいずれか１つを選択してもよい。各フィルタ候補のサイズ又は形状のうちのいずれか１つは異なる。
図４０は予め定義されたフィルタ候補を示す図である。
図４０に示される例では、５×５、７×７及び９×９菱形のうちの少なくとも１つを選択してもよい。
色度成分に対してサイズ５×５の菱形しか使用できない。
復号化過程又は符号化過程を中心として説明する実施例を符号化過程又は復号化過程に用いることも本発明の範囲に含まれる。説明される順序と異なる順序で所定順序に従って説明される複数の実施例を変更することも本発明の範囲に含まれる。
一連のステップ又はフローチャートに基づいて実施例を説明したが、発明の時間シーケンス順序は制限されず、且つ必要に応じて同時に実行され又は他の順序に従って実行されてもよい。且つ、上記実施例では、ブロック図を構成する構造要素（例えば、ユニット、モジュール等）は更にそれぞれハードウェア装置又はソフトウェアとして実現されてもよく、且つ複数の構造要素は単一のハードウェア装置又はソフトウェアとして組み合わせて実施されてもよい。前記実施例はプログラム命令の形式で実施されてもよく、前記プログラム命令は様々なコンピュータ部材により実行されて、コンピュータ可読記録媒体に記録されてもよい。前記コンピュータ可読記録媒体はプログラム命令、データファイル、データ構造等を独立して含み又は組み合わせて含んでもよい。コンピュータ可読記録媒体の例はハードディスク、フロッピーディスク及び磁気テープ等の磁性媒体、ＣＤ－ＲＯＭ、ＤＶＤ等の光学記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）等の磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリ等のプログラム命令を記憶して該命令を実行するために特に設置されたハードウェア装置を含んでもよい。前記ハードウェア装置は１つ又は複数のソフトウェアモジュールとして操作して本発明に係る処理を実行するように設置されてもよく、逆も同様である。
本発明はビデオを符号化／復号化する電子装置に適用されてもよい。

Claims (7)

  1. ビデオ復号化方法であって、
    組合せ予測モードを現在ブロックに適用するかどうかを決定することと、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックの第１予測ブロック及び第２予測ブロックを取得し、前記現在ブロックのマージ候補の運動情報に基づいて前記第１予測ブロックを取得して、前記現在ブロックのイントラ予測モードに基づいて前記第２予測ブロックを取得することと、
    前記第１予測ブロックと前記第２予測ブロックの加重和演算によって前記現在ブロックの第３予測ブロックを取得することと、を含み、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックに対して三角形分割を適用しなく、
    隣接する参照サンプルラインに含まれる参照サンプルラインに基づいて前記第２予測ブロックを決定するビデオ復号化方法。
  2. ビデオ符号化方法であって、
    組合せ予測モードを現在ブロックに適用するかどうかを決定することと、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックの第１予測ブロック及び第２予測ブロックを取得し、前記現在ブロックのマージ候補の運動情報に基づいて前記第１予測ブロックを取得して、前記現在ブロックのイントラ予測モードに基づいて前記第２予測ブロックを取得することと、
    前記第１予測ブロックと前記第２予測ブロックの加重和演算によって前記現在ブロックの第３予測ブロックを取得することと、を含み、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックに対して三角形分割を適用しなく、
    隣接する参照サンプルラインに含まれる参照サンプルラインに基づいて前記第２予測ブロックを決定するビデオ符号化方法。
  3. ビデオ復号化装置であって、予測部を備え、
    前記予測部は、
    組合せ予測モードを現在ブロックに適用するかどうかを決定することと、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックの第１予測ブロック及び第２予測ブロックを取得することと、
    前記第１予測ブロックと前記第２予測ブロックの加重和演算によって前記現在ブロックの第３予測ブロックを取得することと、に用いられ、
    前記現在ブロックのマージ候補の運動情報に基づいて前記第１予測ブロックを取得して、前記現在ブロックのイントラ予測モードに基づいて前記第２予測ブロックを取得し、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックに対して三角形分割を適用しなく、
    隣接する参照サンプルラインに含まれる参照サンプルラインに基づいて前記第２予測ブロックを決定するビデオ復号化装置。
  4. ビデオ復号化装置であって、予測部を備え、
    前記予測部は、
    組合せ予測モードを現在ブロックに適用するかどうかを決定することと、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックの第１予測ブロック及び第２予測ブロックを取得することと、
    前記第１予測ブロックと前記第２予測ブロックの加重和演算によって前記現在ブロックの第３予測ブロックを取得することと、に用いられ、
    前記現在ブロックのマージ候補の運動情報に基づいて前記第１予測ブロックを取得して、前記現在ブロックのイントラ予測モードに基づいて前記第２予測ブロックを取得し、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックに対して三角形分割を適用しなく、
    隣接する参照サンプルラインに含まれる参照サンプルラインに基づいて前記第２予測ブロックを決定するビデオ符号化装置。
  5. ビデオデコーダーであって、プロセッサと、前記プロセッサで実行できるコンピュータプログラムを記憶するように構成されるメモリを備え、
    前記プロセッサは、
    組合せ予測モードを現在ブロックに適用するかどうかを決定し、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックの第１予測ブロック及び第２予測ブロックを取得し、
    前記第１予測ブロックと前記第２予測ブロックの加重和演算によって前記現在ブロックの第３予測ブロックを取得するように構成され、
    前記現在ブロックのマージ候補の運動情報に基づいて前記第１予測ブロックを取得して、前記現在ブロックのイントラ予測モードに基づいて前記第２予測ブロックを取得し、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックに対して三角形分割を適用しなく、
    隣接する参照サンプルラインに含まれる参照サンプルラインに基づいて前記第２予測ブロックを決定するビデオデコーダー。
  6. ビデオエンコーダであって、プロセッサと、前記プロセッサで実行できるコンピュータプログラムを記憶するように構成されるメモリを備え、
    前記プロセッサは、
    組合せ予測モードを現在ブロックに適用するかどうかを決定し、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックの第１予測ブロック及び第２予測ブロックを取得し、
    前記第１予測ブロックと前記第２予測ブロックの加重和演算によって前記現在ブロックの第３予測ブロックを取得するように構成され、
    前記現在ブロックのマージ候補の運動情報に基づいて前記第１予測ブロックを取得して、前記現在ブロックのイントラ予測モードに基づいて前記第２予測ブロックを取得し、
    前記組合せ予測モードを前記現在ブロックに適用する場合、前記現在ブロックに対して三角形分割を適用しなく、
    隣接する参照サンプルラインに含まれる参照サンプルラインに基づいて前記第２予測ブロックを決定するビデオエンコーダ。
  7. 記憶媒体であって、実行可能なプログラムが記憶され、前記実行可能なプログラムがプロセッサによって実行されるとき、請求項１又は２に記載の方法を実行する記憶媒体。
JP2022185306A 2018-11-08 2022-11-18 ビデオ信号の符号化／復号化方法及び前記方法のための装置 Pending JP2023018046A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2018-0136256 2018-11-08
KR20180136256 2018-11-08
KR10-2018-0148948 2018-11-27
KR20180148948 2018-11-27
PCT/KR2019/015097 WO2020096389A1 (ko) 2018-11-08 2019-11-07 영상 신호 부호화/복호화 방법 및 이를 위한 장치
JP2021522955A JP7182705B2 (ja) 2018-11-08 2019-11-07 ビデオ信号の符号化／復号化方法及び前記方法のための装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021522955A Division JP7182705B2 (ja) 2018-11-08 2019-11-07 ビデオ信号の符号化／復号化方法及び前記方法のための装置

Publications (1)

Publication Number Publication Date
JP2023018046A true JP2023018046A (ja) 2023-02-07

Family

ID=70612512

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2021522955A Active JP7182705B2 (ja) 2018-11-08 2019-11-07 ビデオ信号の符号化／復号化方法及び前記方法のための装置
JP2022185306A Pending JP2023018046A (ja) 2018-11-08 2022-11-18 ビデオ信号の符号化／復号化方法及び前記方法のための装置
JP2022185275A Pending JP2023018044A (ja) 2018-11-08 2022-11-18 ビデオ信号の符号化／復号化方法及び前記方法のための装置
JP2022185288A Pending JP2023018045A (ja) 2018-11-08 2022-11-18 ビデオ信号の符号化／復号化方法及び前記方法のための装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021522955A Active JP7182705B2 (ja) 2018-11-08 2019-11-07 ビデオ信号の符号化／復号化方法及び前記方法のための装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022185275A Pending JP2023018044A (ja) 2018-11-08 2022-11-18 ビデオ信号の符号化／復号化方法及び前記方法のための装置
JP2022185288A Pending JP2023018045A (ja) 2018-11-08 2022-11-18 ビデオ信号の符号化／復号化方法及び前記方法のための装置

Country Status (18)

Country Link
US (2) US11252405B2 (ja)
EP (2) EP3849184B1 (ja)
JP (4) JP7182705B2 (ja)
KR (1) KR20200054105A (ja)
CN (5) CN116347069A (ja)
AU (1) AU2019375718B2 (ja)
BR (1) BR112021008731A2 (ja)
CA (1) CA3117933C (ja)
CL (1) CL2021001206A1 (ja)
ES (1) ES2948265T3 (ja)
IL (2) IL282612B2 (ja)
MX (1) MX2021005368A (ja)
PH (1) PH12021550932A1 (ja)
PL (1) PL3849184T3 (ja)
RU (1) RU2766152C1 (ja)
SG (1) SG11202104319VA (ja)
WO (1) WO2020096389A1 (ja)
ZA (1) ZA202102793B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN111436228A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020103936A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Pruning method for inter prediction with geometry partition
CN116132667A (zh) 2018-11-26 2023-05-16 华为技术有限公司 对图像中的块进行帧内预测的方法，编码设备，解码设备和计算机可读介质
CN113852815B (zh) * 2018-12-25 2022-12-27 北京达佳互联信息技术有限公司 利用三角形形状预测单元的视频编码方法、设备及介质
WO2020135465A1 (en) 2018-12-28 2020-07-02 Beijing Bytedance Network Technology Co., Ltd. Modified history based motion prediction
US11032574B2 (en) * 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
CN113454993A (zh) * 2019-02-21 2021-09-28 韩国电子通信研究院 用于对视频进行编码/解码的方法和装置以及存储比特流的记录介质
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
JP7361522B2 (ja) 2019-08-05 2023-10-16 日本放送協会 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
JP7474772B2 (ja) * 2019-08-29 2024-04-25 日本放送協会 符号化装置、復号装置、及びプログラム
US11212523B2 (en) * 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems
US20220295075A1 (en) * 2021-03-10 2022-09-15 Lemon Inc. Resource constrained video encoding
US20230099505A1 (en) * 2021-09-29 2023-03-30 Qualcomm Incorporated Adaptive determination of multiple transform candidates for video coding
WO2023224280A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 혼합 성분간 예측을 사용하는 비디오 코딩을 위한 방법 및 장치
WO2024007366A1 (zh) * 2022-07-08 2024-01-11 Oppo广东移动通信有限公司 一种帧内预测融合方法、视频编解码方法、装置和系统
WO2024086722A1 (en) * 2022-10-19 2024-04-25 Tencent America LLC Modified intra prediction fusion

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1843038B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于解码混合内部-相互编码块的方法和装置
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN102113326A (zh) * 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
FI2869557T3 (fi) * 2012-06-29 2023-11-02 Electronics & Telecommunications Res Inst Menetelmä ja laite kuvien koodaamiseksi/dekoodaamiseksi
WO2015010319A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
KR20170084055A (ko) * 2014-11-06 2017-07-19 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20180041211A (ko) * 2015-09-10 2018-04-23 엘지전자 주식회사 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
WO2017105097A1 (ko) * 2015-12-17 2017-06-22 삼성전자 주식회사 머지 후보 리스트를 이용한 비디오 복호화 방법 및 비디오 복호화 장치
KR102511546B1 (ko) * 2017-02-24 2023-03-17 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN111247799B (zh) * 2017-10-18 2022-08-09 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
US20200120339A1 (en) * 2018-10-11 2020-04-16 Mediatek Inc. Intra Prediction For Multi-Hypothesis

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS, JIANLE CHEN, SHAN LIU, AND YE-KUI WANG: "Versatile Video Coding (Draft 7)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-P2001 (version 11), JPN6023044799, 31 October 2019 (2019-10-31), pages 75 - 262, ISSN: 0005186951 *
M.-S. CHIANG, ET AL.: "CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and intra mode", JVET-L0100_DRAFTTEXT_CE10.1.1.C+CUSIZECONSTRAINT.DOCX, JPN6023044797, 12 October 2018 (2018-10-12), pages 29 - 32, ISSN: 0005186949 *
MAN-SHU CHIANG, ET AL.: "CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and intra mode", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0100-v3, JPN6023044798, October 2018 (2018-10-01), pages 1 - 14, ISSN: 0005186950 *

Also Published As

Publication number Publication date
BR112021008731A2 (pt) 2021-08-03
EP3849184B1 (en) 2023-05-10
JP7182705B2 (ja) 2022-12-02
CN113170126A (zh) 2021-07-23
PL3849184T3 (pl) 2023-07-24
CN116506598A (zh) 2023-07-28
CN113329224A (zh) 2021-08-31
US20220124322A1 (en) 2022-04-21
EP3849184A4 (en) 2021-12-01
RU2766152C1 (ru) 2022-02-08
IL282612B1 (en) 2023-11-01
CL2021001206A1 (es) 2021-11-26
IL282612A (en) 2021-06-30
JP2022505874A (ja) 2022-01-14
MX2021005368A (es) 2021-07-06
US11252405B2 (en) 2022-02-15
CA3117933C (en) 2023-05-23
JP2023018044A (ja) 2023-02-07
CN116074503A (zh) 2023-05-05
ES2948265T3 (es) 2023-09-07
US11909955B2 (en) 2024-02-20
CN116347069A (zh) 2023-06-27
SG11202104319VA (en) 2021-05-28
CN113329224B (zh) 2022-12-16
IL282612B2 (en) 2024-03-01
US20210227212A1 (en) 2021-07-22
CA3117933A1 (en) 2020-05-14
EP3849184A1 (en) 2021-07-14
JP2023018045A (ja) 2023-02-07
AU2019375718B2 (en) 2022-06-02
EP4221204A1 (en) 2023-08-02
IL307307A (en) 2023-11-01
WO2020096389A1 (ko) 2020-05-14
ZA202102793B (en) 2022-10-26
AU2019375718A1 (en) 2021-05-27
PH12021550932A1 (en) 2021-11-08
KR20200054105A (ko) 2020-05-19

Similar Documents

Publication Publication Date Title
JP7182705B2 (ja) ビデオ信号の符号化／復号化方法及び前記方法のための装置
JP7430721B2 (ja) ビデオ信号の符号化／復号方法及び前記方法のための装置
JP2024042028A (ja) ビデオ信号の符号化方法および復号化方法並びにその装置
KR20200034644A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN113574878A (zh) 用于对视频信号进行编码/解码的方法及其设备
JP2022552653A (ja) 映像信号の符号化／復号方法およびそのための装置
KR20210123950A (ko) 비디오 신호 처리 방법 및 장치
US20240137497A1 (en) Image signal encoding/decoding method and apparatus therefor
KR20210111602A (ko) 비디오 신호 처리 방법 및 장치
KR20210075552A (ko) 비디오 신호 처리 방법 및 장치
KR20210103763A (ko) 비디오 신호 처리 방법 및 장치
KR20210112660A (ko) 비디오 신호 처리 방법 및 장치
KR20210103731A (ko) 비디오 신호 처리 방법 및 장치
KR20210115898A (ko) 비디오 신호 처리 방법 및 장치
KR20210121528A (ko) 비디오 신호 처리 방법 및 장치
KR20210113914A (ko) 비디오 신호 처리 방법 및 장치
KR20210118541A (ko) 비디오 신호 처리 방법 및 장치
KR20210121484A (ko) 비디오 신호 처리 방법 및 장치
KR20210078768A (ko) 비디오 신호 처리 방법 및 장치
KR20210108834A (ko) 비디오 신호 처리 방법 및 장치
KR20210120389A (ko) 비디오 신호 처리 방법 및 장치
KR20210108836A (ko) 비디오 신호 처리 방법 및 장치
KR20210078773A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240510