JP2022543207A - ビデオ信号処理方法及び装置 - Google Patents

ビデオ信号処理方法及び装置 Download PDF

Info

Publication number
JP2022543207A
JP2022543207A JP2022505306A JP2022505306A JP2022543207A JP 2022543207 A JP2022543207 A JP 2022543207A JP 2022505306 A JP2022505306 A JP 2022505306A JP 2022505306 A JP2022505306 A JP 2022505306A JP 2022543207 A JP2022543207 A JP 2022543207A
Authority
JP
Japan
Prior art keywords
information
mmvd
block
current block
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022505306A
Other languages
English (en)
Inventor
ゴンジュン・コ
ドンチョル・キム
ジュヒョン・ソン
ジェホン・ジュン
ジンサム・カク
Original Assignee
ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド filed Critical ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド
Publication of JP2022543207A publication Critical patent/JP2022543207A/ja
Priority to JP2024000706A priority Critical patent/JP2024038271A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本開示のビデオ信号の処理方法は、現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビットストリームからパースする段階、前記上位レベルＭＭＶＤ活性情報がＭＭＶＤの活性を示す場合に、前記現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）をビットストリームからパースする段階、前記ＭＭＶＤマージ情報が前記現在ブロックにＭＭＶＤを使用することを示す場合に、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）及びＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）をパースする段階、及び前記ＭＭＶＤの距離に関連した情報及び前記ＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得する段階を含み、前記ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする。

Description

本開示は、ビデオ信号の処理方法及び装置に関し、より詳細には、ビデオ信号をエンコード又はデコードするビデオ信号処理方法及び装置に関する。
圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、記憶媒体に適合な形態で記憶させたりするための一連の信号処理技術を意味する。圧縮符号化の対象には音声、映像、文字などがあり、特に、映像を対象に圧縮符号化を行う技術を、ビデオ映像圧縮と呼ぶ。ビデオ信号に対する圧縮符号化は、空間的な相関関係、時間的な相関関係、確率的な相関関係などを考慮して剰余情報を除去することによってなされる。しかしながら、最近の様々なメディア及びデータ伝送媒体の発展に伴い、より高効率のビデオ信号処理方法及び装置が望まれている。
本開示の目的は、ビデオ信号のコーディング効率を上げることにある。
本開示の一実施例に係るビデオ信号をデコードする方法は、現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビットストリームからパースする段階、上位レベルＭＭＶＤ活性情報がＭＭＶＤの活性を示す場合に、現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）をビットストリームからパースする段階、ＭＭＶＤマージ情報が現在ブロックにＭＭＶＤを使用することを示す場合に、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）及びＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）をパースする段階、及びＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得する段階を含み、ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法において、上位レベルは、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、スライス（ｓｌｉｃｅ）、タイル（ｔｉｌｅ）、タイルグループ（ｔｉｌｅ ｇｒｏｕｐ）、映像（ｐｉｃｔｕｒｅ）、又はシーケンス（ｓｅｑｕｅｎｃｅ）単位のいずれか１つであることを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法は、現在ブロックのマージ候補リストを生成する段階、ビットストリームからパースされたマージインデックスに基づいてマージ候補リストからモーションベクトルを選択する段階、ＭＭＶＤマージ情報が現在ブロックにＭＭＶＤを使用することを示す場合に、モーションベクトルにＭＭＶＤに関する情報を足し、修正されたモーションベクトルを取得する段階、及び修正されたモーションベクトルに基づいて現在ブロックを復元する段階をさらに含み、修正されたモーションベクトルは、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法において、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得する段階は、ＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得する段階、第１参照リスト及び第２参照リストが用いられる場合に、現在ブロックを含む現在ピクチャー及び第１参照リストに基づく第１参照ピクチャー間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第１ＰＯＣ差として取得し、現在ピクチャー及び第２参照リストに基づく第２参照ピクチャー間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第２ＰＯＣ差として取得する段階、ＭＭＶＤオフセット、第１ＰＯＣ差、及び第２ＰＯＣ差のうち少なくとも１つに基づいて第１参照リストに関連した第１ＭＭＶＤに関する情報及び第２参照リストに関連した第２ＭＭＶＤに関する情報を取得する段階を含み、ＭＶＤに関する情報は、第１ＭＭＶＤに関する情報及び第２ＭＭＶＤに関する情報を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法は、第１ＰＯＣ差及び第２ＰＯＣ差が同一である場合に、ＭＭＶＤオフセットを第１ＭＭＶＤに関する情報として取得し、ＭＭＶＤオフセットを第２ＭＭＶＤに関する情報として取得する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法は、第１ＰＯＣ差の絶対値が第２ＰＯＣ差の絶対値より大きい或いは同一である場合に、ＭＭＶＤオフセットを第１ＭＭＶＤに関する情報として取得する段階、第１参照ピクチャーがロングターム参照ピクチャーでなく、第２参照ピクチャーがロングターム参照ピクチャーでない場合に、第１ＭＭＶＤに関する情報をスケールして第２ＭＭＶＤに関する情報を取得する段階、及び第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは第２参照ピクチャーがロングターム参照ピクチャーである場合に、第１ＭＭＶＤに関する情報の絶対値をスケールしないで第２ＭＭＶＤに関する情報を取得する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法は、第１ＰＯＣ差の絶対値が第２ＰＯＣ差の絶対値より小さい場合に、ＭＭＶＤオフセットを第２ＭＭＶＤに関する情報として取得する段階、第１参照ピクチャーがロングターム参照ピクチャーでなく、第２参照ピクチャーがロングターム参照ピクチャーでない場合に、第２ＭＭＶＤに関する情報をスケールして第１ＭＭＶＤに関する情報を取得する段階、及び第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは第２参照ピクチャーがロングターム参照ピクチャーである場合に、第２ＭＭＶＤに関する情報の絶対値をスケールしないで第１ＭＭＶＤに関する情報を取得する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法において、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得する段階は、ＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得する段階、第１参照リストのみが使用される場合に、ＭＭＶＤオフセットをスケールせず、第１参照リストに関連した第１ＭＭＶＤに関する情報として取得する段階、及び第２参照リストのみが使用される場合に、ＭＭＶＤオフセットをスケールせず、第２参照リストに関連した第２ＭＭＶＤに関する情報として取得する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法は、クロマ成分フォーマット情報を上位レベルのビットストリームから取得する段階、クロマ成分フォーマット情報に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得する段階、幅に関する情報又は現在ブロックの色成分に関する情報に基づいてｘ軸のスケール情報を取得する段階、高さに関する情報又は現在ブロックの色成分に関する情報に基づいてｙ軸のスケール情報を取得する段階、ｙ軸のスケール情報に基づいて左側ブロックの位置を決定する段階、ｘ軸のスケール情報に基づいて上側ブロックの位置を決定する段階、左側ブロック及び上側ブロックに基づいて加重値を決定する段階、現在ブロックをマージモードと予測した第１サンプルを取得する段階、現在ブロックをイントラモードと予測した第２サンプルを取得する段階、及び加重値、第１サンプル、及び第２サンプルに基づいて現在ブロックに対する組合せ予測サンプルを取得する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法において、加重値を決定する段階は、左側ブロックが利用可能であり、左側ブロックの予測モードがイントラ予測である場合に、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）をＴＲＵＥに設定する段階、左側ブロックが利用可能でないか、或いは左側ブロックの予測モードがイントラ予測でない場合に、左側ブロックに関するコード情報をＦＡＬＳＥに設定する段階、上側ブロックが利用可能であり、上側ブロックの予測モードがイントラ予測である場合に、上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）をＴＲＵＥに設定する段階、及び上側ブロックが利用可能でないか、或いは上側ブロックの予測モードがイントラ予測でない場合に、上側ブロックに関するコード情報をＦＡＬＳＥに設定する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法において、加重値を決定する段階は、左側ブロックに関するコード情報及び上側ブロックに関するコード情報がいずれもＴＲＵＥである場合に、加重値を３と決定する段階、左側ブロックに関するコード情報及び上側ブロックに関するコード情報がいずれもＦＡＬＳＥである場合に、加重値を１と決定する段階、及び左側ブロックに関するコード情報及び上側ブロックに関するコード情報のいずれか１つのみがＴＲＵＥである場合に、加重値を２と決定する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法において、組合せ予測サンプルを取得する段階は、ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂ［ｘ］［ｙ］＝（ｗ＊ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ［ｘ］［ｙ］＋（４－ｗ）＊ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ［ｘ］［ｙ］＋２）＞＞２に基づいて現在ブロックを予測する段階を含み、ここで、ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂは、組合せ予測サンプルを意味し、ｗは、加重値を意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａは、第２サンプルを意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒは、第１サンプルを意味し、［ｘ］は、現在ブロックに含まれたサンプルのｘ軸座標を意味し、［ｙ］は、現在ブロックに含まれたサンプルのｙ軸座標を意味することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法において、ｘ軸のスケール情報を取得する段階は、現在ブロックの色成分が０であるか、或いは幅に関する情報が１である場合に、ｘ軸のスケール情報を０と決定する段階、及び現在ブロックの色成分が０でなく、幅に関する情報が１でない場合に、ｘ軸のスケール情報を１と決定する段階を含み、ｙ軸のスケール情報を取得する段階は、現在ブロックの色成分が０であるか、或いは高さに関する情報が１である場合に、ｙ軸のスケール情報を０と決定する段階、及び現在ブロックの色成分が０でなく、高さに関する情報が１でない場合に、ｙ軸のスケール情報を１と決定する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする方法において、左側ブロックの位置は、（ｘＣｂ－１，ｙＣｂ－１＋（ｃｂＨｅｉｇｈｔ＜＜ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ））であり、ｘＣｂは、現在ルマブロックの左上端サンプルのｘ軸座標であり、ｙＣｂは、現在ルマブロックの左上端サンプルのｙ軸座標であり、ｃｂＨｅｉｇｈｔは、現在ブロックの高さのサイズであり、ｓｃａｌｌＦａｃｔＨｅｉｇｈｔは、ｙ軸のスケール情報であり、上側ブロックの位置は、（ｘＣｂ－１＋（ｃｂＷｉｄｔｈ＜＜ｓｃａｌｌＦａｃｔＷｉｄｔｈ）、ｙＣｂ－１）であり、ｘＣｂは、現在ルマブロックの左上端サンプルのｘ軸座標であり、ｙＣｂは、現在ルマブロックの左上端サンプルのｙ軸座標であり、ｃｂＷｉｄｔｈは、現在ブロックの幅のサイズであり、ｓｃａｌｌＦａｃｔＷｉｄｔｈは、ｘ軸のスケール情報であることを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置は、プロセッサ及びメモリを含み、プロセッサは、メモリに記憶された命令語に基づき、現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビットストリームからパースし、上位レベルＭＭＶＤ活性情報がＭＭＶＤの活性を示す場合に、現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）をビットストリームからパースし、ＭＭＶＤマージ情報が現在ブロックにＭＭＶＤを使用することを示す場合に、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）及びＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）をパースし、ＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得し、ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、上位レベルは、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、スライス（ｓｌｉｃｅ）、タイル（ｔｉｌｅ）、タイルグループ（ｔｉｌｅ ｇｒｏｕｐ）、映像（ｐｉｃｔｕｒｅ）、又はシーケンス（ｓｅｑｕｅｎｃｅ）単位のいずれか１つであることを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、現在ブロックのマージ候補リストを生成し、ビットストリームからパースされたマージインデックスに基づいてマージ候補リストからモーションベクトルを選択し、ＭＭＶＤマージ情報が現在ブロックにＭＭＶＤを使用することを示す場合に、モーションベクトルにＭＭＶＤに関する情報を足し、修正されたモーションベクトルを取得し、修正されたモーションベクトルに基づいて現在ブロックを復元し、修正されたモーションベクトルは、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、ＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得し、第１参照リスト及び第２参照リストが用いられる場合に、現在ブロックを含む現在ピクチャー及び第１参照リストに基づく第１参照ピクチャー間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第１ＰＯＣ差として取得し、現在ピクチャー及び第２参照リストに基づく第２参照ピクチャー間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第２ＰＯＣ差として取得し、ＭＭＶＤオフセット、第１ＰＯＣ差、及び第２ＰＯＣ差のうち少なくとも１つに基づき、第１参照リストに関連した第１ＭＭＶＤに関する情報及び第２参照リストに関連した第２ＭＭＶＤに関する情報を取得し、ＭＭＶＤに関する情報は、第１ＭＭＶＤに関する情報及び第２ＭＭＶＤに関する情報を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、第１ＰＯＣ差及び第２ＰＯＣ差が同一である場合に、ＭＭＶＤオフセットを第１ＭＭＶＤに関する情報として取得し、ＭＭＶＤオフセットを第２ＭＭＶＤに関する情報として取得することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、第１ＰＯＣ差の絶対値が第２ＰＯＣ差の絶対値より大きい或いは同一である場合に、ＭＭＶＤオフセットを第１ＭＭＶＤに関する情報として取得し、第１参照ピクチャーがロングターム参照ピクチャーでなく、第２参照ピクチャーがロングターム参照ピクチャーでない場合に、第１ＭＭＶＤに関する情報をスケールして第２ＭＭＶＤに関する情報を取得し、第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは第２参照ピクチャーがロングターム参照ピクチャーである場合に、第１ＭＭＶＤに関する情報の絶対値をスケールしないで第２ＭＭＶＤに関する情報を取得することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、第１ＰＯＣ差の絶対値が第２ＰＯＣ差の絶対値より小さい場合に、ＭＭＶＤオフセットを第２ＭＭＶＤに関する情報として取得し、第１参照ピクチャーがロングターム参照ピクチャーでなく、第２参照ピクチャーがロングターム参照ピクチャーでない場合に、第２ＭＭＶＤに関する情報をスケールして第１ＭＭＶＤに関する情報を取得し、第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは第２参照ピクチャーがロングターム参照ピクチャーである場合に、第２ＭＭＶＤに関する情報の絶対値をスケールしないで第１ＭＭＶＤに関する情報を取得することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、ＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得し、第１参照リストのみが使用される場合に、ＭＭＶＤオフセットをスケールせず、第１参照リストに関連した第１ＭＭＶＤに関する情報として取得し、第２参照リストのみが使用される場合に、ＭＭＶＤオフセットをスケールせず、第２参照リストに関連した第２ＭＭＶＤに関する情報として取得することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置は、プロセッサ及びメモリを含み、プロセッサは、メモリに記憶された命令語に基づき、クロマ成分フォーマット情報を上位レベルのビットストリームから取得し、クロマ成分フォーマット情報に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得し、幅に関する情報又は現在ブロックの色成分に関する情報に基づいてｘ軸のスケール情報を取得し、高さに関する情報又は現在ブロックの色成分に関する情報に基づいてｙ軸のスケール情報を取得し、ｙ軸のスケール情報に基づいて左側ブロックの位置を決定し、ｘ軸のスケール情報に基づいて上側ブロックの位置を決定し、左側ブロック及び上側ブロックに基づいて加重値を決定し、現在ブロックをマージモードと予測した第１サンプルを取得し、現在ブロックをイントラモードと予測した第２サンプルを取得し、加重値、第１サンプル、及び第２サンプルに基づいて現在ブロックに対する組合せ予測サンプルを取得することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、左側ブロックが利用可能であり、左側ブロックの予測モードがイントラ予測である場合に、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）をＴＲＵＥに設定し、左側ブロックが利用可能でないか、或いは左側ブロックの予測モードがイントラ予測でない場合に、左側ブロックに関するコード情報をＦＡＬＳＥに設定し、上側ブロックが利用可能であり、上側ブロックの予測モードがイントラ予測である場合に、上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）をＴＲＵＥに設定し、上側ブロックが利用可能でないか、或いは上側ブロックの予測モードがイントラ予測でない場合に、上側ブロックに関するコード情報をＦＡＬＳＥに設定することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、左側ブロックに関するコード情報及び上側ブロックに関するコード情報がいずれもＴＲＵＥである場合に、加重値を３と決定し、左側ブロックに関するコード情報及び上側ブロックに関するコード情報がいずれもＦＡＬＳＥである場合に、加重値を１と決定し、左側ブロックに関するコード情報及び上側ブロックに関するコード情報のいずれか１つのみがＴＲＵＥである場合に、加重値を２と決定することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂ［ｘ］［ｙ］＝（ｗ＊ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ［ｘ］［ｙ］＋（４－ｗ）＊ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ［ｘ］［ｙ］＋２）＞＞２に基づいて現在ブロックを予測し、ここで、ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂは、組合せ予測サンプルを意味し、ｗは、加重値を意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａは、第２サンプルを意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒは、第１サンプルを意味し、［ｘ］は、現在ブロックに含まれたサンプルのｘ軸座標を意味し、［ｙ］は、現在ブロックに含まれたサンプルのｙ軸座標を意味することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置において、プロセッサは、メモリに記憶された命令語に基づき、現在ブロックの色成分が０であるか、或いは幅に関する情報が１である場合に、ｘ軸のスケール情報を０と決定し、現在ブロックの色成分が０でなく、幅に関する情報が１でない場合に、ｘ軸のスケール情報を１と決定し、現在ブロックの色成分が０であるか、或いは高さに関する情報が１である場合に、ｙ軸のスケール情報を０と決定し、現在ブロックの色成分が０でなく、高さに関する情報が１でない場合に、ｙ軸のスケール情報を１と決定することを特徴とする。
本開示の一実施例に係るビデオ信号をデコードする装置の左側ブロックの位置は、（ｘＣｂ－１，ｙＣｂ－１＋（ｃｂＨｅｉｇｈｔ＜＜ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ））であり、ｘＣｂは、現在ルマブロックの左上端サンプルのｘ軸座標であり、ｙＣｂは、現在ルマブロックの左上端サンプルのｙ軸座標であり、ｃｂＨｅｉｇｈｔは、現在ブロックの高さのサイズであり、ｓｃａｌｌＦａｃｔＨｅｉｇｈｔは、ｙ軸のスケール情報であり、上側ブロックの位置は、（ｘＣｂ－１＋（ｃｂＷｉｄｔｈ＜＜ｓｃａｌｌＦａｃｔＷｉｄｔｈ）、ｙＣｂ－１）であり、ｘＣｂは、現在ルマブロックの左上端サンプルのｘ軸座標であり、ｙＣｂは、現在ルマブロックの左上端サンプルのｙ軸座標であり、ｃｂＷｉｄｔｈは、現在ブロックの幅のサイズであり、ｓｃａｌｌＦａｃｔＷｉｄｔｈは、ｘ軸のスケール情報であることを特徴とする。
本開示の一実施例に係るビデオ信号をエンコードする方法は、現在ブロックのＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を生成する段階、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）に基づいてＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報を生成する段階、現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）を生成する段階、現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を生成する段階、及びＭＭＶＤの距離に関連した情報、ＭＭＶＤの方向に関連した情報、ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）、及び上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてビットストリームを生成する段階を含み、ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする。
本開示の一実施例に係るビデオ信号をエンコードする装置は、プロセッサ及びメモリを含み、プロセッサは、メモリに記憶された命令語に基づき、現在ブロックのＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を生成し、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）に基づいてＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報を生成し、現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）を生成し、現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を生成し、ＭＭＶＤの距離に関連した情報、ＭＭＶＤの方向に関連した情報、ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）、及び上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてビットストリームを生成し、ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする。
本開示の一実施例に係るビデオ信号をエンコードする方法は、上位レベルのクロマ成分フォーマット情報を生成する段階、クロマ成分フォーマット情報に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得する段階、幅に関する情報又は現在ブロックの色成分に関する情報に基づいてｘ軸のスケール情報を取得する段階、高さに関する情報又は現在ブロックの色成分に関する情報に基づいてｙ軸のスケール情報を取得する段階、ｙ軸のスケール情報に基づいて左側ブロックの位置を決定する段階、ｘ軸のスケール情報に基づいて上側ブロックの位置を決定する段階、左側ブロック及び上側ブロックに基づいて加重値を決定する段階、現在ブロックをマージモードと予測した第１サンプルを取得する段階、現在ブロックをイントラモードと予測した第２サンプルを取得する段階、加重値、第１サンプル、及び第２サンプルに基づいて現在ブロックに対する組合せ予測サンプルを取得する段階を含むことを特徴とする。
本開示の一実施例に係るビデオ信号をエンコードする装置は、プロセッサ及びメモリを含み、プロセッサはメモリに記憶された命令語に基づき、上位レベルのクロマ成分フォーマット情報を生成し、クロマ成分フォーマット情報に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得し、幅に関する情報又は現在ブロックの色成分に関する情報に基づいてｘ軸のスケール情報を取得し、高さに関する情報又は現在ブロックの色成分に関する情報に基づいてｙ軸のスケール情報を取得し、ｙ軸のスケール情報に基づいて左側ブロックの位置を決定し、ｘ軸のスケール情報に基づいて上側ブロックの位置を決定し、左側ブロック及び上側ブロックに基づいて加重値を決定し、現在ブロックをマージモードと予測した第１サンプルを取得し、現在ブロックをイントラモードと予測した第２サンプルを取得し、加重値、第１サンプル、及び第２サンプルに基づいて現在ブロックに対する組合せ予測サンプルを取得することを特徴とする。
本発明の実施例によれば、ビデオ信号のコーディング効率を上げることがことができる。
本開示の一実施例に係るビデオ信号エンコーディング装置の概略的なブロック図である。 本開示の一実施例に係るビデオ信号デコーディング装置の概略的なブロック図である。 ピクチャー内でコーディングツリーユニットがコーディングユニットに分割される実施例を示す図である。 クアッドツリー及びマルチタイプツリーの分割をシグナルする方法の一実施例を示す図である。 本開示の実施例に係るイントラ予測方法をより具体的に示す図である。 本開示の実施例に係るイントラ予測方法をより具体的に示す図である。 本開示の一実施例に係るインター予測方法を示す図である。 本開示の一実施例によって現在ブロックのモーションベクトルがシグナルされる方法を示す図である。 本開示の一実施例によって現在ブロックのモーションベクトル差分値がシグナルされる方法を示す図である。 本開示の一実施例に係る適応的モーションベクトルレゾリューション（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）シグナリングを示す図である。 本開示の一実施例に係るインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）関連シンタックス（ｓｙｎｔａｘ）を示す図である。 本開示の一実施例に係る多仮説予測（ｍｕｌｔｉ－ｈｙｐｏｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ）を示す図である。 本開示の一実施例に係る多仮説予測関連シンタックスを示す図である。 本開示の一実施例に係る多仮説予測関連シンタックスを示す図である。 本開示の一実施例に係る多仮説予測関連シンタックスを示す図である。 本開示の一実施例に係る多仮説予測モード決定方法を示す図である。 本開示の一実施例に係る候補リスト（ｃａｎｄｉｄａｔｅ ｌｉｓｔ）生成方法を示す図である。 本開示の一実施例に係る多仮説予測で参照する周辺位置を示す図である。 本開示の一実施例に係る周辺のモードを参照する方法を示す図である。 本開示の一実施例に係る候補リスト生成方法を示す図である。 本開示の一実施例に係る候補リスト生成方法を示す図である。 本開示の一実施例に係る多仮説予測で参照する周辺位置を示す図である。 本開示の一実施例に係る周辺のモードを参照する方法を示す図である。 本開示の一実施例に係る周辺サンプル使用を示す図である。 本開示の一実施例に係る変換モード（ｔｒａｎｓｆｏｒｍ ｍｏｄｅ）を示す図である。 本開示の一実施例に係る多仮説予測と変換モード間の関係を示す図である。 本開示の一実施例に係る色（ｃｏｌｏｒ）成分の関係を示す図である。 本開示の一実施例に係る色成分の関係を示す図である。 本開示の一実施例に係る周辺参照位置を示す図である。 本開示の一実施例に係る重み付きサンプル予測過程（ｗｅｉｇｈｔｅｄ ｓａｍｐｌｅ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｃｅｓｓ）を示す図である。 本開示の一実施例に係る周辺参照位置を示す図である。 本開示の一実施例に係る重み付きサンプル予測過程を示す図である。 本開示の一実施例に係る重み付きサンプル予測過程を示す図である。 本開示の一実施例に係る重み付きサンプル予測過程を示す図である。 本開示の一実施例に係るＣＩＩＰ加重値導出（ＣＩＩＰ ｗｅｉｇｈｔ ｄｅｒｉｖａｔｉｏｎ）を示す図である。 本開示の一実施例に係るＣＩＩＰ過程を示す図である。 本開示の一実施例に係るＭＶ及びＭＶＤの範囲を示す図である。 本開示の一実施例に係るＭＭＶＤを示す図である。 本開示の一実施例に係るＭＭＶＤのＭＶＤ導出（ＭＶＤ ｄｅｒｉｖａｔｉｏｎ）を示す図である。 本開示の一実施例に係るＭＶＤ及びＭＶの導出を示す図である。 本開示の一実施例に係るＭＶ、ＣＰＭＶの導出を示す図である。 本開示の一実施例に係るＭＶ及びＭＶＤの範囲を示す図である。 本開示の一実施例に係るＭＭＶＤのＭＶＤ導出を示す図である。
本明細書で使われる用語は、本開示における機能を考慮する上に、可能な限り、現在広く使われている一般的な用語を選択したが、これは、当分野に従事する技術者の意図、慣例又は新しい技術の出現などによって変わってよい。また、特定の場合は、出願人が任意に選定した用語もあり、この場合、該当する発明の説明部分においてその意味が記載されるであろう。したがって、本明細書で使われる用語は、単純な用語の名称ではなくその用語の持つ実質的な意味と本明細書全般にわたる内容に基づいて解釈されるべきということは明らかである。
本明細書において一部の用語は次のように解釈されてよい。コーディングは、場合によって、エンコーディング又はデコーディングと解釈されてよい。本明細書において、ビデオ信号のエンコーディング（符号化）を行ってビデオ信号ビットストリームを生成する装置は、エンコーディング装置或いはエンコーダと称され、ビデオ信号ビットストリームのデコーディング（復号化）を行ってビデオ信号を復元する装置は、デコーディング装置或いはデコーダと称される。また、本明細書において、ビデオ信号処理装置は、エンコーダ及びデコーダの両方を含む概念の用語として使われる。情報（ｉｎｆｏｒｍａｔｉｏｎ）は、値（ｖａｌｕｅｓ）、パラメータ（ｐａｒａｍｅｔｅｒ）、係数（ｃｏｅｆｆｉｃｉｅｎｔｓ）、成分（ｅｌｅｍｅｎｔｓ）などのいずれをも含む用語であり、場合によって異なる意味で解釈されてよいので、本開示はこれに限定されない。「ユニット」は、映像処理の基本単位又はピクチャーの特定の位置のことを指す意味で使われ、ルマ（ｌｕｍａ）成分とクロマ（ｃｈｒｏｍａ）成分の両方を含むイメージ領域のことを指す。また、「ブロック」は、ルマ成分及びクロマ成分（すなわち、Ｃｂ及びＣｒ）のうち特定の成分を含むイメージ領域のことを指す。ただし、実施例によって「ユニット」、「ブロック」、「パーティション」及び「領域」などの用語は、同じ意味で使われてもよい。また、本明細書において、ユニットは、コーディングユニット、予測ユニット、変換ユニットのいずれをも含む概念で使われてよい。ピクチャーは、フィールド或いはフレームのことを指し、それらの用語は実施例によって同じ意味で使われてよい。
図１は、本開示の一実施例に係るビデオ信号エンコーディング装置の概略的なブロック図である。図１を参照すると、本開示のエンコーディング装置１００は、変換部１１０、量子化部１１５、逆量子化部１２０、逆変換部１２５、フィルタリング部１３０、予測部１５０及びエントロピーコーディング部１６０を含む。
変換部１１０は、受信したビデオ信号と予測部１５０で生成された予測信号との差であるレジデュアル信号を変換して変換係数値を取得する。例えば、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ，ＤＣＴ）、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ，ＤＳＴ）又はウェーブレット変換（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）などが用いられてよい。離散コサイン変換及び離散サイン変換は、入力されたピクチャー信号をブロック形態に分けて変換を行う。変換において、変換領域内の値の分布と特性によってコーディング効率が変わってよい。量子化部１１５は、変換部１１０から出力された変換係数値を量子化する。
コーディング効率を上げるために、ピクチャー信号をそのままコードするのではなく、予測部１５０で、既にコードされた領域を用いてピクチャーを予測し、予測されたピクチャーに、原本ピクチャーと予測ピクチャーとのレジデュアル値を足して復元ピクチャーを取得する方法が用いられる。エンコーダとデコーダでミスマッチが発生することを防ぐために、エンコーダで予測を行う際には、デコーダでも使用可能な情報を使用しなければならない。そのために、エンコーダでは、符号化した現在ブロックを再び復元する過程を行う。逆量子化部１２０では変換係数値を逆量子化し、逆変換部１２５では逆量子化された変換係数値を用いてレジデュアル値を復元する。一方、フィルタリング部１３０は、復元されたピクチャーの品質改善及び符号化効率の向上のためのフィルタリング演算を行う。例えば、デブロッキングフィルター、サンプル適応的オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ，ＳＡＯ）及び適応的ループフィルターなどが含まれてよい。フィルタリングを経たピクチャーは、出力されるか、或いは参照ピクチャーとして用いるために復号ピクチャーバッファー（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ，ＤＰＢ）１５６に保存される。
予測部１５０は、イントラ予測部１５２とインター予測部１５４を含む。イントラ予測部１５２は、現在ピクチャー内でイントラ（ｉｎｔｒａ）予測を行い、インター予測部１５４は、復号ピクチャーバッファー１５６に保存された参照ピクチャーを用いて現在ピクチャーを予測するインター（ｉｎｔｅｒ）予測を行う。イントラ予測部１５２は、現在ピクチャー内の復元されたサンプルからイントラ予測を行い、イントラ符号化情報をエントロピーコーディング部１６０に伝達する。イントラ符号化情報は、イントラ予測モード、ＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）フラグ、ＭＰＭインデックスのうち少なくとも１つを含むことができる。イントラ符号化情報は、参照サンプルに関する情報を含むことができる。インター予測部１５４は、モーション推定部１５４ａ及びモーション補償部１５４ｂを含んで構成されてよい。モーション推定部１５４ａは、復元された参照ピクチャーの特定領域を参照して現在領域のモーションベクトル値を取得する。モーション推定部１５４ａは、参照領域に関するモーション情報セット（参照ピクチャーインデックス、モーションベクトル情報など）をエントロピーコーディング部１６０に伝達する。モーション補償部１５４ｂは、モーション推定部１５４ａから伝達されたモーションベクトル値を用いてモーション補償を行う。インター予測部１５４は、参照領域に関するモーション情報を含むインター符号化情報をエントロピーコーディング部１６０に伝達する。
更なる実施例によって、予測部１５０は、イントラブロックコピー（ｂｌｏｃｋ ｃｏｐｙ，ＢＣ）予測部（図示せず）を含むことができる。イントラＢＣ予測部は、現在ピクチャー内の復元されたサンプルからイントラＢＣ予測を行い、イントラＢＣ符号化情報をエントロピーコーディング部１６０に伝達する。イントラＢＣ予測部は、現在ピクチャー内の特定領域を参照して、現在領域の予測に用いられる参照領域を示すブロックベクトル値を取得する。イントラＢＣ予測部は、取得されたブロックベクトル値を用いてイントラＢＣ予測を行うことができる。イントラＢＣ予測部は、イントラＢＣ符号化情報をエントロピーコーディング部１６０に伝達する。イントラＢＣ符号化情報はブロックベクトル情報を含むことができる。
上のようなピクチャー予測が行われる場合に、変換部１１０は、原本ピクチャーと予測ピクチャー間のレジデュアル値を変換して変換係数値を取得する。この時、変換は、ピクチャー内で特定ブロック単位で行われてよく、特定ブロックのサイズは、既に設定された範囲内で可変してよい。量子化部１１５は、変換部１１０で生成された変換係数値を量子化してエントロピーコーディング部１６０に伝達する。
エントロピーコーディング部１６０は、量子化された変換係数を示す情報、イントラ符号化情報、及びインター符号化情報などをエントロピーコーディングしてビデオ信号ビットストリームを生成する。エントロピーコーディング部１６０では可変長コーディング（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ，ＶＬＣ）方式と算術コーディング（ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）方式などが用いられてよい。可変長コーディング（ＶＬＣ）方式は、入力されるシンボルを連続したコードワードに変換するが、コードワードの長さは可変してよい。例えば、頻繁に発生するシンボルは短いコードワードで、頻繁に発生しないシンボルは長いコードワードで表現する。可変長コーディング方式として、コンテキストベースの適応型可変長コーディング（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ，ＣＡＶＬＣ）方式が用いられてよい。算術コーディングは、連続したデータシンボルを一つの素数に変換するが、算術コーディングは、各シンボルを表現するために必要な最適の素数ビットを得ることができる。算術コーディングとして、コンテキストベースの適応型算術符号化（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ，ＣＡＢＡＣ）が用いられてよい。例えば、エントロピーコーディング部１６０は、量子化された変換係数を示す情報を二進化することができる。また、エントロピーコーディング部１６０は、二進化された情報を算術コーディングしてビットストリームを生成することができる。
前記生成されたビットストリームは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットを基本単位にしてカプセル化される。ＮＡＬユニットは、符号化された整数個のコーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含む。ビデオデコーダでビットストリームを復号化するためには、まず、ビットストリームをＮＡＬユニット単位に分離した後、分離されたそれぞれのＮＡＬユニットを復号化しなければならない。一方、ビデオ信号ビットストリームの復号化のために必要な情報は、ピクチャーパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ，ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ，ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ，ＶＰＳ）などのような上位レベルセットのＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）で伝送されてよい。
一方、図１のブロック図は、本開示の一実施例に係るエンコーディング装置１００を示していするが、分離して表示されたブロックは、エンコーディング装置１００のエレメントを論理的に区別して示すものである。したがって、前述したエンコーディング装置１００のエレメントは、デバイスの設計に応じて１つのチップとして又は複数のチップとして装着されてよい。一実施例によれば、前述したエンコーディング装置１００の各エレメントの動作は、プロセッサ（図示せず）によって行われてよい。
図２は、本開示の一実施例に係るビデオ信号デコーディング装置２００の概略的なブロック図である。図２を参照すると、本開示のデコーディング装置２００は、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２２５、フィルタリング部２３０及び予測部２５０を含む。
エントロピーデコーディング部２１０は、ビデオ信号ビットストリームをエントロピーデコードし、各領域に対する変換係数情報、イントラ符号化情報、インター符号化情報などを抽出する。例えば、エントロピーデコーディング部２１０は、ビデオ信号ビットストリームから特定領域の変換係数情報に対する二進化コードを取得することができる。また、エントロピーデコーディング部２１０は、二進化コードを逆二進化し、量子化された変換係数を取得する。逆量子化部２２０は、量子化された変換係数を逆量子化し、逆変換部２２５は、逆量子化された変換係数を用いてレジデュアル値を復元する。ビデオ信号処理装置２００は、逆変換部２２５から取得されたレジデュアル値を予測部２５０から取得された予測値と合算して元来の画素値を復元する。
一方、フィルタリング部２３０は、ピクチャーに対するフィルタリングを行って画質を向上させる。ここには、ブロック歪み現象を減少させるためのデブロッキングフィルター及び／又はピクチャー全体の歪み除去のための適応的ループフィルターなどが含まれてよい。フィルタリングを経たピクチャーは、出力されるか、或いは次のピクチャーに対する参照ピクチャーとして利用するために復号ピクチャーバッファー（ＤＰＢ）２５６に保存される。
予測部２５０は、イントラ予測部２５２及びインター予測部２５４を含む。予測部２５０は、前述したエントロピーデコーディング部２１０で復号化された符号化タイプ、各領域に対する変換係数、イントラ／インター符号化情報などを用いて予測ピクチャーを生成する。復号化が行われる現在ブロックを復元するために、現在ブロックが含まれた現在ピクチャー又は他のピクチャーの復号化された領域が用いられてよい。復元に現在ピクチャーのみを利用する、すなわちイントラ予測（又は、イントラ予測及びイントラＢＣ予測）のみを行うピクチャー（又は、タイル／スライス）を、イントラピクチャー又はＩピクチャー（又は、タイル／スライス）といい、イントラ予測とインター予測の両方を行うことができるピクチャー（又は、タイル／スライス）を、インターピクチャー（又は、タイル／スライス）という。インターピクチャー（又は、タイル／スライス）のうち、各ブロックのサンプル値を予測するために最大で１つのモーションベクトル及び参照ピクチャーインデックスを利用するピクチャー（又は、タイル／スライス）を、予測ピクチャー（ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ）又はＰピクチャー（又は、タイル／スライス）といい、最大で２つのモーションベクトル及び参照ピクチャーインデックスを利用するピクチャー（又は、タイル／スライス）を、双予測ピクチャー（Ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ）又はＢピクチャー（又は、タイル／スライス）という。言い換えると、Ｐピクチャー（又は、タイル／スライス）は、各ブロックを予測するために最大で１つのモーション情報セットを利用し、Ｂピクチャー（又は、タイル／スライス）は各ブロックを予測するために最大で２つのモーション情報セットを利用する。ここで、モーション情報セットは、１つ以上のモーションベクトルと１つの参照ピクチャーインデックスを含む。
イントラ予測部２５２は、イントラ符号化情報及び現在ピクチャー内の復元されたサンプルを用いて予測ブロックを生成する。前述したように、イントラ符号化情報は、イントラ予測モード、ＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）フラグ、ＭＰＭインデックスのうち少なくとも１つを含むことができる。イントラ予測部２５２は、現在ブロックの左側及び／又は上側に位置している復元されたサンプルを参照サンプルとして用いて現在ブロックのサンプル値を予測する。本開示において、復元されたサンプル、参照サンプル及び現在ブロックのサンプルはピクセルを表すことができる。また、サンプル値（ｓａｍｐｌｅ ｖａｌｕｅ）は、ピクセル値を表すことができる。
一実施例によれば、参照サンプルは、現在ブロックの周辺ブロックに含まれたサンプルであってよい。例えば、参照サンプルは、現在ブロックの左側境界に隣接したサンプル及び／又は上側境界に隣接したサンプルであってよい。また、参照サンプルは、現在ブロックの周辺ブロックのサンプルのうち、現在ブロックの左側境界から既に設定された距離以内のライン上に位置するサンプル及び／又は現在ブロックの上側境界から既に設定された距離以内のライン上に位置するサンプルであってよい。この時、現在ブロックの周辺ブロックは、現在ブロックに隣接した左側（Ｌ）ブロック、上側（Ａ）ブロック、下左側（Ｂｅｌｏｗ Ｌｅｆｔ，ＢＬ）ブロック、上右側（Ａｂｏｖｅ Ｒｉｇｈｔ，ＡＲ）ブロック又は上左側（Ａｂｏｖｅ Ｌｅｆｔ，ＡＬ）ブロックのうち少なくとも１つを含むことができる。
インター予測部２５４は、復号ピクチャーバッファー２５６に保存された参照ピクチャー及びインター符号化情報を用いて予測ブロックを生成する。インター符号化情報は、参照ブロックに対する現在ブロックのモーション情報セット（参照ピクチャーインデックス、モーションベクトル情報など）を含むことができる。インター予測には、Ｌ０予測、Ｌ１予測及び双予測（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）があり得る。Ｌ０予測は、Ｌ０ピクチャーリストに含まれた１個の参照ピクチャーを用いた予測であり、Ｌ１予測は、Ｌ１ピクチャーリストに含まれた１個の参照ピクチャーを用いた予測を意味する。そのためには、１セットのモーション情報（例えば、モーションベクトル及び参照ピクチャーインデックス）が必要であり得る。双予測方式では、最大で２個の参照領域を利用できるが、この２個の参照領域は、同じ参照ピクチャーに存在してもよく、異なるピクチャーにそれぞれ存在してもよい。すなわち、双予測方式では、最大で２セットのモーション情報（例えば、モーションベクトル及び参照ピクチャーインデックス）が用いられてよいが、２個のモーションベクトルが同一の参照ピクチャーインデックスに対応してもよく、異なる参照ピクチャーインデックスに対応してもよい。この時、参照ピクチャーは、時間的に現在ピクチャー以前又は以後のいずれにも表示（又は、出力）されてよい。また、双予測方式で、２個の参照領域は２個の参照ピクチャーリストに存在してよい。
インター予測部２５４は、モーションベクトル及び参照ピクチャーインデックスを用いて現在ブロックの参照ブロックを取得することができる。前記参照ブロックは、参照ピクチャーインデックスに対応する参照ピクチャー内に存在する。また、モーションベクトルによって特定されたブロックのサンプル値又はその補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）された値が現在ブロックの予測子（ｐｒｅｄｉｃｔｏｒ）として用いられてよい。サブペル（ｓｕｂ－ｐｅｌ）単位のピクセル正確度を有するモーション予測のために、例えば、ルマ信号に対して８タップ補間フィルターが、クロマ信号に対して４タップ補間フィルターが用いられてよい。ただし、サブペル単位のモーション予測のための補間フィルターは、これに限定されない。このように、インター予測部２５４は、以前に復元されたピクチャーから現在ユニットのテキスチャーを予測するモーション補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。この時、インター予測部はモーション情報セットを用いることができる。
更なる実施例によって、予測部２５０は、イントラＢＣ予測部（図示せず）を含むことができる。イントラＢＣ予測部は、現在ピクチャー内の復元されたサンプルからイントラＢＣ予測を行い、イントラＢＣ符号化情報をエントロピーコーディング部１６０に伝達する。イントラＢＣ予測部は、現在ピクチャー内の特定領域を指示する現在領域のブロックベクトル値を取得する。イントラＢＣ予測部は、取得されたブロックベクトル値を用いてイントラＢＣ予測を行うことができる。イントラＢＣ予測部は、イントラＢＣ符号化情報をエントロピーコーディング部１６０に伝達する。イントラＢＣ符号化情報はブロックベクトル情報を含むことができる。
前記イントラ予測部２５２又はインター予測部２５４から出力された予測値、及び逆変換部２２５から出力されたレジデュアル値が加算され、復元されたビデオピクチャーが生成される。すなわち、ビデオ信号デコーディング装置２００は、予測部２５０で生成された予測ブロックと逆変換部２２５から取得されたレジデュアルを用いて現在ブロックを復元する。
一方、図２のブロック図は、本開示の一実施例に係るデコーディング装置２００を示しているが、分離して表示されたブロックは、デコーディング装置２００のエレメントを論理的に区別して示すものである。したがって、前述したデコーディング装置２００のエレメントは、デバイスの設計によって１つのチップとして又は複数のチップとして装着されてよい。一実施例によれば、前述したデコーディング装置２００の各エレメントの動作はプロセッサ（図示せず）によって行われてよい。
図３には、ピクチャー内でコーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ，ＣＴＵ）がコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔｓ，ＣＵｓ）に分割される実施例を示す。ビデオ信号のコーディング過程において、ピクチャーはコーディングツリーユニット（ＣＴＵ）のシーケンスに分割されてよい。コーディングツリーユニットは、ルマ（ｌｕｍａ）サンプルのＮＸＮブロックと、これに対応するクロマ（ｃｈｒｏｍａ）サンプルの２個のブロックで構成される。コーディングツリーユニットは複数のコーディングユニットに分割されてよい。コーディングツリーユニットは分割されずにリーフノードになってもよい。この場合、コーディングツリーユニット自体がコーディングユニットになり得る。コーディングユニットは、上述したビデオ信号の処理過程、すなわち、イントラ／インター予測、変換、量子化及び／又はエントロピーコーディングなどの過程でピクチャーを処理するための基本単位のことを指す。１つのピクチャー内でコーディングユニットのサイズ及び形状は一定でなくてよい。コーディングユニットは、正方形或いは長方形の形状を有してよい。長方形コーディングユニット（或いは、長方形ブロック）は、垂直コーディングユニット（或いは、垂直ブロック）と水平コーディングユニット（或いは、水平ブロック）を含む。本明細書において、垂直ブロックは、高さが幅よりも大きいブロックであり、水平ブロックは、幅が高さよりも大きいブロックである。また、本明細書において、正方形でない（ｎｏｎ－ｓｑｕａｒｅ）ブロックは長方形ブロックを表すことができるが、本開示はこれに限定されない。
図３を参照すると、コーディングツリーユニットは、まず、クアッドツリー（Ｑｕａｄ Ｔｒｅｅ，ＱＴ）構造に分割される。すなわち、クアッドツリー構造において２Ｎ×２Ｎサイズを有する１つのノードは、Ｎ×Ｎサイズを有する４個のノードに分割されてよい。本明細書において、クアッドツリーは、４進（ｑｕａｔｅｒｎａｒｙ）ツリーと呼ぶこともできる。クアッドツリー分割は再帰的に行われてよく、全ノードが同じ深さに分割される必要はない。
一方、前述したクアッドツリーのリーフノード（ｌｅａｆ ｎｏｄｅ）は、マルチタイプツリー（Ｍｕｌｔｉ－Ｔｙｐｅ Ｔｒｅｅ，ＭＴＴ）構造にさらに分割されてよい。本開示の実施例によれば、マルチタイプツリー構造では、１つのノードが水平或いは垂直分割の２進（ｂｉｎａｒｙ、バイナリ）或いは３進（ｔｅｒｎａｒｙ、ターナリー）ツリー構造に分割されてよい。すなわち、マルチタイプツリー構造には、垂直バイナリ分割、水平バイナリ分割、垂直ターナリー分割及び水平ターナリー分割の４つの分割構造が存在する。本開示の実施例によれば、前記各ツリー構造において、ノードの幅及び高さはいずれも２の累乗値を有してよい。例えば、バイナリツリー（Ｂｉｎａｒｙ Ｔｒｅｅ，ＢＴ）構造において、２Ｎ×２Ｎサイズのノードは、垂直バイナリ分割によって２個のＮ×２Ｎノードに分割され、水平バイナリ分割によって２個の２Ｎ×Ｎノードに分割されてよい。また、ターナリーツリー（Ｔｅｒｎａｒｙ Ｔｒｅｅ，ＴＴ）構造において、２Ｎ×２Ｎサイズのノードは、垂直ターナリー分割によって（Ｎ／２）×２Ｎ、Ｎ×２Ｎ及び（Ｎ／２）×２Ｎのノードに分割され、水平バイナリ分割によって２Ｎ×（Ｎ／２）、２Ｎ×Ｎ及び２Ｎ×（Ｎ／２）のノードに分割されてよい。このようなマルチタイプツリー分割は再帰的に行われてよい。
マルチタイプツリーのリーフノードはコーディングユニットになり得る。コーディングユニットに対する分割が指示されていないか或いはコーディングユニットが最大変換長に比べて大きくない場合に、該当のコーディングユニットはそれ以上の分割無しで予測及び変換の単位として用いられる。一方、前述したクアッドツリー及びマルチタイプツリーにおいて、次のパラメータのうち少なくとも１つが事前に定義されるか、或いはＰＰＳ、ＳＰＳ、ＶＰＳなどのような上位レベルセットのＲＢＳＰで伝送されてよい。１）ＣＴＵサイズ：クアッドツリーのルートノード（ｒｏｏｔ ｎｏｄｅ）サイズ、２）最小ＱＴサイズ（ＭｉｎＱｔＳｉｚｅ）：許容された最小ＱＴリーフノードサイズ、３）最大ＢＴサイズ（ＭａｘＢｔＳｉｚｅ）：許容された最大ＢＴルートノードサイズ、４）最大ＴＴサイズ（ＭａｘＴｔＳｉｚｅ）：許容された最大ＴＴルートノードサイズ、５）最大ＭＴＴ深さ（ＭａｘＭｔｔＤｅｐｔｈ）：ＱＴのリーフノードからのＭＴＴ分割の最大許容深さ、６）最小ＢＴサイズ（ＭｉｎＢｔＳｉｚｅ）：許容された最小ＢＴリーフノードサイズ、７）最小ＴＴサイズ（ＭｉｎＴｔＳｉｚｅ）：許容された最小ＴＴリーフノードサイズ。
図４には、クアッドツリー及びマルチタイプツリーの分割をシグナルする方法の一実施例を示す。前述したクアッドツリー及びマルチタイプツリーの分割をシグナルするために、既に設定されたフラグが用いられてよい。図４を参照すると、クアッドツリーノードの分割されるか否かを示すフラグ‘ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ’、マルチタイプツリーノードの分割されるか否かを示すフラグ‘ｍｔｔ＿ｓｐｌｉｔ＿ｆｌａｇ’、マルチタイプツリーノードの分割方向を示すフラグ‘ｍｔｔ＿ｓｐｌｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ’又はマルチタイプツリーノードの分割形状を示すフラグ‘ｍｔｔ＿ｓｐｌｉｔ＿ｂｉｎａｒｙ＿ｆｌａｇ’のうち少なくとも１つが用いられてよい。
本開示の実施例によれば、コーディングツリーユニットはクアッドツリーのルートノードであり、クアッドツリー構造にまず分割されてよい。クアッドツリー構造では、それぞれのノード‘ＱＴ＿ｎｏｄｅ’別に‘ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ’がシグナルされる。‘ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ’の値が１の場合に、該当のノードは、４個の正方形ノードに分割され、‘ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ’の値が０の場合に、該当のノードは、クアッドツリーのリーフノード‘ＱＴ＿ｌｅａｆ＿ｎｏｄｅ’となる。
それぞれのクアッドツリーリーフノード‘ＱＴ＿ｌｅａｆ＿ｎｏｄｅ’は、マルチタイプツリー構造にさらに分割されてよい。マルチタイプツリー構造では、それぞれのノード‘ＭＴＴ＿ｎｏｄｅ’別に‘ｍｔｔ＿ｓｐｌｉｔ＿ｆｌａｇ’がシグナルされる。‘ｍｔｔ＿ｓｐｌｉｔ＿ｆｌａｇ’の値が１の場合に、該当のノードは、複数の長方形ノードに分割され、‘ｍｔｔ＿ｓｐｌｉｔ＿ｆｌａｇ’の値が０の場合に、該当のノードは、マルチタイプツリーのリーフノード‘ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ’となる。マルチタイプツリーノード‘ＭＴＴ＿ｎｏｄｅ’が複数の長方形ノードに分割される場合（すなわち、‘ｍｔｔ＿ｓｐｌｉｔ＿ｆｌａｇ’の値が１の場合）に、ノード‘ＭＴＴ＿ｎｏｄｅ’のための‘ｍｔｔ＿ｓｐｌｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ’及び’ｍｔｔ＿ｓｐｌｉｔ＿ｂｉｎａｒｙ＿ｆｌａｇ’がさらにシグナルされてよい。‘ｍｔｔ＿ｓｐｌｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ’の値が１の場合にノード‘ＭＴＴ＿ｎｏｄｅ’の垂直分割が示され、‘ｍｔｔ＿ｓｐｌｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ’の値が０の場合にノード‘ＭＴＴ＿ｎｏｄｅ’の水平分割が示される。また、‘ｍｔｔ＿ｓｐｌｉｔ＿ｂｉｎａｒｙ＿ｆｌａｇ’の値が１の場合に、ノード‘ＭＴＴ＿ｎｏｄｅ’は２個の長方形ノードに分割され、‘ｍｔｔ＿ｓｐｌｉｔ＿ｂｉｎａｒｙ＿ｆｌａｇ’の値が０の場合に、ノード‘ＭＴＴ＿ｎｏｄｅ’は３個の長方形ノードに分割される。
コーディングのためのピクチャー予測（モーション補償）は、それ以上分割されないコーディングユニット（すなわち、コーディングユニットツリーのリーフノード）を対象になされる。このような予測を行う基本単位を、以下では予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）又は予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ）という。
以下、本明細書で使われるユニットという用語は、予測を行う基本単位である前記予測ユニットを代替する用語として使われてよい。ただし、本開示がこれに限定されるものではなく、より広義には、前記コーディングユニットを含む概念で理解されてもよい。
図５及び図６には、本開示の実施例に係るイントラ予測方法をさらに具体的に示す。前述したように、イントラ予測部は、現在ブロックの左側及び／又は上側に位置している復元されたサンプルを参照サンプルとして用いて現在ブロックのサンプル値を予測する。
まず、図５には、イントラ予測モードにおいて現在ブロックの予測のために用いられる参照サンプルの一実施例を示す。一実施例によれば、参照サンプルは、現在ブロックの左側境界に隣接したサンプル及び／又は上側境界に隣接したサンプルであってよい。図５に示すように、現在ブロックのサイズがＷ×Ｈであり、現在ブロックに隣接した単一参照ライン（ｌｉｎｅ）のサンプルがイントラ予測に用いられる場合に、現在ブロックの左側及び／又は上側に位置している最大で２Ｗ＋２Ｈ＋１個の周辺サンプルを用いて参照サンプルが設定されてよい。
本開示の更なる実施例によれば、現在ブロックのイントラ予測のために複数の参照ライン上のサンプルが用いられてよい。複数の参照ラインは、現在ブロックの境界から、既に設定された距離以内に位置しているｎ個のラインで構成されてよい。この場合、現在ブロックのイントラ予測のために用いられる少なくとも１つの参照ラインを示す別の参照ライン情報がシグナルされてよい。具体的に、参照ライン情報は、複数の参照ラインのうちいずれか１つを示すインデックスを含むことができる。
また、参照サンプルとして用いられる少なくとも一部のサンプルがまだ復元されていない場合に、イントラ予測部は、参照サンプルパディング過程を行って参照サンプルを取得することができる。また、イントラ予測部は、イントラ予測の誤差を減らすために、参照サンプルフィルタリング過程を行うことができる。すなわち、周辺サンプル及び／又は参照サンプルパディング過程によって取得された参照サンプルにフィルタリングを行い、フィルタリングされた参照サンプルを取得することができる。イントラ予測部は、このように取得された参照サンプルを用いて現在ブロックのサンプルを予測する。イントラ予測部は、フィルタリングされていない参照サンプル又はフィルタリングされた参照サンプルを用いて現在ブロックのサンプルを予測する。本開示において、周辺サンプルは、少なくとも１つの参照ライン上のサンプルを含むことができる。例えば、周辺サンプルは、現在ブロックの境界に隣接したライン上の隣接サンプルを含むことができる。
次に、図６には、イントラ予測に用いられる予測モードの一実施例を示す。イントラ予測のために、イントラ予測方向を示すイントラ予測モード情報がシグナルされてよい。イントラ予測モード情報は、イントラ予測モードセットを構成する複数のイントラ予測モードのうちいずれか１つを示す。現在ブロックがイントラ予測ブロックである場合に、デコーダは、ビットストリームから現在ブロックのイントラ予測モード情報を受信する。デコーダのイントラ予測部は、抽出されたイントラ予測モード情報に基づいて現在ブロックに対するイントラ予測を行う。
本開示の実施例によれば、イントラ予測モードセットは、イントラ予測に用いられる全てのイントラ予測モード（例えば、総６７個のイントラ予測モード）を含むことができる。より具体的に、イントラ予測モードセットは、平面モード、ＤＣモード、及び複数の（例えば、６５個の）角度モード（すなわち、方向モード）を含むことができる。それぞれのイントラ予測モードは、既に設定されたインデックス（すなわち、イントラ予測モードインデックス）で示されてよい。例えば、図６に示すように、イントラ予測モードインデックス０は、平面モードを示し、イントラ予測モードインデックス１は、ＤＣモードを示す。また、イントラ予測モードインデックス２～６６は、異なる角度モードをそれぞれ示すことができる。角度モードは、既に設定された角度範囲以内の異なる角度をそれぞれ示す。例えば、角度モードは、時計回り方向に４５°～－１３５°の角度範囲（すなわち、第１角度範囲）以内の角度を示すことができる。前記角度モードは、１２時方向を基準に定義されてよい。この時、イントラ予測モードインデックス２は、水平対角（Ｈｏｒｉｚｏｎｔａｌ Ｄｉａｇｏｎａｌ，ＨＤＩＡ）モードを示し、イントラ予測モードインデックス１８は、水平（Ｈｏｒｉｚｏｎｔａｌ，ＨＯＲ）モードを示し、イントラ予測モードインデックス３４は、対角（Ｄｉａｇｏｎａｌ，ＤＩＡ）モードを示し、イントラ予測モードインデックス５０は、垂直（Ｖｅｒｔｉｃａｌ，ＶＥＲ）モードを示し、イントラ予測モードインデックス６６は、垂直対角（Ｖｅｒｔｉｃａｌ Ｄｉａｇｏｎａｌ，ＶＤＩＡ）モードを示す。
一方、既に設定された角度範囲は、現在ブロックの形状によって異なるように設定されてよい。例えば、現在ブロックが長方形ブロックである場合に、時計回り方向に４５°を超える又は－１３５°未満の角度を示す広角モードがさらに用いられてよい。現在ブロックが水平ブロックである場合に、角度モードは、時計回り方向に（４５＋ｏｆｆｓｅｔ１）°～（－１３５＋ｏｆｆｓｅｔ１）°の角度範囲（すなわち、第２角度範囲）以内の角度を示すことができる。この時、第１角度範囲を外れる角度モード６７～８０がさらに用いられてよい。また、現在ブロックが垂直ブロックである場合に、角度モードは、時計回り方向に（４５－ｏｆｆｓｅｔ２）°～（－１３５－ｏｆｆｓｅｔ２）°の角度範囲（すなわち、第３角度範囲）以内の角度を示すことができる。この時、第１角度範囲を外れる角度モード－１０～－１がさらに用いられてよい。本開示の実施例によれば、ｏｆｆｓｅｔ１及びｏｆｆｓｅｔ２の値は、長方形ブロックの幅と高さとの比率によって個別に決定されてよい。また、ｏｆｆｓｅｔ１及びｏｆｆｓｅｔ２は、正数であってよい。
本開示の更なる実施例によれば、イントラ予測モードセットを構成する複数の角度モードは、基本角度モードと拡張角度モードを含むことができる。このとき、拡張角度モードは基本角度モードに基づいて決定されてよい。
一実施例によれば、基本角度モードは、既存ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準のイントラ予測で用いられる角度に対応するモードであり、拡張角度モードは、次世代ビデオコーデック標準のイントラ予測で新しく追加される角度に対応するモードであってよい。より具体的に、基本角度モードは、イントラ予測モード｛２，４，６，…，６６｝のいずれか１つに対応する角度モードであり、拡張角度モードは、イントラ予測モード｛３，５，７，…，６５｝のいずれか１つに対応する角度モードであってよい。すなわち、拡張角度モードは、第１角度範囲内で基本角度モード間の角度モードであってよい。したがって、拡張角度モードが示す角度は、基本角度モードが示す角度に基づいて決定されてよい。
他の実施例によれば、基本角度モードは、既に設定された第１角度範囲以内の角度に対応するモードであり、拡張角度モードは、前記第１角度範囲を外れる広角モードであってよい。すなわち、基本角度モードは、イントラ予測モード｛２，３，４，…，６６｝のいずれか１つに対応する角度モードであり、拡張角度モードは、イントラ予測モード｛－１０，－９，…，－１｝及び｛６７，６８，…，７６｝のいずれか１つに対応する角度モードであってよい。拡張角度モードが示す角度は、対応する基本角度モードが示す角度の反対側角度と決定されてよい。したがって、拡張角度モードが示す角度は、基本角度モードが示す角度に基づいて決定されてよい。一方、拡張角度モードの個数はこれに限定されず、現在ブロックのサイズ及び／又は形状によって更なる拡張角度が定義されてもよい。例えば、拡張角度モードは、イントラ予測モード｛－１４，－１３，…，－１｝及び｛６７，６８，…，８０｝のいずれか１つに対応する角度モードと定義されてよい。一方、イントラ予測モードセットに含まれるイントラ予測モードの総個数は、前述した基本角度モードと拡張角度モードの構成によって可変してよい。
前記実施例において、拡張角度モード間の間隔は、対応する基本角度モード間の間隔に基づいて設定されてよい。例えば、拡張角度モード｛３，５，７，…，６５｝間の間隔は、対応する基本角度モード｛２，４，６，…，６６｝間の間隔に基づいて決定されてよい。また、拡張角度モード｛－１０，－９，…，－１｝間の間隔は、対応する反対側の基本角度モード｛５６，５７，…，６５｝間の間隔に基づいて決定され、拡張角度モード｛６７，６８，…，７６｝間の間隔は、対応する反対側の基本角度モード｛３，４，…，１２｝間の間隔に基づいて決定されてよい。拡張角度モード間の角度間隔は、対応する基本角度モード間の角度間隔と同一に設定されてよい。また、イントラ予測モードセットにおいて拡張角度モードの個数は、基本角度モードの個数以下に設定されてよい。
本開示の実施例によれば、拡張角度モードは、基本角度モードに基づいてシグナルされてよい。例えば、広角モード（すなわち、拡張角度モード）は、第１角度範囲以内の少なくとも１つの角度モード（すなわち、基本角度モード）を代替することができる。代替される基本角度モードは、広角モードの反対側に対応する角度モードであってよい。すなわち、代替される基本角度モードは、広角モードが示す角度の反対方向の角度に対応するか或いは前記反対方向の角度から既に設定されたオフセットインデックスだけ外れる角度に対応する角度モードである。本開示の実施例によれば、既に設定されたオフセットインデックスは、１である。代替される基本角度モードに対応するイントラ予測モードインデックスは、広角モードに再びマップされ、該当の広角モードをシグナルすることができる。例えば、広角モード｛－１０，－９，…，－１｝は、イントラ予測モードインデックス｛５７，５８，…，６６｝によってそれぞれシグナルされてよく、広角モード｛６７，６８，…，７６｝は、イントラ予測モードインデックス｛２，３，…，１１｝によってそれぞれシグナルされてよい。このように、基本角度モードのためのイントラ予測モードインデックスが拡張角度モードをシグナルするようにすることにより、各ブロックのイントラ予測に用いられる角度モードの構成が互いに異なっても、同一セットのイントラ予測モードインデックスがイントラ予測モードのシグナリングに用いられ得る。したがって、イントラ予測モード構成の変化によるシグナリングオーバーヘッドが最小化し得る。
一方、拡張角度モードの使用されるか否かは、現在ブロックの形状及びサイズのうち少なくとも１つに基づいて決定されてよい。一実施例によれば、現在ブロックのサイズが既に設定されたサイズよりも大きい場合に、現在ブロックのイントラ予測のために拡張角度モードが用いられ、そうでない場合に、現在ブロックのイントラ予測のために基本角度モードのみが用いられてよい。他の実施例によれば、現在ブロックが正方形以外のブロックである場合に、現在ブロックのイントラ予測のために拡張角度モードが用いられ、現在ブロックが正方形ブロックである場合に、現在ブロックのイントラ予測のために基本角度モードのみが用いられてよい。
イントラ予測部は、現在ブロックのイントラ予測モード情報に基づき、現在ブロックのイントラ予測に用いられる参照サンプル及び／又は補間された参照サンプルを決定する。イントラ予測モードインデックスが特定角度モードを示す場合に、現在ブロックの現在サンプルから前記特定角度に対応する参照サンプル又は補間された参照サンプルが、現在サンプルの予測に用いられる。したがって、イントラ予測モードによって異なるセットの参照サンプル及び／又は補間された参照サンプルがイントラ予測に用いられてよい。参照サンプル及びイントラ予測モード情報を用いて現在ブロックのイントラ予測が行われたら、デコーダは、逆変換部から取得された現在ブロックのレジデュアル信号を現在ブロックのイントラ予測値に足して現在ブロックのサンプル値を復元する。
以下、図７を参照して、本開示の一実施例に係るインター予測方法について説明する。本開示において、インター予測方法は、並進運動（ｔｒａｎｓｌａｔｉｏｎ ｍｏｔｉｏｎ）に最適化された一般インター予測方法及びアファイン（ａｆｆｉｎｅ）モデルベースのインター予測方法を含むことができる。また、モーションベクトルは、一般インター予測方法によるモーション補償のための一般モーションベクトル及びアファインモーション補償のためのコントロールポイントモーションベクトル（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）のうち少なくとも１つを含むことができる。
図７には、本開示の一実施例に係るインター予測方法を示す。前述したように、デコーダは、復号化された他のピクチャーの復元されたサンプルを参照して現在ブロックを予測することができる。図７を参照すると、デコーダは、現在ブロック７０１のモーション情報セットに基づき、参照ピクチャー７２０内の参照ブロック７０２を取得する。この時、モーション情報セットは、参照ピクチャーインデックス及びモーションベクトル７０３を含むことができる。参照ピクチャーインデックスは、参照ピクチャーリストで現在ブロックのインター予測のための参照ブロックが含まれた参照ピクチャー７２０を示す。一実施例によって、参照ピクチャーリストは、前述したＬ０ピクチャーリスト又はＬ１ピクチャーリストのうち少なくとも１つを含むことができる。モーションベクトル７０３は、現在ピクチャー７１０内で現在ブロック７０１の座標値と参照ピクチャー７２０内で参照ブロック７０２の座標値間のオフセットを示す。デコーダは、参照ブロック７０２のサンプル値に基づいて現在ブロック７０１の予測子を取得し、該予測子を用いて現在ブロック７０１を復元する。
具体的に、エンコーダは、復元順序が先であるピクチャーから現在ブロックと類似のブロックを探索し、前述した参照ブロックを取得することができる。例えば、エンコーダは、既に設定された探索領域内で、現在ブロックとサンプル値の差の和が最小になる参照ブロックを探索することができる。この時、現在ブロックと参照ブロックのサンプルの間の類似度を測定するために、ＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）又はＳＡＴＤ（Ｓｕｍ ｏｆ Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ）のうち少なくとも１つが用いられてよい。ここで、ＳＡＤは、２ブロックに含まれたサンプル値の差のそれぞれの絶対値を全て合算した値であってよい。また、ＳＡＴＤは、２ブロックに含まれたサンプル値の差をアダマール変換（Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ）して取得されたアダマール変換係数の絶対値を全て合算した値であってよい。
一方、現在ブロックは、１つ以上の参照領域を用いて予測されてよい。前述したように、現在ブロックは、２個以上の参照領域を利用する双予測方式によってインター予測されてよい。一実施例によって、デコーダは、現在ブロックの２個のモーション情報セットに基づいて２個の参照ブロックを取得することができる。また、デコーダは、取得された２個の参照ブロックのそれぞれのサンプル値に基づき、現在ブロックの第１予測子及び第２予測子を取得することができる。また、デコーダは、第１予測子及び第２予測子を用いて現在ブロックを復元することができる。例えば、デコーダは、第１予測子及び第２予測子のサンプル別平均に基づいて現在ブロックを復元することができる。
前述したように、現在ブロックのモーション補償のために、１つ以上のモーション情報セットがシグナルされてよい。この時、複数のブロックのそれぞれのモーション補償のためのモーション情報セット間の類似性が用いられてよい。例えば、現在ブロックの予測に用いられるモーション情報セットは、既に復元された他のサンプルのうちいずれか１つの予測に用いられたモーション情報セットから誘導されてよい。これにより、エンコーダ及びデコーダはシグナリングオーバーヘッドを減少させることができる。
例えば、現在ブロックのモーション情報セットと同一又は類似のモーション情報セットに基づいて予測された可能性のある複数の候補ブロックが存在し得る。デコーダは、マージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。デコーダは、該当の複数の候補ブロックに基づいてマージ候補リストを生成することができる。ここで、マージ候補リストは、現在ブロックよりも先に復元されたサンプルのうち、現在ブロックのモーション情報セットに関連したモーション情報セットに基づいて予測された可能性のあるサンプルに対応する候補を含むことができる。マージ候補リストは、空間的候補又は時間的候補を含むことができる。マージ候補リストは現在ブロックよりも先に復元されたサンプルの位置に基づいて生成されてよい。現在ブロックよりも先に復元されたサンプルは、現在ブロックの隣ブロックであってよい。現在ブロックの隣ブロックは、現在ブロックに隣接したブロックを意味できる。エンコーダとデコーダは、あらかじめ定義された規則に従って現在ブロックのマージ候補リストを構成することができる。この時、エンコーダとデコーダがそれぞれ構成したマージ候補リストは、互いに同一であってよい。例えば、エンコーダ及びデコーダは、現在ピクチャー内で現在ブロックの位置に基づいて現在ブロックのマージ候補リストを構成することができる。本開示において、特定ブロックの位置は、特定ブロックを含むピクチャー内で特定ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルの相対的な位置を表す。
図８は、本開示の一実施例によって、現在ブロックのモーションベクトルがシグナルされる方法を示す図である。本開示の一実施例によって、現在ブロックのモーションベクトルは、現在ブロックのモーションベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ，ＭＶＰ）から誘導されてよい。一実施例によって、現在ブロックのモーションベクトルを誘導するために参照されるモーションベクトル予測子は、モーションベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ，ＭＶＰ）候補リストを用いて取得されてよい。ＭＶＰ候補リストは、既に設定された個数のＭＶＰ候補（Ｃａｎｄｉｄａｔｅ１，Ｃａｎｄｉｄａｔｅ２，．．．，Ｃａｎｄｉｄａｔｅ Ｎ）を含むことができる。
一実施例によって、ＭＶＰ候補リストは、空間的候補又は時間的候補のうち少なくとも１つを含むことができる。空間的候補は、現在ピクチャー内で現在ブロックから一定の範囲以内の周辺ブロックの予測に用いられたモーション情報セットであってよい。空間的候補は、現在ブロックの周辺ブロックのうち、利用可能な周辺ブロックに基づいて構成されてよい。また、時間的候補は、現在ピクチャーと他のピクチャー内のブロックの予測に用いられたモーション情報セットであってよい。例えば、時間的候補は、特定参照ピクチャー内で現在ブロックの位置に対応する特定ブロックに基づいて構成されてよい。この時、特定ブロックの位置は、前記参照ピクチャー内で特定ブロックの左上端（ｔｏｐ－ｌｅｆｔ）サンプルの位置を表す。更なる実施例によって、ＭＶＰ候補リストは、ゼロモーションベクトルを含むことができる。更なる実施例によって、現在ブロックのＭＶＰ候補リストが含むＭＶＰ候補に対するラウンディング（ｒｏｕｎｄｉｎｇ）プロセスが行われてよい。この時、後述する現在ブロックのモーションベクトル差分値のレゾリューションが用いられてよい。例えば、現在ブロックのＭＶＰ候補はそれぞれ、現在ブロックのモーションベクトル差分値のレゾリューションに基づいてラウンディングされてよい。
本開示において、ＭＶＰ候補リストは、改善された時間的モーションベクトル候補（ａｄｖａｎｃｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ，ＡＴＭＶＰ、又はｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ，ＳｂＴＭＶＰ）リスト、マージインター予測のためのマージ候補リスト、アファインモーション補償のためのコントロールポイントモーションベクトル候補リスト、サブブロックベースのモーション補償のための時間的モーションベクトル候補（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏ ｐｒｅｄｉｃｔｉｏｎ，ＳＴＭＶＰ）リスト、及びそれらの組合せを含むことができる。
一実施例によって、エンコーダ８１０及びデコーダ８２０は、現在ブロックのモーション補償のためのＭＶＰ候補リストを構成することができる。例えば、現在ブロックよりも先に復元されたサンプルのうち、現在ブロックのモーション情報セットと同一又は類似のモーション情報セットに基づいて予測された可能性のあるサンプルに対応する候補が存在し得る。エンコーダ８１０及びデコーダ８２０は、該当の複数の候補ブロックに基づいて現在ブロックのＭＶＰ候補リストを構成することができる。この時、エンコーダ８１０及びデコーダ８２０は、エンコーダ８１０とデコーダ８２０間にあらかじめ定義された規則に従ってＭＶＰ候補リストを構成することができる。すなわち、エンコーダ８１０及びデコーダ８２０のそれぞれにおいて構成されたＭＶＰ候補リストは、互いに同一でってよい。
また、あらかじめ定義された規則は、現在ブロックの予測モードによって異なってもよいい。例えば、現在ブロックの予測モードがアファインモデルベースのアファイン予測モードである場合に、エンコーダ及びデコーダは、アファインモデルに基づく第１方法を用いて現在ブロックのＭＶＰ候補リストを構成することができる。第１方法は、コントロールポイントモーションベクトル候補リストを取得する方法であってよい。一方、現在ブロックの予測モードがアファインモデルに基づいていない一般インター予測モードである場合に、エンコーダ及びデコーダは、アファインモデルに基づいていない第２方法を用いて現在ブロックのＭＶＰ候補リストを構成することができる。この時、第１方法及び第２方法は、互いに異なる方法であってよい。
デコーダ８２０は、現在ブロックのＭＶＰ候補リストが含む少なくとも１つのＭＶＰ候補のいずれか１つに基づいて現在ブロックのモーションベクトルを誘導することができる。例えば、エンコーダ８１０は、現在ブロックのモーションベクトルを誘導するために参照されるモーションベクトル予測子を示すＭＶＰインデックス（ｉｎｄｅｘ）をシグナルすることができる。シグナルするということは、エンコーダが信号をビットストリームとして生成し、デコーダ８２０がビットストリームからパースすることを意味できる。ＭＶＰインデックスは、マージ候補リストに対するマージインデックスを含むことができる。デコーダ８２０は、シグナルされたＭＶＰインデックスに基づいて現在ブロックのモーションベクトル予測子を取得することができる。デコーダ８２０は、モーションベクトル予測子を用いて現在ブロックのモーションベクトルを誘導することができる。一実施例によって、デコーダ８２０は、ＭＶＰ候補リストから取得されたモーションベクトル予測子を、別のモーションベクトル差分値無しで、現在ブロックのモーションベクトルとして使用することができる。例えば、デコーダ８２０は、マージインデックスに基づいてマージリストからモーションベクトルを選択することができる。
デコーダ８２０は、現在ブロックのモーションベクトルに基づいて現在ブロックを復元することができる。ＭＶＰ候補リストから取得されたモーションベクトル予測子が、別のモーションベクトル差分値無しで現在ブロックのモーションベクトルとして用いられるインター予測モードは、マージモードと呼ぶことができる。
他の実施例によって、デコーダ８２０は、現在ブロックのモーションベクトルのための別のモーションベクトル差分値（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）を取得することができる。デコーダ８２０は、ＭＶＰ候補リストから取得されたモーションベクトル予測子と現在ブロックのモーションベクトル差分値を合算して現在ブロックのモーションベクトルを取得することができる。この場合、エンコーダ８１０は、現在ブロックのモーションベクトルとモーションベクトル予測子間の差を表すモーションベクトル差分値（ＭＶ ｄｉｆｆｅｒｅｎｃｅ）をシグナルすることができる。モーションベクトル差分値がシグナルされる方法については、図９を用いて具体的に説明する。デコーダ８２０は、モーションベクトル差分値（ＭＶ ｄｉｆｆｅｒｅｎｃｅ）に基づいて現在ブロックのモーションベクトルを取得することができる。デコーダ８２０は、現在ブロックのモーションベクトルに基づいて現在ブロックを復元することができる。
さらに、現在ブロックのモーション補償のための参照ピクチャーインデックスがシグナルされてよい。エンコーダ８１０は、参照ブロックを含む参照ピクチャーを示す参照ピクチャーインデックスをシグナルすることができる。デコーダ８２０は、シグナルされた参照ピクチャーインデックスに基づき、現在ブロックの復元に参照される参照ピクチャーのＰＯＣを取得することができる。この時、参照ピクチャーのＰＯＣが、現在ブロックのモーションベクトルを誘導するために参照されるＭＶＰに対応する参照ピクチャーのＰＯＣと異なることがある。この場合、デコーダ８２０は、モーションベクトルスケーリングを行うことができる。すなわち、デコーダ８２０は、ＭＶＰをスケーリングしてＭＶＰ’を取得することができる。この時、モーションベクトルスケーリングは、現在ピクチャーのＰＯＣ、現在ブロックのシグナルされた参照ピクチャーのＰＯＣ、及びＭＶＰに対応する参照ピクチャーのＰＯＣに基づいて行われてよい。また、デコーダ８２０は、ＭＶＰ’を現在ブロックのモーションベクトル予測子として用いることができる。
前述したように、現在ブロックのモーションベクトルは、現在ブロックのモーションベクトル予測子とモーションベクトル差分値を合算して取得することができる。この時、モーションベクトル差分値は、エンコーダからシグナルされてよい。エンコーダは、モーションベクトル差分値をエンコードしてモーションベクトル差分値を示す情報を生成し、シグナルすることができる。以下では、本開示の一実施例によってモーションベクトル差分値がシグナルされる方法について説明する。
図９は、本開示の一実施例によって現在ブロックのモーションベクトル差分値がシグナルされる方法を示す図である。一実施例によって、モーションベクトル差分値を示す情報は、モーションベクトル差分値の絶対値情報又はモーションベクトル差分値の符号情報のうち少なくとも１つを含むことができる。モーションベクトル差分値の絶対値と符号は別個にエンコードされてよい。
一実施例によって、モーションベクトル差分値の絶対値は、値自体でシグナルされなくてもよい。エンコーダは、モーションベクトル差分値の絶対値の特性を示す少なくとも１つのフラグを用いて、シグナルされる値のサイズを減らすことができる。デコーダは、シグナルされた値から、少なくとも１つのフラグを用いてモーションベクトル差分値の絶対値を誘導することができる。
例えば、少なくとも１つのフラグは、モーションベクトル差分値の絶対値がＮよりも大きいか否かを示す第１フラグを含むことができる。この時、Ｎは整数であってよい。モーションベクトル差分値の絶対値のサイズがＮよりも大きい場合に、活性化された第１フラグと共に（モーションベクトル差分値の絶対値－Ｎ）値がシグナルされてよい。この時、活性化されたフラグは、モーションベクトル差分値の絶対値のサイズがＮよりも大きい場合を示すことができる。デコーダは、活性化された第１フラグ及びシグナルされた値に基づいてモーションベクトル差分値の絶対値を取得することができる。
図９を参照すると、モーションベクトル差分値の絶対値が‘０’よりも大きいか否かを示す第２フラグ（ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇ）がシグナルされてよい。第２フラグ（ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇ［］）が、モーションベクトル差分値の絶対値が‘０’よりも大きくないことを示す場合に、モーションベクトル差分値の絶対値は‘０’であってよい。また、第２フラグ（ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇ）が、モーションベクトル差分値の絶対値が‘０’よりも大きいことを示す場合に、デコーダは、モーションベクトル差分値に対する他の情報を用いてモーションベクトル差分値の絶対値を取得することができる。
一実施例によって、モーションベクトル差分値の絶対値が‘１’よりも大きいか否かを示す第３フラグ（ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ）がシグナルされてよい。第３フラグ（ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ）が、モーションベクトル差分値の絶対値が‘１’よりも大きくないことを示す場合に、デコーダは、モーションベクトル差分値の絶対値が‘１’であると判断できる。
逆に、第３フラグ（ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ）が、モーションベクトル差分値の絶対値が‘１’よりも大きいことを示す場合に、デコーダは、モーションベクトル差分値に対するさらに他の情報を用いてモーションベクトル差分値の絶対値を取得することができる。例えば、（モーションベクトル差分値の絶対値－２）値（ａｂｓ＿ｍｖｄ＿ｍｉｎｕｓ２）がシグナルされてよい。モーションベクトル差分値の絶対値が‘１’よりも大きい場合に、モーションベクトル差分値の絶対値は２以上の値であり得るためである。
前述したように、現在ブロックのモーションベクトル差分値の絶対値は、少なくとも１つのフラグに変形されてよい。例えば、モーションベクトル差分値の変形された絶対値は、モーションベクトル差分値のサイズによって（モーションベクトル差分値の絶対値－Ｎ）を示すことができる。一実施例によって、モーションベクトル差分値の変形された絶対値は、少なくとも１つのビットでシグナルされてよい。この時、モーションベクトル差分値の変形された絶対値を示すためにシグナルされるビットの個数は、可変的であってよい。エンコーダは、モーションベクトル差分値の変形された絶対値を可変長二進化方法を用いてエンコードすることができる。例えば、エンコーダは、可変長二進化方法として、切捨単項（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）二進化、単項（ｕｎａｒｙ）二進化、切捨ライス（ｔｒｕｎｃａｔｅｄ ｒｉｃｅ）又は指数ゴロム（ｅｘｐ－Ｇｏｌｏｍｂ）二進化のうち少なくとも１つを用いることができる。
また、モーションベクトル差分値の符号は、符号フラグ（ｍｖｄ＿ｓｉｇｎ＿ｆｌａｇ）でシグナルされてよい。一方、モーションベクトル差分値の符号は、符号ビットハイディング（ｓｉｇｎ－ｂｉｔ－ｈｉｄｉｎｇ）によって暗黙的にシグナルされてもよい。
また、図９で、［０］と［１］は、ｃｏｍｐｏｎｅｎｔインデックスを示すことができる。例えば、ｘ－ｃｏｍｐｏｎｅｎｔ、ｙ－ｃｏｍｐｏｎｅｎｔを示すことができる。
図１０は、本開示の一実施例に係る適用的モーションベクトルレゾリューション（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）シグナリングを示す図である。
本開示の一実施例をよれば、モーションベクトル又はモーションベクトル差分値（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）を示すレゾリューション（ｒｅｓｏｌｕｔｉｏｎ）は、様々であり得る。言い換えると、モーションベクトル又はモーションベクトル差分値がコードされるレゾリューションは、様々であり得る。例えば、レゾリューションは、ピクセル（ｐｉｘｅｌ，ｐｅｌ）に基づいて示すことができる。例えば、１／４（ｑｕａｒｔｅｒ）、１／２（ｈａｌｆ）、１（ｉｎｔｅｇｅｒ）、２、４ピクセルなどの単位でモーションベクトル又はモーションベクトル差分値をシグナルすることができる。例えば、１６を示したいときに、１／４単位にすれば６４でコードし（１／４＊６４＝１６）、１単位にすれば１６でコードし（１＊１６＝１６）、４単位にすれば４でコードすることができる（４＊４＝１６）。すなわち、次のように値を決定することができる。
ｖａｌｕｅＤｅｔｅｒｍｉｎｅｄ＝ｒｅｓｏｌｕｔｉｏｎ＊ｖａｌｕｅＰｅｒＲｅｓｏｌｕｔｉｏｎ
ここで、ｖａｌｕｅＤｅｔｅｒｍｉｎｅｄは、伝達する値、本実施例ではモーションベクトル又はモーションベクトル差分値であってよい。また、ｖａｌｕｅＰｅｒＲｅｓｏｌｕｔｉｏｎは、［／レゾリューション］単位で示す値であってよい。
この時、モーションベクトル又はモーションベクトル差分値でシグナルする値がレゾリューションで割り切れない場合には、ラウンディング（ｒｏｕｎｄｉｎｇ）などにより、予測（ｐｒｅｄｉｃｔｉｏｎ）性能が最良であるモーションベクトル又はモーションベクトル差分値ではなく不正確な値を送ることがある。高いレゾリューションを使用すると、不正確さを低減させることができるが、コードされる値が大きいため多いビットを使用することがあり、低いレゾリューションを使用すると、不正確さが増加することがあるが、コードされる値が小さいため少ないビットを使用することができる。
また、前記レゾリューションをブロック、ＣＵ、スライスなどの単位で個別に設定することが可能である。したがって、単位に合わせて適応的にレゾリューションを適用することができる。
前記レゾリューションは、エンコーダからデコーダにシグナルされてよい。この時、レゾリューションに対するシグナリングは、前述した可変長（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ）に２進化（ｂｉｎａｒｉｚａｔｉｏｎ）したシグナリングであってよい。このような場合、最も小さい値（最も前にある値）に該当するインデックスでシグナルすれば、シグナリングオーバーヘッドが低減する。
一実施例として、高いレゾリューション（細かいシグナリング）から低いレゾリューションの順にシグナリングインデックスにマッチさせることができる。
図１０は、３つのレゾリューションに対するシグナリングを示している。このような場合、３つのシグナリングは、０、１０、１１でよく、３つのシグナリングのそれぞれが、レゾリューション１、レゾリューション２、レゾリューション３に該当し得る。レゾリューション１をシグナルするためには１ビットが必要であり、残りのレゾリューションをシグナルするために２ビットが必要であり、よって、レゾリューション１をシグナルする時にシグナリングオーバーヘッドが少ない。図１０の例では、レゾリューション１、レゾリューション２、レゾリューション３がそれぞれ、１／４、１、４ｐｅｌである。
以下の発明において、モーションベクトルレゾリューションは、モーションベクトル差分値のレゾリューションを意味できる。
図１１は、本開示の一実施例に係るインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）関連シンタックス（ｓｙｎｔａｘ）を示す図である。
本開示の一実施例をよれば、インター予測方法は、スキップモード、マージモード、インターモードなどを含むことができる。一実施例をよれば、スキップモードではレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）が伝送されなくてよい。また、スキップモードにおいてマージモードのようなＭＶ決定方法を使用することができる。スキップモードの使用されるか否かは、スキップフラグ（ｓｋｉｐ ｆｌａｇ）によって決定されてよい。図１１を参照すると、ｃｕ＿ｓｋｉｐ＿ｆｌａｇ値によって、スキップモードの使用されるか否かが決定されてよい。
一実施例をよれば、マージモードでは、モーションベクトル差分値を使用しなくてよい。モーションベクトルインデックスに基づいてモーションベクトルを決定することができる。マージモードの使用されるか否かは、マージフラグ（ｍｅｒｇｅ ｆｌａｇ）によって決定されてよい。図１１を参照すると、ｍｅｒｇｅ＿ｆｌａｇ値によって、マージモードの使用されるか否かが決定されてよい。また、スキップモードを使用しない場合にマージモードを使用することが可能である。
スキップモード又はマージモードにおいて１つ以上の候補リスト（ｃａｎｄｉｄａｔｅ ｌｉｓｔ）種類の中で選択的に使用することが可能である。例えば、マージ候補（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）又はサブブロックマージ候補（ｓｕｂｂｌｏｃｋ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を使用することが可能である。また、マージ候補は、空間的隣候補（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｃａｎｄｉｄａｔｅ）、時間的候補（ｔｅｍｐｏｒａｌ ｃａｎｄｉｄａｔｅ）などを含むことができる。また、マージ候補は、現在ブロック（ＣＵ）全体に対するモーションベクトルを使用する候補を含むことができる。すなわち、現在ブロックに属する各サブブロックのモーションベクトルが同一候補を含むことができる。また、サブブロックマージ候補は、サブブロックベースの時間的ＭＶ、アファインマージ候補などを含むことができる。また、サブブロックマージ候補は、現在ブロック（ＣＵ）のサブブロック別に異なるモーションベクトルを使用することが可能な候補を含むことができる。アファインマージ候補は、アファインモーション予測のコントロールポイントモーションベクトルを決定する際に、モーションベクトル差分値を使用しないで決定する方法で作った方法であってよい。また、サブブロックマージ候補は、現在ブロックでサブブロック単位でモーションベクトルを決定する方法を含むことができる。例えば、サブブロックマージ候補は、前述したサブブロックベースの時間的ＭＶとアファインマージ候補の他にも、平面（ｐｌａｎａｒ）ＭＶ、回帰ベースＭＶ（ｒｅｇｒｅｓｓｉｏｎ ｂａｓｅｄ ＭＶ）、ＳＴＭＶＰなどを含むことができる。
一実施例をよれば、インターモードではモーションベクトル差分値を使用することができる。モーションベクトルインデックスに基づいてモーションベクトル予測子を決定し、前記モーションベクトル予測子とモーションベクトル差分値に基づいてモーションベクトルを決定することができる。インターモードの使用されるか否かは、他のモードの使用されるか否かによって決定されてよい。さらに他の実施例として、インターモードの使用されるか否かは、フラグによって決定されてよい。図１１では、他のモードであるスキップモードとマージモードを使用しない場合にインターモードを使用する例を示している。
インターモードは、ＡＭＶＰモード、アファインインターモードなどを含むことができる。インターモードは、モーションベクトル予測子とモーションベクトル差分値に基づいてモーションベクトルを決定するモードであってよい。アファインインターモードは、アファインモーション予測のコントロールポイントモーションベクトルを決定する時にモーションベクトル差分値を使用する方法であってよい。
図１１を参照すると、スキップモード又はマージモードと決定された後に、サブブロックマージ候補を使用するか、マージ候補を使用するかを決定することができる。例えば、特定条件を満たす場合にサブブロックマージ候補を使用するか否かを示すｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースすることができる。また、前記特定条件は、ブロックサイズと関連した条件であってよい。例えば、幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、面積（ａｒｅａ）などに関する条件でよく、これらを組み合わせて使用することができる。図１１を参照すると、例えば、現在ブロック（ＣＵ）の幅及び高さが特定値以上である時の条件であってよい。ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースする場合には、その値を０と推論（ｉｎｆｅｒ）することができる。仮にｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが１の場合にサブブロックマージ候補を使用し、０の場合にマージ候補を使用するものであってよい。サブブロックマージ候補を使用する場合に候補インデックスであるｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘをパースすることができ、マージ候補を使用する場合に、候補インデックスであるｍｅｒｇｅ＿ｉｄｘをパースすることができる。この時、候補リストの最大個数が１である場合には、パースしなくてもよい。ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘ又はｍｅｒｇｅ＿ｉｄｘをパースしない場合には、０と推論できる。
図１１は、ｃｏｄｉｎｇ＿ｕｎｉｔ関数を示しているが、イントラ予測関連内容は省略されているものでよく、図１１は、インター予測と決定された場合を示すものでよい。
図１２は、本開示の一実施例に係る多仮説予測（ｍｕｌｔｉ－ｈｙｐｏｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ）を示す図である。
前述したように、予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ブロック）に基づいてエンコード、デコードすることができる。本開示の一実施例によれば、多数の予測に基づいて予測ブロックを生成することができる。これを多仮説予測（ｍｕｌｔｉ－ｈｙｐｏｔｈｅｓｉｓ（ＭＨ）ｐｒｅｄｉｃｔｉｏｎ）と呼ぶことができる。前記予測は、ある予測方法によって生成したブロックを意味できる。また、前記多数の予測における予測方法は、イントラ予測、インター予測などの方法を含むことができる。または、前記多数の予測における予測方法は、さらに細分して、マージモード、ＡＭＶＰモード、イントラ予測の特定モードなどを意味するものであってもよい。
また、多数の予測に基づいて予測ブロックを生成する方法として、多数の予測を加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）することが可能である。
または、多数の予測の最大個数が既に設定されていてよい。例えば、多数の予測の最大個数は、２であってよい。したがって、単予測（ｕｎｉ ｐｒｅｄｉｃｔｉｏｎ）の場合に２個の予測から、双予測（ｂｉ ｐｒｅｄｉｃｔｉｏｎ）の場合に２個（１つの参照リストからの予測にのみ多数の予測を使用する場合）又は４個（２つの参照リストからの予測に多数の予測を使用する場合）の予測から予測ブロックを生成することが可能である。
または、多数の予測において使用可能な予測モードが既に設定されていてよい。または、多数の予測において使用可能な予測モード組合せが既に設定されていてよい。例えば、インター予測とイントラ予測で生成した予測を使用することが可能である。この時、インター予測やイントラ予測の一部のモードのみを多仮説予測に使用することが可能である。例えば、インター予測のうちマージモードのみを多仮説予測に使用することが可能である。または、インター予測のうちサブブロックマージ以外のマージモードのみを多仮説予測に使用することが可能である。または、イントラ予測のうち特定イントラモードのみを多仮説予測に使用することが可能である。例えば、イントラ予測のうち平面、ＤＣ、垂直、水平モードを含むモードのみを多仮説予測に使用することが可能である。
したがって、例えば、マージモードとイントラ予測への予測に基づいて予測ブロックを生成することが可能である。この時、イントラ予測には、平面、ＤＣ、垂直、水平モードのみを許容することが可能である。
図１２を参照すると、予測１と予測２に基づいて予測ブロックを生成している。この時、予測１と予測２の加重和によって予測ブロックを生成しており、この時、予測１と予測２の加重値はそれぞれ、ｗ１とｗ２である。
また、本開示の一実施例によれば、多数の予測に基づいて予測ブロックを生成する時に、多数の予測の加重値はブロック内における位置に基づくものでよい。または、多数の予測の加重値は、予測を生成するモードに基づくものでよい。
例えば、予測を生成するモードのいずれか１つがイントラ予測である場合に、予測モードに基づいて加重値を決定することができる。例えば、予測を生成するモードのいずれか１つがイントラ予測であり、方向モード（ｄｉｒｅｃｔｉｏｎａｌ ｍｏｄｅ）である場合に、参照サンプルから遠くにある位置の加重値を上げることができる。より具体的に、予測を生成するモードのいずれか１つがイントラ予測であり、方向モードであり、他の予測を生成するモードがインター予測である場合に、参照サンプルの遠い側のイントラ予測に基づいて生成した予測の加重値を上げることができる。これは、インター予測の場合に、空間的隣候補に基づいてモーション補償をすることができ、その場合、現在ブロックとＭＣのために参照した空間的隣ブロックの動きが同一又は類似である確率があり、空間的隣ブロックの近傍の予測と動きがあるオブジェクトを含む領域の予測が、他の部分に比べて正確である確率がある。すると、空間的隣ブロックの反対側の近くに、他の部分に比べてレジデュアル信号がより多く残ることがあるが、多仮説予測においてイントラ予測を使用することによってこれを相殺することができる。イントラ予測の参照サンプル位置は、インター予測の空間的隣候補の近傍であり得るので、そこから遠い側の加重値を上げることができる。
さらに他の例として、予測を生成するモードのいずれか１つがイントラ予測であり、方向モードである場合に、参照サンプルから近くにある位置の加重値を上げることができる。より具体的に、予測を生成するモードのいずれか１つがイントラ予測であり、方向モードであり、他の予測を生成するモードがインター予測である場合に、参照サンプルから近い側のイントラ予測に基づいて生成した予測の加重値を上げることができる。これは、イントラ予測において、参照サンプルの近傍で高い予測正確度を有し得るためである。
さらに他の例として、予測を生成するモードのいずれか１つがイントラ予測であり、方向モードでない場合（例えば、平面、ＤＣモードである場合）に、加重値はブロックにおける位置に関係なく一定であることが可能である。
また、多仮説予測において予測２に対する加重値は、予測１に対する加重値に基づいて決定されることが可能である。
次は、多数の予測に基づいて予測サンプルｐｂＳａｍｐｌｅｓを決定する例を示す式である。
pbSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( w * predSamples [ x ][ y ] + (8- w) * predSamplesIntra [ x ][ y ] ) >> 3 )
上記の式で、ｘとｙは、ブロック内におけるサンプルの座標を示すことができ、次の範囲であってよい。ｘ＝０．．ｎＣｂＷ－１及びｙ＝０．．ｎＣｂＨ－１。また、ｎＣｂＷとｎＣｂＨはそれぞれ、現在ブロックの幅と高さであってよい。また、ｐｒｅｄＳａｍｐｌｅｓは、インター予測によって生成したブロック／サンプルであり、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａは、イントラ予測によって生成したブロック／サンプルであってよい。また、加重値ｗは、次のように決定されてよい。
- If predModeIntra is INTRA_PLANAR or INTRA_DC or nCbW < 4 or nCbH < 4 or cIdx > 0, w is set equal to 4.
- Otherwise, if predModeIntra is INTRA_ANGULAR50 and y < (nCbH/4), w is set equal to 6.
- Otherwise, if predModeIntra is INTRA_ANGULAR50 and (nCbH/4) <= y < (nCbH/2), w is set equal to 5.
- Otherwise, if predModeIntra is INTRA_ANGULAR50 and (nCbH/2) <= y < (3 * nCbH/4), w is set equal to 4.
- Otherwise, if predModeIntra is INTRA_ANGULAR50 and (3 * nCbH/4) <= y < nCbH, w is set equal to 3.
- Otherwise, if predModeIntra is INTRA_ANGULAR18 and x < (nCbW/4), w is set equal to 6.
- Otherwise, if predModeIntra is INTRA_ANGULAR18 and (nCbW/4) <= x < (nCbW/2), w is set equal to 5.
- Otherwise, if predModeIntra is INTRA_ANGULAR18 and (nCbW/2) <= x < (3 * nCbW/4), w is set equal to 4.
- Otherwise, if predModeIntra is INTRA_ANGULAR18 and (3 * nCbW/4) <= x < nCbW, w is set equal to 3.
図１３は、本開示の一実施例に係る多仮説予測関連シンタックスを示す図である。
図１３を参照すると、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇは、多仮説予測の使用されるか否かを示すフラグであってよい。一実施例をよれば、多仮説予測は、ｍｈ＿ｃｏｎｄｉｔｉｏｎｓを満たす場合にのみ使用することが可能であり、ｍｈ＿ｃｏｎｄｉｔｉｏｎｓを満たさない場合に、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇをパースしないで０と推論することが可能である。例えば、ｍｈ＿ｃｏｎｄｉｔｉｏｎｓは、ブロックサイズに関する条件（ｃｏｎｄｉｔｉｏｎ）を含むことができる。また、ｍｈ＿ｃｏｎｄｉｔｉｏｎｓは、特定モードを使用するか否かに関する条件を含むことができる。例えば、ｍｅｒｇｅ＿ｆｌａｇが１であり、サブブロック＿ｍｅｒｇｅ＿ｆｌａｇが０である場合に、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇをパースすることが可能である。
また、本開示の一実施例をよれば、多仮説予測におけるモードを決定するために、候補モードを多数のリストに分けて入れ、どのリストを使用するかをシグナルすることが可能である。図１３を参照すると、ｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが多数のｌｉｓｔのうちどのリストを使用するかを示すフラグであってよい。仮にｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが存在しない場合に、１と推論することが可能である。また、本開示の一実施例として、前記多数のリストは、ＭＰＭリストとｎｏｎ－ＭＰＭリストであってよい。
また、本開示の一実施例をよれば、前記多数のリストのうちどのリストでどのインデックスの候補を使用するかを示すためにインデックスをシグナルすることができる。図１３を参照すると、ｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘがそのインデックスであってよい。また、一実施例として、インデックスは、特定リストが選択された場合にのみシグナルすることが可能である。図１３を参照すると、ｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇでいずれかのリストが決定された場合にのみ、ｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘをパースすることができる。
例えば、図１２で説明した一実施例のように、インター予測で生成した予測とイントラ予測で生成した予測に基づいて多仮説予測を行うことができる。また、インター予測を使用することがシグナルされた場合にのみ多仮説予測を行うことが可能である。または、マージモードのようなインター予測の特定モードを使用することがシグナルされた場合にのみ多仮説予測を行うことが可能である。その場合、インター予測に対するシグナリングは、別に行わなくて済む。また、一実施例として、イントラ予測で予測を生成する時に、候補モードは総４個であってよい。そして、総４個の候補モードをＬｉｓｔ１、Ｌｉｓｔ２に３個、１個に分けて入れることができる。この時、Ｌｉｓｔ２が選択された場合にインデックスをシグナルしなくて済む。また、Ｌｉｓｔ１が選択された場合にインデックスをシグナルすることができるが、Ｌｉｓｔ１に含まれた候補は３個であるので、可変長コーディング（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）でシグナルし、インデックスシグナリングに１ビット又は２ビットが必要であり得る。
図１４は、本開示の一実施例に係る多仮説予測関連シンタックスを示す図である。
図１３で説明したように、どのリストを使用するかを示すシグナリングが存在し得るが、図１３～図１４においてｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇがそれに該当し得る。
本開示の一実施例によれば、どのリストを使用するかを示すシグナリングは、特定の場合にのみ明示的にシグナルされてよい。また、明示的にシグナルされない場合に、既に設定された方法の通りにシグナリングの値を推論することができる。図１４を参照すると、ｍｈ＿ｍｐｍ＿ｉｎｆｅｒ＿ｃｏｎｄｉｔｉｏｎの条件を満たす場合に、明示的シグナリングが存在しなく、条件を満たさない場合に、明示的シグナリングが存在してよい。また、ｍｈ＿ｍｐｍ＿ｉｎｆｅｒ＿ｃｏｎｄｉｔｉｏｎ条件を満たす場合に、ｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが存在しなく、その場合には１と推論できる。すなわち、ＭＰＭリストを使用すると推論できる。
図１５は、本開示の一実施例に係る多仮説予測関連シンタックスを示す図である。
図１３～図１４で説明したように、どのリストを使用するかを示すシグナリングが存在してよく、ある条件を満たす場合にその値を推論できる。
本開示の一実施例によれば、どのリストを使用するかを示すシグナリング値を推論する条件は、現在ブロックサイズに基づき得る。例えば、現在ブロックの幅及び高さに基づき得る。より具体的に、現在ブロックの幅及び高さのうち大きいものが小さいもののｎ倍よりも大きい場合に、シグナリング値を推論することが可能である。例えば、ｎは２であってよい。
図１５を参照すると、どのリストを使用するかを示すシグナリング値を推論する条件は、現在ブロックの幅及び高さのうち大きいものが小さいものの２倍よりも大きい条件であってよい。現在ブロックの幅、高さがそれぞれｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔであるとすれば、Ａｂｓ（Ｌｏｇ２（ｃｂＷｉｄｔｈ／ｃｂＨｅｉｇｈｔ））値は、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔが同一である時に０、２倍差である時に１となる。したがって、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔの差が２倍よりも大きい場合に、Ａｂｓ（Ｌｏｇ２（ｃｂＷｉｄｔｈ／ｃｂＨｅｉｇｈｔ））値は１よりも大きくなる（２以上）。
図１６は、本開示の一実施例に係る多仮説予測モード決定方法を示す図である。
図１３～図１５で説明したように、モード決定は、多数のリストに基づいてなされてよい。前記モードは、イントラ予測に基づく予測を生成するイントラモードを意味できる。また、前記多数のリストがＬｉｓｔ１とＬｉｓｔ２を含むことができる。図１６を参照すると、Ｌｉｓｔ１＿ｆｌａｇでＬｉｓｔ１を使用するか否かを判断できる。また、Ｌｉｓｔ１に属し得る候補は多数であり、Ｌｉｓｔ２に属し得る候補は１個であってよい。また、多数のリストは２個のリストであってよい。
仮にＬｉｓｔ１＿ｆｌａｇが推論される場合に、その値をＬｉｓｔ１を使用するものと推論できる。その場合、Ｌｉｓｔ１でどの候補を使用するかを示すインデックスであるＬｉｓｔ１＿インデックスをパースすることができる。また、仮にＬｉｓｔ１＿ｆｌａｇが推論されない場合、Ｌｉｓｔ１＿ｆｌａｇをパースすることができる。仮にＬｉｓｔ１＿ｆｌａｇが１である場合に、Ｌｉｓｔ１＿インデックスをパースすることができ、Ｌｉｓｔ１＿ｆｌａｇが１でない場合に、インデックスをパースしなくてよい。また、Ｌｉｓｔ１＿ｆｌａｇが１である場合に、インデックスに基づいてＬｉｓｔ１の候補モードの中から実際に使用するモードを決定することができる。また、Ｌｉｓｔ１＿ｆｌａｇが１でない場合に、インデックス無しでＬｉｓｔ２の候補モードを実際に使用するモードと決定することができる。すなわち、Ｌｉｓｔ１ではフラグ及びインデックスに基づいてモードが決定され、Ｌｉｓｔ２ではフラグに基づいてモードが決定されてよい。
図１７は、本開示の一実施例に係る候補リスト生成方法を示す図である。
本開示の一実施例によれば、リスト内の候補モードを決定するインデックスを可変長コーディングする場合に、コーディング効率を上げるために、候補リストに含まれるモード順序を決定する方法が存在してよい。例えば、Ｌｉｓｔ１に含まれるモード順序を決定する方法が存在してよい。このとき、モード順序を決定するために、現在ブロック周辺のモードを参照することができる。また、Ｌｉｓｔ２は、現在ブロック周辺のモードを参照しないで決定することができる。例えば、現在ブロック周辺のモードを参照してＬｉｓｔ１を生成し、Ｌｉｓｔ１に含まれていないモードをＬｉｓｔ２に含めることができる。
また、Ｌｉｓｔ１はＭＰＭモードであり、Ｌｉｓｔ２はｎｏｎ－ＭＰＭモードであってよい。また全候補モードは４個であり、Ｌｉｓｔ１に３個、Ｌｉｓｔ２に１個のモードが含まれてよい。
図１７を参照すると、Ｌｉｓｔ１が用いられるか否かを示すシグナリングであるＬｉｓｔ１＿ｆｌａｇが存在してよい。仮にＬｉｓｔ１が用いられる場合に、Ｌｉｓｔ１を生成し、Ｌｉｓｔ１中のモードが選択されてよい。この時、Ｌｉｓｔ１生成とＬｉｓｔ１の使用されるか否かの確認は、いかなる順序であってもよい。ただし、Ｌｉｓｔ１が用いられる状況では、Ｌｉｓｔ１の使用されるか否かを確認する前又は後にＬｉｓｔ１が生成されてよい。また、Ｌｉｓｔ１が用いられる場合に、Ｌｉｓｔ２を生成する過程を行わなくて済む。仮にＬｉｓｔ１が使用されない場合にＬｉｓｔ２を生成し、Ｌｉｓｔ２中のモードが選択されてよい。この時、Ｌｉｓｔ２を生成するためにＬｉｓｔ１を生成することが可能である。そして、候補モードのうち、Ｌｉｓｔ１に含まれない候補をＬｉｓｔ２に含めることが可能である。
また、本開示の一実施例によれば、Ｌｉｓｔ１生成方法は、Ｌｉｓｔ１の使用されるか否か（Ｌｉｓｔ１＿ｆｌａｇ値）、Ｌｉｓｔ１の使用されるか否かを推論するか否かなどに関係なく同一であってよい。
この時、Ｌｉｓｔシグナリングとモードシグナリングは、図１６などで前述した実施例に従うことができる。
次に、図１６～図１７で説明した多数のリスト生成方法をさらに説明する。前記多数のリストは、Ｌｉｓｔ１とＬｉｓｔ２を含むことができる。また、前記多数のリストは、特に多仮説予測過程で使用するリストであってよい。
本開示の一実施例によれば、現在ブロック周辺のモードを参照して多数のリストを生成することができる。また、前記多数のリストから選択したモードを用いてイントラ予測をし、前記イントラ予測をインター予測と結合（多仮説予測）して予測ブロックとして使用することができる。一実施例として、前記多数のリストに含まれてよいモード（候補モード）は、イントラ予測方法の平面モード、ＤＣモード、垂直モード、水平モードであってよい。また、垂直モードは、図６でインデックス５０のモードで、水平モードは、図６でインデックス１８のモードであってよい。また、平面モードとＤＣモードはそれぞれ、インデックス０、１であってよい。
本開示の一実施例によれば、現在ブロック周辺のモードを参照してｃａｎｄＭｏｄｅＬｉｓｔを生成することができる。また、ｃａｎｄＭｏｄｅＬｉｓｔは、先の実施例で説明したＬｉｓｔ１であってよい。一実施例として、現在ブロック周辺のモード或いは現在ブロック周辺のモードに基づくモードであるｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸが存在してよい。ここで、ＸはＡ、Ｂなどの、現在ブロック周辺の特定位置に該当することを示すための文字であってよい。
一実施例として、多数のｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸが一致するか否かに基づいてｃａｎｄＭｏｄｅＬｉｓｔを生成することができる。例えば、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸは２つの位置に対して存在してよく、それをｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢと表すことができる。仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一である場合、ｃａｎｄＭｏｄｅＬｉｓｔは平面モードとＤＣモードを含むことができる。
仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢとが同一であり、その値が平面モード又はＤＣモードを示す場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが示すモードをｃａｎｄＭｏｄｅＬｉｓｔに追加することができる。また、この場合、平面モードとＤＣモードのうち、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが示していないモードをｃａｎｄＭｏｄｅＬｉｓｔに追加することができる。また、この場合、平面モード又はＤＣモードではなく既に設定されたモードをｃａｎｄＭｏｄｅＬｉｓｔに追加することができる。一実施例として、この場合、平面モード、ＤＣモード、前記既に設定されたモードのｃａｎｄＭｏｄｅＬｉｓｔ内における順序が既に設定されていてよい。例えば、平面、ＤＣ、前記既に設定されたモードの順序であってよい。すなわち、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝平面モード、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ＤＣモード、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝前記既に設定されたモードであってよい。また、前記既に設定されたモードは、垂直モードであってよい。さらに他の実施例として、この場合、平面モード、ＤＣモード、前記既に設定されたモードのうち、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが示すモードがｃａｎｄＭｏｄｅＬｉｓｔの最先頭に位置し、平面モードとＤＣモードのうち、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが示していないモードがｃａｎｄＭｏｄｅＬｉｓｔの次に位置し、前記既に設定されたモードがその次に位置することが可能である。
また、仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、その値が平面モードとＤＣモードを示さない場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが示すモードを、ｃａｎｄＭｏｄｅＬｉｓｔに追加することができる。また、平面モードとＤＣモードがｃａｎｄＭｏｄｅＬｉｓｔに追加されてよい。また、この場合、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが示すモードと平面モード、ＤＣモードのｃａｎｄＭｏｄｅＬｉｓｔ内における順序は、既に設定されていてよい。また、既に設定された順序は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが示すモード、平面モード、ＤＣモードの順であってよい。すなわち、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝平面モード、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ＤＣモードであってよい。
また、仮に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが異なる場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢはいずれもｃａｎｄＭｏｄｅＬｉｓｔに追加することができる。またｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢは特定の順序に従ってｃａｎｄＭｏｄｅＬｉｓｔに含まれてよい。例えば、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢの順にｃａｎｄＭｏｄｅＬｉｓｔに含まれてよい。また、候補モード間に既に設定された順序があってよく、前記既に設定された順序に従うモードのうち、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ以外のモードをｃａｎｄＭｏｄｅＬｉｓｔに追加することができる。また、前記ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ以外のモードは、ｃａｎｄＭｏｄｅＬｉｓｔ内でｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢよりも後に位置してよい。また、前記既に設定された順序は、平面モード、ＤＣモード、垂直モードであってよい。または、前記既に設定された順序は、平面モード、ＤＣモード、垂直モード、水平モードであってよい。すなわち、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢであってよく、ｃａｎｄＭｏｄｅＬｉｓｔ［２］は平面モード、ＤＣモード、垂直モードのうち、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡでなく、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢでない最先頭にあるモードであってよい。
また、候補モードのうち、ｃａｎｄＭｏｄｅＬｉｓｔに含まれていないモードがｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＣになってよい。また、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＣはＬｉｓｔ２に含まれてよい。また、これは、前述したＬｉｓｔ１が用いられる否かを示すシグナリングが、使用しないと示す場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＣを決めることが可能である。
また、Ｌｉｓｔ１を使用する場合に、ｃａｎｄＭｏｄｅＬｉｓｔの中でインデックスによってモードを決定し、Ｌｉｓｔ１を使用しない場合にＬｉｓｔ２のモードを使用することが可能である。
また、説明したように、ｃａｎｄＭｏｄｅＬｉｓｔを生成した後に、ｃａｎｄＭｏｄｅＬｉｓｔを修正する過程が追加されてよい。例えば、現在ブロックサイズ条件によって、前記修正する過程をさらに行っても行わなくてもよい。例えば、前記現在ブロックサイズ条件は、現在ブロックの幅と高さに基づき得る。例えば、現在ブロックの幅と高さのうち、大きいものが、小さいもののｎ倍よりも大きい場合に、前記修正する過程をさらに行うことができる。ｎは２であってよい。
また、前記修正する過程は、ｃａｎｄＭｏｄｅＬｉｓｔにいずれかのモードが含まれているとき、そのモードを他のモードに代替する過程であってよい。例えば、ｃａｎｄＭｏｄｅＬｉｓｔに垂直モードが含まれているとき、垂直モードに代えて水平モードをｃａｎｄＭｏｄｅＬｉｓｔに入れることができる。または、ｃａｎｄＭｏｄｅＬｉｓｔに垂直モードが含まれているとき、垂直モードに代えて前記ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＣをｃａｎｄＭｏｄｅＬｉｓｔに入れることができる。しかし、前述したｃａｎｄＭｏｄｅＬｉｓｔを生成すると、平面モードとＤＣモードは常にｃａｎｄＭｏｄｅＬｉｓｔに含まれてよく、この場合、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＣは水平モードであってよい。また、このような修正する過程を使用することは、現在ブロックの高さが幅に比べてｎ倍よりも大きい時であってよい。例えば、ｎは２であってよい。これは、高さが幅よりも大きい場合に、ブロックの下方はイントラ予測の参照サンプルから遠いため、垂直モードの正確度が低いことがあるためである。または、このような修正する過程を使用することは、Ｌｉｓｔ１を使用すると推論される場合であってよい。
前記修正する過程のさらに他の例として、ｃａｎｄＭｏｄｅＬｉｓｔに水平モードが含まれているとき、水平モードに代えて垂直モードをｃａｎｄＭｏｄｅＬｉｓｔに入れることができる。または、ｃａｎｄＭｏｄｅＬｉｓｔに水平モードが含まれているとき、水平モードに代えて前記ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＣをｃａｎｄＭｏｄｅＬｉｓｔに入れることができる。しかし、前述したｃａｎｄＭｏｄｅＬｉｓｔを生成すると平面モードとＤＣモードは常にｃａｎｄＭｏｄｅＬｉｓｔに含まれてよく、この場合、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＣは垂直モードであってよい。また、このような修正する過程を使用することは、現在ブロックの幅が高さに比べてｎ倍よりも大きい時であってよい。例えば、ｎは２であってよい。これは、幅が高さよりも大きい場合に、ブロック右側はイントラ予測の参照サンプルから遠いため、水平モードの正確度が低いことがあるためである。または、このような修正する過程を使用することは、Ｌｉｓｔ１を使用すると推論される場合であってよい。
上述したリスト設定方法の例を、下記に再び述べる。下記において、ＩｎｔｒａＰｒｅｄＭｏｄｅＹは、多仮説予測においてイントラ予測のために使用するモードであってよい。また、これは、ルマ成分（ｌｕｍａ ｃｏｍｐｏｎｅｎｔ）のモードであってよい。一実施例として、多仮説予測においてクロマ成分（ｃｈｒｏｍａ ｃｏｍｐｏｎｅｎｔ）のイントラ予測モードは、ルマ成分のモードに追従してよい。また、ｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇは、どのリストを使用するかを示すシグナリングであってよい。すなわち、例えば、図１３～図１５のｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ、図１６～図１７のＬｉｓｔ１＿ｆｌａｇであってよい。また、ｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘは、リスト内のどの候補を使用するかを示すインデックスであってよい。すなわち、例えば、図１３～図１５のｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ、図１６のＬｉｓｔ１＿インデックスであってよい。またｘＣｂ、ｙＣｂは、現在ブロックの上左端（ｔｏｐ－ｌｅｆｔ）のｘ、ｙ座標であってよい。また、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔは、現在ブロックの幅と高さであってよい。
The candModeList[ x ] with x = 0..2 is derived as follows:
A. If candIntraPredModeB is equal to candIntraPredModeA, the following applies:
a. If candIntraPredModeA is less than 2 (i.e., equal to INTRA_PLANAR or INTRA_DC), candModeList[ x ] with x = 0..2 is derived as follows:
candModeList[ 0 ] = INTRA_PLANAR
candModeList[ 1 ] = INTRA_DC
candModeList[ 2 ] = INTRA_ANGULAR50
b. Otherwise, candModeList[ x ] with x = 0..2 is derived as follows:
candModeList[ 0 ] = candIntraPredModeA
candModeList[ 1 ] = INTRA_PLANAR
candModeList[ 2 ] = INTRA_DC
B. Otherwise (candIntraPredModeB is not equal to candIntraPredModeA), the following applies:
a. candModeList[ 0 ] and candModeList[ 1 ] are derived as follows:
candModeList[ 0 ] = candIntraPredModeA
candModeList[ 1 ] = candIntraPredModeB
b. If neither of candModeList[ 0 ] and candModeList[ 1 ] is equal to INTRA_PLANAR, candModeList[ 2 ] is set equal to INTRA_PLANAR,
c. Otherwise, if neither of candModeList[ 0 ] and candModeList[ 1 ] is equal to INTRA_DC, candModeList[ 2 ] is set equal to INTRA_DC,
d. Otherwise, candModeList[ 2 ] is set equal to INTRA_ANGULAR50.
IntraPredModeY[ xCb ][ yCb ] is derived by applying the following procedure:
A. If mh_intra_luma_mpm_flag[ xCb ][ yCb ] is equal to 1, the
IntraPredModeY[ xCb ][ yCb ] is set equal to candModeList[ intra_luma_mpm_idx[ xCb ][ yCb ] ].
B. Otherwise, IntraPredModeY[ xCb ][ yCb ] is set to equal to candIntraPredModeC, derived by applying the following steps:
a. If neither of candModeList[ x ], x = 0..2 is equal to INTRA_PLANAR, candIntraPredModeC is set equal to INTRA_PLANAR,
b. Otherwise, if neither of candModeList[ x ], x = 0..2 is equal to INTRA_DC, candIntraPredModeC is set equal to INTRA_DC,
c. Otherwise, if neither of candModeList[ x ], x = 0..2 is equal to INTRA_ANGULAR50, candIntraPredModeC is set equal to INTRA_ANGULAR50,
d. Otherwise, if neither of candModeList[ x ], x = 0..2 is equal to INTRA_ANGULAR18. candIntraPredModeC is set equal to INTRA_ANGULAR18,
The variable IntraPredModeY[ x ][ y ] with x = xCb..xCb + cbWidth - 1 and y = yCb..yCb + cbHeight - 1 is set to be equal to IntraPredModeY[ xCb ][ yCb ]. One additional setting is when cbHeight is larger than double of cbWidth, mh_intra_luma_mpm_flag[ xCb ][ yCb ] is inferred to be 1 and if candModeList[ x ], x = 0..2 is equal to INTRA_ANGULAR50, candModeList[ x ] is replaced with candIntraPredModeC. Another additional setting is when cbWidth is larger than double of cbHeight, mh_intra_luma_mpm_flag[ xCb ][ yCb ] is inferred to be 1 and if candModeList[ x ], x = 0..2 is equal to INTRA_ANGULAR18, candModeList[ x ] is replaced with candIntraPredModeC.
図１８は、本開示の一実施例に係る多仮説予測において参照する周辺位置を示す図である。
前述したように、多仮説予測の候補リストを作る過程で周辺位置を参照することができる。例えば、前述したｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸが必要であり得る。この時、参照する現在ブロック周辺のＡとＢの位置は、図１８に示すＮｂＡとＮｂＢであってよい。すなわち、現在ブロックの上左端の直ぐ左側と直ぐ上側であってよい。仮に現在ブロックの上左端の位置が図１８に示しているようにＣｂであり、その座標が（ｘＣｂ，ｙＣｂ）であるとき、ＮｂＡは、（ｘＮｂＡ，ｙＮｂＡ）＝（ｘＣｂ－１，ｙＣｂ）であり、ＮｂＢは、（ｘＮｂＢ，ｙＮｂＢ）＝（ｘＣｂ，ｙＣｂ－１）であってよい。
図１９は、本開示の一実施例に係る周辺のモードを参照する方法を示す図である。
前述したように、多仮説予測の候補リストを作る過程で周辺位置を参照することができる。また、周辺のモードをそのまま使用するか周辺のモードに基づくモードを使用してリストを生成することが可能である。周辺位置を参照して得たモードがｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸであってよい。
一実施例として、周辺位置が使用不可である場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸは、既に設定されたモードになってよい。使用不可な場合は、周辺位置がインター予測を使用した場合、定められたデコーディング、エンコーディングの順序上モード決定がされていない場合などを含むことができる。
または、周辺位置が多仮説予測を使用しない場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸは、既に設定されたモードになってよい。
または、周辺位置が現在ブロックの属したＣＴＵを越えて上にある場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸは、既に設定されたモードになってよい。さらに他の例として、周辺位置が現在ブロックの属したＣＴＵを外れる場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸは、既に設定されたモードになってよい。
また、一実施例として、前記既に設定されたモードは、ＤＣモードであってよい。さらに他の実施例として、前記既に設定されたモードは、平面モードであってよい。
また、仮に周辺位置のモードがスレショルド（ｔｈｒｅｓｈｏｌｄ）角度を超えるか否か或いは周辺位置のモードのインデックスがスレショルドを超えるか否かによってｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを設定することができる。例えば、周辺位置のモードのインデックスが対角モードインデックス（ｄｉａｇｏｎａｌ ｍｏｄｅ ｉｎｄｅｘ）よりも大きい場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを垂直モードインデックスに設定することができる。また、周辺位置のモードのインデックスが対角モードインデックス以下であり、方向モードである場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを水平モードインデックスに設定することができる。対角モードインデックスは、図６でモード３４であってよい。
また、仮に周辺位置のモードが平面モード又はＤＣモードである場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸは、そのまま平面モード又はＤＣモードに設定されてよい。
図１９を参照すると、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇは、多仮説予測を使用するか（使用したか）否かを示すシグナリングであってよい。また、隣ブロックで使用したイントラ予測モードがＸであってよい。また、現在ブロックが多仮説予測を使用でき、周辺ブロックのモードに基づくｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅを使用して候補リストを生成できるが、周辺が多仮説予測を使用していないので、周辺ブロックのイントラ予測モードがいずれであっても、また、周辺ブロックがイントラ予測を使用したか否かにかかわらず、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅを、既に設定されたモードであるＤＣモードに設定することができる。
上述した周辺モード参照方法の例を、下記に再び述べる。
For X being replaced by either A or B, the variables candIntraPredModeX are derived as follows:
1. The availability derivation process for a block as specified in Neighbouring blocks availability checking process is invoked with the location ( xCurr, yCurr ) set equal to ( xCb, yCb ) and the neighbouring location ( xNbY, yNbY ) set equal to ( xNbX, yNbX ) as inputs, and the output is assigned to availableX.
2. The candidate intra prediction mode candIntraPredModeX is derived as follows:
A. If one or more of the following conditions are true, candIntraPredModeX is set equal to INTRA_DC.
a. The variable availableX is equal to FALSE.
b. mh_intra_flag[ xNbX ][ yNbX ] is not equal to 1.
c. X is equal to B and yCb - 1 is less than ( ( yCb >> CtbLog2SizeY ) << CtbLog2SizeY ).
B. Otherwise, if IntraPredModeY[ xNbX ][ yNbX ] > INTRA_ANGULAR34, candIntraPredModeX is set equal to INTRA_ANGULAR50.
C. Otherwise, if IntraPredModeY[ xNbX ][ yNbX ] <= INTRA_ANGULAR34 and IntraPredModeY[ xNbX ][ yNbX ] > INTRA_DC, candIntraPredModeX is set equal to INTRA_ANGULAR18.
D. Otherwise, candIntraPredModeX is set equal to IntraPredModeY[ xNbX ][ yNbX ].
前述したリスト設定方法においてｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸは、前記周辺モード参照方法によって決定されてよい。
図２０は、本開示の一実施例に係る候補リスト生成方法を示す図である。
図１３～図１７で説明したＬｉｓｔ１とＬｉｓｔ２生成方法によれば、現在ブロック周辺のモードを参照してＬｉｓｔ１を生成し、候補モードのうちＬｉｓｔ１に含まれていないモードをＬｉｓｔ２に入れることができる。ピクチャーにおいて空間的な類似性があるので、周辺のモードを参照しているものは、優先順位の高いものであり得る。すなわち、Ｌｉｓｔ１がＬｉｓｔ２に比べて優先順位が高くてよい。しかしながら、図１３～図１７で説明したＬｉｓｔ１とＬｉｓｔ２シグナリング方法によれば、リストを決定するシグナリングが推論されない場合にＬｉｓｔ１のモードを使用するので、フラグとインデックスを使用してシグナルし、Ｌｉｓｔ２のモードを使用するので、フラグのみを使用することができる。すなわち、Ｌｉｓｔ２のシグナリングが相対的に少ないビットを使用することができる。しかし、優先順位の高いリストのモードに相対的多いビットがシグナリングのために用いられることは、コーディング効率の側面でよくないことがある。したがって、本開示のような優先順位の高いリスト及びモードに相対的少ないビットのシグナリングを使用する方法があり得る。
本開示の一実施例によれば、Ｌｉｓｔ１のみ使用可能か否かによって候補リスト生成方法が異なってよい。Ｌｉｓｔ１のみ使用可能か否かは、使用するリストを示すシグナリングが推論されるか否かを示すことができる。例えば、候補モードを有し、既に設定された方法によって生成するＬｉｓｔ３がある場合には、Ｌｉｓｔ３をＬｉｓｔ１とＬｉｓｔ２に分けて入れることができる。例えば、既に設定された方法によって生成するＬｉｓｔ３及び生成方法は、前述したｃａｎｄＭｏｄｅＬｉｓｔ及びその生成方法であってよい。仮に、使用するリストを示すシグナリングが推論される場合に、Ｌｉｓｔ１のみを使用することができ、その場合、Ｌｉｓｔ３の先頭部からＬｉｓｔ１に埋めることができる。また、仮に、使用するリストを示すシグナリングが推論されない場合に、Ｌｉｓｔ１又はＬｉｓｔ２が使用されてよく、その場合、Ｌｉｓｔ３の先頭部からＬｉｓｔ２に満たし、残りをＬｉｓｔ１に満たすことができる。また、この場合、Ｌｉｓｔ１を埋める時にもＬｉｓｔ３の順序で埋めることが可能である。すなわち、現在ブロック周辺のモードを参照してｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを候補リストに入れることができるが、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを、リストを示すシグナリングが推論される場合にＬｉｓｔ１に入れ、推論されない場合にＬｉｓｔ２に入れることができる。Ｌｉｓｔ２のサイズが１であってよく、その場合、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡを、リストを示すシグナリングが推論される場合にＬｉｓｔ１に入れ、推論されない場合にＬｉｓｔ２に入れることができる。ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡは、前記Ｌｉｓｔ３の最先頭のモードであるＬｉｓｔ３［０］であってよい。したがって、本開示では、場合によってＬｉｓｔ１とＬｉｓｔ２の両方に、周辺モードに基づくモードであるｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡがそのまま入ってよい。一方、図１３～図１７で説明した方法では、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡはＬｉｓｔ１にのみ入ることができた。また、本開示では、Ｌｉｓｔ１生成方法が、使用するリストを示すシグナリングが推論されるか否かによって異なってくる。
図２０を参照すると、候補モードは、多仮説予測のイントラ予測を生成するために使用できる候補であってよい。使用するリストを示すシグナリングであるＬｉｓｔ１＿ｆｌａｇが推論されるか否かによって候補リスト生成方法が異なってよい。仮に推論される場合には、Ｌｉｓｔ１を使用すると推論されてよく、Ｌｉｓｔ１のみを使用できるので、Ｌｉｓｔ３の最上位にあるものからＬｉｓｔ１に入れることができる。Ｌｉｓｔ３を生成する際には、周辺のモードに基づくモードを最上位に入れることができる。また、仮に推論されない場合には、Ｌｉｓｔ１とＬｉｓｔ２の両方とも用いられていので、Ｌｉｓｔ３の最上位にあるものから、シグナリングの少ないＬｉｓｔ２に入れることができる。そして、Ｌｉｓｔ１が必要である場合に、例えば、Ｌｉｓｔ１を使用するとシグナルされた場合に、Ｌｉｓｔ３のうち、Ｌｉｓｔ２に含まれた以外のものをＬｉｓｔ１に入れることができる。
本開示において、Ｌｉｓｔ３を使用して説明した部分があるが、これは概念的な説明でよく、実際にＬｉｓｔ３を保存しないでＬｉｓｔ１、Ｌｉｓｔ２を生成することが可能である。
下の実施例によって、候補リストを作る方法と図１６～図１７で説明した候補リスト作る方法を、場合によって使用することが可能である。例えば、どのリストを使用するかを示すシグナリングが推論されるか否かによって、２種類の候補リストを作る方法のいずれかを選択することができる。また、これは、多仮説予測の場合であってよい。また、下のＬｉｓｔ１は３個のモードが入ってよく、Ｌｉｓｔ２は１個のモードが入ってよい。また、モードシグナリング方法は、図１３～図１６で説明したように、Ｌｉｓｔ１のモードはフラグ及びインデックスでシグナルし、Ｌｉｓｔ２のモードはフラグでシグナルすることが可能である。
一実施例として、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが平面モード又はＤＣモードの時に、Ｌｉｓｔ２［０］＝平面モード、Ｌｉｓｔ１［０］＝ＤＣモード、Ｌｉｓｔ１［１］＝垂直モード、Ｌｉｓｔ１［２］＝水平モードであってよい。
さらに他の実施例として、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが平面モード又はＤＣモードの時に、Ｌｉｓｔ２［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、Ｌｉｓｔ１［０］＝！ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、Ｌｉｓｔ１［１］＝垂直モード、Ｌｉｓｔ１［２］＝水平モードであってよい。
一実施例として、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが方向モードの時に、Ｌｉｓｔ２［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、Ｌｉｓｔ１［０］＝平面モード、Ｌｉｓｔ１［１］＝ＤＣモード、Ｌｉｓｔ１［２］＝垂直モードであってよい。
一実施例として、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが異なる場合に、Ｌｉｓｔ２［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、Ｌｉｓｔ１［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢであってよい。Ｌｉｓｔ１［１］とＬｉｓｔ１［２］は、平面モード、ＤＣモード、垂直モード、水平モードのうち、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢでないものから埋めることができる。
図２１は、本開示の一実施例に係る候補リスト生成方法を示す図である。
先の実施例では多数のリストに基づいてモードを決定する方法を説明した。図２１の発明では、多数のリストではなく１つのリストに基づいてモードを決定することができる。
図２１を参照すると、図２１（ａ）に示すように、多仮説予測の候補モードを全て含む１つの候補リストを生成することができる。候補リストが１つであるので、図２１（ｂ）を参照すると、リストを選択するシグナリングは存在しなく、候補リストのモードのうちどのモードを使用するかを示すインデックスシグナリングがあってよい。したがって、多仮説予測の使用されるか否かを示すｍｈ＿ｉｎｔｒａ＿ｆｌａｇが１である場合に、候補インデックスであるｍｈ＿ｉｎｔｒａ＿ｌｕｍａ＿ｉｄｘをパースすることができる。
一実施例によれば、多仮説予測の候補リスト生成方法は、既存イントラ予測においてＭＰＭリスト生成方法に基づくものでよい。
一実施例によれば、多仮説予測の候補リスト生成方法は、前述した図１７で説明したＬｉｓｔ１とＬｉｓｔ２生成方法においてＬｉｓｔ１とＬｉｓｔ２の順序でつなぎ合わせた形態であってよい。
すなわち、多仮説予測の候補リストをｃａｎｄＭｏｄｅＬｉｓｔとすれば、本実施例においてｃａｎｄＭｏｄｅＬｉｓｔのサイズが４であってよい。仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、平面モード又はＤＣモードである場合に、ｃａｎｄＭｏｄｅＬｉｓｔは、既に設定された順序によって決定されてよい。例えば、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝平面モード、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ＤＣモード、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝垂直モード、ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝水平モードであってよい。
さらに他の例として、仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、平面モード又はＤＣモードである場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝！ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝垂直モード、ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝水平モードであってよい。
仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、方向モードである場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝平面モード、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ＤＣモード、ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、平面モード及びＤＣモード以外のモードであってよい。
仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが異なる場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢであってよい。また、ｃａｎｄＭｏｄｅＬｉｓｔ［２］とｃａｎｄＭｏｄｅＬｉｓｔ［３］は、候補モードの既に設定された順序によって、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ以外のモードを順次に入れることができる。前記既に設定された順序は、平面モード、ＤＣモード、垂直モード、水平モードであってよい。
本開示の一実施例によれば、ブロックサイズ条件によって候補リストが異なってよい。仮に、ブロック幅と高さのうち、相対的に大きいものが残りもののｎ倍よりも大きい場合に、候補リストはより短くてよい。例えば、幅が高さのｎ倍よりも大きい場合に、図２１で説明した候補リストにおいて水平モードを候補リストから除き、その次にあるモードを繰り上げて埋めることができる。また、高さが幅のｎ倍よりも大きい場合に、図２１で説明した候補リストにおいて垂直モードを候補リストから除き、その次にあるモードを繰り上げて埋めることができる。したがって、幅が高さのｎ倍よりも大きい場合には、候補リストサイズが３であってよい。また、幅が高さのｎ倍よりも大きい場合には、そうでない場合に比べて候補リストのサイズが小さい又は同一であってよい。
本開示の一実施例によれば、図２１の実施例の候補インデックスは可変長コーディングされてよい。これは、使用される確率が比較的高いモードをリストの先頭部に埋めることによってシグナリング効率を上げるためのものであってよい。
さらに他の実施例によれば、図２１の実施例の候補インデックスは、固定長コーディング（ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）されてよい。多仮説予測において使用するモード個数は、２の指数乗個数であってよい。例えば、前述したように、４個のイントラ予測モードの中から使用することができる。この場合、固定長コーディングしても割り当てられない値が発生しないので、シグナリングにおいて不要な部分が発生しないためである。また、固定長コーディングされる場合に、リスト構成（ｌｉｓｔ ｃｏｎｓｔｒｕｃｔｉｏｎ）される場合の数は、１個であってよい。いずれのインデックスをシグナルしてもビット数が同一であるためである。
一実施例によれば、候補インデックスが場合によって可変長コーディング又は固定長コーディングされてよい。例えば、先の実施例のように、場合によって候補リストサイズが変わってよい。一実施例として、候補リストサイズによって、候補インデックスが可変長コーディング又は固定長コーディングされてよい。例えば、候補リストサイズが２の指数乗である場合に固定長コーディングされ、２の指数乗でない場合に可変長コーディングされてよい。すなわち、先の実施例によれば、ブロックサイズ条件によってコーディング方法が変わってよい。
本開示の実施例によれば、多仮説予測を使用する時にＤＣモードを使用する場合は、ブロック全体に対して多数の予測間の加重値が同一であるので、予測ブロックの加重値を調節することと同一であり得る。したがって、多仮説予測においてＤＣモードを除外させることができる。
一実施例として、多仮説予測において平面モード、垂直モード、水平モードのいずれかのみを使用することが可能である。この場合、図２１に示しているように、１つのリストを使用して多仮説予測をシグナルすることが可能である。また、インデックスシグナリングに可変長コーディングを使用することができる。一実施例として、固定された順序で リストを生成することができる。例えば、平面モード、垂直モード、水平モードの順であってよい。さらに他の実施例として、現在ブロック周辺のモードを参照してリストを生成することができる。例えば、仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一である場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡであってよい。仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが平面モードである場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［１］とｃａｎｄＭｏｄｅＬｉｓｔ［２］は、既に設定された順序に従って設定することができる。仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが平面モードでない場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝平面モード、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡではなく、平面モード以外のモードであってよい。仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが異なる場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡではなく、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ以外のモードであってよい。
さらに他の実施例として、多仮説予測において３つのモードのいずれかのみを使用することが可能である。前記３つのモードは、平面モードとＤＣモードを含んでよい。また、前記３つのモードは、垂直モードと水平モードのいずれか一つを条件によって含んでよい。前記条件は、ブロックサイズに関連した条件であってよい。例えば、ブロックの幅と高さのいずれが大きいかによって、水平モードを含むか垂直モードを含むかを決定することが可能である。例えば、ブロックの幅が高さよりも大きい場合に垂直モードを含むことができる。ブロックの高さが幅よりも大きい場合に水平モードを含むことができる。ブロックの高さと幅が同一である場合に、垂直モード又は水平モードのうち、約束されているモードを含むことができる。
一実施例として、固定された順序でリストを生成することができる。例えば、平面モード、ＤＣモード、垂直又は水平モードの順であってよい。さらに他の実施例として、現在ブロック周辺のモードを参照してリストを生成することができる。例えば、仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一である場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡであってよい。仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが方向モードでない場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［１］とｃａｎｄＭｏｄｅＬｉｓｔ［２］は、既に設定された順序に従って設定することができる。仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同一であり、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが方向モードである場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝平面モード、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ＤＣモードであってよい。仮にｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが異なる場合に、ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ、ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡではなく、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ以外のモードであってよい。
本開示のさらに他の実施例によれば、多仮説予測において２つのモードのいずれかのみを使用することが可能である。前記２つのモードは、平面モードを含むことが可能である。また、前記２つのモードは、垂直モードと水平モードのいずれか一つを条件によって含むことが可能である。前記条件は、ブロックサイズに関連した条件であってよい。例えば、ブロックの幅と高さのいずれが大きいかによって、水平モードを含むか垂直モードを含むかを決定することが可能である。例えば、ブロックの幅が高さよりも大きい場合に、垂直モードを含むことができる。ブロックの高さが幅よりも大きい場合に、水平モードを含むことができる。ブロックの高さと幅が同一である場合に、垂直モード又は水平モードのうち、約束されているモードを含むことができる。この場合、多仮説予測においてどのモードを使用するかを示すためのフラグがシグナルされてよい。一実施例によれば、ブロックサイズによって特定モードを除外させることができる。例えば、ブロックサイズが小さい場合に特定モードを除外させることができる。例えば、ブロックサイズが小さい場合に、多仮説予測において平面モードのみを使用することが可能である。仮に特定モードが除外されると、モードシグナリングを省略したり減らしてシグナルすることが可能である。
本開示のさらに他の実施例によれば、多仮説予測において１つのモードだけを使用することが可能である。前記１つのモードは、平面モードであってよい。さらに他の実施例として、前記１つのモードは、垂直モードと水平モードの中から、ブロックサイズに基づいて定められることが可能である。例えば、ブロックの幅と高さのうちいずれのものが大きいかによって、垂直モードと水平モードの中から決定されてよい。例えば、ブロックの幅が高さよりも大きい場合に垂直モードと決定され、ブロックの高さが幅よりも大きい場合に水平モードと決定されてよい。仮にブロックの幅と高さが同一である場合に、既に設定されたモードと決定することが可能である。仮にブロックの幅と高さが同一である場合に、水平モード又は垂直モードのうち、既に設定されたモードと決定することが可能である。仮にブロックの幅と高さが同一である場合に、平面モード又はＤＣモードのうち、既に設定されたモードと決定することが可能である。
また、本開示の実施例によれば、多仮説予測で生成した予測をフリップするフリッピング（ｆｌｉｐｐｉｎｇ）シグナリングが存在してよい。これにより、多仮説予測において１つのモードが選択されたとしても、フリッピングによって反対側レジデュアルをなくす効果を有することができる。また、これにより、多仮説予測において使用可能な候補モードを減らす効果を有することができる。より具体的に、例えば、前記実施例のうち、１つのモードのみを使用する場合に、フリッピングを使用することが可能である。これにより、予測性能を高めることができる。前記フリッピングは、ｘ軸に対するフリッピング又はｙ軸に対するフリッピング又はｘ、ｙの両軸に対するフリッピングを意味できる。一実施例として、多仮説予測において選択されたモードに基づいてフリッピング方向が決定されることが可能である。例えば、多仮説予測において選択されたモードが平面モードである場合に、ｘ、ｙ両軸に対するフリッピングであると決定できる。またｘ、ｙ両軸に対してフリッピングすることは、ブロック形状（ｂｌｏｃｋ ｓｈａｐｅ）によることであってよい。例えば、ブロックが正方形でない場合に、ｘ、ｙ両軸に対してフリッピングしないと決定できる。例えば、多仮説予測において選択されたモードが水平モードである場合に、ｘ軸に対するフリッピングであると決定できる。例えば、多仮説予測において選択されたモードが垂直モードである場合に、ｙ軸に対するフリッピングであると決定できる。また、多仮説予測において選択されたモードがＤＣモードである場合に、フリッピングがないと決定し、明示的シグナルしなくてよい。
また、多仮説予測においてＤＣモードは、イルミネーション補償（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）と類似の効果を有し得る。したがって、本開示の一実施例によれば、多仮説予測においてＤＣモードとイルミネーション補償方法のいずれか一方を使用すると、いずれか他方を使用しなくてよい。
また、多仮説予測は、一般化した双予測（ｇｅｎｅｒａｌｉｚｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ，ＧＢｉ）と類似の効果を有し得る。例えば、多仮説予測においてＤＣモードはＧＢｉと類似の効果を有し得る。ＧＢｉは、ブロック単位、ＣＵ単位で双予測の２つの参照ブロック間の加重値を調節する手法であってよい。したがって、本開示の一実施例によれば、多仮説予測（又は、多仮説予測においてＤＣモード）とＧＢｉ方法ののいずれか一方を使用すると、いずれか他方を使用しなくてよい。また、これは、多仮説予測の予測のうち双予測であるものを含む場合であってよい。例えば、多仮説予測の選択されたマージ候補が双予測である場合に、ＧＢｉを使用しなくてよい。これらの実施例において、多仮説予測とＧＢｉ間の関係は、多仮説予測の特定モード、例えば、ＤＣモードを使用する時に限ってよい。または、ＧＢｉ関連シグナリングが多仮説予測関連シグナリングよりも前に存在する場合に、ＧＢｉを使用すると、多仮説予測又は多仮説予測の特定モードを使用しなくてよい。
ある方法を使用しないということは、該ある方法に対するシグナリングをせず、関連シンタックスをパースしないことを意味できる。
図２２は、本開示の一実施例に係る多仮説予測において参照する周辺位置を示す図である。
前述したように、多仮説予測の候補リストを作る過程で周辺位置を参照することができる。例えば、前述したｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸが必要であり得る。この時、参照する現在ブロック周辺のＡとＢの位置は、図２２に示すＮｂＡとＮｂＢであってよい。仮に現在ブロックの上左端位置が図１８に示しているようにＣｂであり、その座標が（ｘＣｂ，ｙＣｂ）のときに、ＮｂＡは（ｘＮｂＡ，ｙＮｂＡ）＝（ｘＣｂ－１，ｙＣｂ＋ｃｂＨｅｉｇｈｔ－１）であり、ＮｂＢは（ｘＮｂＢ，ｙＮｂＢ）＝（ｘＣｂ＋ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）であってよい。ここで、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔはそれぞれ、現在ブロックの幅、高さであってよい。また、多仮説予測の候補リストを作る過程で、周辺位置は、イントラ予測のＭＰＭリスト生成において参照する周辺位置と同一であってよい。
さらに他の実施例として、多仮説予測の候補リストを作る過程で参照する周辺位置は、現在ブロックの左側中央と上側中央の近くであってよい。例えば、ＮｂＡとＮｂＢは、（ｘＣｂ－１，ｙＣｂ＋ｃｂＨｅｉｇｈｔ／２－１）、（ｘＣｂ＋ｃｂＷｉｄｔｈ／２－１，ｙＣｂ－１）であってよい。または、ＮｂＡとＮｂＢは、（ｘＣｂ－１，ｙＣｂ＋ｃｂＨｅｉｇｈｔ／２）、（ｘＣｂ＋ｃｂＷｉｄｔｈ／２，ｙＣｂ－１）であってよい。
図２３は、本開示の一実施例に係る周辺のモードを参照する方法を示す図である。
前述したように、多仮説予測の候補リストを作る過程で周辺位置を参照できるが、図１９の実施例では、周辺位置が多仮説予測を使用しない場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを既に設定されたモードに設定した。これは、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを設定する際に周辺位置のモードがそのままｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸにならない場合があるためである。
したがって、本開示の一実施例によれば、周辺位置が多仮説予測を使用していなくとも、周辺位置が使用したモードが多仮説予測に用いられるモードである場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを、周辺位置が使用したモードに設定することができる。多仮説予測に用いられるモードは、平面モード、ＤＣモード、垂直モード、水平モードであってよい。
または、周辺位置が多仮説予測を使用していなくとも、周辺位置が使用したモードが特定モードである場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを、周辺位置が使用したモードに設定することができる。
または、周辺位置が多仮説予測を使用していなくとも、周辺位置が使用したモードが垂直モード或いは高さモードである場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを、周辺位置が使用したモードに設定することができる。または、周辺位置が現在ブロック上側である場合に周辺位置が多仮説予測を使用していなくとも、周辺位置が使用したモードが垂直モードである場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを、周辺位置が使用したモードに設定することができる。また、周辺位置が現在ブロック左側である場合に周辺位置が多仮説予測を使用していなくとも、周辺位置が使用したモードが水平モードである場合に、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸを、周辺位置が使用したモードに設定することができる。
図２３を参照すると、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇは、多仮説予測を使用するか（使用したか）否かを示すシグナリングであってよい。また、隣ブロックで使用したイントラ予測モードが水平モードであってよい。また、現在ブロックが多仮説予測を使用することができ、周辺ブロックのモードに基づくｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅを用いて候補リストを生成できるが、周辺が多仮説予測を使用していなくとも、周辺ブロックのイントラ予測モードが特定モード、例えば水平モードであるので、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅを水平モードに設定することができる。
上述した周辺モード参照方法の例を、図１９の他の実施例と結合して下記に再び述べる。
For X being replaced by either A or B, the variables candIntraPredModeX are derived as follows:
1. The availability derivation process for a block as specified in Neighbouring blocks availability checking process is invoked with the location ( xCurr, yCurr ) set equal to ( xCb, yCb ) and the neighbouring location ( xNbY, yNbY ) set equal to ( xNbX, yNbX ) as inputs, and the output is assigned to availableX.
2. The candidate intra prediction mode candIntraPredModeX is derived as follows:
A. If one or more of the following conditions are true, candIntraPredModeX is set equal to INTRA_DC.
a. The variable availableX is equal to FALSE.
b. mh_intra_flag[ xNbX ][ yNbX ] is not equal to 1, and IntraPredModeY[ xNbX ][ yNbX ] is neither INTRA_ANGULAR50 nor INTRA_ANGULAR18.
c. X is equal to B and yCb - 1 is less than ( ( yCb >> CtbLog2SizeY ) << CtbLog2SizeY ).
B. Otherwise, if IntraPredModeY[ xNbX ][ yNbX ] > INTRA_ANGULAR34, candIntraPredModeX is set equal to INTRA_ANGULAR50.
C. Otherwise, if IntraPredModeY[ xNbX ][ yNbX ] <= INTRA_ANGULAR34 and IntraPredModeY[ xNbX ][ yNbX ] > INTRA_DC, candIntraPredModeX is set equal to INTRA_ANGULAR18.
D. Otherwise, candIntraPredModeX is set equal to IntraPredModeY[ xNbX ][ yNbX ].
次は、さらに他の実施例である。
For X being replaced by either A or B, the variables candIntraPredModeX are derived as follows:
1. The availability derivation process for a block as specified in Neighbouring blocks availability checking process is invoked with the location ( xCurr, yCurr ) set equal to ( xCb, yCb ) and the neighbouring location ( xNbY, yNbY ) set equal to ( xNbX, yNbX ) as inputs, and the output is assigned to availableX.
2. The candidate intra prediction mode candIntraPredModeX is derived as follows:
A. If one or more of the following conditions are true, candIntraPredModeX is set equal to INTRA_DC.
a. The variable availableX is equal to FALSE.
b. mh_intra_flag[ xNbX ][ yNbX ] is not equal to 1, and IntraPredModeY[ xNbX ][ yNbX ] is neither INTRA_PLANAR, INTRA_DC, INTRA_ANGULAR50 nor INTRA_ANGULAR18.
c. X is equal to B and yCb - 1 is less than ( ( yCb >> CtbLog2SizeY ) << CtbLog2SizeY ).
B. Otherwise, if IntraPredModeY[ xNbX ][ yNbX ] > INTRA_ANGULAR34, candIntraPredModeX is set equal to INTRA_ANGULAR50.
C. Otherwise, if IntraPredModeY[ xNbX ][ yNbX ] <= INTRA_ANGULAR34 and IntraPredModeY[ xNbX ][ yNbX ] > INTRA_DC, candIntraPredModeX is set equal to INTRA_ANGULAR18.
D. Otherwise, candIntraPredModeX is set equal to IntraPredModeY[ xNbX ][ yNbX ].
前述したリスト設定方法においてｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＸは、前記周辺モード参照方法によって決定されてよい。
図２４は、本開示の一実施例に係る周辺サンプル使用を示す図である。
前述したように、多仮説予測を使用する場合に、イントラ予測を他の予測と結合して使用することが可能である。したがって、多仮説予測を使用する場合に、現在ブロック周辺のサンプルを参照サンプルとして使用してイントラ予測を生成することができる。
本開示の一実施例によれば、多仮説予測を使用する場合に、再構成（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）サンプルを使用するモードを使用することができる。また、多仮説予測を使用しない場合に、再構成サンプルを使用するモードを使用しなくてよい。前記再構成サンプルは、現在ブロック周辺の再構成サンプルであってよい。
前記再構成サンプルを使用するモードの例としてテンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）があり得る。あるブロックを基準に既に設定された位置の再構成サンプルをテンプレートと定義することができる。テンプレートマッチングを、現在ブロックのテンプレートと比較しようとするブロックのテンプレートのコスト（ｃｏｓｔ）を比較して、コストが小さいブロックを探す動作であってよい。この時、コストは、テンプレートの絶対差分値（ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）の和、差分値（ｄｉｆｆｅｒｅｎｃｅ）の自乗の和などと定義することができる。例えば、現在ブロックと参照ピクチャーのブロック間のテンプレートマッチングを用いて、現在ブロックと類似すると予想されるブロックを検索することが可能であり、これに基づいてモーションベクトルを設定するか或いはモーションベクトルをリファイン（ｒｅｆｉｎｅ）することができる。
前記再構成サンプルを使用するモードの例として、再構成サンプルを使用するモーション補償、モーションベクトルリファインメントなどがあり得る。
現在ブロック周辺の再構成サンプルを使用するためには、現在ブロックをデコードする時に、周辺ブロックのデコーディングが完了することを待たなければならない。この場合、現在ブロックと周辺ブロックを並列処理（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ）することが困難であり得る。したがって、多仮説予測を使用しない場合に、並列処理を可能にするために、現在ブロック周辺の再構成サンプルを使用するモードを使用しなくてよい。また、多仮説予測を使用する場合に、現在ブロック周辺の再構成サンプルを使用してイントラ予測を生成できるので、現在ブロック周辺の再構成サンプルを使用する他のモードも使用することができる。
また、本開示の一実施例によれば、多仮説予測を使用しても、候補インデックスによって、現在ブロック周辺の再構成サンプルを使用しても使用しなくてもよい。一実施例として、候補インデックスがスレショルドよりも小さいときに、現在ブロック周辺の再構成サンプルを使用してよい。候補インデックスが小さければ、候補インデックスシグナリングビット数が少なく、候補正確度が高くになり得るが、コーディング効率の高いものに再構成サンプルを使用して正確度をさらに上げることが可能である。他の実施例として、候補インデックスがスレショルドよりも大きいときに、現在ブロック周辺の再構成サンプルを使用してよい。候補インデックスが大きければ、候補インデックスシグナリングビット数が多く、候補正確度が低くなり得るが、正確度の低い候補に現在ブロック周辺の再構成サンプルを使用することによって正確度を補完することができる。
本開示の一実施例によれば、多仮説予測を使用する場合に、現在ブロック周辺の再構成サンプルを使用してインター予測を生成し、前記インター予測を多仮説予測のイントラ予測と結合して予測ブロックを生成することが可能である。
図２４を参照すると、現在ブロックが多仮説予測を使用するか否かを示すシグナリングであるｍｈ＿ｉｎｔｒａ＿ｆｌａｇ値が１である。現在ブロックが多仮説予測を使用するので、現在ブロック周辺の再構成サンプルを使用するモードを使用することができる。
図２５は、本開示の一実施例に係る変換モード（ｔｒａｎｓｆｏｒｍ ｍｏｄｅ）を示す図である。
本開示の一実施例によれば、ブロックのサブパート（ｓｕｂ－ｐａｒｔ）のみを変換（ｔｒａｎｓｆｏｒｍ）する変換モードが存在してよい。このような変換モードを、サブブロック変換（ｓｕｂ－ｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ，ＳＢＴ）又は空間変化変換（ｓｐａｔｉａｌｌｙ ｖａｒｙｉｎｇ ｔｒａｎｓｆｏｒｍ，ＳＶＴ）などと呼ぶことができる。例えば、ＣＵ又はＰＵが多数のＴＵに分けられ、多数のＴＵのうち一部のみを変換することができる。例えば、多数のＴＵのいずれか１つのＴＵのみを変換することができる。前記多数のＴＵのうち変換しないＴＵは、レジデュアルが０であるものとすることができる。
図２５を参照すると、１つのＣＵ又はＰＵを多数のＴＵに分けるタイプとして、ＳＶＴ－ＶとＳＶＴ－Ｈの２種類があり得る。ＳＶＴ－Ｖは、多数のＴＵの高さがＣＵ又はＰＵの高さと同一であり、多数のＴＵの幅がＣＵ又はＰＵの幅と異なるタイプであってよい。ＳＶＴ－Ｈは、多数のＴＵの高さがＣＵ又はＰＵの高さと異なり、多数のＴＵの幅がＣＵ又はＰＵの幅と同一なタイプであってよい。一実施例として、ＳＶＴ－Ｖの変換するＴＵの幅及び位置はシグナルされてよい。また、ＳＶＴ－Ｈの変換するＴＵの高さ及び位置はシグナルされてよい。
一実施例によれば、ＳＶＴタイプと位置、幅又は高さによる変換カーネルが既に設定されていてよい。
このように、ＣＵ又はＰＵの一部のみを変換するモードがあることは、予測後にレジデュアルがＣＵ又はＰＵの一部に主に存在し得るためでである。
すなわち、ＳＢＴは、ＴＵに対するスキップモードと同一の概念を有する。既存のスキップモードは、ＣＵに対するスキップモードであってよい。
図２５を参照すると、ＳＶＴ－Ｖ、ＳＶＴ－Ｈの各タイプに対してＡと表示された変換する位置が２箇所であると定義されており、幅又は高さがＣＵの幅又はＣＵの高さの１／２又は１／４と定義されている。また、Ａと表示された領域以外の部分は、レジデュアルを０値にすることができる。
また、ＳＢＴを使用できる条件が存在してよい。例えば、ＳＢＴが可能な条件は、ブロックサイズに関連した条件、高いレベル（例えば、シーケンス、スライス、タイルなど）シンタックスで使用されるか否かを示すシグナリング値などを含むことができる。
図２６は、本開示の一実施例に係る多仮説予測と変換モード間の関係を示す図である。
本開示の一実施例によれば、多仮説予測と変換モード間には相関関係を有し得る。例えば、いずれか一方が使用されるか否かによって、いずれか他方が使用されるか否かが決定されてよい。または、いずれか一方のモードによって、いずれか他方のモードが使用されるか否かが決定されてよい。または、いずれか一方のモードが使用されるか否かによって、いずれか他方のモードが使用されるか否かが決定されてよい。
一実施例として、前記変換モードは、図２５で説明したＳＶＴであってよい。すなわち、多仮説予測の使用されるか否かによって、ＳＶＴの使用されるか否かが決定されてよい。または、ＳＶＴの使用されるか否かによって、多仮説予測の使用されるか否かが決定されてよい。多仮説予測によってブロック全体に対する予測性能が良くなり、ブロックの一部にのみレジデュアルが集まる現象が少なく起き得るためである。
本開示の一実施例によれば、多仮説予測の使用されるか否か或いは多仮説予測のモードによって、ＳＶＴの変換するＴＵの位置が制限されてよい。または、多仮説予測の使用されるか否か或いは多仮説予測のモードによって、ＳＶＴの変換するＴＵの幅（ＳＶＴ－Ｖ）又は高さ（ＳＶＴ－Ｈ）が制限されてよい。したがって、位置、幅又は高さに関するシグナリングを減らすことができる。例えば、ＳＶＴ変換するＴＵの位置が、多仮説予測においてイントラ予測の加重値が大きい可能がある側でないことがある。加重値が大きい側のレジデュアルは、多仮説予測によって減らすことができるためである。したがって、多仮説予測を使用する時に、ＳＶＴにおいて加重値の大きい側を変換するモードはなくてもよい。例えば、多仮説予測において水平モード又は垂直モードを使用する場合に、図２５のポジション１を省略することが可能である。さらに他の実施例として、多仮説予測において平面モードを使用する場合に、ＳＶＴ変換するＴＵの位置が制限されてよい。例えば、多仮説予測において平面モードを使用する場合に、図２５のポジション０を省略することが可能である。これは、多仮説予測において平面モードを使用する場合に、イントラ予測の参照サンプルの近く部分は、参照サンプル値と類似の値が出ることがあり、これにより、参照サンプルの近くのレジデュアルが小さいことがあるためである。
さらに他の例として、多仮説予測を使用する場合に、可能なＳＶＴ変換するＴＵの幅又は高さの値は変わってよい。または、多仮説予測において特定モードを使用する場合に、可能なＳＶＴ変換するＴＵの幅又は高さの値は変わってよい。例えば、多仮説予測を使用する場合に、ブロックのうち広い部分にレジデュアルが多く残らずに済むので、ＳＶＴ変換するＴＵの幅又は高さの大きい値は除外させてよい。または、多仮説予測を使用する場合に、多仮説予測において加重値が変わる単位と同じＳＶＴ変換するＴＵの幅又は高さの値は除外させてよい。
図２６を参照すると、ＳＢＴの使用されるか否かを示すｃｕ＿ｓｂｔ＿ｆｌａｇと、多仮説予測の使用されるか否かを示すｍｈ＿ｉｎｔｒａ＿ｆｌａｇが存在してよい。図面を参照すると、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが０である場合に、ｃｕ＿ｓｂｔ＿ｆｌａｇをパースすることができる。また、ｃｕ＿ｓｂｔ＿ｆｌａｇが存在しない場合に、０と推論できる。
多仮説予測においてイントラ予測を結合することとＳＢＴはいずれも、該当の技術を使用しなかった時にＣＵ又はＰＵの一部にのみレジデュアルが多く残り得る問題を解決するためのものである。したがって、両技術の連関性があり得るので、一つの技術の使用されるか否か或いは一つの技術の特定モードの使用されるか否かなどを、他の技術に関するものに基づいて決定することができる。
また、図２６で、ｓｂｔｂｌｏｃｋＣｏｎｄｉｔｉｏｎｓは、ＳＢＴが可能な条件を示すことができる。ＳＢＴが可能な条件は、ブロックサイズに関連した条件、高いレベル（例えば、シーケンス、スライス、タイルなど）シンタックスにおいて使用されるか否かのシグナリング値などを含むことができる。
図２７は、本開示の一実施例に係る色（ｃｏｌｏｒ）成分の関係を示す図である。
図２７を参照すると、色フォーマット（ｃｏｌｏｒ ｆｏｒｍａｔ）がクロマフォーマット情報（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ）、Ｃｈｒｏｍａ ｆｏｒｍａｔ、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇなどによって示されてよい。
仮にモノクロームである場合に、１個のサンプルアレイのみ存在し得る。また、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣがいずれも１であってよい。
仮に４：２：０サンプリングである場合に、クロマアレイが２個存在し得る。また、クロマアレイはルマアレイの半幅、半高さであってよい。幅に関する情報（ＳｕｂＷｉｄｔｈＣ）、高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）はいずれも２であってよい。
幅に関する情報（ＳｕｂＷｉｄｔｈＣ）と高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）は、クロマアレイがルマアレイと比較してどのようなサイズを有するかを示すことができ、クロマアレイの幅又は高さがルマアレイの半サイズである場合に、幅に関する情報（ＳｕｂＷｉｄｔｈＣ）又は高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）は２であり、クロマアレイの幅又は高さがルマアレイと同じサイズである幅に関する情報（ＳｕｂＷｉｄｔｈＣ）又は高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）は、１であってよい。
仮に４：２：２サンプリングである場合に、クロマアレイが２個存在し得る。また、クロマアレイは、ルマアレイの半幅、同一高さであってよい。ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣはそれぞれ、２、１であってよい。
仮に４：４：４サンプリングである場合に、クロマアレイはルマアレイと同じ幅、同じ高さであってよい。ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣはいずれも、１であってよい。このとき、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇに基づいて処理が異なってよい。仮にｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが０である場合に、クロマアレイは、ルマアレイと幅、高さが同一であってよい。仮にｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが１である場合に、３個の色平面（ｃｏｌｏｒ ｐｌａｎｅ）（ｌｕｍａ，Ｃｂ，Ｃｒ）はそれぞれ処理することができる。ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇに関係なく４：４：４である場合に、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣはいずれも１であってよい。
仮に、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが１である場合に、１つのスライスに１つの色成分に該当するものだけが存在することが可能である。ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが０である場合に、１つのスライスに多数の色成分に該当するものが存在することが可能である。
図２７を参照すると、４：２：２である場合にのみＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣが異なることが可能である。したがって、４：２：２である場合に、ルマ基準幅対高さの関係が、クロマ基準幅対高さの関係が異なってよい。
例えばルマサンプル基準幅が幅Ｌであり、クロマサンプル基準幅が幅Ｃである場合に、仮に幅Ｌと幅Ｃが対応（ｃｏｒｒｅｓｐｏｎｄｉｎｇ）である場合に、両者の関係は次のの通りでよい。
widthC = widthL / SubWidthC
すなわち、widthL = widthC * SubWidthC
また、同様に、ルマサンプル基準高さがｈｅｉｇｈｔＬであり、クロマサンプル基準高さがｈｅｉｇｈｔＣである場合に、仮にｈｅｉｇｈｔＬとｈｅｉｇｈｔＣが対応（ｃｏｒｒｅｓｐｏｎｄｉｎｇ）である場合に、両者の関係は次の通りでよい。
heightC = heightL / SubHeightC
すなわち、heightL = heightC * SubHeightC
また、色成分を示す値が存在してよい。例えば、ｃＩｄｘが色成分を示すことができる。例えば、ｃＩｄｘは、色成分インデックスであってよい。仮にｃＩｄｘが０であれば、ルマ成分を示すことができる。また、ｃＩｄｘが０でなければ、クロマ成分を示すことができる。また、ｃＩｄｘが１であれば、クロマＣｂ成分を示すことができる。また、ｃＩｄｘが２であれば、クロマＣｒ成分を示すことができる。
図２８は、本開示の一実施例に係る色成分の関係を示す図である。
図２８（ａ）、（ｂ）、（ｃ）はそれぞれ、４：２：０、４：２：２、４：４：４の場合を示している。
図２８（ａ）を参照すると、水平方向においてルマサンプル２個当りにクロマサンプルが１個（Ｃｂ １個、Ｃｒ １個）位置してよい。また、垂直方向においてルマサンプル２個当りにクロマサンプルが１個（Ｃｂ １個、Ｃｒ １個）位置してよい。
図２８（ｂ）を参照すると、水平方向においてルマサンプル２個当りにクロマサンプルが１個（Ｃｂ １個、Ｃｒ １個）位置してよい。また、垂直方向においてルマサンプル１個当りにクロマサンプルが１個（Ｃｂ １個、Ｃｒ １個）位置してよい。
図２８（ｃ）を参照すると、水平方向においてルマサンプル１個当りにクロマサンプルが１個（Ｃｂ １個、Ｃｒ １個）位置してよい。また、垂直方向においてルマサンプル１個当りにクロマサンプルが１個（Ｃｂ １個、Ｃｒ １個）位置してよい。
前述したように、このような関係によって、図２７で説明したＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣが決定されてよく、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣに基づいてルマサンプル基準、クロマサンプル基準間の変換を行うことができる。
図２９は、本開示の一実施例に係る周辺参照位置を示す図である。
本開示の実施例によれば、予測を行う際に周辺位置を参照することができる。例えば、前述したように、ＣＩＩＰを行う際に周辺位置を参照することができる。ＣＩＩＰは、前述した多仮説予測であってよい。ＣＩＩＰは、組み合わせられたイントラピクチャーマージ及びイントラピクチャー予測（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｍｅｒｇｅ ａｎｄ ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）であってよい。すなわち、ＣＩＩＰは、インター予測（例えば、マージモードインター予測）とイントラ予測とを結合させた予測方法であってよい。
本開示の実施例によれば、周辺位置を参照してインター予測とイントラ予測とを結合させることが可能である。例えば、周辺位置を参照してインター予測対イントラ予測の比率を決定することが可能である。または、周辺位置を参照してインター予測とイントラ予測とを結合させる時に加重値を決定することが可能である。または、周辺位置を参照してインター予測とイントラ予測を加重和（加重平均）する時に加重値を決定することが可能である。
本開示の実施例によれば、参照する周辺位置は、ＮｂＡとＮｂＢを含むことができる。ＮｂＡとＮｂＢの座標はそれぞれ、（ｘＮｂＡ，ｙＮｂＡ）、（ｘＮｂＢ，ｙＮｂＢ）であってよい。
また、ＮｂＡは、現在ブロックの左側位置であってよい。より具体的に、現在ブロックの上左端座標が（ｘＣｂ，ｙＣｂ）であり、現在ブロックの幅、高さがそれぞれｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔである場合に、ＮｂＡは、（ｘＣｂ－１，ｙＣｂ＋ｃｂＨｅｉｇｈｔ－１）であってよい。現在ブロックの上左端座標（ｘＣｂ，ｙＣｂ）は、ルマサンプルを基準にした値であってよい。または、現在ブロックの上左端座標（ｘＣｂ，ｙＣｂ）は、現在ピクチャーの上左端ルマサンプルに対する現在ルマコーディングブロックの上左端サンプルルマ位置であってよい。また、前記ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、該当の色成分を基準にした値であってよい。前述した座標は、ルマ成分（ルマブロック）に対するものであってよい。例えば、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、ルマ成分を基準にした値であってよい。
また、ＮｂＢは、現在ブロックの上側（ａｂｏｖｅ）位置であってよい。より具体的に、現在ブロックの上左端座標が（ｘＣｂ，ｙＣｂ）であり、現在ブロックの幅、高さがそれぞれｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔである場合に、ＮｂＢは、（ｘＣｂ＋ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）であってよい。現在ブロックの上左端座標（ｘＣｂ，ｙＣｂ）は、ルマサンプルを基準にした値であってよい。または、現在ブロックの上左端座標（ｘＣｂ，ｙＣｂ）は、現在ピクチャーの上左端ルマサンプルに対する現在ルマコーディングブロックの上左端サンプルルマ位置であってよい。また、前記ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、該当の色成分を基準にした値であってよい。前述した座標は、ルマ成分（ルマブロック）に対するものであってよい。例えば、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、ルマ成分を基準にした値であってよい。
図２９を参照すると、上端にルマブロックと表示したブロックに対して上左端、ＮｂＡの座標、ＮｂＢの座標などを表記している。
また、ＮｂＡは、現在ブロックの左側位置であってよい。より具体的に、現在ブロックの上左端座標が（ｘＣｂ，ｙＣｂ）であり、現在ブロックの幅、高さがそれぞれｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔである場合に、ＮｂＡは、（ｘＣｂ－１，ｙＣｂ＋２＊ｃｂＨｅｉｇｈｔ－１）であってよい。現在ブロックの上左端座標（ｘＣｂ，ｙＣｂ）は、ルマサンプルを基準にした値であってよい。または、現在ブロックの上左端座標（ｘＣｂ，ｙＣｂ）は、現在ピクチャーの上左端ルマサンプルに対する現在ルマコーディングブロックの上左端サンプルルマ位置であってよい。また、前記ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、該当の色成分を基準にした値であってよい。前述した座標は、クロマ成分（クロマブロック）に対するものであってよい。例えば、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、クロマ成分を基準にした値であってよい。また、この座標は、４：２：０フォーマットである場合に該当し得る。
また、ＮｂＢは、現在ブロックの上側（ａｂｏｖｅ）位置であってよい。より具体的に、現在ブロックの上左端座標が（ｘＣｂ，ｙＣｂ）であり、現在ブロックの幅、高さがそれぞれｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔである場合に、ＮｂＢは、（ｘＣｂ＋２＊ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）であってよい。現在ブロックの上左端座標（ｘＣｂ，ｙＣｂ）は、ルマサンプルを基準にした値であってよい。または、現在ブロックの上左端座標（ｘＣｂ，ｙＣｂ）は、現在ピクチャーの上左端ルマサンプルに対する現在ルマコーディングブロックの上左端サンプルルマ位置であってよい。また、前記ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、該当の色成分を基準にした値であってよい。前述した座標は、クロマ成分（クロマブロック）に対するものであってよい。例えば、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、クロマ成分を基準にした値であってよい。また、この座標は、４：２：０フォーマット又は４：２：２フォーマットである場合に該当し得る。
図２９を参照すると、下端にクロマブロックと表示したブロックに対して上左端、ＮｂＡの座標、ＮｂＢの座標などを表記している。
図３０は、本開示の一実施例に係る重み付きサンプル予測過程（ｗｅｉｇｈｔｅｄ ｓａｍｐｌｅ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｃｅｓｓ）を示す図である。
図３０の実施例は、２つ以上の予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）を結合する方法に関するものであってよい。また、図３０の実施例は、ＣＩＩＰを使用する場合に適用可能である。また、図３０の実施例は、図２９で説明した周辺位置参照方法を含むことができる。
図３０の方程式（ｅｑｕａｔｉｏｎ）（８－８３８）を参照すると、スケール情報（ｓｃａｌｌＦａｃｔ）を次のように説明できる。
scallFact = (cIdx == 0) ? 0 : 1
すなわち、現在ブロックの色成分に関する情報（ｃＩｄｘ）が０である場合に、スケール情報（ｓｃａｌｌＦａｃｔ）を０に設定し、現在ブロックの色成分に関する情報（ｃＩｄｘ）が０でない場合に、スケール情報（ｓｃａｌｌＦａｃｔ）を１に設定することができる。本開示の実施例において、ｘ？ｙ：ｚは、ｘが真（ｔｒｕｅ）である場合又はｘが０でない場合に、ｙ値を示し、そうでない場合（ｘが偽（ｆａｌｓｅ）である場合（又は、ｘが０である場合））に、ｚ値を示すことができる。
また、参照する周辺位置ＮｂＡとＮｂＢの座標である（ｘＮｂＡ，ｙＮｂＡ）、（ｘＮｂＢ，ｙＮｂＢ）を設定することができる。図２９で説明した実施例によれば、ルマ成分に対して（ｘＮｂＡ，ｙＮｂＡ）、（ｘＮｂＢ，ｙＮｂＢ）はそれぞれ、（ｘＣｂ－１，ｙＣｂ＋ｃｂＨｅｉｇｈｔ－１）、（ｘＣｂ＋ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）であり、クロマ成分（ｃｈｒｏｍａ ｃｏｍｐｏｎｅｎｔ）に対して（ｘＮｂＡ，ｙＮｂＡ）、（ｘＮｂＢ，ｙＮｂＢ）はそれぞれ、（ｘＣｂ－１，ｙＣｂ＋２＊ｃｂＨｅｉｇｈｔ－１）、（ｘＣｂ＋２＊ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）であってよい。また、２＾ｎを掛ける演算は、ｎビットを左シフト（ｌｅｆｔ ｓｈｉｆｔ）することと同一であってよい。例えば、２を掛ける演算は、１ビットを左シフトすることと同一であってよい。また、ｘをｎビット左シフトすることを“ｘ＜＜ｎ”と表すことができる。また、２＾ｎで割る演算は、ｎビットを右シフト（ｒｉｇｈｔ ｓｈｉｆｔ）することと同一であってよい。また、２＾ｎで割って小数点以下を捨てる演算は、ｎビットを右シフトすることと同一であってよい。例えば、２で割る演算は、１ビットを右シフトすることと同一であってよい。また、ｘをｎビット右シフトすることを“ｘ＞＞ｎ”と表すことができる。したがって、（ｘＣｂ－１，ｙＣｂ＋２＊ｃｂＨｅｉｇｈｔ－１）、（ｘＣｂ＋２＊ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）を、（ｘＣｂ－１，ｙＣｂ＋（ｃｂＨｅｉｇｈｔ＜＜１）－１）、（ｘＣｂ＋（ｃｂＷｉｄｔｈ＜＜１）－１，ｙＣｂ－１）と表すことができる。したがって、上述したルマ成分（ｌｕｍａ ｃｏｍｐｏｎｅｎｔ）に対する座標とクロマ成分（ｃｈｒｏｍａ ｃｏｍｐｏｎｅｎｔ）に対する座標を共に表すと、次の通りでよい。
(xNbA, yNbA) = (xCb - 1, yCb + (cbHeight << scallFact) - 1)
(xNbB, yNbB) = (xCb + (cbWidth<<scallFact) - 1, yCb - 1)
ここで、スケール情報（ｓｃａｌｌＦａｃｔ）は、前述したように、（ｃＩｄｘ＝＝０）？０：１であってよい。このとき、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、各色成分を基準に示したものでよい。例えば、ルマ成分（ｌｕｍａ ｃｏｍｐｏｎｅｎｔ）を基準にした幅、高さがそれぞれｃｂＷｉｄｔｈＬ、ｃｂＨｅｉｇｈｔＬのとき、ルマ成分（ｌｕｍａ ｃｏｍｐｏｎｅｎｔ）に対する重み付きサンプル予測過程を行う時にｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔはそれぞれｃｂＷｉｄｔｈＬ、ｃｂＨｅｉｇｈｔＬであってよい。また、ルマ成分（ｌｕｍａ ｃｏｍｐｏｎｅｎｔ）を基準にした幅、高さがそれぞれｃｂＷｉｄｔｈＬ、ｃｂＨｅｉｇｈｔＬのとき、クロマ成分（ｃｈｒｏｍａ ｃｏｍｐｏｎｅｎｔ）に対する重み付きサンプル予測過程を行う時にｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔはそれぞれｃｂＷｉｄｔｈＬ／ＳｕｂＷｉｄｔｈＣ、ｃｂＨｅｉｇｈｔＬ／ＳｕｂＨｅｉｇｈｔＣであってよい。
また、一実施例によれば、周辺位置を参照して該当の位置の予測モード（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を判断することができる。例えば、予測モード（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）がイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｉｔｏｎ）であるか否かを判断できる。また、予測モード（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）は、ＣｕＰｒｅｄＭｏｄｅによって示されてよい。ＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＮＴＲＡである場合に、イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｉｔｏｎ）を使用するものであってよい。また、ＣｕＰｒｅｄＭｏｄｅ値は、ＭＯＤＥ＿ＩＮＴＲＡ、ＭＯＤＥ＿ＩＮＴＥＲ、ＭＯＤＥ＿ＩＢＣ、ＭＯＤＥ＿ＰＬＴであってよい。ＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＮＴＥＲである場合に、イントラ予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を使用するものであってよい。また、ＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＢＣである場合に、イントラコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ，ＩＢＣ）を使用するものであってよい。また、ＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＰＬＴである場合に、バレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）を使用するものであってよい。また、ＣｕＰｒｅｄＭｏｄｅは、チャネルタイプ（ｃｈＴｙｐｅ）、位置によって示されてよい。例えば、ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ］［ｙ］と示されてよく、この値は、（ｘ，ｙ）位置においてチャネルタイプｃｈＴｙｐｅに対するＣｕＰｒｅｄＭｏｄｅ値であってよい。また、ｃｈＴｙｐｅは、ツリータイプに基づくものであってよい。例えば、ツリータイプ（ｔｒｅｅＴｙｐｅ）は、ＳＩＮＧＬＥ＿ＴＲＥＥ、ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ、ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡなどの値に設定されてよい。ＳＩＮＧＬＥ＿ＴＲＥＥである場合に、ルマ成分とクロマ成分のブロック分割（ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇ）が共有される部分があり得る。例えば、ＳＩＮＧＬＥ＿ＴＲＥＥである場合に、ルマ成分とクロマ成分のブロック分割が同一であってよい。または、ＳＩＮＧＬＥ＿ＴＲＥＥである場合に、ルマ成分とクロマ成分のブロック分割が同一であるか或いは一部同一であってよい。または、ＳＩＮＧＬＥ＿ＴＲＥＥである場合に、ルマ成分とクロマ成分のブロック分割が、同一のシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）値によって行われてよい。また、ＤＵＡＬ ＴＲＥＥである場合に、ルマ成分とクロマ成分のブロック分割が独立的であってよい。または、ＤＵＡＬ ＴＲＥＥである場合に、ルマ成分とクロマ成分のブロック分割が個別のシンタックスエレメント値によって行われてよい。また、ＤＵＡＬ ＴＲＥＥである場合に、ｔｒｅｅＴｙｐｅ値はＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ又はＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡであってよい。仮にｔｒｅｅＴｙｐｅがＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡである場合に、ＤＵＡＬ ＴＲＥＥを使用し、ルマ成分に対する処理であることを示すことができる。仮にｔｒｅｅＴｙｐｅがＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡである場合に、ＤＵＡＬ ＴＲＥＥを使用し、クロマ成分に対する処理であることを示すことができる。また、ｃｈＴｙｐｅは、ツリータイプがＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡであるか否かに基づいて決定されてよい。例えば、ｃｈＴｙｐｅはｔｒｅｅＴｙｐｅがＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡである場合、１に設定され、ｔｒｅｅＴｙｐｅがＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡでない場合、０に設定されてよい。したがって、図３０を参照すると、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＮｂＸ］［ｙＮｂＹ］値を判断することができる。Ｘは、ＡとＢに代替されてよい。すなわち、ＮｂＡ、ＮｂＢ位置に対するＣｕＰｒｅｄＭｏｄｅ値を判断することができる。
また、周辺位置に対する予測モードを判断したものに基づいてｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ値を設定することができる。例えば、周辺位置に対するＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＮＴＲＡであるか否かによってｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ値を設定できる。仮に周辺位置に対するＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＮＴＲＡである場合に、ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ値をＴＲＵＥに設定し、周辺位置に対するＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＮＴＲＡでない場合に、ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ値をＦＡＬＳＥに設定することができる。上述しており、後述する本開示において、Ｘは、Ａ又はＢなどに取り替わってよい。また、Ｘと書かれているものは、Ｘ位置に該当することを示すことができる。
また、一実施例によれば、周辺位置を参照して該当の位置が利用可能か否かを判断することができる。該当の位置が利用可能か否かによってａｖａｉｌａｂｌｅＸに設定することができる。また、ａｖａｉｌａｂｌｅＸに基づいてｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸを設定することができる。例えば、ａｖａｉｌａｂｌｅＸがＴＲＵＥである場合にｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸをＴＲＵＥに設定し、例えば、ａｖａｉｌａｂｌｅＸがＦＡＬＳＥである場合にｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸをＦＡＬＳＥに設定することができる。図３０を参照すると、該当の位置が利用可能か否かは、“Ｔｈｅ ｄｅｒｉｖａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ ａｖａｉｌａｂｉｌｉｔｙ”によって判断されてよい。また、該当の位置が利用可能か否かは、該当の位置が現在ピクチャー内側にあるか否かに基づいて判断することができる。該当の位置が（ｘＮｂＹ，ｙＮｂＹ）である場合に、ｘＮｂＹ又はｙＮｂＹが０よりも小さいと現在ピクチャーを外れたものであり、ａｖａｉｌａｂｌｅＸがＦＡＬＳＥに設定されてよい。また、ｘＮｂＹがピクチャー幅以上である場合に、現在ピクチャーを外れたものであり、ａｖａｉｌａｂｌｅＸがＦＡＬＳＥに設定されてよい。ピクチャー幅は、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓによって示されてよい。また、ｙＮｂＹがピクチャー高さ以上である場合、現在ピクチャーを外れたものであり、ａｖａｉｌａｂｌｅＸがＦＡＬＳＥに設定されてよい。ピクチャー高さはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓによって示されてよい。また、該当の位置が現在ブロックと異なるブリック（ｂｒｉｃｋ）又は他のスライスにある場合に、ａｖａｉｌａｂｌｅＸがＦＡＬＳＥに設定されてよい。また、該当の位置の再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）が完了していない場合に、ａｖａｉｌａｂｌｅＸがＦＡＬＳＥに設定されてよい。最構成の完了したか否かは、ＩｓＡｖａｉｌａｂｌｅ［ｃＩｄｘ］［ｘＮｂＹ］［ｙＮｂＹ］によって示されてよい。したがって、要すると、下記の条件のいずれか１つを満たす場合、ａｖａｉｌａｂｌｅＸをＦＡＬＳＥに設定し、そうでない場合（下記の条件を全て満たさない場合）、ａｖａｉｌａｂｌｅＸをＴＲＵＥに設定することができる。
条件１：ｘＮｂＹ＜０
条件２：ｙＮｂＹ＜０
条件３：ｘＮｂＹ＞＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
条件４：ｙＮｂＹ＞＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
条件５：ＩｓＡｖａｉｌａｂｌｅ［ｃＩｄｘ］［ｘＮｂＹ］［ｙＮｂＹ］＝＝ＦＡＬＳＥ
条件６：該当の位置（周辺位置（ｘＮｂＹ，ｙＮｂＹ）位置）が現在ブロックと異なるブリック（又は、異なるスライス）に属している場合
また、オプションによって現在位置と該当の位置が同一のＣｕＰｒｅｄＭｏｄｅであるか否かを判断し、ａｖａｉｌａｂｌｅＸを設定することができる。
説明した２つの条件を結合してｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸを設定することができる。例えば、次の条件を全て満たす場合にｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸをＴＲＵＥに設定し、そうでない場合（次の条件のいずれか１つでも満たさない場合）にｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸをＦＡＬＳＥに設定することができる。
条件１：ａｖａｉｌａｂｌｅＸ＝＝ＴＲＵＥ
条件２：ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＮｂＸ］［ｙＮｂＸ］＝＝ＭＯＤＥ＿ＩＮＴＲＡ
また、本開示の実施例によれば、多数のコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ）に基づいてＣＩＩＰの重み付け(ｗｅｉｇｈｔｉｎｇ)を決定することができる。例えば、多数のコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ）に基づいてインター予測とイントラ予測とを結合させる時に重み付けを決定することができる。例えば、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）と上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）に基づいて決定することができる。一実施例によれば、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）と上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）がいずれもＴＲＵＥである場合に、加重値（ｗ）を３に設定することができる。例えば、加重値（ｗ）はＣＩＩＰの重み付け又は重み付けを決定する値であってよい。また、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）と上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）がいずれもＦＡＬＳＥである場合に、ｗを１に設定することができる。また、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）と上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）のいずれか１つでもＦＡＬＳＥである場合（２つのうち１つがＴＲＵＥである場合と同様。）に、加重値（ｗ）を２に設定することができる。すなわち、周辺位置がイントラ予測で予測されたかに基づいて又は周辺位置がどれくらいイントラ予測で予測されたかに基づいて加重値（ｗ）を設定するものであってよい。
また、加重値（ｗ）は、イントラ予測に該当する重み付けであってよい。また、インター予測に該当する重み付けは、加重値（ｗ）に基づいて決定されてよい。例えば、インター予測に該当する重み付けは、（４－ｗ）であってよい。図３０の方程式（８－８４０）を参照すると、２つ以上の予測信号を結合する時に、次の通りにすることができる。
predSampleComb[x][y] = (w*predSamplesIntra[x][y] + (4-w)*predSamplesInter[x][y] + 2 ) >> 2
ここで、第２サンプル（ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ）、第１サンプル（ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ）は、予測信号であってよい。例えば、第２サンプル（ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ）、第１サンプル（ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ）はそれぞれ、イントラ予測によって予測された予測信号、インター予測（例えば、マージモード、より具体的にレギュラー（ｒｅｇｕｌａｒ）マージモード）によって予測された予測信号であってよい。また、組合せ予測サンプル（ｐｒｅｄＳａｍｐｌｅＣｏｍｂ）は、ＣＩＩＰで用いられる予測信号であってよい。
また、図３０の方程式（８－８４０）を行う前に結合前の予測信号をアップデートする過程が含まれてよい。例えば、図３０の方程式（８－８３９）のような過程でアップデートすることができる。例えば、予測信号をアップデートする過程は、ＣＩＩＰのインター予測信号をアップデートする過程であってよい。
図３１は、本開示の一実施例に係る周辺参照位置を示す図である。
図２９～図３０で周辺参照位置について説明したが、説明した位置を全ての場合（例えば、全てのクロマブロック）に使用すると問題が発生することがあり、この問題を図３１で説明する。
図３１の実施例は、クロマブロックを示している。図２９～図３０で、クロマブロックに対してルマサンプルを基準にしたＮｂＡ、ＮｂＢ座標はそれぞれ、（ｘＣｂ－１，ｙＣｂ＋２＊ｃｂＨｅｉｇｈｔ－１）、（ｘＣｂ＋２＊ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）であった。しかし、ＳｕｂＷｉｄｔｈＣ又はＳｕｂＨｅｉｇｈｔＣが１である場合、図２９で示した位置と異なる図３１の位置を示すことがある。上の座標でｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔに２を掛けたものは、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは各色成分（この実施例ではクロマ成分）を基準にして示しており、座標をルマ基準で示すので、４：２：０の場合にルマサンプル対クロマサンプル個数を補償するためのものであってよい。すなわち、ルマサンプルｘ軸基準２個に該当するクロマサンプル１個であり、ルマサンプルｙ軸基準２個に該当するクロマサンプル１個である場合の座標を、ルマ基準で示すためのものでよい。したがって、ＳｕｂＷｉｄｔｈＣ又はＳｕｂＨｅｉｇｈｔＣが１である場合に、異なる位置を示すことがある。したがって、このようにクロマブロックに対して常に（ｘＣｂ－１，ｙＣｂ＋２＊ｃｂＨｅｉｇｈｔ－１）、（ｘＣｂ＋２＊ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）位置を使用すると、現在クロマブロックから遠く離れた位置を参照することがある。また、この場合、現在ブロックのルマブロックで使用する相対的な位置とクロマブロックで使用する相対的な位置とが一致しないことがある。また、クロマブロックに対して異なる位置を参照してしまうため、現在ブロックと連関性の少ない位置を参照して重み付けを設定することがあり、或いは、ブロックデコーディング順序上、デコーディング／再構成が行われないことがあった。
図３１を参照すると、４：４：４である場合、すなわちＳｕｂＷｉｄｔｈＣとＳｕｂＨｅｉｇｈｔＣがいずれも１である場合の上述したルマ基準座標の位置を示している。実線で表示したクロマブロックから離れた位置にＮｂＡ，ＮｂＢが存在してよい。
図３２は、本開示の一実施例に係る重み付きサンプル予測過程を示す図である。
図３２の実施例は、図２９～図３１で説明した問題を解決するための実施例であってよい。また、前述した内容は省略してよい。
図３０でスケール情報（ｓｃａｌｌＦａｃｔ）に基づいて周辺位置を設定し、図３１で説明したように、スケール情報（ｓｃａｌｌＦａｃｔ）は、ＳｕｂＷｉｄｔｈＣとＳｕｂＨｅｉｇｈｔＣが２である場合に位置を変換するための値であった。
しかし、前述したように、色フォーマット（ｃｏｌｏｒ ｆｏｒｍａｔ）によって問題が発生することがあり、クロマサンプル（ｃｈｒｏｍａ ｓａｍｐｌｅ）対ルマサンプル（ｌｕｍａ ｓａｍｐｌｅ）の比率は、横と縦が異なることがあるので、本開示の実施例によれば、スケール情報（ｓｃａｌｌＦａｃｔ）を横（幅）と縦（高さ）に分離できる。
本開示の実施例によれば、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）とｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）が存在してよく、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）とｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）に基づいて周辺位置を設定することができる。また、周辺位置はルマサンプル（ルマブロック）を基準に設定したものであってよい。
ビデオ信号処理装置は、クロマフォーマット情報（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ）に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得する段階を行うことができる。ここで、クロマフォーマット情報（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ）は、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、スライス（ｓｌｉｃｅ）、タイル（ｔｉｌｅ）、タイルグループ（ｔｉｌｅ ｇｒｏｕｐ）、映像（ｐｉｃｔｕｒｅ）、又はシーケンス（ｓｅｑｕｅｎｃｅ）単位のいずれか１つでシグナルされてよい。
ビデオ信号処理装置は、図２７に示した表に基づき、クロマフォーマット情報（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ）に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得することができる。
ビデオ信号処理装置は、幅に関する情報（ＳｕｂＷｉｄｔｈＣ）又は現在ブロックの色成分に関する情報（ｃＩｄｘ）に基づいてｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）を取得する段階（８－８３８）を行うことができる。より具体的に、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）は、現在ブロックの色成分に関する情報（ｃＩｄｘ）及び幅に関する情報（ＳｕｂＷｉｄｔｈＣ）に基づいて設定されてよい。例えば、現在ブロックの色成分に関する情報（ｃＩｄｘ）が０であるか或いは幅に関する情報（ＳｕｂＷｉｄｔｈＣ）が１である場合に、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）を０に設定でき、そうでない場合（現在ブロックの色成分に関する情報（ｃＩｄｘ）が０でなく、幅に関する情報（ＳｕｂＷｉｄｔｈＣ）が１でない場合（ＳｕｂＷｉｄｔｈＣが２である場合））に、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）を１に設定することができる。図３２の方程式（８－８３８）を参照すると、次のように示すことができる。
scallFactWidth = ( cIdx == 0 || SubWidthC == 1) ? 0 : 1
また、ビデオ信号処理装置は、高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）又は現在ブロックの色成分に関する情報（ｃＩｄｘ）に基づいてｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ ）を取得する段階（８－８３９）を行うことができる。
また、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）は、現在ブロックの色成分に関する情報（ｃＩｄｘ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）に基づいて設定することができる。例えば、現在ブロックの色成分に関する情報（ｃＩｄｘ）が０であるか或いは高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）が１である場合に、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）を０に設定でき、そうでない場合（現在ブロックの色成分に関する情報（ｃＩｄｘ）が０でなく、高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）が１でない場合（ＳｕｂＨｅｉｇｈｔＣが２である場合））に、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）を１に設定することができる。図３２の方程式（８－８３９）を参照すると、次のように示すことができる。
scallFactHeight = ( cIdx == 0 || SubHeightC == 1) ? 0 : 1
また、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）に基づいて周辺位置のｘ座標を示すことができ、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）に基づいて周辺位置のｙ座標を示すことができる。ビデオ信号処理装置は、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）に基づいて左側ブロック（ＮｂＡ）の位置を決定する段階を行うことができる。また、ビデオ信号処理装置は、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）に基づいて上側ブロック（ＮｂＢ）の位置を決定する段階を行うことができる。例えば、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）に基づいて上側ブロック（ＮｂＢ）の座標を設定できる。例えば、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）に基づいて左側ブロック（ＮｂＡ）の座標を設定できる。また、前述したように、ここで、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）に基づくことは、幅に関する情報（ＳｕｂＷｉｄｔｈＣ）に基づくことであってよく、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）に基づくことは、高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）に基づくことであってよい。例えば、周辺位置座標は、次の通りでよい。
(xNbA, yNbA) = (xCb - 1, yCb + (cbHeight << scallFactHeight) - 1)
(xNbB, yNbB) = (xCb + (cbWidth<<scallFactWidth) - 1, yCb - 1)
（ｘＣｂ，ｙＣｂ）は、現在ピクチャーの上左端ルマサンプルに対する現在ルマブロック（ルマコーディングブロック）の上左端サンプルルマ位置であってよい。ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔはそれぞれ、現在ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）であってよい。このとき、ｘＣｂ、ｙＣｂは、前述したように、ルマサンプル基準に示した座標であってよい。また、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、各色成分を基準に示したものであってよい。
したがって、クロマブロックであり、ＳｕｂＷｉｄｔｈＣが１である場合に、（ｘＮｂＢ，ｙＮｂＢ）＝（ｘＣｂ＋ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）であってよい。すなわち、この場合、ルマブロックに対するＮｂＢ座標とクロマブロックに対するＮｂＢ座標が同一であってよい。また、クロマブロックであり、ＳｕｂＨｅｉｇｈｔＣが１である場合に、（ｘＮｂＡ，ｙＮｂＡ）＝（ｘＣｂ－１，ｙＣｂ＋ｃｂＨｅｉｇｈｔ－１）であってよい。すなわち、この場合、ルマブロックに対するＮｂＡ座標とクロマブロックに対するＮｂＡ座標が同一であってよい。
したがって、図３２の実施例は、４：２：０フォーマットの場合には、図２９～図３０の実施例と同一の周辺座標を設定し、４：２：２フォーマット又は４：４：４フォーマットの場合には、図２９～図３０の実施例と異なる周辺座標を設定できる。
ビデオ信号処理装置は、左側ブロック（ＮｂＡ）及び上側ブロック（ＮｂＢ）に基づいて加重値（ｗ）を決定する段階を行うことができる。図３２は、図３０で説明したのと類似であっよい。すなわち、図３２で説明した周辺位置座標に基づいて予測モード又は利用可能性（ａｖａｉｌａｂｉｌｉｔｙ）を判断し、ＣＩＩＰの重み付けを決定することができる。図３２に関する説明のうち、図３０と重複する一部の説明は省略されてよい。
図３２を参照すると、ビデオ信号処理装置は、２つの条件を結合してコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ）を設定することができる。例えば、次の条件を全て満たす場合に、コード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ）をＴＲＵＥに設定し、そうでない場合（次の条件のうち少なくとも１つを満たさない場合）に、コード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＸ）をＦＡＬＳＥに設定することができる。
条件１：ａｖａｉｌａｂｌｅＸ＝＝ＴＲＵＥ
条件２：ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＮｂＸ］［ｙＮｂＸ］＝＝ＭＯＤＥ＿ＩＮＴＲＡ
より具体的に、ライン３２１０を参照すると、ビデオ信号処理装置は、左側ブロックが利用可能（ａｖａｉｌａｂｌｅＡ＝＝ＴＲＵＥ）であり、左側ブロックの予測モードがイントラ予測（ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＮｂＡ］［ｙＮｂＡ］ｉｓ ｅｑｕａｌ ｔｏ ＭＯＤＥ＿ＩＮＴＲＡ）である場合に、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）をＴＲＵＥに設定する段階を行うことができる。
また、ビデオ信号処理装置は、左側ブロックが利用可能でないか、左側ブロックの予測モードがイントラ予測でない場合に、左側ブロックに関するコード情報をＦＡＬＳＥに設定する段階を行うことができる。
また、ビデオ信号処理装置は、上側ブロックが利用可能（ａｖａｉｌａｂｌｅＢ＝＝ＴＲＵＥ）であり、上側ブロックの予測モードがイントラ予測（ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＮｂＢ］［ｙＮｂＢ］ｉｓ ｅｑｕａｌ ｔｏ ＭＯＤＥ＿ＩＮＴＲＡ）である場合に、上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）をＴＲＵＥに設定する段階を行うことができる。
また、ビデオ信号処理装置は、上側ブロックが利用可能でないか、上側ブロックの予測モードがイントラ予測でない場合に、上側ブロックに関するコード情報をＦＡＬＳＥに設定する段階を行うことができる。
ライン３２２０を参照すると、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）及び上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）がいずれもＴＲＵＥである場合に、ビデオ信号処理装置は、加重値（ｗ）を３と決定する段階を行うことができる。また、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）及び上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）がいずれもＦＡＬＳＥである場合に、ビデオ信号処理装置は加重値（ｗ）を１と決定する段階を行うことができる。また、左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）及び上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）のいずれか１つのみがＴＲＵＥである場合に、ビデオ信号処理装置は加重値（ｗ）を２と決定する段階を行うことができる。
ビデオ信号処理装置は、現在ブロックをマージモードと予測した第１サンプル（ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ）を取得する段階を行うことができる。また、ビデオ信号処理装置は、現在ブロックをイントラモードと予測した第２サンプル（ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ）を取得する段階を行うことができる。
ビデオ信号処理装置は、加重値（ｗ）、第１サンプル（ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ）、及び第２サンプル（ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ）に基づき、現在ブロックに対する組合せ予測サンプル（ｐｒｅｄＳａｍｐｌｅＣｏｍｂ）を取得する段階（８－８４１）を行うことができる。例えば、ビデオ信号処理装置は、下記のような式に基づいて組合せ予測サンプル（ｐｒｅｄＳａｍｐｌｅＣｏｍｂ）を取得することができる。
predSampleComb[x][y] = (w*predSamplesIntra[x][y] + (4-w)*predSamplesInter[x][y] + 2 ) >> 2
ここで、ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂは、組合せ予測サンプルを意味し、ｗは、加重値を意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａは、第２サンプルを意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒは、第１サンプルを意味し、［ｘ］は、現在ブロックに含まれたサンプルのｘ軸座標を意味し、［ｙ］は、現在ブロックに含まれたサンプルのｙ軸座標を意味できる。
本開示において、周辺位置と周辺位置座標は同じ意味で使われてよい。
図３３は、本開示の一実施例に係る重み付きサンプル予測過程を示す図である。
図３３の実施例は、図３２で説明した周辺位置座標を他の方式で表現したものである。したがって、前述と重複する内容は省略してもよい。
前述したように、ビットシフト（ｂｉｔ ｓｈｉｆｔ）を掛け算で表現することができる。図３２は、ビットシフトを用いて示し、図３３は、掛け算を用いて示したものであってよい。
一実施例によれば、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）は、現在ブロックの色成分に関する情報（ｃＩｄｘ）及び幅に関する情報（ＳｕｂＷｉｄｔｈＣ）に基づいて設定することができる。例えば、現在ブロックの色成分に関する情報（ｃＩｄｘ）が０であるか或いは幅に関する情報（ＳｕｂＷｉｄｔｈＣ）が１である場合に、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）を１に設定でき、そうでない場合（ｃＩｄｘが０でなく、幅に関する情報（ＳｕｂＷｉｄｔｈＣ）が１でない場合（ＳｕｂＷｉｄｔｈＣが２である場合））に、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）を２に設定することができる。図３３の方程式（８－８３８）を参照すると、次のように示すことができる。
scallFactWidth = ( cIdx == 0 || SubWidthC == 1) ? 1 : 2
また、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）は、現在ブロックの色成分に関する情報（ｃＩｄｘ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）に基づいて設定することができる。例えば、現在ブロックの色成分に関する情報（ｃＩｄｘ）が０であるか或いは高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）が１である場合に、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）を１に設定でき、そうでない場合（ｃＩｄｘが０でなく、高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）が１でない場合（ＳｕｂＨｅｉｇｈｔＣが２である場合））に、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）を２に設定することができる。図３３方程式（８－８３９）を参照すると、次のように示すことができる。
scallFactHeight = ( cIdx == 0 || SubHeightC == 1) ? 1 : 2
また、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）に基づいて周辺位置のｘ座標を示すことができ、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）に基づいて周辺位置のｙ座標を示すことができる。例えば、ｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）に基づいてＮｂＢの座標を設定することができる。例えば、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）に基づいてＮｂＡの座標を設定することができる。また、前述したように、ここでｘ軸のスケール情報（ｓｃａｌｌＦａｃｔＷｉｄｔｈ）に基づくことは、ＳｕｂＷｉｄｔｈＣに基づくことであってよく、ｙ軸のスケール情報（ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ）に基づくことは、ＳｕｂＨｅｉｇｈｔＣに基づくことであってよい。例えば、周辺位置座標は、次の通りでよい。
(xNbA, yNbA) = (xCb - 1, yCb + (cbHeight * scallFactHeight) - 1)
(xNbB, yNbB) = (xCb + (cbWidth * scallFactWidth) - 1, yCb - 1)
この時、ｘＣｂ、ｙＣｂは、前述したように、ルマサンプル基準に示した座標であってよい。また、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、各色成分を基準に示したものであってよい。
図３４は、本開示の一実施例に係る重み付きサンプル予測過程を示す図である。
図３０、図３２、図３３などの実施例において周辺位置を参照して該当の位置が利用可能か否か判断した。この時、色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）を示すインデックスであるｃＩｄｘを、０（ルマ成分）に設定した。また、該当の位置が利用可能か否かを判断するとき、現在ブロックの色成分に関する情報（ｃＩｄｘ）は、該当の位置ｃＩｄｘの再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）の完了したか否かを判断するために使用することができる。すなわち、該当の位置が利用可能か否かを判断するとき、ｃＩｄｘは、ＩｓＡｖａｉｌａｂｌｅ［ｃＩｄｘ］［ｘＮｂＹ］［ｙＮｂＹ］値を判断するために使用することができる。しかし、クロマブロックに対する重み付きサンプル予測過程を行うとき、ｃＩｄｘ０に該当するＩｓＡｖａｉｌａｂｌｅ値を参照すると、誤った判断をすることがある。例えば、周辺位置を含むブロックのルマ成分の再構成が完了していないが、クロマ成分の再構成が完了した場合に、ｃＩｄｘが０のとき、ＩｓＡｖａｉｌａｂｌｅ［０］［ｘＮｂＹ］［ｙＮｂＹ］はＦＡＬＳＥであり、ＩｓＡｖａｉｌａｂｌｅ［ｃＩｄｘ］［ｘＮｂＹ］［ｙＮｂＹ］はＴＲＵＥであってよい。したがって、実際に周辺が利用可能であるにもかかわらず利用可能でないと判断できる場合が発生する。図３４の実施例では、この問題を解決するために、周辺位置を参照して該当の位置が利用可能か否かを判断するとき、現在コーディングブロックのｃＩｄｘを入力（ｉｎｐｕｔ）として使用することができる。すなわち、“ｔｈｅ ｄｅｒｉｖａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ ａｖａｉｌａｂｉｌｉｔｙ”を呼び出す（ｉｎｖｏｋｅ）時に、入力であるｃＩｄｘとして現在コーディングブロックのｃＩｄｘを入れることができる。
また、図３２～図３３で説明した内容は、省略していてよい。
また、前述した周辺位置の予測モードを判断する時に、ｃｈＴｙｐｅ０に該当するＣｕＰｒｅｄＭｏｄｅであるＣｕＰｒｅｄＭｏｄｅ［０］［ｘＮｂＸ］［ｙＮｂＹ］を参照したが、仮に現在ブロックに対するｃｈＴｙｐｅが一致しない場合に、誤ったパラメータを参照することがある。したがって、本開示の実施例によれば、周辺位置の予測モードを判断する時に、現在ブロックに該当するｃｈＴｙｐｅ値に該当するＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘＮｂＸ］［ｙＮｂＹ］を参照することができる。
図３５は、本開示の一実施例に係るＣＩＩＰ加重値導出（ＣＩＩＰ ｗｅｉｇｈｔ ｄｅｒｉｖａｔｉｏｎ）を示す図である。
図２９～図３４で説明した実施例においてＣＩＩＰ加重値導出関連内容を説明しており、本実施例では前述の内容を省略していてよい。
また、図２９～図３４で説明した実施例において、多数の色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）に対して相対的に同じ位置に基づいてＣＩＩＰで使用する重み付けを決定することができた。したがって、これは、クロマ成分（ｃｈｒｏｍａ ｃｏｍｐｏｎｅｎｔ）に対してルマ成分（ｌｕｍａ ｃｏｍｐｏｎｅｎｔ）について説明した隣位置（ｎｅｉｇｈｂｏｒｉｎｇ ｌｏｃａｔｉｏｎｓ）に基づき、ＣＩＩＰで使用する重み付けを決定できるということを意味できる。また、したがって、これは多数の色成分に対してルマ成分について説明した隣位置に基づき、ＣＩＩＰで使用する重み付けを決定できるということを意味できる。また、したがって、これは多数の色成分に対して同じ隣位置に基づき、ＣＩＩＰで使用する重み付けを決定できるということを意味できる。また、これは多数の色成分に対してＣＩＩＰで使用する重み付けが同一であることを意味できる。前述したように、隣位置の予測モードを参照するものであり得るためである。または、色成分野に対して相対的に同じ位置の予測モードが同一であり得るためである。より具体的に、各色成分に対する既に設定された位置に該当する予測モードが色成分野に対して同一である場合に、多数の色成分に対してＣＩＩＰで使用する重み付けが同一であってよい。また、インター予測を使用できる場合に、各色成分に対する既に設定された位置に該当する予測モードが、色成分野に対して同一であってよい。または、Ｐスライス又はＢスライスである場合に、各色成分に対する既に設定された位置に該当する予測モードが、色成分野に対して同一であってよい。これは、Ｐスライス又はＢスライスである場合にＳＩＮＧＬＥ＿ＴＲＥＥであり得るためである。
また、前述したように、前記ルマ成分について説明した隣位置は、次の通りでよい。
(xNbA, yNbA) = (xCb - 1, yCb + cbHeight - 1)
(xNbB, yNbB) = (xCb + cbWidth - 1, yCb - 1)
要するに、本開示の実施例によれば、多数の色成分に対してＣＩＩＰで使用する重み付けは、同一であってよい。より具体的に、ルマ成分に対して導出（ｄｅｒｉｖｅ）したＣＩＩＰで使用する重み付けをクロマ成分に対して使用することが可能である。これは、多数の色成分に対して重み付けを導出する過程を多数回行うことを防止するためのものであってよい。また、クロマ成分に対しても、前記（ｘＮｂＡ，ｙＮｂＡ）、（ｘＮｂＢ，ｙＮｂＢ）に基づく加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）を使用することができる。このとき、前記（ｘＮｂＡ，ｙＮｂＡ）、（ｘＮｂＢ，ｙＮｂＢ）におけるｃｂＨｅｉｇｈｔ、ｃｂＷｉｄｔｈは、ルマサンプルに基づく値であってよい。また、前記（ｘＮｂＡ，ｙＮｂＡ）、（ｘＮｂＢ，ｙＮｂＢ）におけるｘＣｂ，ｙＣｂ値は、ルマサンプルに基づく値であってよい。すなわち、クロマ成分に対しても、ルマサンプルを基準にした幅、高さ、座標に基づく隣位置に基づいて決定した加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）をＣＩＩＰに使用することが可能である。
図３５を参照すると、導出した加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）を各色成分、すなわちＹ、Ｃｂ、Ｃｒに対して全て使用している。すなわち、同一の加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）を全ての色成分に対するＣＩＩＰに使用している。
図３６は、本開示の一実施例に係るＣＩＩＰ過程を示す図である。
図３６の実施例は、図３５で説明した実施例と関連していてよい。また、図３６の実施例は、図３５で説明した実施例の構造を示すことができる。また、図３６の実施例において、図２９～図３５で説明した内容は省略していてよい。
図３５で説明したように、各色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）に対してＣＩＩＰを使用する場合に、同一の加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）を使用することが可能である。
図３６を参照すると、ｃｉｉｐ＿ｆｌａｇは、ＣＩＩＰの使用されるか否かを示すシグナリングであってよい。仮にＣＩＩＰを使用する場合、図３６に言及された過程（ｐｒｏｃｅｓｓ）を行うことができる。仮にＣＩＩＰを使用する場合に、加重値導出過程（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ ｄｅｒｉｖａｔｉｏｎ ｐｒｏｃｅｓｓ）を行うことが可能である。このとき、加重値導出過程は、色成分に関係なく行うことが可能である。加重値導出過程は、図３０で説明した過程（ｐｒｏｃｅｓｓ）を含むことができる。この時、隣位置は、色成分と関係なく定められることが可能である。例えば、下のような隣位置を使用することができる。
(xNbA, yNbA) = (xCb - 1, yCb + cbHeight - 1)
(xNbB, yNbB) = (xCb + cbWidth - 1, yCb - 1)
また、図３６を参照すると、加重値導出過程の入力（ｉｎｐｕｔ）であるｘＣｂ、ｙＣｂ、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔと前記隣位置のｘＣｂ、ｙＣｂ、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔは、現在行っている色成分に関係なく既に設定された成分基準であってよい。例えば、ルマサンプル基準の値であってよい。すなわち、クロマ成分に対して加重値導出過程を行う時に、ルマサンプル基準のｘＣｂ、ｙＣｂ、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔに基づき得る。より具体的に、クロマ成分に対して加重値導出過程を行う時に、ルマサンプル基準のｘＣｂ、ｙＣｂ、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔに基づいて隣位置を設定し、これに基づいて加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）を決定することができる。
加重値導出過程に基づいて加重値ｗを設定することができる。図３６の加重値導出過程は、図３０で説明した加重値ｗを設定する過程であってよい。このとき、説明したように、色成分と関係ない隣位置を使用することができる。
また、図３６を参照すると、ＣＩＩＰを使用する場合に、一般イントラサンプル予測過程（ｇｅｎｅｒａｌ ｉｎｔｒａ ｓａｍｐｌｅ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｃｅｓｓ）及び重み付きサンプル予測過程を行うことができる。また、これは、各色成分野に対して行うことができる。重み付きサンプル予測過程は、図３０で説明した重み付けを使用してインター予測とイントラ予測とを結合する過程を含むことができる。例えば、重み付きサンプル予測過程は、図３０の方程式（８－８４０）を用いて結合する過程を含むことができる。また、本開示の実施例によれば、重み付きサンプル予測過程は、加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）に基づいて行うことができ、多数の色成分野に対して同一の加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）を使用することが可能である。また、重み付きサンプル予測（ｗｅｉｇｈｔｅｄ ｓａｍｐｌｅ ｐｒｅｄｉｃｔｉｏｎ）で使用する加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）は、前述した加重値導出過程に基づいて決定された加重値ｗであってよい。
また、図３６を参照すると、重み付きサンプル予測過程の入力であるコーディングブロックの幅、高さは、各色成分を基準に示した値であってよい。図３６を参照すると、ルマ成分である場合（ｃＩｄｘが０である場合）に、幅、高さはそれぞれｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔであり、クロマ成分である場合（ｃＩｄｘが０でない場合；ｃＩｄｘが１又は２である場合）に、幅、高さはそれぞれｃｂＷｉｄｔｈ／ＳｕｂＷｉｄｔｈＣ、ｃｂＨｅｉｇｈｔ／ＳｕｂＨｅｉｇｈｔＣであってよい。
すなわち、ある色成分に対して、他の色成分に基づいて決定した加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）を利用し、前記ある色成分を基準にした幅、高さを用いて重み付きサンプル予測過程を行うことができる。または、ある色成分に対して、他の色成分を基準にした幅、高さに基づいて決定した加重値（ｗｅｉｇｈｔｉｎｇ ｖａｌｕｅ）を利用し、前記ある色成分を基準にした幅、高さを用いて重み付きサンプル予測過程を行うことができる。この時、前記ある色成分はクロマ成分であり、前記他の色成分は、ルマ成分であってよい。さらに他の実施例として、前記ある色成分はルマ成分であり、前記他の色成分はクロマ成分であってよい。
これは、具現を簡単にするためのものでよい。例えば、図３６に示した過程が各色成分別に行われてよいが、加重値導出過程を色成分に関係なく行わせることにより、加重値導出過程の具現を簡単にすることができる。または、これは、反復する過程（ｐｒｏｃｅｓｓ）を行わないようにするためのものであってもよい。
図３７は、本開示の一実施例に係るＭＶ及びＭＶＤの範囲を示す図である。
本開示の実施例によれば、ＭＶＤ生成方法或いはＭＶＤ決定方法が多数存在し得る。ＭＶＤは、前述したモーションベクトル差分値（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）であってよい。また、モーションベクトル（ＭＶ）生成方法或いはＭＶ決定方法が多数存在し得る。
例えば、ＭＶＤ決定方法は、シンタックスエレメントの値から決定する方法を含むことができる。例えば、図９で説明したようなシンタックスエレメントに基づいてＭＶＤを決定することができる。これについて図４０でさらに説明する。
また、ＭＶＤ決定方法は、ＭＭＶＤ（ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）モード使用時に決定する方法を含むことができる。例えば、マージモードを使用する時に使用するＭＶＤが存在してよい。これについて図３８～図３９でさらに説明する。
本開示の実施例において、ＭＶ又はＭＶＤは、アファインモーション補償を行うためのコントロールポイントモーションベクトル（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ，ＣＰＭＶ）に対するものを含むことができる。すなわち、ＭＶ、ＭＶＤはそれぞれ、ＣＰＭＶ、ＣＰＭＶＤを含むことができる。
本開示の一実施例によれば、ＭＶ又はＭＶＤが示し得る範囲が制限されてよい。これにより、制限されたリソース、制限されたビット数を用いてＭＶ又はＭＶＤを表現し保存し、ＭＶ又はＭＶＤを用いた演算をすることができる。本開示の実施例において、ＭＶ又はＭＶＤが示し得る範囲をそれぞれ、ＭＶ範囲（ＭＶ ｒａｎｇｅ）、ＭＶＤ範囲（ＭＶＤ ｒａｎｇｅ）ということができる。
一実施例によれば、ＭＶ範囲又はＭＶＤ範囲は、－２＾Ｎから（２＾Ｎ－１）までであってよい。このとき、－２＾Ｎと（２＾Ｎ－１）を含む範囲であってよい。さらに他の実施例によれば、ＭＶ範囲又はＭＶＤ範囲は、（－２＾Ｎ＋１）から２＾Ｎまでであってよい。このとき、（－２＾Ｎ＋１）と２＾Ｎを含む範囲であってよい。この実施例において、Ｎは整数、例えば、正の整数であってよい。より具体的に、Ｎは１５又は１７であってよい。また、この時、ＭＶ範囲又はＭＶＤ範囲をＮ＋１ビットを用いて示すことが可能である。
また、説明した制限的なＭＶ範囲又は制限的なＭＶＤ範囲を具現するために、クリッピング（ｃｌｉｐｐｉｎｇ）、モジュール（ｍｏｄｕｌｕｓ）演算を行うことが可能である。例えば、ある段階（例えば、最終段階前）のＭＶ又はＭＶＤをクリッピング又はモジュール演算して、ＭＶ範囲又はＭＶＤ範囲内の値が導出されるようにすることができる。または、制限的なＭＶ範囲又は制限的なＭＶＤ範囲を具現するために、ＭＶ又はＭＶＤを示すシンタックスエレメントの２進化表現範囲を制限することができる。
本開示の一実施例によれば、ＭＶ範囲とＭＶＤ範囲が異なってよい。また、ＭＶＤ決定方法が多数存在し、ＭＶＤ１とＭＶＤ２とが異なる方法によって決定されたＭＶＤであってよい。本開示のさらに他の実施例によれば、ＭＶＤ１範囲とＭＶＤ２範囲とが異なってもよい。互いに異なる範囲（ｒａｎｇｅ）を使用することは、互いに異なるリソース又は互いに異なるビット数を使用するためのものであってよく、これにより、ある要素に対して不要に広い範囲を示さなくて済む。
一実施例によれば、ＭＶＤ１は、図４０又は図９で説明するＭＶＤであってよい。または、ＭＶＤ１は、ＡＭＶＰ、インターモード、アファインインターモードのＭＶＤであってよい。または、ＭＶＤ１は、マージモードを使用しない時のＭＶＤであってよい。マージモードの使用されるか否かは、ｍｅｒｇｅ＿ｆｌａｇ又はｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇによって示されてよい。例えば、ｍｅｒｇｅ＿ｆｌａｇ又はｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇが１である場合に、マージモードを使用するものであり、０である場合にマージモードを使用しないものであってよい。
一実施例によれば、ＭＶＤ２は、図３８～図３９で説明するＭＶＤであってよい。または、ＭＶＤ２は、ＭＭＶＤモードのＭＶＤであってよい。または、ＭＶＤ２は、マージモードを使用する時のＭＶＤであってよい。
一実施例によれば、ＭＶは、最終モーション補償又は予測に用いられるＭＶであってよい。または、ＭＶは候補リストに入るＭＶであってよい。または、ＭＶは、コロケーテッドモーションベクトル（ｃｏｌｌｏｃａｔｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）（時間的モーションベクトル）であってよい。または、ＭＶは、ＭＶＰにＭＶＤを足した値であってよい。または、ＭＶは、ＣＰＭＶであってよい。または、ＭＶは、ＣＰＭＶＰにＣＰＭＶＤを足した値であってよい。または、ＭＶは、アファインＭＣにおいて各サブブロックに対するＭＶであってよい。前記サブブロックに対するＭＶは、ＣＰＭＶから導出されたＭＶであってよい。または、ＭＶは、ＭＭＶＤのＭＶであってよい。
本開示の実施例によれば、ＭＶＤ２範囲は、ＭＶＤ１範囲又はＭＶ範囲よりも狭くてよい。また、ＭＶＤ１範囲とＭＶ範囲は同一であってよい。一実施例によれば、ＭＶＤ１範囲とＭＶ範囲は、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）であってよい。また、ＭＶＤ２範囲は、－２＾１５から（２＾１５－１）まで（ｉｎｃｌｕｓｉｖｅ）であってよい。
図３７を参照すると、点線で表した四角形は、ＭＶ範囲又はＭＶＤ範囲を示している。また、内側四角形は、ＭＶＤ２範囲を示したものでよい。外側の四角形は、ＭＶＤ１範囲又はＭＶ範囲を示したものでよい。すなわち、ＭＶＤ２範囲は、ＭＶＤ１範囲又はＭＶ範囲と異なってよい。図面中の範囲（ｒａｎｇｅ）は、図面の点から示し得るベクトル（ｖｅｃｔｏｒ）範囲を示したものでよい。例えば、前述したように、ＭＶＤ２範囲は、－２＾１５から（２＾１５－１）まで（ｉｎｃｌｕｓｉｖｅ）であってよい。また、ＭＶＤ１範囲又はＭＶ範囲は、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）であってよい。仮に、ＭＶ又はＭＶＤがｘ－ｐｅｌ単位の値である場合に、ＭＶ又はＭＶＤが示す値は、実際に（ＭＶ＊ｘ）又は（ＭＶＤ＊ｘ）ピクセルであってよい。例えば、１／１６－ｐｅｌ単位の値である場合に、（ＭＶ／１６）又は（ＭＶＤ／１６）ピクセルを示すものであってよい。この実施例において、ＭＶＤ２範囲の場合、最大絶対値が３２７６８であり、これが仮に１／１６－ｐｅｌ単位の値である場合、（ＭＶＤ２値）／１６の値が最大で２０４８ピクセルとなる。したがって、８Ｋピクチャーを完全にカバーできなくなる。ＭＶＤ１範囲又はＭＶ範囲の場合、最大絶対値が１３１０７２であり、１／１６－ｐｅｌ単位を使用する時に、最大で８１９２ピクセルを示すことができる。したがって、８Ｋピクチャーを完全にカバーすることができる。８Ｋレゾリューションは、横長（又は、横又は縦のうち長いものの長さ）が７６８０ピクセル又は８１９２ピクセルであるレゾリューションを示すことができる。例えば、７６８０×４３２０などのピクチャーが８Ｋレゾリューションであってよい。
図３８は、本開示の一実施例に係るＭＭＶＤを示す図である。
本開示の実施例によれば、ＭＭＶＤは、ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ＭＶＤ、ｍｅｒｇｅ ｗｉｔｈ ＭＶＤであり、マージモードにＭＶＤを使用する方法であってよい。例えば、マージ候補とＭＶＤに基づいてＭＶを生成できる。また、ＭＭＶＤのＭＶＤは、図９又は図４０のＭＶＤ、又は前述したＭＶＤ１に比べて、示し得る範囲が限定的であり得る。例えば、ＭＭＶＤのＭＶＤは、水平成分、垂直成分のいずれか１つのみ存在することが可能である。また、ＭＭＶＤのＭＶＤが示し得る値の絶対値は、互いに等間隔でないことがある。図３８（ａ）は、中心の点線形状の点からＭＭＶＤのＭＶＤが示し得る点（ｐｏｉｎｔ）を示している。
図３８（ｂ）は、ＭＭＶＤ関連シンタックスを示している。一実施例によれば、ＭＭＶＤの使用されるか否かを示す上位レベルシグナリングが存在してよい。ここで、シグナリングとは、ビットストリームからパースすることを意味できる。上位レベルは、現在ブロック、現在コーディングブロックを含む単位でよく、例えば、スライス、シーケンス、タイル、タイルグループ、ＣＴＵなどであってよい。ＭＭＶＤの使用されるか否かを示す上位レベルシグナリングは、上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）であってよい。上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が１である場合に、ＭＭＶＤが活性化されることを示し、上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が０である場合に、ＭＭＶＤが活性化されないことを示すことができる。ただし、これに限定されるものではなく、上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）０である場合に、ＭＭＶＤが活性化されることを示し、上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が１である場合に、ＭＭＶＤが活性化されないことを示すことができる。
仮にＭＭＶＤの使用されるか否かを示す上位レベルシグナリングである上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が１である場合に、追加のシグナリングによって現在ブロックにＭＭＶＤの使用されるか否かを示すことができる。すなわち、ビデオ信号処理装置は、上位レベルＭＭＶＤ活性情報がＭＭＶＤの活性を示す場合に、現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）をビットストリームからパースする段階を行うことができる。ＭＭＶＤの使用されるか否かを示すシグナリングは、ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）であってよい。ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）が１である場合、現在ブロックに対してＭＭＶＤが使用されることを意味できる。ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）が０である場合に、現在ブロックに対してＭＭＶＤが使用されないことを意味できる。ただし、これに限定されるものではなく、ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）が０である場合に、現在ブロックに対してＭＭＶＤが使用されることを意味し、ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）が１である場合に、現在ブロックに対してＭＭＶＤが使用されないことを意味できる。
仮にＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）が１（使用することを示す値）である場合に、ＭＭＶＤ関連シンタックスエレメントをパースすることができる。ＭＭＶＤ関連シンタックスエレメントは、ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）、ＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）のうち少なくとも１つを含むことができる。
一実施例として、ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇは、ＭＭＶＤモードで使用するＭＶＰを示すことができる。または、ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇは、ＭＭＶＤモードで使用するマージ候補を示すことができる。また、ＭＭＶＤのＭＶＤは、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）とＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）に基づいて決定されてよい。ここで、ＭＭＶＤのＭＶＤは、ＭＶＤに関する情報（ｍＭｖｄＬＸ）を示すことができる。例えば、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）は、ＭＭＶＤのＭＶＤの絶対値に関連した値を示し、ＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）は、ＭＭＶＤのＭＶＤの方向に関連した値を示すことができる。
図３９は、本開示の一実施例に係るＭＭＶＤのＭＶＤ導出（ＭＶＤ ｄｅｒｉｖａｔｉｏｎ）を示す図である。
図３９の左側を参照すると、ビデオ信号処理装置は、ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）に基づき、現在ブロックにＭＭＶＤが用いられるか否かを決定することができる。また、現在ブロックにＭＭＶＤを使用する場合に、ＭＶＤ導出過程を行うことができる。ＭＶＤ導出過程は、図３９右側に示した８．５．２．７であってよい。また、８．５．２．７の出力（ｏｕｔｐｕｔ）であるＭＶＤは、ＭＭＶＤのＭＶＤであってよく、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）であってよい。既に説明したように、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）は、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）とＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）に基づいて取得できる。ここで、Ｘは０、１で代替されてよく、それぞれ、参照リストＬ０、参照リストＬ１に該当するものであってよい。
また、図３９に示したように、ＭＭＶＤのＭＶＤ又はＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を、前の過程で導出したモーションベクトル（ＭＶ）であるｍｖＬＸに足すことができる（（８－２８１）、（８－２８２））。ここで、Ｘは０、１などで代替されてよく、それぞれ、第１参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ０）、第２参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ１）に該当するものであってよい。また、ここで、ＭＭＶＤのＭＶＤは、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を示すことができる。また、ビデオ信号処理装置は、ＭＶＤを足した修正されたモーションベクトル（ｍｖＬＸ）の範囲（ｒａｎｇｅ）を制限する過程を行うことができる。例えば、クリッピングを行うことができる（（８－２８３）、（８－２８４））。例えば、前述したＭＶ範囲に制限することができる。例えば、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）に制限することができる。
本開示において、Ｃｌｉｐ３（ｘ，ｙ，ｚ）は、クリッピングを示すものであってよい。。例えば、Ｃｌｉｐ３（ｘ，ｙ，ｚ）の結果は、１）ｚ＜ｘの場合にｘ、２）ｚ＞ｙの場合にｙ、３）その他の場合にｚ、になり得る。したがって、Ｃｌｉｐ３（ｘ，ｙ，ｚ）の結果、結果（ｒｅｓｕｌｔ）の範囲は、ｘ＜＝ｒｅｓｕｌｔ＜＝ｙであってよい。
本実施例において、ｍｖＬＸ［０］［０］［ｃｏｍｐ］、ｍＭｖｄＬＸ［ｃｏｍｐ］において、ｃｏｍｐはｘ－ｃｏｍｐｏｎｅｎｔ又はｙ－ｃｏｍｐｏｎｅｎｔを示すことができる。例えば、それぞれ、水平成分、垂直成分を示すものであってよい。
また、ビデオ信号処理装置は、修正されたモーションベクトル（ｍｖＬＸ）に基づいて現在ブロックを予測できる。また、ビデオ信号処理装置は、修正されたモーションベクトル（ｍｖＬＸ）に基づいて現在ブロックを復元することができる。既に説明したように、修正されたモーションベクトル（ｍｖＬＸ）は、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を、モーションベクトル（ＭＶ）であるｍｖＬＸに足した値であってよい。
また、ＭＭＶＤのＭＶＤ導出過程は、図３９の右側と同一であってよい。図面のＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）は、前述したＭＭＶＤ関連シンタックスエレメントに基づく値であってよい。例えば、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）は、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）、ＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）に基づく値であってよい。要するに、距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）及びＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）のうち少なくとも１つに基づいてＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）が取得されてよい。また、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づいてＭＭＶＤに関する情報（ｍＭｖｄＬＸ）が導出されてよい。
一実施例によれば、双予測である場合（ｐｒｅｄＦｌａｇＬＸがどの参照リストを使用するかを示すことができ、Ｘは０、１で代替されてよく、Ｌ０及びＬ１はそれぞれ第１参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ０）及び第２参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ１）に該当してよい。）ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）に基づいてＭＭＶＤのＭＶＤとしてＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）をそのまま使用するか、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づいて演算した値を使用するか、ある参照リストに対する値にＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）をそのまま使用するか、ある参照リストに対する値に、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づいて演算した値を使用するかなどを決定することができる。
一実施例によれば、第１参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ０）と第２参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ１）の両方に対するＭＶＤを取得するために、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）を使用する場合があり得る（（８－３５０）～（８－３５３））。例えば、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）と第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）が同一である場合であってよい。ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬＸ）は、現在ピクチャーのＰＯＣと参照リストＬＸの参照ピクチャーのＰＯＣ間の差であってよく、Ｘは、０と１で代替されてよい。第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）はそれぞれ、図３９の（８－３４８）、（８－３４９）によって決定されてよい。ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔは、次のように演算できる。
DiffPicOrderCnt( picA, picB ) = PicOrderCnt( picA ) - PicOrderCnt( picB )
ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＸ）は、ピクチャーｐｉｃＸのＰＯＣ値を示すものであってよい。
また、図３９でｃｕｒｒＰｉｃは、現在ピクチャー（ｐｉｃｔｕｒｅ）を示すものであってよい。また、ＲｅｆＰｉｃＬｉｓｔ［Ｘ］［ｒｅｆＩｄｘＬＸ］は、参照リストＬＸでｒｅｆＩｄｘＬＸを使用する時に参照ピクチャーを示すものであってよい。
一実施例によれば、第２参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ１）に対するＭＶＤに、ＭｍｖｄＯｆｆｓｅｔに基づいて演算した値を使用する場合があり得る（（８－３５４）～（８－３６３））。このとき、第１参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ０）に対するＭＶＤとしてＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）値をそのまま使用することが可能である。この場合は、Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ０）がＡｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ１）と同一であるか或いは大きい場合であってよい。または、Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ０）がＡｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ１）よりも大きい場合であってよい。
一実施例によれば、第１参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ０）に対するＭＶＤに、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づいて演算した値を使用する場合があり得る（（８－３６４）～（８－３７３））。このとき、第２参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ１）に対するＭＶＤとしてＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）値をそのまま使用することが可能である。この場合は、Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ０）がＡｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ１）よりも小さい場合であってよい。または、Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ０）がＡｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ１）より小さい又は同一である場合であってよい。
一実施例によれば、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づいて演算することは、ＭＶスケーリング（ＭＶ ｓｃａｌｉｎｇ）を示すものであってよい。ＭＶスケーリングは、図３９の（８－３５６）～（３－３６１）又は（８－３６６）～（３－３７１）であってよい。前者は、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）又はＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づくスケーリング（ｓｃａｌｉｎｇ）であり、スケールされたＭＶである第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を作る過程であってよく、後者は、第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）又はＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づくスケーリング（ｓｃａｌｉｎｇ）であり、スケールされた（ｓｃａｌｅｄ）モーションベクトル（ＭＶ）である第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）を作る過程であってよい。ＭＶスケーリングは、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）、第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）に基づく値であるスケール要素（ｄｉｓｔＳｃａｌｅＦａｃｔｏｒ（（８－３５９）、（８－３６９）））に基づく演算であってよい。また、ＭＶスケーリングは、スケール要素（ｄｉｓｔＳｃａｌｅＦａｃｔｏｒ）とスケールるＭＶを掛けた値に基づく演算であってよい（（８－３６０）、（８－３６１）、（８－３７０）、（８－３７１））。また、ＭＶスケーリングは、ＭＶ範囲を制限する過程を含むことができる。例えば、図３９の（８－３６０）、（８－３６１）、（８－３７０）、（８－３７１）に範囲（ｒａｎｇｅ）制限過程が含まれていてよい。例えば、ＭＶスケーリングは、クリッピング過程を含むことができる。本開示の実施例によれば、この時、前述したＭＶＤ２範囲を使用することができる。例えば、－２＾１５から（２＾１５－１）まで（ｉｎｃｌｕｓｉｖｅ）と範囲を制限することができる。すなわち、ＭＭＶＤのＭＶＤ範囲を－２＾１５から（２＾１５－１）まで（ｉｎｃｌｕｓｉｖｅ）と制限できる。例えば、すなわち、ＭＭＶＤのＭＶＤ導出過程は、ｄｉｓｔＳｃａｌｅＦａｃｔｏｒとスケールするＭＶを掛けた値に基づく値を、－２＾１５から（２＾１５－１）まで（ｉｎｃｌｕｓｉｖｅ）と制限する過程を含むことができる。例えば、Ｃｌｉｐ３（－２＾１５，２＾１５－１，ｘ）過程がＭＭＶＤのＭＶＤ導出過程に含まれてよい。より具体的に、ｍＭｖｄＬＸは、次のように決定されてよい。
mMvdLX = Clip3(-2^15, 2^15 - 1, (distScaleFactor*mMvdLY + 128 - (distScaleFactor*mMvdLY >=0 )) >> 8 )
このとき、Ｙは０又は１でよく、！Ｘであってよい。また、ｍＭｖｄＬＹは、ＭｍｖｄＯｆｆｓｅｔであってよい。ｄｉｓｔＳｃａｌｅＦａｃｔｏｒは、（８－３５９）又は（８－３６９）に示した値であってよく、ｃｕｒｒＰｏｃＤｉｆｆＬ０とｃｕｒｒＰｏｃＤｉｆｆＬ１に基づく値であってよい。ただし、ＭＭＶＤのＭＶＤ、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）又はスケールされたＭＶの範囲が、－２＾１５から（２＾１５－１）までと限定されるものではない。ＭＭＶＤのＭＶＤ、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）又はスケールされたＭＶの範囲は、－２＾１７から（２＾１７－１）までであってよい。これについては図４３で説明する。
本過程は、Ｌ０とＬ１に対する参照ピクチャーがいずれもロングターム参照ピクチャー（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）でない場合に行うことが可能である。
一実施例によれば、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づいて演算することは、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）と第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）に基づいてＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）又は負のＭＭＶＤオフセット（－ＭｍｖｄＯｆｆｓｅｔ）を示すものであってよい（（８－３６２）、（８－３６３）、（８－３７２）、（８－３７３））。本過程は、Ｌ０とＬ１に対する参照ピクチャーのうち少なくとも１つが、ロングターム参照ピクチャーである場合に行うことが可能である。
また、仮にｕｎｉ－予測である場合に、ｍＭｖｄＬＸで（に） ＭｍｖｄＯｆｆｓｅｔをそのまま使用することが可能である（（８－３７４）、（８－３７５））。
図４０は、本開示の一実施例に係るＭＶＤ及びＭＶ導出を示す図である。
図４０の実施例は、図３７のＭＶ範囲又はＭＶＤ１範囲を使用する例であってよい。図４０の実施例は、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）の範囲を使用する例であってよい。
図４０を参照すると、図９などで説明したシンタックスエレメントに基づいてｌＭｖｄを導出（ｄｅｒｉｖｅ）することができる（７－１６１）。また、ｌＭｖｄは、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）の範囲であってよい。また、ＭｖｄＬＸ、ＭｖｄＣｐＬＸなどの値がｌＭｖｄに設定されてよい。また、ｌＭｖｄ、ＭｖｄＬＸ、ＭｖｄＣｐＬＸなどは、前述したＭＶＤ１であってよい。
またＡＭＶＰ、インターモードなどを使用する場合に、ＭＶ範囲を－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）と制限することができる。この場合は、マージモードを使用しない場合であってよい。図４０を参照すると、（８－２６４）～（８－２６７）は、ＭＶ範囲制限過程を含むことができる。図面を参照すると、ｕＬＸは、ＭＶＰ（ｍｖｐＬＸ）とＭＶＤ（ｍｖｄＬＸ）を足し算したものに基づく値であってよい。また、ＵＬＸに基づき、最終ＭＶであるｍｖＬＸを計算することができる。図４０は、モジュール(ｍｏｄｕｌｕｓ)演算を含んでいるが、この演算によって示す値を、一定ビット数以下に表現できるように制限されてよい。例えば、（％２＾１８）を計算することによって１８ビットで表現できるようにすることができる。したがって、ＭＶ範囲を－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）と制限できる。（８－２６５）、（８－２６７）は、ＭＶＰとＭＶＤ足し算する際に発生し得るオーバーフロー（ｏｖｅｒｆｌｏｗ）を解決する役割を担うことができる。
図４１は、本開示の一実施例に係るＭＶ、ＣＰＭＶ導出（ＣＰＭＶ ｄｅｒｉｖａｔｉｏｎ）を示す図である。
図４１の実施例は、図３７のＭＶ範囲又はＭＶＤ１範囲を使用する例であってよい。図４０の実施例は、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）の範囲を使用する例であってよい。
図４１（ａ）は、コロゲーテッドモーションベクトル（時間的モーションベクトル）を導出する方法を示したものであってよい。この過程は、ＭＶスケーリングを含むことができる。この時、ｄｉｓｔＳｃａｌｅＦａｃｔｏｒとスケールするＭＶ（ｍｖＣｏｌ）に基づく値をクリッピングする演算を含むことができる（（８－３９８））。この時、クリッピングを－１３１０７２、１３１０７１の範囲（ｉｎｃｌｕｓｉｖｅ）の結果が出るようにすることができる。－１３１０７２は、－２＾１７と同じ値である。１３１０７１は、２＾１７－１と同じ値である。
図４１（ｂ）は、ＣＰＭＶ（ｃｐＭｖＬＸ）を導出する過程の一部を示す図である。この時も同様、範囲（ｒａｎｇｅ）を制限するためのクリッピング過程が含まれてよい。この時、範囲は、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）であってよい。
図４１（ｃ）は、サブブロックベースのＭＶを導出する過程の一部を示す図である。サブブロックベースのＭＶは、アファインＭＣ、サブブロックベースの時間的ＭＶ予測などを使用する時のＭＶであってよい。この時も同様、範囲を制限するためのクリッピング過程が含まれてよい。この時、範囲は、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）であってよい。図面のｘＳｂＩｄｘ、ｙＳｂＩｄｘはそれぞれ、ｘ軸に対するサブブロックインデックス、ｙ軸に対するサブブロックインデックスを示すことができる。
図４２は、本開示の一実施例に係るＭＶ及びＭＶＤの範囲を示す図である。
前述した部分は本実施例で説明を省略していてよい。
前述したように、ＭＶＤ生成方法或いはＭＶＤ決定方法が多数存在し得る。ＭＶＤは、前述したモーションベクトル差分値（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）であってよい。また、ＭＶ生成方法或いはＭＶ決定方法が多数存在し得る。
そして、このとき、本開示の一実施例によれば、ＭＶ又はＭＶＤが示し得る範囲が制限的であってよい。
本開示の一実施例によれば、ＭＶ範囲とＭＶＤ範囲は、同一であってよい。また、ＭＶＤ生成方法が存在し、ＭＶＤ生成方法１によって生成したＭＶＤがＭＶＤ１であり、ＭＶＤ生成方法２によって生成したＭＶＤがＭＶＤ２であってよい。この時、ＭＶＤ１範囲とＭＶＤ２範囲は同一であってよい。また、前記ＭＶ範囲、ＭＶＤ範囲、ＭＶＤ１範囲、ＭＶＤ２範囲は、－２＾Ｎから（２＾Ｎ－１）までであってよい。このとき、－２＾Ｎと（２＾Ｎ－１）を含む範囲であってよい。さらに他の実施例によれば、ＭＶ範囲又はＭＶＤ範囲は、（－２＾Ｎ＋１）から２＾Ｎまでであってよい。このとき、（－２＾Ｎ＋１）と２＾Ｎを含む範囲であってよい。これらの実施例において、Ｎは整数、例えば、正の整数であってよい。より具体的に、Ｎは１７であってよい。また、このとき、ＭＶ範囲又はＭＶＤ範囲をＮ＋１ビットを用いて示すことができる。したがって、ＭＶ範囲、ＭＶＤ範囲、ＭＶＤ１範囲、ＭＶＤ２範囲はいずれも、－２＾１７から（２＾１７－１）までであってよい。
また、先の図面で説明したように、ＭＶ、ＭＶＤ１、ＭＶＤ２などが定義されてよい。すなわち、ＭＶは、最終モーション補償又は予測に用いられるＭＶなどを意味でき、これについて図３７の説明を参照できる。また、ＭＶＤ１は、図４０又は図９で説明するＭＶＤであってよい。または、ＭＶＤ１は、ＡＭＶＰ、インターモード、アファインインターモードのＭＶＤ、又はマージモードを使用しない時のＭＶＤであってよく、これについて図３７の説明を参照できる。また、ＭＶＤ２は、図３８～図３９で説明するＭＶＤ、又はＭＭＶＤモードのＭＶＤであってよく、これについて図３７の説明を参照できる。ここでＭＭＶＤモードのＭＶＤは、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）であってよい。
したがって、一実施例によれば、ＡＭＶＰ、インターモード、アファインインターモードのＭＶＤ及びＭＭＶＤのＭＶＤはいずれも、示し得る範囲が同一であってよい。さらに、最終ＭＶも範囲が同一であってよい。より具体的に、ＡＭＶＰ、インターモード、アファインインターモードのＭＶＤ及びＭＭＶＤのＭＶＤはいずれも、範囲が－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）であってよい。さらに、最終ＭＶも範囲が－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）であってよい。
これにより、あるサイズのピクチャーを、ＭＶ、ＭＶＤが完全にカバー可能になる。また、あるＭＶ、又はＭＶＤ１が示し得る範囲があるとき、ＭＶＤ２も同一の範囲を表現可能になる。したがって、例えば、ＭＶＤ２を使用する方法が表現範囲によって他の方法に比べて制限的に使用されなくて済む。また、ＭＶ、ＭＶＤ１などがいずれの範囲を示し得るとき、ＭＶＤ２が同一の範囲を示すようにすることは、ハードウェア又はソフトウェアにおいて追加のリソースを必要としなくて済む。仮にＭＶＤ２又はＭＭＶＤのＭＶＤが－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）を表現できれば、最大絶対値が１３１０７２であり、これが１／１６－ｐｅｌ単位の値である場合に最大で８１９２ピクセルを示すことができる。したがって、８Ｋピクチャーを完全にカバーすることができる。
図４２を参照すると、外側の点線は、ＭＶ、ＭＶＤ１、ＭＶＤ２が中央の点から示し得る範囲を表示している。そして、ＭＶ範囲、ＭＶＤ１範囲、ＭＶＤ２範囲はいずれも同一であってよい。例えば、ＭＶ範囲、ＭＶＤ１範囲、ＭＶＤ２範囲は、－２＾１７から（２＾１７－１）まで（ｉｎｃｌｕｓｉｖｅ）の範囲（ｒａｎｇｅ）であってよい。また、この範囲は、８Ｋピクチャーを全て含むことができる。すなわち、最悪のケースとして、ピクチャーの端から端を示す場合にも、前記ＭＶ、ＭＶＤ１、ＭＶＤ２範囲は、それを示すことが可能になる。したがって、これにより、より良好なモーションベクトルを示すことができ、モーション補償がよくなされるとといえ、レジデュアルが減り、コーディング効率（ｃｏｄｉｎｇ ｅｆｆｉｃｉｅｎｃｙ）が増大する効果を奏することができる。
図４３は、本開示の一実施例に係るＭＭＶＤのＭＶＤ導出を示す図である。
図４３は、図３９の一部を修正したものであってよい。図４３の実施例において、図３９で説明した内容は省略してよい。または、前述した内容が省略されていてよい。
ＭＭＶＤを使用する場合に、ＭＶＤ導出過程を行うことができる。ＭＶＤ導出過程は、図４３に示した８．５．２．７であってよい。また、８．５．２．７の出力であるＭＶＤは、ＭＭＶＤのＭＶＤであってよく、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）であってよい。既に説明したように、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）は、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）とＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）に基づいて取得されてよい。
より具体的に、図４３と一緒に説明する。図４３を参照すると、ビデオ信号処理装置は、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）を取得することができる。ビデオ信号処理装置は、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得するためにＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）を取得することができる。ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）は、前述したＭＭＶＤ関連シンタックスエレメントに基づく値であってよい。例えばＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）は、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）、ＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）に基づく値であってよい。
一実施例によれば、ビデオ信号処理装置は、ｐｒｅｄＦｌａｇＬＸに基づいて現在ブロックが双予測で予測されるか否かを決定することができる。ｐｒｅｄＦｌａｇＬＸは、どの参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ）を使用するかを示すことができる。ここで、Ｘは０、１で代替されてよく、Ｌ０及びＬ１はそれぞれ、参照リストＬ０及びＬ１に該当し得る。ｐｒｅｄＦｌａｇＬ０が１である場合に、第１参照リストが使用されることを示すことができる。また、ｐｒｅｄＦｌａｇＬ０が０である場合に、第１参照リストが使用されないことを示すことができる。ｐｒｅｄＦｌａｇＬ１が１である場合に、第２参照リストが使用されることを示すことができる。また、ｐｒｅｄＦｌａｇＬ１が０である場合に、第２参照リストが使用されないことを示すことができる。
図４３で、ｐｒｅｄＦｌａｇＬ０及びｐｒｅｄＦｌａｇＬ１がいずれも１である場合に、双予測を示すことができる。双予測は、第１参照リスト及び第２参照リストが両方とも使用されることを示すことができる。第１参照リスト及び第２参照リストが用いられる場合に、ビデオ信号処理装置は、現在ブロックを含む現在ピクチャー（ｃｕｒｒＰｉｃ）及び第１参照リストに基づく第１参照ピクチャー（ＲｅｆＰｉｃＬｉｓｔ［０］［ｒｅｆＩｄｘＬ０］）間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）として取得する段階（８－３４８）を行うことができる。また、第１参照リスト及び第２参照リストが用いられる場合に、ビデオ信号処理装置は、現在ピクチャー（ｃｕｒｒＰｉｃ）及び第１リストに基づく第２参照ピクチャー（ＲｅｆＰｉｃＬｉｓｔ［１］［ｒｅｆＩｄｘＬ１］）間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）として取得する段階（８－３４９）を行うことができる。
ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬＸ）は、現在ピクチャーのＰＯＣと参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ ＬＸ）の参照ピクチャー（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ）のＰＯＣ間の差であってよく、Ｘは０と１で代替されてよい。第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）はそれぞれ、図４３の（８－３４８）、（８－３４９）によって決定されてよい。ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔは、次のように演算できる。
DiffPicOrderCnt( picA, picB ) = PicOrderCnt( picA ) - PicOrderCnt( picB )
ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＸ）は、ピクチャーｐｉｃＸのＰＯＣ値を示すものであってよい。
ビデオ信号処理装置は、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）、及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）のうち少なくとも１つに基づき、第１参照リストに関連した第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）及び第２参照リストに関連した第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を取得する段階を行うことができる。ここで、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）は、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）及び第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を含むことができる。ビデオ信号処理装置が第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）及び第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を取得する過程については、以下に詳細に説明する。
ビデオ信号処理装置は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）に基づいてＭＭＶＤのＭＶＤとしてＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）をそのまま使用するか、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づいて演算した値を使用するか、ある参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ）に対する値にＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）をそのまま使用するか、ある参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ）に対する値にＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づいて演算した値を使用するかなどを決定することができる。
第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）が同一である場合に、ビデオ信号処理装置は、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）を第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）として取得する段階（８－３５０，８－３５１）を行うことができる。また、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）が同一である場合に、ビデオ信号処理装置は、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）を第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）として取得する段階（８－３５２、８－３５３）を行うことができる。
ビデオ信号処理装置は、第１ＰＯＣ差の絶対値（Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ０））が第２ＰＯＣ差の絶対値（Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ１））よりも大きいか否かを決定することができる。また、ビデオ信号処理装置は、第１ＰＯＣ差の絶対値（Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ０））が第２ＰＯＣ差の絶対値（Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ１））より大きい或いは同一である場合に、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）を第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）として取得する段階（８－３５４、８－３５５）を行うことができる。
第１参照ピクチャー（ＲｅｆＰｉｃＬｉｓｔ［０］［ｒｅｆＩｄｘＬ０］）がロングターム参照ピクチャーでなく、第２参照ピクチャー（ＲｅｆＰｉｃＬｉｓｔ［１］［ｒｅｆＩｄｘＬ１］）がロングターム参照ピクチャーでない場合に、ビデオ信号処理装置は、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）をスケーリングして第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を取得する段階（８－３５６～８－３６１）を行うことができる。スケールのためにスケール要素（ｄｉｓｔＳｃａｌｅＦａｃｔｏｒ）が用いられてよい。スケール要素（ｄｉｓｔＳｃａｌｅＦａｃｔｏｒ）は、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）のうち少なくとも１つに基づいて取得されてよい。
第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは第２参照ピクチャーがロングターム参照ピクチャーである場合に、ビデオ信号処理装置は、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）の絶対値をスケールせずに第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を取得する段階（８－３６２、８－３６３）を行うことができる。ここで、スケールしないということは、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）の絶対値を変更しないという意味であってよい。すなわち、ビデオ信号処理装置は、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）の符号を変更して又は変更しないで、第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を取得することができる。ビデオ信号処理装置は、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）の符号が同一である場合に、第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）に設定することができる。また、ビデオ信号処理装置は、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）の符号が異なる場合に、第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）を、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）の符号を変更して設定することができる。
ビデオ信号処理装置は、第１ＰＯＣ差の絶対値（Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ０））が第２ＰＯＣ差の絶対値（Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ１））よりも小さいか否かを決定することができる。第１ＰＯＣ差の絶対値（Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ０））が第２ＰＯＣ差の絶対値（Ａｂｓ（ｃｕｒｒＰｏｃＤｉｆｆＬ１））よりも小さい場合に、ビデオ信号処理装置は、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）を第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）として取得する段階（８－３６４、８－３６５）を行うことができる。
第１参照ピクチャー（ＲｅｆＰｉｃＬｉｓｔ［０］［ｒｅｆＩｄｘＬ０］）がロングターム参照ピクチャーでなく、第２参照ピクチャー（ＲｅｆＰｉｃＬｉｓｔ［１］［ｒｅｆＩｄｘＬ１］）がロングターム参照ピクチャーでない場合に、ビデオ信号処理装置は、第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）をスケーリングし、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）を取得する段階（８－３６６～８－３７１）を行うことができる。スケールのためにスケール要素（ｄｉｓｔＳｃａｌｅＦａｃｔｏｒ）が用いられてよい。スケール要素（ｄｉｓｔＳｃａｌｅＦａｃｔｏｒ）は、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）のうち少なくとも１つに基づいて取得されてよい。
第１参照ピクチャー（ＲｅｆＰｉｃＬｉｓｔ［０］［ｒｅｆＩｄｘＬ０］）がロングターム参照ピクチャーであるか、或いは第２参照ピクチャー（ＲｅｆＰｉｃＬｉｓｔ［１］［ｒｅｆＩｄｘＬ１］）がロングターム参照ピクチャーである場合に、ビデオ信号処理装置は、第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）の絶対値をスケールせずに第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）を取得する段階（８－３７２，８－３７３）を行うことができる。ここで、スケールしないということは、第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）の絶対値を変更しないという意味であってよい。すなわち、ビデオ信号処理装置は、第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）の符号を変更して又は変更しないで、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）を取得することができる。ビデオ信号処理装置は、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）の符号が同一である場合に、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）を第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）に設定することができる。また、ビデオ信号処理装置は、第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）及び第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）の符号が異なる場合に、第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）を第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）の符号を変更して設定することができる。
図４３で、ｐｒｅｄＦｌａｇＬ０及びｐｒｅｄＦｌａｇＬ１のうち少なくとも１つが１でない場合に、単予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）を示すことができる。単予測である場合に、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）としてＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）をそのまま使用することができる（（８－３７４）、（８－３７５））。
既に説明したように、ビデオ信号処理装置は、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得するために、ＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得する段階を行うことができる。
第１参照リストのみが用いられる場合（ｐｒｅｄＦｌａｇＬ０＝＝１）に、ビデオ信号処理装置は、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）をスケールせず、第１参照リストに関連した第１ＭＭＶＤに関する情報（ｍＭｖｄＬ０）として取得する段階（８－３７４，８－３７５）を行うことができる。
第２参照リストのみが用いられる場合（ｐｒｅｄＦｌａｇＬ１＝＝１）に、ビデオ信号処理装置は、ＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）をスケールせず、第２参照リストに関連した第２ＭＭＶＤに関する情報（ｍＭｖｄＬ１）として取得する段階（８－３７４、８－３７５）を行うことができる。
前述したように、ＭＭＶＤのＭＶＤの範囲は制限的であってよい。ここで、ＭＭＶＤのＭＶＤは、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）であってよい。本開示の実施例によれば、ＭＭＶＤのＭＶＤの範囲は、他の方法で決定するＭＶＤ（例えば、図９のシンタックスエレメントに基づくＭＶＤ）の範囲と同一であってよい。また、ＭＭＶＤのＭＶＤの範囲は、最終ＭＶの範囲と同一であってよい。本開示の実施例によれば、ＭＭＶＤのＭＶＤ範囲又はＭＭＶＤに関する情報（ｍＭｖｄＬＸ）の範囲は、－２＾１７から２＾１７－１までであってよく、このとき、－２＾１７と２＾１７－１を含む範囲であってよい。
また、前述したように、ＭＭＶＤのＭＶＤ導出過程においてＭＶスケーリング過程を含むことができる。また、ＭＭＶＤのＭＶＤ導出過程において範囲（ｒａｎｇｅ）を制限するためのクリッピング動作が含まれてよい。
図４３を参照すると、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）は、クリッピング動作に基づくものでよい。このとき、Ｘは０又は１で代替されてよく、これはそれぞれ、第１参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ０）、第２参照リスト（ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ Ｌ１）に該当し得る。例えば、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）は、Ｃｌｉｐ３動作に基づくものでよい。例えば、ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）は、Ｃｌｉｐ３（－２＾１７，２＾１７－１，ｘ）に基づくものでよい。このとき、ｘは第１ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ０）、第２ＰＯＣ差（ｃｕｒｒＰｏｃＤｉｆｆＬ１）、又はＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づく値であってよい。例えば、ｘはスケール要素（ｄｉｓｔＳｃａｌｅＦａｃｔｏｒ）とＭＭＶＤオフセット（ＭｍｖｄＯｆｆｓｅｔ）に基づく値であってよい。図４３の（８－３６０）、（８－３６１）、（８－３７０）、（８－３７１）は、ＭＶＤ範囲を制限するためのクリッピング動作を含んでいる。
更なる実施例として、図４２～図４３において、ＭＶ、ＭＶＤ、ＭＶＤ１、ＭＶＤ２間の統一した範囲（ｒａｎｇｅ）、多数のＭＶＤ生成方法によるＭＶＤ、ＭＭＶＤのＭＶＤ範囲は、－２＾Ｎ＋１から２＾Ｎまでであってよく、このとき、－２＾Ｎ＋１と２＾Ｎを含む範囲であってよい。より具体的に、Ｎは１７であってよい。すなわち、ＭＶ、ＭＶＤ、ＭＶＤ１、ＭＶＤ２間の統一した範囲、多数のＭＶＤ生成方法によるＭＶＤ、ＭＭＶＤのＭＶＤ範囲は、－２＾１７＋１から２＾１７までであってよく、このとき、－２＾１７＋１と２＾１７を含む範囲であってよい。この場合、ＭＶＤを１８ビットで表現することができる。
本開示の一実施例によれば、クロマＭＶの範囲は、ルマＭＶの範囲と異なってよい。例えば、クロマＭＶは、ルマＭＶに比べて解像度が高くてよい。すなわち、クロマＭＶの１ユニットは、ルマＭＶの１ユニットよりも小さいピクセルを表現することができる。例えば、ルマＭＶは、１／１６－ｐｅｌ単位であってよい。また、クロマＭＶは１／３２－ｐｅｌ単位であってよい。
また、クロマＭＶは、ルマＭＶに基づくものでよい。例えば、クロマＭＶは、ルマＭＶにいずれの値を掛けて決定されてよい。前記いずれの値は、水平成分に対して２／ＳｕｂＷｉｄｔｈＣ、垂直成分に対して２／ＳｕｂＨｅｉｇｈｔＣであってよい。前記いずれの値が含む２は、クロマＭＶの解像度がルマＭＶの解像度よりも２倍高いために含まれた値であってよい。また、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣは、色フォーマット（ｃｏｌｏｒ ｆｏｒｍａｔ）によって決定される値であってよい。また、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣは、クロマサンプルサンプリング（ｃｈｏｒｍａ ｓａｍｐｌｅ ｓａｍｐｌｉｎｇ）に対する値であってよい。例えば、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣは、ルマサンプルに対してクロマサンプルがどれだけ存在するかに関する値であってよい。また、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣは、１又は２であってよい。
本開示の実施例によれば、クロマＭＶの解像度がルマＭＶの解像度よりも高い時に、クロマＭＶの範囲がルマＭＶの範囲よりも広くてよい。これは、ルマＭＶがカバーする領域をクロマＭＶもカバーするためのものであってよい。例えば、クロマＭＶの範囲は、ルマＭＶの範囲の２倍であってよい。例えば、クロマＭＶ範囲は、－２＾１８～２＾１８－１までであってよく、このとき、－２＾１８と２＾１８－１を含む範囲であってよい。また、ルマＭＶ範囲は、－２＾１７から２＾１７－１までであってよく、このとき、－２＾１７と２＾１７－１を含む範囲であってよい。
また、クロマＭＶの範囲は、色フォーマットよって可変してよい。例えば、ＳｕｂＷｉｄｔｈＣ又はＳｕｂＨｅｉｇｈｔＣが１である場合に、クロマＭＶの範囲は、ルマＭＶの範囲と異なってよい。このとき、クロマＭＶの範囲は、ルマＭＶの範囲の２倍であってよい。例えば、クロマＭＶ範囲は、－２＾１８から２＾１８－１までであってよく、このとき、－２＾１８と２＾１８－１を含む範囲であってよく、ルマＭＶ範囲は、－２＾１７から２＾１７－１までであってよく、このとき、－２＾１７と２＾１７－１を含む範囲であってよい。また、ＳｕｂＷｉｄｔｈＣとＳｕｂＨｅｉｇｈｔＣが２である場合に、クロマＭＶの範囲は、ルマＭＶの範囲と同一であってよい。このとき、範囲は－２＾１７から２＾１７－１までであってよく、このとき、－２＾１７と２＾１７－１を含む範囲であってよい。これは、クロマＭＶとルマＭＶが示し得る範囲を統一させるためのものであってよい。
本開示の実施例において、４：２：０フォーマットである場合に、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣはそれぞれ、２、２であってよい。４：２：２フォーマットである場合に、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣはそれぞれ、２、１であってよい。４：４：４フォーマットである場合に、ＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣはそれぞれ、１、１であってよい。
上述した本開示の実施例は、様々な手段によって具現されてよい。例えば、本開示の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア又はそれらの結合などによって具現されてよい。
ハードウェアによる具現では、本開示の実施例による方法は、１つ又はそれ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって具現されてよい。
ファームウェア又はソフトウェアによる具現では、本開示の実施例による方法は、以上で説明された機能又は動作を実行するモジュール、手順又は関数などの形態で具現されてよい。ソフトウェアコードは、メモリに記憶されてプロセッサによって駆動されてよい。前記メモリは、プロセッサの内部又は外部に配されてよく、既に公知の様々な手段によってプロセッサとデータを交換することができる。
前述した本開示の説明は例示のためのものであり、本開示の属する技術の分野における通常の知識を有する者は、本開示の技術的思想や必須の特徴を変更することなく別の具体的な形態に容易に変形可能であるということが理解できよう。したがって、以上に述べた実施例は、如何なる面においても例示的なものであり、限定的でないものと解釈されるべきである。例えば、単一型として説明されている各構成要素は、分散して実施されてもよく、同様に、分散していると説明されている構成要素も、結合した形態で実施されてよい。
本開示の範囲は、上の詳細な説明よりは、後述する特許特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そしてその均等概念から導出される変更又は変形された形態はいずれも、本開示の範囲に含まれるものと解釈されるべきである。
110 変換部
115 量子化部
120 逆量子化部
125 逆変換部
130 フィルタリング部
150 予測部
152 イントラ予測部
154 インター予測部
154a モーション推定部
154b モーション補償部
160 エントロピーコーディング部
210 エントロピーデコーディング部
220 逆量子化部
225 逆変換部
230 フィルタリング部
250 予測部
252 イントラ予測部
254 インター予測部
810 エンコーダ
820 デコーダ

Claims (32)

  1. 現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビットストリームからパースする段階；
    前記上位レベルＭＭＶＤ活性情報がＭＭＶＤの活性を示す場合に、前記現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）をビットストリームからパースする段階；
    前記ＭＭＶＤマージ情報が前記現在ブロックにＭＭＶＤを使用することを示す場合に、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）及びＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）をパースする段階；及び
    前記ＭＭＶＤの距離に関連した情報及び前記ＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得する段階を含み、
    前記ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする、ビデオ信号をデコードする方法。
  2. 前記上位レベルは、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、スライス（ｓｌｉｃｅ）、タイル（ｔｉｌｅ）、タイルグループ（ｔｉｌｅ ｇｒｏｕｐ）、映像（ｐｉｃｔｕｒｅ）、又はシーケンス（ｓｅｑｕｅｎｃｅ）単位のいずれか１つであることを特徴とする、請求項１に記載のビデオ信号をデコードする方法。
  3. 前記現在ブロックのマージ候補リストを生成する段階；
    前記ビットストリームからパースされたマージインデックスに基づいて前記マージ候補リストからモーションベクトルを選択する段階；
    前記ＭＭＶＤマージ情報が前記現在ブロックにＭＭＶＤを使用することを示す場合に、前記モーションベクトルに前記ＭＭＶＤに関する情報を足し、修正されたモーションベクトルを取得する段階；及び
    前記修正されたモーションベクトルに基づいて前記現在ブロックを復元する段階をさらに含み、
    前記修正されたモーションベクトルは、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする、請求項１に記載のビデオ信号をデコードする方法。
  4. 前記ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得する段階は、
    前記ＭＭＶＤの距離に関連した情報及び前記ＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得する段階；
    第１参照リスト及び第２参照リストが用いられる場合に、前記現在ブロックを含む現在ピクチャー及び前記第１参照リストに基づく第１参照ピクチャー間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第１ＰＯＣ差として取得し、前記現在ピクチャー及び前記第２参照リストに基づく第２参照ピクチャー間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第２ＰＯＣ差として取得する段階；
    前記ＭＭＶＤオフセット、前記第１ＰＯＣ差、及び前記第２ＰＯＣ差のうち少なくとも１つに基づき、前記第１参照リストに関連した第１ＭＭＶＤに関する情報、及び前記第２参照リストに関連した第２ＭＭＶＤに関する情報を取得する段階を含み、
    前記ＭＭＶＤに関する情報は、前記第１ＭＭＶＤに関する情報及び前記第２ＭＭＶＤに関する情報を含むことを特徴とする、請求項１に記載のビデオ信号をデコードする方法。
  5. 前記第１ＰＯＣ差及び前記第２ＰＯＣ差が同一である場合に、前記ＭＭＶＤオフセットを第１ＭＭＶＤに関する情報として取得し、前記ＭＭＶＤオフセットを第２ＭＭＶＤに関する情報として取得する段階を含むことを特徴とする、請求項４に記載のビデオ信号をデコードする方法。
  6. 前記第１ＰＯＣ差の絶対値が前記第２ＰＯＣ差の絶対値より大きい或いは同一である場合に、前記ＭＭＶＤオフセットを前記第１ＭＭＶＤに関する情報として取得する段階；
    前記第１参照ピクチャーがロングターム参照ピクチャーでなく、前記第２参照ピクチャーがロングターム参照ピクチャーでない場合に、前記第１ＭＭＶＤに関する情報をスケールして前記第２ＭＭＶＤに関する情報を取得する段階；及び、
    前記第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは前記第２参照ピクチャーがロングターム参照ピクチャーである場合に、前記第１ＭＭＶＤに関する情報の絶対値をスケールしないで前記第２ＭＭＶＤに関する情報を取得する段階を含むことを特徴とする、請求項４に記載のビデオ信号をデコードする方法。
  7. 前記第１ＰＯＣ差の絶対値が前記第２ＰＯＣ差の絶対値より小さい場合に、前記ＭＭＶＤオフセットを前記第２ＭＭＶＤに関する情報として取得する段階；
    前記第１参照ピクチャーがロングターム参照ピクチャーでなく、前記第２参照ピクチャーがロングターム参照ピクチャーでない場合に、前記第２ＭＭＶＤに関する情報をスケールして前記第１ＭＭＶＤに関する情報を取得する段階；及び
    前記第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは前記第２参照ピクチャーがロングターム参照ピクチャーである場合に、前記第２ＭＭＶＤに関する情報の絶対値をスケールしないで前記第１ＭＭＶＤに関する情報を取得する段階を含むことを特徴とする、請求項４に記載のビデオ信号をデコードする方法。
  8. 前記ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得する段階は、
    前記ＭＭＶＤの距離に関連した情報及び前記ＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得する段階；
    第１参照リストのみが使用される場合に、前記ＭＭＶＤオフセットをスケールせず、前記第１参照リストに関連した第１ＭＭＶＤに関する情報として取得する段階；及び
    第２参照リストのみが使用される場合に、前記ＭＭＶＤオフセットをスケールせず、前記第２参照リストに関連した第２ＭＭＶＤに関する情報として取得する段階を含むことを特徴とする、請求項１に記載のビデオ信号をデコードする方法。
  9. クロマ成分フォーマット情報を上位レベルのビットストリームから取得する段階；
    前記クロマ成分フォーマット情報に基づき、幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得する段階；
    前記幅に関する情報又は現在ブロックの色成分に関する情報に基づいてｘ軸のスケール情報を取得する段階；
    前記高さに関する情報又は現在ブロックの色成分に関する情報に基づいてｙ軸のスケール情報を取得する段階；
    前記ｙ軸のスケール情報に基づいて左側ブロックの位置を決定する段階；
    前記ｘ軸のスケール情報に基づいて上側ブロックの位置を決定する段階；
    前記左側ブロック及び前記上側ブロックに基づいて加重値を決定する段階；
    現在ブロックをマージモードと予測した第１サンプルを取得する段階；
    前記現在ブロックをイントラモードと予測した第２サンプルを取得する段階；及び
    前記加重値、前記第１サンプル、及び前記第２サンプルに基づき、前記現在ブロックに対する組合せ予測サンプルを取得する段階を含むことを特徴とするビデオ信号をデコードする方法。
  10. 前記加重値を決定する段階は、
    前記左側ブロックが利用可能であり、前記左側ブロックの予測モードがイントラ予測である場合に、前記左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）をＴＲＵＥに設定する段階；
    前記左側ブロックが利用可能でないか、或いは前記左側ブロックの予測モードがイントラ予測でない場合に、前記左側ブロックに関するコード情報をＦＡＬＳＥに設定する段階；
    前記上側ブロックが利用可能であり、前記上側ブロックの予測モードがイントラ予測である場合に、前記上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）をＴＲＵＥに設定する段階；及び
    前記上側ブロックが利用可能でないか、或いは前記上側ブロックの予測モードがイントラ予測でない場合に、前記上側ブロックに関するコード情報をＦＡＬＳＥに設定する段階を含むことを特徴とする、請求項９に記載のビデオ信号をデコードする方法。
  11. 前記加重値を決定する段階は、
    前記左側ブロックに関するコード情報及び前記上側ブロックに関するコード情報がいずれもＴＲＵＥである場合に、前記加重値を３と決定する段階；
    前記左側ブロックに関するコード情報及び前記上側ブロックに関するコード情報がいずれもＦＡＬＳＥである場合に、前記加重値を１と決定する段階；及び
    前記左側ブロックに関するコード情報及び前記上側ブロックに関するコード情報のいずれか１つのみがＴＲＵＥである場合に、前記加重値を２と決定する段階を含むことを特徴とする、請求項１０に記載のビデオ信号をデコードする方法。
  12. 前記組合せ予測サンプルを取得する段階は、
    ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂ［ｘ］［ｙ］＝（ｗ＊ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ［ｘ］［ｙ］＋（４－ｗ）＊ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ［ｘ］［ｙ］＋２）＞＞２
    に基づいて現在ブロックを予測する段階を含み、
    ここで、ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂは、前記組合せ予測サンプルを意味し、ｗは、前記加重値を意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａは、前記第２サンプルを意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒは、前記第１サンプルを意味し、［ｘ］は、前記現在ブロックに含まれたサンプルのｘ軸座標を意味し、［ｙ］は、前記現在ブロックに含まれたサンプルのｙ軸座標を意味することを特徴とする、請求項９に記載のビデオ信号をデコードする方法。
  13. 前記ｘ軸のスケール情報を取得する段階は、
    前記現在ブロックの色成分が０であるか、或いは前記幅に関する情報が１である場合に、前記ｘ軸のスケール情報を０と決定する段階；及び
    前記現在ブロックの色成分が０でなく、前記幅に関する情報が１でない場合に、前記ｘ軸のスケール情報を１と決定する段階を含み、
    前記ｙ軸のスケール情報を取得する段階は、
    前記現在ブロックの色成分が０であるか、或いは前記高さに関する情報が１である場合に、前記ｙ軸のスケール情報を０と決定する段階；及び
    前記現在ブロックの色成分が０でなく、前記高さに関する情報が１でない場合に、前記ｙ軸のスケール情報を１と決定する段階を含むことを特徴とする、請求項９に記載のビデオ信号をデコードする方法。
  14. 前記左側ブロックの位置は、
    （ｘＣｂ－１，ｙＣｂ－１＋（ｃｂＨｅｉｇｈｔ＜＜ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ））であり、
    前記ｘＣｂは、現在ルマブロックの左上端サンプルのｘ軸座標であり、前記ｙＣｂは、前記現在ルマブロックの左上端サンプルのｙ軸座標であり、前記ｃｂＨｅｉｇｈｔは、前記現在ブロックの高さのサイズであり、前記ｓｃａｌｌＦａｃｔＨｅｉｇｈｔは、前記ｙ軸のスケール情報であり、前記上側ブロックの位置は、（ｘＣｂ－１＋（ｃｂＷｉｄｔｈ＜＜ｓｃａｌｌＦａｃｔＷｉｄｔｈ）、ｙＣｂ－１）であり、前記ｘＣｂは、前記現在ルマブロックの左上端サンプルのｘ軸座標であり、前記ｙＣｂは、前記現在ルマブロックの左上端サンプルのｙ軸座標であり、前記ｃｂＷｉｄｔｈは、前記現在ブロックの幅のサイズであり、ｓｃａｌｌＦａｃｔＷｉｄｔｈは、前記ｘ軸のスケール情報であることを特徴とする、請求項９に記載のビデオ信号をデコードする方法。
  15. ビデオ信号をデコードする装置は、プロセッサ及びメモリを含み、
    前記プロセッサは、前記メモリに記憶された命令語に基づき、現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビットストリームからパースし、
    前記上位レベルＭＭＶＤ活性情報がＭＭＶＤの活性を示す場合に、前記現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）をビットストリームからパースし、
    前記ＭＭＶＤマージ情報が前記現在ブロックにＭＭＶＤを使用することを示す場合に、ＭＭＶＤの距離に関連した情報（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）及びＭＭＶＤの方向に関連した情報（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）をパースし、
    前記ＭＭＶＤの距離に関連した情報及び前記ＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を取得し、
    前記ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とするビデオ信号をデコードする装置。
  16. 前記上位レベルは、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、スライス（ｓｌｉｃｅ）、タイル（ｔｉｌｅ）、タイルグループ（ｔｉｌｅ ｇｒｏｕｐ）、映像（ｐｉｃｔｕｒｅ）、又はシーケンス（ｓｅｑｕｅｎｃｅ）単位のいずれか１つであることを特徴とする、請求項１５に記載のビデオ信号をデコードする装置。
  17. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記現在ブロックのマージ候補リストを生成し、
    前記ビットストリームからパースされたマージインデックスに基づいて前記マージ候補リストからモーションベクトルを選択し、
    前記ＭＭＶＤマージ情報が前記現在ブロックにＭＭＶＤを使用することを示す場合に、前記モーションベクトルに前記ＭＭＶＤに関する情報を足し、修正されたモーションベクトルを取得し、
    前記修正されたモーションベクトルに基づいて前記現在ブロックを復元し、
    前記修正されたモーションベクトルは、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とする、請求項１５に記載のビデオ信号をデコードする装置。
  18. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記ＭＭＶＤの距離に関連した情報及び前記ＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得し、
    第１参照リスト及び第２参照リストが用いられる場合に、前記現在ブロックを含む現在ピクチャー及び前記第１参照リストに基づく第１参照ピクチャー間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第１ＰＯＣ差として取得し、
    前記現在ピクチャー及び前記第２参照リストに基づく第２参照ピクチャー間のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を第２ＰＯＣ差として取得し、
    前記ＭＭＶＤオフセット、前記第１ＰＯＣ差、及び前記第２ＰＯＣ差のうち少なくとも１つに基づき、前記第１参照リストに関連した第１ＭＭＶＤに関する情報、及び前記第２参照リストに関連した第２ＭＭＶＤに関する情報を取得し、
    前記ＭＭＶＤに関する情報は、前記第１ＭＭＶＤに関する情報及び前記第２ＭＭＶＤに関する情報を含むことを特徴とする、請求項１５に記載のビデオ信号をデコードする装置。
  19. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記第１ＰＯＣ差及び前記第２ＰＯＣ差が同一である場合に、前記ＭＭＶＤオフセットを第１ＭＭＶＤに関する情報として取得し、前記ＭＭＶＤオフセットを第２ＭＭＶＤに関する情報として取得することを特徴とする、請求項１８に記載のビデオ信号をデコードする装置。
  20. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記第１ＰＯＣ差の絶対値が前記第２ＰＯＣ差の絶対値より大きい或いは同一である場合に、前記ＭＭＶＤオフセットを前記第１ＭＭＶＤに関する情報として取得し、
    前記第１参照ピクチャーがロングターム参照ピクチャーでなく、前記第２参照ピクチャーがロングターム参照ピクチャーでない場合に、前記第１ＭＭＶＤに関する情報をスケールして前記第２ＭＭＶＤに関する情報を取得し、
    前記第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは前記第２参照ピクチャーがロングターム参照ピクチャーである場合に、前記第１ＭＭＶＤに関する情報の絶対値をスケールしないで前記第２ＭＭＶＤに関する情報を取得することを特徴とする、請求項１８に記載のビデオ信号をデコードする装置。
  21. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記第１ＰＯＣ差の絶対値が前記第２ＰＯＣ差の絶対値より小さい場合に、前記ＭＭＶＤオフセットを前記第２ＭＭＶＤに関する情報として取得し、
    前記第１参照ピクチャーがロングターム参照ピクチャーでなく、前記第２参照ピクチャーがロングターム参照ピクチャーでない場合に、前記第２ＭＭＶＤに関する情報をスケールして前記第１ＭＭＶＤに関する情報を取得し、
    前記第１参照ピクチャーがロングターム参照ピクチャーであるか、或いは前記第２参照ピクチャーがロングターム参照ピクチャーである場合に、前記第２ＭＭＶＤに関する情報の絶対値をスケールしないで前記第１ＭＭＶＤに関する情報を取得することを特徴とする、請求項１８に記載のビデオ信号をデコードする装置。
  22. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記ＭＭＶＤの距離に関連した情報及び前記ＭＭＶＤの方向に関連した情報に基づいてＭＭＶＤオフセットを取得し、
    第１参照リストのみが使用される場合に、前記ＭＭＶＤオフセットをスケールせず、前記第１参照リストに関連した第１ＭＭＶＤに関する情報として取得し、
    第２参照リストのみが使用される場合に、前記ＭＭＶＤオフセットをスケールせず、前記第２参照リストに関連した第２ＭＭＶＤに関する情報として取得することを特徴とする、請求項１５に記載のビデオ信号をデコードする装置。
  23. ビデオ信号をデコードする装置は、プロセッサ及びメモリを含み、
    前記プロセッサは、前記メモリに記憶された命令語に基づき、
    クロマ成分フォーマット情報を上位レベルのビットストリームから取得し、
    前記クロマ成分フォーマット情報に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得し、
    前記幅に関する情報又は現在ブロックの色成分に関する情報に基づいてｘ軸のスケール情報を取得し、
    前記高さに関する情報又は現在ブロックの色成分に関する情報に基づいてｙ軸のスケール情報を取得し、
    前記ｙ軸のスケール情報に基づいて左側ブロックの位置を決定し、
    前記ｘ軸のスケール情報に基づいて上側ブロックの位置を決定し、
    前記左側ブロック及び前記上側ブロックに基づいて加重値を決定し、
    現在ブロックをマージモードと予測した第１サンプルを取得し、
    前記現在ブロックをイントラモードと予測した第２サンプルを取得し、
    前記加重値、前記第１サンプル、及び前記第２サンプルに基づいて前記現在ブロックに対する組合せ予測サンプルを取得することを特徴とするビデオ信号をデコードする装置。
  24. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記左側ブロックが利用可能であり、前記左側ブロックの予測モードがイントラ予測である場合に、前記左側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＡ）をＴＲＵＥに設定し、
    前記左側ブロックが利用可能でないか、或いは前記左側ブロックの予測モードがイントラ予測でない場合に、前記左側ブロックに関するコード情報をＦＡＬＳＥに設定し、
    前記上側ブロックが利用可能であり、前記上側ブロックの予測モードがイントラ予測である場合に、前記上側ブロックに関するコード情報（ｉｓＩｎｔｒａＣｏｄｅｄＮｅｉｇｈｂｏｕｒＢ）をＴＲＵＥに設定し、
    前記上側ブロックが利用可能でないか、或いは前記上側ブロックの予測モードがイントラ予測でない場合に、前記上側ブロックに関するコード情報をＦＡＬＳＥに設定することを特徴とする、請求項２３に記載のビデオ信号をデコードする装置。
  25. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記左側ブロックに関するコード情報及び前記上側ブロックに関するコード情報がいずれもＴＲＵＥである場合に、前記加重値を３と決定し、
    前記左側ブロックに関するコード情報及び前記上側ブロックに関するコード情報がいずれもＦＡＬＳＥである場合に、前記加重値を１と決定し、
    前記左側ブロックに関するコード情報及び前記上側ブロックに関するコード情報のいずれか１つのみがＴＲＵＥである場合に、前記加重値を２と決定することを特徴とする、請求項２４に記載のビデオ信号をデコードする装置。
  26. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂ［ｘ］［ｙ］＝（ｗ＊ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａ［ｘ］［ｙ］＋（４－ｗ）＊ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒ［ｘ］［ｙ］＋２）＞＞２
    に基づいて現在ブロックを予測し、
    ここで、ｐｒｅｄＳａｍｐｌｅｓＣｏｍｂは、前記組合せ予測サンプルを意味し、ｗは、前記加重値を意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｒａは、前記第２サンプルを意味し、ｐｒｅｄＳａｍｐｌｅｓＩｎｔｅｒは、前記第１サンプルを意味し、［ｘ］は、前記現在ブロックに含まれたサンプルのｘ軸座標を意味し、［ｙ］は、前記現在ブロックに含まれたサンプルのｙ軸座標を意味することを特徴とする、請求項２３に記載のビデオ信号をデコードする装置。
  27. 前記プロセッサは、前記メモリに記憶された命令語に基づき、
    前記現在ブロックの色成分が０であるか、或いは前記幅に関する情報が１である場合に、前記ｘ軸のスケール情報を０と決定し、
    前記現在ブロックの色成分が０でなく、前記幅に関する情報が１でない場合に、前記ｘ軸のスケール情報を１と決定し、
    前記現在ブロックの色成分が０であるか、或いは前記高さに関する情報が１である場合に、前記ｙ軸のスケール情報を０と決定し、
    前記現在ブロックの色成分が０でなく、前記高さに関する情報が１でない場合に、前記ｙ軸のスケール情報を１と決定することを特徴とする、請求項２３に記載のビデオ信号をデコードする装置。
  28. 前記左側ブロックの位置は、（ｘＣｂ－１，ｙＣｂ－１＋（ｃｂＨｅｉｇｈｔ＜＜ｓｃａｌｌＦａｃｔＨｅｉｇｈｔ））であり、
    前記ｘＣｂは、現在ルマブロックの左上端サンプルのｘ軸座標であり、前記ｙＣｂは、前記現在ルマブロックの左上端サンプルのｙ軸座標であり、前記ｃｂＨｅｉｇｈｔは、前記現在ブロックの高さのサイズであり、前記ｓｃａｌｌＦａｃｔＨｅｉｇｈｔは、前記ｙ軸のスケール情報であり、
    前記上側ブロックの位置は、（ｘＣｂ－１＋（ｃｂＷｉｄｔｈ＜＜ｓｃａｌｌＦａｃｔＷｉｄｔｈ）、ｙＣｂ－１）であり、
    前記ｘＣｂは、前記現在ルマブロックの左上端サンプルのｘ軸座標であり、前記ｙＣｂは、前記現在ルマブロックの左上端サンプルのｙ軸座標であり、前記ｃｂＷｉｄｔｈは、前記現在ブロックの幅のサイズであり、ｓｃａｌｌＦａｃｔＷｉｄｔｈは、前記ｘ軸のスケール情報であることを特徴とする、請求項２３に記載のビデオ信号をデコードする装置。
  29. 現在ブロックのＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を生成する段階；
    前記ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）に基づいてＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報を生成する段階；
    前記現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）を生成する段階；
    前記現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を生成する段階；及び
    前記ＭＭＶＤの距離に関連した情報、前記ＭＭＶＤの方向に関連した情報、前記ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）、及び前記上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてビットストリームを生成する段階を含み、
    前記ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とするビデオ信号をエンコードする方法。
  30. ビデオ信号をデコードする装置は、プロセッサ及びメモリを含み、
    前記プロセッサは、前記メモリに記憶された命令語に基づき、
    現在ブロックのＭＭＶＤに関する情報（ｍＭｖｄＬＸ）を生成し、
    前記ＭＭＶＤに関する情報（ｍＭｖｄＬＸ）に基づいてＭＭＶＤの距離に関連した情報及びＭＭＶＤの方向に関連した情報を生成し、
    前記現在ブロックにＭＭＶＤを使用するか否かを示すＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）を生成し、
    前記現在ブロックを含む上位レベルのＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用されるか否かを示す上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を生成し、
    前記ＭＭＶＤの距離に関連した情報、前記ＭＭＶＤの方向に関連した情報、前記ＭＭＶＤマージ情報（ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）、及び前記上位レベルＭＭＶＤ活性情報（ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてビットストリームを生成し、
    前記ＭＭＶＤに関する情報は、－２＾１７より大きい或いは同一であり、２＾１７－１より小さい或いは同一であることを特徴とするビデオ信号をエンコードする装置。
  31. 上位レベルのクロマ成分フォーマット情報を生成する段階；
    前記クロマ成分フォーマット情報に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得する段階；
    前記幅に関する情報又は現在ブロックの色成分に関する情報に基づいてｘ軸のスケール情報を取得する段階；
    前記高さに関する情報又は現在ブロックの色成分に関する情報に基づいてｙ軸のスケール情報を取得する段階；
    前記ｙ軸のスケール情報に基づいて左側ブロックの位置を決定する段階；
    前記ｘ軸のスケール情報に基づいて上側ブロックの位置を決定する段階；
    前記左側ブロック及び前記上側ブロックに基づいて加重値を決定する段階；
    現在ブロックをマージモードと予測した第１サンプルを取得する段階；
    前記現在ブロックをイントラモードと予測した第２サンプルを取得する段階；
    前記加重値、前記第１サンプル、及び前記第２サンプルに基づいて前記現在ブロックに対する組合せ予測サンプルを取得する段階を含むことを特徴とするビデオ信号をエンコードする方法。
  32. ビデオ信号をエンコードする装置は、プロセッサ及びメモリを含み、
    前記プロセッサは、前記メモリに記憶された命令語に基づき、
    上位レベルのクロマ成分フォーマット情報を生成し、
    前記クロマ成分フォーマット情報に基づいて幅に関する情報（ＳｕｂＷｉｄｔｈＣ）及び高さに関する情報（ＳｕｂＨｅｉｇｈｔＣ）を取得し、
    前記幅に関する情報又は現在ブロックの色成分に関する情報に基づいてｘ軸のスケール情報を取得し、
    前記高さに関する情報又は現在ブロックの色成分に関する情報に基づいてｙ軸のスケール情報を取得し、
    前記ｙ軸のスケール情報に基づいて左側ブロックの位置を決定し、
    前記ｘ軸のスケール情報に基づいて上側ブロックの位置を決定し、
    前記左側ブロック及び前記上側ブロックに基づいて加重値を決定し、
    現在ブロックをマージモードと予測した第１サンプルを取得し、
    前記現在ブロックをイントラモードと予測した第２サンプルを取得し、
    前記加重値、前記第１サンプル、及び前記第２サンプルに基づいて前記現在ブロックに対する組合せ予測サンプルを取得することを特徴とするビデオ信号をエンコードする装置。
JP2022505306A 2019-07-25 2020-07-24 ビデオ信号処理方法及び装置 Pending JP2022543207A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024000706A JP2024038271A (ja) 2019-07-25 2024-01-05 ビデオ信号処理方法及び装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20190090519 2019-07-25
KR10-2019-0090519 2019-07-25
KR10-2019-0111060 2019-09-06
KR20190111060 2019-09-06
KR20190124933 2019-10-09
KR10-2019-0124933 2019-10-09
PCT/KR2020/009783 WO2021015586A1 (ko) 2019-07-25 2020-07-24 비디오 신호 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024000706A Division JP2024038271A (ja) 2019-07-25 2024-01-05 ビデオ信号処理方法及び装置

Publications (1)

Publication Number Publication Date
JP2022543207A true JP2022543207A (ja) 2022-10-11

Family

ID=74192915

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022505306A Pending JP2022543207A (ja) 2019-07-25 2020-07-24 ビデオ信号処理方法及び装置
JP2024000706A Pending JP2024038271A (ja) 2019-07-25 2024-01-05 ビデオ信号処理方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024000706A Pending JP2024038271A (ja) 2019-07-25 2024-01-05 ビデオ信号処理方法及び装置

Country Status (6)

Country Link
US (1) US20220279162A1 (ja)
EP (1) EP4007282A4 (ja)
JP (2) JP2022543207A (ja)
KR (1) KR20220036942A (ja)
CN (1) CN114208205A (ja)
WO (1) WO2021015586A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112840654B (zh) 2018-10-12 2024-04-16 韦勒斯标准与技术协会公司 使用多假设预测的视频信号处理方法和装置
GB2588406B (en) * 2019-10-22 2022-12-07 British Broadcasting Corp Video encoding and video decoding
WO2023200233A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
CN114760481B (zh) * 2022-04-29 2023-05-30 北京淳中科技股份有限公司 一种视频编码方法、装置、设备及存储介质
WO2024076074A1 (ko) * 2022-10-07 2024-04-11 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
EP3076670A4 (en) * 2014-01-03 2017-08-23 Samsung Electronics Co., Ltd. Method for encoding video and apparatus therefor, and method for decoding video and apparatus therefor using effective parameter delivery
WO2018012886A1 (ko) * 2016-07-12 2018-01-18 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL., VERSATILE VIDEO CODING (DRAFT 6), JPN6023016999, 24 July 2019 (2019-07-24), pages 36 - 69, ISSN: 0005050475 *
ZHIPIN DENG ET AL., NON-CE4: CLEANUPS ON MVD RANGES, JPN6023016998, 8 July 2019 (2019-07-08), ISSN: 0005050476 *

Also Published As

Publication number Publication date
WO2021015586A1 (ko) 2021-01-28
EP4007282A4 (en) 2022-08-31
EP4007282A1 (en) 2022-06-01
CN114208205A (zh) 2022-03-18
KR20220036942A (ko) 2022-03-23
US20220279162A1 (en) 2022-09-01
JP2024038271A (ja) 2024-03-19

Similar Documents

Publication Publication Date Title
US11909951B2 (en) Interaction between lut and shared merge list
CN110662059B (zh) 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
US11153559B2 (en) Usage of LUTs
CN110662053B (zh) 使用查找表的视频处理方法、装置和存储介质
US20220086479A1 (en) Method and apparatus for encoding/decoding images using a motion vector
CN110662052B (zh) 更新查找表(lut)的条件
US11601641B2 (en) Video signal processing method and apparatus using multi-assumption prediction
JP2022543207A (ja) ビデオ信号処理方法及び装置
KR102550530B1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
JP2023099155A (ja) モーション補償を用いたビデオ信号処理方法及び装置
US11570483B2 (en) Video signal processing method and device for signaling prediction mode
US20210400279A1 (en) Intra prediction-based video signal processing method and device
US20210297662A1 (en) Video signal processing method and device using current picture reference
CN110677650B (zh) 降低非相邻Merge设计的复杂度
JP2023523638A (ja) 分割構文のためのエントロピーコーディング
KR20200137326A (ko) 현재 픽쳐 참조를 이용한 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220325

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240122

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240301