CN116708836A - 图像编码/解码方法、存储介质和数据发送方法 - Google Patents

图像编码/解码方法、存储介质和数据发送方法 Download PDF

Info

Publication number
CN116708836A
CN116708836A CN202310761155.6A CN202310761155A CN116708836A CN 116708836 A CN116708836 A CN 116708836A CN 202310761155 A CN202310761155 A CN 202310761155A CN 116708836 A CN116708836 A CN 116708836A
Authority
CN
China
Prior art keywords
samples
luma
block
neighboring
downsampled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310761155.6A
Other languages
English (en)
Inventor
崔璋元
许镇
柳先美
李翎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN116708836A publication Critical patent/CN116708836A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及一种图像编码/解码方法、存储介质和数据发送方法。根据本发明的由解码设备执行的画面解码方法包括以下步骤：当色度块的帧内预测模式是跨分量线性模型(CCLM)模式时，推导关于所述色度块的邻近色度参考样本；推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本；通过分别对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本；基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数；基于线性模型参数和亮度块的下采样的亮度样本来生成关于色度块的预测样本；以及基于关于色度块的预测样本来重构色度块。

Description

图像编码/解码方法、存储介质和数据发送方法
本申请是原案申请号为201980069726.1的发明专利申请(国际申请号：PCT/KR2019/007575，申请日：2019年6月24日，发明名称：基于CCLM的帧内预测方法及其设备)的分案申请。
技术领域
本文献涉及图像编码技术，更具体地，涉及一种在图像编码系统中基于跨分量线性模型(CCLM)的帧内预测方法及其设备。
背景技术
在各种领域中对诸如HD(高清晰度)图像和UHD(超高清晰度)图像的高分辨率、高质量图像的需求在不断增加。随着图像数据具有高分辨率和高质量，要发送的信息或比特的量相对于传统图像数据增加。因此，当使用诸如传统有线/无线宽带线路的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要一种高效图像压缩技术以用于有效地发送、存储和再现高分辨率和高质量图像的信息。
发明内容
技术问题
本公开提供了一种增强图像编码效率的方法和设备。
本公开还提供了一种基于帧内预测来增强图像编码效率的方法和设备。
本公开还提供了一种增强基于CCLM的帧内预测的效率的方法和设备。
本公开还提供了一种在硬件中实现基于CCLM的帧内预测时增强流水线延迟的方法和设备。
本公开还提供了一种通过在执行基于CCLM的帧内预测时对1样本行(以下，“1样本行”意指一行的样本)的邻近亮度参考样本进行下采样来增强图像编码效率的方法和设备。
技术方案
根据本公开的一个示例性实施方式，提供了一种由解码设备执行的画面解码方法。该方法包括以下步骤：当色度块的帧内预测模式是跨分量线性模型(CCLM)模式时，推导色度块的邻近色度参考样本；推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本；通过对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本；基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数；基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本；以及基于色度块的预测样本来重构色度块，其中，邻近亮度参考样本包括位于亮度块的上边界上方的上邻近亮度参考样本以及位于亮度块的左边界的左侧的左邻近亮度参考样本，其中，下采样的邻近亮度参考样本包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，基于下式推导下采样的上邻近亮度参考样本，pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，其中pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置为-1。
根据本公开的另一示例性实施方式，提供了一种用于执行画面解码的解码设备。该解码设备包括：加法器，其在色度块的帧内预测模式是跨分量线性模型(CCLM)模式时推导色度块的邻近色度参考样本，并且推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本；以及预测模块，其通过对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本，基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数，并且基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本，其中，加法器基于色度块的预测样本来重构色度块，其中，邻近亮度参考样本包括位于亮度块的上边界上方的上邻近亮度参考样本以及位于亮度块的左边界的左侧的左邻近亮度参考样本，其中，下采样的邻近亮度参考样本包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，基于下式推导下采样的上邻近亮度参考样本，pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，其中pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置为-1。
根据本公开的另一示例性实施方式，提供了一种由编码设备执行的画面编码方法。该方法包括以下步骤：当色度块的帧内预测模式是CCLM模式时，推导色度块的邻近色度参考样本；推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本；通过对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本；基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数；基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本；基于色度块的预测样本来推导色度块的残差样本；以及对包括关于残差样本的信息的画面信息进行编码，其中，邻近亮度参考样本包括位于亮度块的上边界上方的上邻近亮度参考样本以及位于亮度块的左边界的左侧的左邻近亮度参考样本，其中，下采样的邻近亮度参考样本包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，基于下式推导下采样的上邻近亮度参考样本，pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，其中pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置为-1。
根据本公开的另一示例性实施方式，提供了一种用于执行画面编码的编码设备。该编码设备包括：加法器，其在色度块的帧内预测模式是CCLM模式时，推导色度块的邻近色度参考样本，并且推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本；预测模块，其通过对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本，基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数，并且基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本；残差处理模块，其基于色度块的预测样本来推导色度块的残差样本；以及熵编码器，其对包括关于残差样本的信息的画面信息进行编码，其中，邻近亮度参考样本包括位于亮度块的上边界上方的上邻近亮度参考样本以及位于亮度块的左边界的左侧的左邻近亮度参考样本，其中，下采样的邻近亮度参考样本包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，基于下式推导下采样的上邻近亮度参考样本，pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，其中pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置为-1。
根据本公开的另一实施方式，提供了一种用于存储通过画面编码方法生成的画面信息的解码器可读存储介质，其中，该画面编码方法包括以下步骤：当色度块的帧内预测模式是CCLM模式时，推导色度块的邻近色度参考样本；推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本；通过对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本；基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数；基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本；基于色度块的预测样本来推导色度块的残差样本；以及对包括关于残差样本的信息的画面信息进行编码，其中，邻近亮度参考样本包括位于亮度块的上边界上方的上邻近亮度参考样本以及位于亮度块的左边界的左侧的左邻近亮度参考样本，其中，下采样的邻近亮度参考样本包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，基于下式推导下采样的上邻近亮度参考样本，pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，其中pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置为-1。
有益效果
根据本公开，总图像/视频压缩效率可改进。
根据本公开，基于帧内预测的图像编码的效率可改进。
根据本公开，基于CCLM的帧内预测的效率可改进。
根据本公开，当在硬件中实现基于CCLM的帧内预测时，流水线延迟可改进。
根据本公开，当执行基于CCLM的帧内预测时，通过对1样本行的邻近亮度参考样本进行下采样，图像编码效率可改进。
附图说明
图1是示意性地示出根据实施方式的编码设备的配置的图。
图2是示意性地示出根据实施方式的解码设备的配置的图。
图3是示出根据实施方式的基于CCLM的帧内预测的图。
图4是示出根据另一实施方式的基于CCLM的帧内预测的图。
图5是示出根据实施方式的基于CCLM的帧内预测处理的流程图。
图6是示出根据实施方式的基于CCLM的帧内预测的硬件流水线的示例的图。
图7是示出根据另一实施方式的基于CCLM的帧内预测的硬件流水线的示例的图。
图8是示出根据另一实施方式的基于CCLM的帧内预测处理的流程图。
图9是示出根据另一实施方式的基于CCLM的帧内预测的硬件流水线的示例的图。
图10是示出根据另一实施方式的基于CCLM的帧内预测处理的流程图。
图11是示出根据另一实施方式的基于CCLM的帧内预测处理的图。
图12是示出根据另一实施方式的基于CCLM的帧内预测处理的流程图。
图13是示出根据实施方式的编码设备的操作的流程图。
图14是示出根据实施方式的编码设备的配置的框图。
图15是示出根据实施方式的解码设备的操作的流程图。
图16是示出根据实施方式的解码设备的配置的框图。
具体实施方式
根据本公开的实施方式，提供了一种由解码设备执行的画面解码方法。该方法包括：当色度块的帧内预测模式是跨分量线性模型(CCLM)模式时，推导色度块的邻近色度参考样本；推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本；通过对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本；基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数；基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本；以及基于色度块的预测样本来重构色度块，其中，邻近亮度参考样本包括位于亮度块的上边界上方的上邻近亮度参考样本以及位于亮度块的左边界的左侧的左邻近亮度参考样本，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，邻近亮度参考样本当中的用于推导下采样的邻近亮度参考样本的上邻近亮度参考样本的数量小于用于推导下采样的邻近亮度参考样本的左邻近亮度参考样本的数量。
本发明的实施方式
本文献可按各种形式修改，将在附图中描述和示出其具体实施方式。然而，这些实施方式并非旨在限制本文献。以下描述中使用的术语仅用于描述特定实施方式，而非旨在限制本文献。单数表达包括复数表达，只要清楚地不同理解。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合，因此应该理解，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、组件或其组合的可能性。
为了方便关于不同特性功能的描述，本文献中描述的图中的各个组件被独立地示出，并非意指组件在单独的硬件或单独的软件中实现。例如，各个配置的两个或更多个可被组合以形成一个配置，或者一个配置可被分成多个配置。在不脱离本文献的精神的情况下，各个配置被集成和/或分离的实施方式也包括在本文献的范围内。
以下描述涉及视频/图像编码。例如，本文献中所公开的方法/实施方式可应用于通用视频编码(VVC)、EVC(基本视频编码)标准、AOMedia视频1(AV1)标准、第2代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268等)中所公开的方法。
以下，将参照附图详细描述本文献的示例性实施方式。以下，相同的标号用于图中的相同组件，并且省略相同组件的冗余描述。
在本文献中，视频可指随时间推移的一系列图像。画面通常是指表示特定时区中的一个图像的单元，切片是在编码中构成画面的一部分的单元。一个画面可配置有多个切片，并且如果需要，画面和切片可彼此混合。
像素或画素(pel)可意指构成一个画面(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素的值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可表示图像处理的基本单位。单元可包括画面的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度块。在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，M×N块可包括M列和N行的样本或变换系数的集合。
图1是示意性地示出可应用本文献的视频编码设备的配置的图。以下，编码/解码设备可包括视频编码/解码设备和/或图像编码/解码设备，并且视频编码/解码设备可用作包括图像编码/解码设备的概念，或者图像编码/解码设备可用作包括视频编码/解码设备的概念。
参照图1，(视频)编码设备100可包括画面分割模块105、预测模块110、残差处理模块120、熵编码模块130、加法器140、滤波模块150和存储器160。残差处理模块120可包括减法器121、变换模块122、量化模块123、重排模块124、解量化模块125和逆变换模块126。
画面分割模块105可将输入画面划分成至少一个处理单元。
作为示例，处理单元可被称为编码单元(CU)。在这种情况下，可从最大编码单元(LCU)根据四叉树二叉树(QTBT)结构递归地划分编码单元。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三叉树结构被划分成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和三叉树结构。另选地，可首先应用二叉树结构/三叉树结构。根据本文献的编码过程可基于不再划分的最终编码单元来执行。在这种情况下，可根据图像特性基于编码效率将最大编码单元直接用作最终编码单元，或者编码单元可根据需要被递归地划分成深度更深的编码单元，因此优化尺寸的编码单元可用作最终编码单元。这里，编码过程可包括诸如预测、变换和重构的过程(稍后描述)。
作为另一示例，处理单元可包括编码单元(CU)、预测单元(PU)或变换单元(TU)。编码单元可根据四叉树结构从最大编码单元(LCU)拆分成深度更深的编码单元。在这种情况下，可根据图像特性基于编码效率将最大编码单元直接用作最终编码单元，或者编码单元可根据需要被递归地划分成深度较低的编码单元，因此优化尺寸的编码单元可用作最终编码单元。当设定最小编码单元(SCU)时，编码单元无法被拆分成比SCU更小的编码单元。这里，最终编码单元意指作为分割或拆分成预测单元或变换单元的基础的编码单元。预测单元是从编码单元分割的单元，并且可以是样本预测的单元。在这种情况下，预测单元可被划分成子块。变换单元可根据四叉树结构从编码单元划分，并且可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。以下，编码单元可被称为编码块(CB)，预测单元可被称为预测块(PB)，变换单元可被称为变换块(TB)。预测块或预测单元可意指画面内块形式的特定区域，并且包括预测样本的阵列。此外，变换块或变换单元可意指画面内块形式的特定区域，并且包括变换系数或残差样本的阵列。
预测模块110可对要处理的块(以下，可意指当前块或残差块)执行预测并且生成包括当前块的预测样本的预测块。预测模块110所执行的预测的单位可以是编码块、变换块或预测块。
预测模块110可确定是否对当前块应用帧内预测或帧间预测。作为示例，预测模块110可确定是否以CU单元应用帧内预测或帧间预测。
在帧内预测的情况下，预测模块110可基于当前块所属的画面(以下，当前画面)中在当前块之外的参考样本来推导当前块的预测样本。在这种情况下，预测模块110可(i)基于当前块的邻近参考样本的平均或插值来推导预测样本，并且(ii)基于存在于当前块的邻近参考样本的预测样本的特定(预测)方向上的参考样本来推导预测样本。(i)的情况可被称为非定向模式或非角模式，(ii)的情况可被称为定向模式或角模式。在帧内预测中，预测模式可具有例如33个定向预测模式和至少两个非定向模式。非定向模式可包括DC预测模式和平面模式。预测模块110可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
在帧间预测的情况下，预测模块110可基于参考画面上的运动向量所指定的样本来推导当前块的预测样本。预测模块110可应用跳过模式、合并模式和运动向量预测(MVP)模式中的任一个以推导当前块的预测样本。在跳过模式和合并模式的情况下，预测模块110可使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不发送预测样本与原始样本之间的差(残差)。在MVP模式的情况下，通过使用邻近块的运动向量作为运动向量预测子来使用当前块的运动向量预测子，可推导当前块的运动向量。
在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块以及存在于参考画面中的时间邻近块。包括时间邻近块的参考画面可被称为并置画面(colPic)。运动信息可包括运动向量和参考画面索引。诸如预测模式信息和运动信息的信息可被(熵)编码并以比特流的形式输出。
当在跳过模式和合并模式下使用时间邻近块的运动信息时，参考画面列表上的最高画面可用作参考画面。可基于当前画面与对应参考画面之间的画面顺序计数(POC)差来排列包括在参考画面列表中的参考画面。POC对应于画面的显示顺序并且可与编码顺序相区分。
减法器121生成作为原始样本与预测样本之间的差的残差样本。当应用跳过模式时，可如上所述不生成残差样本。
变换模块122以变换块为单位来变换残差样本以生成变换系数。变换模块122可根据变换块的大小以及应用于空间上与变换块交叠的编码块或预测块的预测模式来执行变换。例如，当对与变换块交叠的编码块或预测块应用帧内预测并且变换块是4×4残差阵列时，使用离散正弦变换(DST)核心来变换残差样本，并且在其它情况下，可使用离散余弦变换(DCT)核心来变换残差样本。
量化模块123可对变换系数进行量化，以生成量化的变换系数。
重排模块124对量化的变换系数进行重排。重排模块124可通过系数扫描方法将块形式的量化的变换系数重排为一维向量形式。这里，已按单独的配置描述了重排模块124，但是重排模块124可以是量化模块123的一部分。
熵编码模块130可对量化的变换系数执行熵编码。例如，熵编码可包括诸如指数Golomb、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的编码方法。熵编码模块130可根据熵编码或预定方法与量化的变换系数以外的视频重构所需的信息(例如，语法元素的值)一起或单独地进行编码。编码的信息可按比特流的形式以网络抽象层(NAL)单元为单位发送或存储。比特流可通过网络发送，或者可被存储在数字存储介质中。这里，网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如通用串行总线(USB)、安全数字(SD)、紧凑盘(CD)、数字视频盘(DVD)、蓝光、硬盘驱动器(HDD)、固态驱动器(SSD)等的各种存储介质。
解量化模块125对量化模块123中量化的值(量化的变换系数)进行逆量化，并且逆变换模块126对解量化模块125中逆量化的值进行逆变换以生成残差样本。
加法器140通过将残差样本和预测样本组合来重构画面。残差样本和预测样本可以块为单位相加，以生成重构块。这里，已按单独的配置描述了加法器140，但是加法器140可以是预测模块110的一部分。加法器140也可被称为重构模块或重构块生成器。
滤波模块150可对重构画面应用解块滤波和/或样本自适应偏移。通过解块滤波和/或样本自适应偏移，重构画面内的块边界处的伪像或量化处理中的失真可被校正。样本自适应偏移可以样本为单位应用，并且可在解块滤波处理完成之后应用。滤波模块150可对重构画面应用自适应环路滤波(ALF)。可在应用解块滤波和/或样本自适应偏移之后对重构画面应用ALF。
存储器160可存储重构画面(解码的画面)或编码/解码所需的信息。这里，重构画面可以是由滤波模块150完成了滤波处理的重构画面。所存储的重构画面可用作另一画面的(帧间)预测的参考画面。例如，存储器160可存储用于帧间预测的(参考)画面。在这种情况下，用于帧间预测的画面可由参考画面集或参考画面列表指定。
图2是示意性地示出可应用本文献的视频/图像解码设备的配置的图。以下，视频解码设备可包括图像解码设备。
参照图2，视频解码设备200可包括熵解码模块210、残差处理模块220、预测模块230、加法器240、滤波模块250和存储器260。这里，残差处理模块220可包括重排模块221、解量化模块222和逆变换模块223。此外，尽管未示出，视频解码设备200可包括接收包括视频信息的比特流的接收器。接收器可被配置为单独的模块，或者可被包括在熵解码模块210中。
当输入包括视频/图像信息的比特流时，视频解码设备200可重构视频/图像/画面以与视频编码设备中处理视频/图像信息的处理对应。
例如，视频解码设备200可使用视频编码设备中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是例如编码单元，在另一示例中，视频解码的处理单元块可以是编码单元、预测单元或变换单元。编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从最大编码单元拆分。
在一些情况下，还可使用预测单元和变换单元，并且在这种情况下，预测块是从编码单元推导或分割的块，并且可以是样本预测的单位。在这种情况下，预测单元可被拆分成子块。变换单元可根据四叉树结构从编码单元拆分，并且可以是推导变换系数的单元或者从变换系数推导残差信号的单元。
熵解码模块210可解析比特流并输出视频重构或画面重构所需的信息。例如，熵解码模块210可基于诸如指数Golomb编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码并输出视频重构所需的语法元素的值以及残差的变换系数的量化的值。
更具体地，CABAC熵解码方法可包括：接收与比特流中的各个语法元素对应的面元(bin)；使用待解码语法元素信息来确定上下文模型；对邻近块和待解码块的信息或者前一步骤中解码的符号/面元的信息进行解码；以及根据所确定的上下文模型来预测面元出现的概率，因此执行面元的算术解码以生成与各个语法元素的值对应的符号。关于这一点，在确定上下文模型之后，CABAC熵解码方法还可包括使用解码的符号/面元的信息来更新上下文模型以确定下一符号/面元的上下文模型的步骤。
熵解码模块210所解码的信息当中与预测有关的信息可被提供给预测模块230，并且由熵解码模块210执行了熵解码的残差值(即，量化的变换系数)可被输入到重排模块221。
重排模块221可按二维块形式重排量化的变换系数。重排模块221可执行重排以与编码设备所执行的系数扫描对应。这里，已按单独的配置描述了重排模块221，但是重排模块221可以是解量化模块222的一部分。
解量化模块222可基于(逆)量化参数对量化的变换系数进行解量化，以输出变换系数。在这种情况下，可从编码设备用信号通知用于推导量化参数的信息。
逆变换模块223可对变换系数进行逆变换以推导残差样本。
预测模块230可执行当前块的预测并生成包括当前块的预测样本的预测的块。预测模块230执行预测的单位可以是编码块、变换块或预测块。
预测模块230可基于关于预测的信息来确定应用帧内预测还是帧间预测。在这种情况下，确定应用帧内预测和帧间预测之一的单元和生成预测样本的单元可不同。此外，在帧间预测和帧内预测中生成预测样本的单元也可不同。例如，应用帧间预测还是帧内预测可以CU为单位来确定。此外，例如，在帧间预测中，可以PU为单位确定预测模式并且生成预测样本，并且在帧内预测中，可以PU为单位确定预测模式并且可以TU为单位生成预测样本。
在帧内预测的情况下，预测模块230可基于当前画面中的邻近参考样本来推导当前块的预测样本。通过基于当前块的邻近参考样本应用定向模式或非定向模式，预测模块230可推导当前块的预测样本。在这种情况下，可使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测模块230可基于由参考画面上的运动向量在参考画面上指定的样本来推导当前块的预测样本。预测模块230可应用跳过模式、合并模式和MVP模式之一以推导当前块的预测样本。在这种情况下，可基于关于预测的信息来获得或推导由视频编码设备提供的当前块的帧间预测所需的运动信息(例如，关于运动向量、参考画面索引等的信息)。
在跳过模式和合并模式的情况下，邻近块的运动信息可用作当前块的运动信息。在这种情况下，邻近块可包括空间邻近块和时间邻近块。
预测模块230可利用可用邻近块的运动信息来构造合并候选列表，并且使用合并候选列表上合并索引所指示的信息作为当前块的运动向量。可从编码设备用信号通知合并索引。运动信息可包括运动向量和参考画面。当在跳过模式和合并模式下使用时间邻近块的运动信息时，参考画面列表上的最高画面可用作参考画面。
在跳过模式的情况下，与合并模式不同，不发送预测样本与原始样本之间的差(残差)。
在MVP模式的情况下，可使用邻近块的运动向量作为运动向量预测子来推导当前块的运动向量。在这种情况下，邻近块可包括空间邻近块和时间邻近块。
例如，当应用合并模式时，可使用重构的空间邻近块的运动向量和/或与Col块(时间邻近块)对应的运动向量来生成合并候选列表。在合并模式下，从合并候选列表选择的候选块的运动向量用作当前块的运动向量。关于预测的信息可包括合并索引，其指示从合并候选列表中所包括的候选块选择的具有最优运动向量的候选块。在这种情况下，预测模块230可使用合并索引来推导当前块的运动向量。
作为另一示例，当应用运动向量预测(MVP)模式时，可使用与重构的空间邻近块的运动向量对应的运动向量和/或与Col块(时间邻近块)对应的运动向量来生成运动向量预测子候选列表。即，重构的空间邻近块的运动向量和/或与Col向量(时间邻近块)对应的运动向量可用作运动向量候选。关于预测的信息可包括预测运动向量索引，其指示从列表中所包括的运动向量候选选择的最优运动向量。在这种情况下，预测模块230可使用运动向量索引来从运动向量候选列表中所包括的运动向量候选选择当前块的预测运动向量。编码设备的预测单元可获得当前块的运动向量与运动向量预测子之间的运动向量差(MVD)，并且对MVD进行编码以按比特流形式输出MVD。即，可通过从当前块的运动向量减去运动向量预测子来获得MVD。在这种情况下，预测模块230可获得关于预测的信息中所包括的运动向量差，并且通过将运动向量差与运动向量预测子相加来推导当前块的运动向量。预测单元还可从关于预测的信息获得或推导指示参考画面的参考画面索引等。
加法器240可将残差样本和预测样本相加以重构当前块或当前画面。加法器240可以块为单位将残差样本和预测样本相加以重构当前画面。当应用跳过模式时，不发送残差，因此预测样本可以是重构样本。这里，已按单独的配置描述了加法器240，但是加法器240可以是预测模块230的一部分。加法器240也可被称为重构模块或重构块生成器。
滤波模块250可对重构画面应用解块滤波样本自适应偏移和/或ALF。在这种情况下，样本自适应偏移可以样本为单位应用，并且在解块滤波之后应用。ALF可在解块滤波和/或样本自适应偏移之后应用。
存储器260可存储重构画面(解码的画面)或解码所需的信息。这里，重构画面可以是由滤波模块250完成了滤波过程的重构画面。例如，存储器260可存储用于帧间预测的画面。在这种情况下，用于帧间预测的画面可由参考画面集合或参考画面列表指定。重构画面可用作另一画面的参考画面。此外，存储器260可按输出顺序来输出重构画面。
如上所述，在执行视频编码时，执行预测以增加压缩效率。由此，可生成包括当前块(编码目标块)的预测样本的预测的块。这里，预测的块包括空间域(或像素域)中的预测样本。预测的块在编码设备和解码设备中相同地推导，并且编码设备可用信号向解码设备通知关于原始块与预测的块之间的残差的信息(残差信息)而非原始块的原始样本值本身，以增加图像编码效率。解码设备可基于残差信息来推导包括残差样本的残差块，通过将残差块与预测的块相加来生成包括重构样本的重构块，并且生成包括重构块的重构画面。
残差信息可通过变换过程和量化过程来生成。例如，编码设备可推导原始块与预测的块之间的残差块，执行包括在残差块中的残差样本(残差样本阵列)的变换过程以推导变换系数，执行变换系数的量化过程以推导量化的变换系数，并且将相关残差信息用信号通知给解码设备(通过比特流)。这里，残差信息可包括诸如量化的变换系数的值信息、位置信息、变换方案、变换核心和量化参数的信息。解码设备可执行逆量化/逆变换过程并基于残差信息来推导残差样本(或残差块)。解码设备可基于预测的块和残差块来生成重构画面。编码设备可对供后续画面的帧间预测参考的量化的变换系数进行逆量化/逆变换以推导残差块，并且基于残差块来生成重构画面。
图3是示出根据实施方式的基于CCLM的帧内预测的图。
根据实施方式，当对色度图像执行帧内编码时，跨分量线性模型(CCLM)模式可用作预测模式之一。CCLM是基于重构的亮度图像(或亮度块)的样本值来预测色度图像(或色度块)的样本值(或像素值)的方法，并且是利用了亮度图像与色度图像之间的相关性高的特性的方法。
在一个实施方式中，可基于式1执行基于Cb和Cr色度图像的CCLM模式的帧内预测。
[式1]
PredC(x，y)＝α·Rec′L((x，y)+β
PredC(x，y)意指要预测的Cb或Cr色度图像的样本值，Rec′L(x，y)意指调节为色度块大小的重构的亮度块的样本值，(x，y)意指样本的坐标。在4:2:0的颜色格式中，由于亮度图像的大小比色度图像大两倍，所以应该通过下采样生成色度块大小的Rec′L，并且因此，除了RecL(2x，2y)之外，要在色度图像的样本值PredC(x，y)中使用的亮度图像的样本可考虑邻近样本。在一个示例中，可基于六个邻近样本的样本值来推导Rec′L(x，y)，如式2所示。
[式2]
Rec′L(x，y)＝((2×RecL(2x2y)+2×RecL(2x，2y+1)+RecL(2x-1，2y)+RecL(2x+1，2y)+RecL(2x-1，2y+1)+RecL(2x+1，2y+1)+4)＞＞3
在一个实施方式中，如式3所示，可基于Cb或Cr邻近色度参考样本区域或模板与邻近亮度参考样本区域之间的互相关性以及平均值之间的差来推导在应用CCLM模式时使用的线性模型参数α和β，如图3的浅阴影区域中那样。
[式3]
在式3中，tL意指与当前色度块对应的亮度块的邻近亮度参考样本，tCL意指当前应用编码的色度块的邻近参考色度样本，(x，y)意指样本位置。此外，M(A)意指参考样本区域中的样本A的平均。亮度块的参考样本也可如式3中那样基于下采样来推导。
在另一实施方式中，当Cr色度图像的帧内预测模式不是CCLM模式时，可基于基本帧内预测模式(例如，基本帧内预测模式可包括DC模式、PLANAR模式和其它定向帧内预测模式)来执行帧内预测。此后，可在Cb色度图像和Cr色度图像之间应用CCLM，并且应用CCLM的结果可被反映到现有预测块，如式3所示。在这种情况下，可使用Cb和Cr色度图像中的任一个来预测另一个，并且在示例中，当使用Cb色度图像预测Cr色度图像时，可使用式4。
[式4]
在式4中，predCr可意指最终预测的Cr色度块的样本值，pre_predCr可意指通过CCLM以外的Cr色度帧内预测模式预测的Cr色度块的样本值，residualCb可意指已经完成编码的Cb色度图像的残差样本值(或残差像素)。此外，α可如式1中那样通过Cb和Cr色度块的邻近参考样本区域之间的互相关性来计算。
图4是示出根据另一实施方式的基于CCLM的帧内预测的图。
在实施方式中，当当前(编码)块的上参考样本行位于另一编码树单元(CTU)的边界处时，可如式5中那样仅使用当前块正上方的一个参考样本行来执行参考样本下采样，而非根据式2下采样。
[式5]
Rec′L(x，y)＝(2×RecL(2x，2y+1)+RecL(2x-1，2y+1)+RecL(2x+1，2y+1)+2)＞＞2
即，如式2所示，用于CCLM的亮度块的样本的下采样使用6个样本(或像素)，但是在根据式5的一个实施方式中，当当前块的上参考样本行位于另一CTU的边界处时(或在与另一CTU的边界交叠的情况下)，可使用一个参考样本行中的三个样本来执行下采样。
在硬件实现中，由于行缓冲器应该包括样本(或像素)数据和图像的整个水平尺寸的压缩信息二者，所以使用的行缓冲器越多，成本可能越高。根据在根据式5的实施方式中所提出的方法，可在上CTU边界处仅使用一行行缓冲器来执行CCLM预测，因此通过将上CTU边界处使用的行缓冲器减少至一半，硬件实现的成本可降低。
表1示出使用根据图4和式5的实施方式中提出的方法时的实验结果的示例。在一个示例中，实验的锚点可以是将CCLM技术添加到VTM1.0的软件，并且表示图像以全帧内设置编码的结果。
[表1]
Y U V
类A1 -0.01％ 0.07％ 0.00％
类A2 0.00％ 0.06％ 0.05％
类B 0.00％ -0.02％ 0.06％
类C 0.01％ -0.11％ 0.02％
类E 0.00％ 0.05％ -0.10％
全部 0.00％ 0.00％ 0.01％
类D -0.03％ -0.03％ 0.04％
参照表1，当使用在图4的根据式5的实施方式中提出的方法应用CCLM模式时，与在不使用根据式5的实施方式中提出的方法的情况下应用CCLM模式的情况相比，可获得BD率为亮度(Y)图像0.00％、色度图像Cb 0.00％和色度图像Cr 0.01％。即，即使当使用图4的根据式5的实施方式中提出的方法应用CCLM模式时，也可确定不会发生编码损失。
除了式5中提出的下采样方法之外，在一个实施方式中，可基于诸如式6或式7的下采样方法来应用CCLM模式。
[式6]
Rec′L(x，y)＝(3×RecL(2x，2y+1)+RecL(2x+1，2y+1)+2)＞＞2
[式7]
Rec′L(x，y)＝RecL(2x，2y+1)
根据式2和式5至式7的下采样方法可应用于作为色度帧内预测模式的CCLM模式，并且通过CCLM模式预测的色度块可在编码设备(或编码器)中通过与原始视频的差获得残差图像(或残差图像)时使用，或者可在解码设备(或解码器)中基于与残差信号的和获得重构的图像时使用。
图5是示出根据实施方式的基于CCLM的帧内预测处理的流程图。
根据实施方式的解码设备200可生成下采样的亮度模板。在这种情况下，解码设备200可确定当前块的上边界是否与CTU的边界交叠，如果当前块的上边界与CTU的边界交叠，则基于1行下采样来生成上亮度模板，并且如果当前块的上边界不与CTU的边界交叠，则基于2行下采样来生成上亮度模板。解码设备200可基于2行下采样来生成左亮度模板。
根据实施方式的解码设备200可推导作为线性参数模型系数的α和β，生成下采样的亮度块，并且基于式1来执行CCLM预测。
图6是示出根据实施方式的基于CCLM的帧内预测的硬件流水线的示例的图。
在一个实施方式中，为了以CCLM实现的帧内预测的硬件流水线优化，当对重构的亮度图像进行下采样时，提出了一种去除块的样本行之间的相关性的方法。
如上所述，由于CCLM是使用重构的亮度块的样本值来预测色度块的样本值的方法，所以在相同位置的亮度块的编码完成之前，无法进行色度块的CCLM预测。
此外，由于通过式2的方法来应用重构的图像的下采样，所以发生块的样本行之间的相关性，因此当实现CCLM的硬件时，可能发生时钟延迟，如图6所示。
图6示出根据8×4帧内预测块中是否存在CCLM预测的硬件流水线的示例。如图6所示，以4×1为单位执行亮度样本的预测和重构，并且需要两个时钟来将4×1块解码，因此可能总共需要16个时钟来将8×4块的所有亮度样本解码。当亮度图像和色度图像之间不存在相关性时，亮度图像和色度图像被同时解码，因此当与亮度图像的一半对应的时钟(在图6的示例中，8个时钟)已逝去时，色度图像的解码可完成。然而，当应用CCLM算法时，在通过样本行(图6中的第四4×1行)之间的相关性完成亮度块的2样本行的编码之后，可对色度块的1样本行应用CCLM，因此即使当亮度块的编码终止时，色度块的编码也可能发生四个时钟延迟。
图7是示出根据另一实施方式的基于CCLM的帧内预测的硬件流水线的示例的图。
在一个实施方式中，当针对CCLM对重构的亮度图像进行下采样时，可提供一种通过去除样本行之间的相关性来减小硬件流水线的时钟延迟的方法。因此，可基于式8、式9、式10或式11来执行重构的亮度块的下采样。
[式8]
Rec′L(x，y)＝(2×RecL(2x，2y)+2×RecL(2x，2y+1)+RecL(2x-1，2y)+2)＞＞2
[式9]
Rec′L(x，y)＝(2×RecL(2x，2y)+2×RecL(2x+1，2y)+RecL(2x-1，2y)+2)＞＞2
[式10]
Rec′L(x，y)＝(3×RecL(2x，2y)+2×RecL(2x，2y+1))＞＞2
[式11]
Rec′L(x，y)＝(3×RecL(2x，2y)+2×RecL(2x+1，2y))＞＞2
式8至式11中提出的下采样可应用于当前邻近参考样本区域(或邻近模板区域)以外的区域。
在实施方式中，当通过去除样本行之间的相关性来执行下采样时，可如图7所示执行硬件流水线的优化。在图7所示的流水线中，在亮度块的一个样本行的解码完成之后，可立即执行色度块的解码(图7的第二4×1行)，并且在亮度块的第三样本行的解码最终完成之后(图7的第六4×1行)，可执行色度块的第二样本行的解码。为了亮度块的第四样本行的解码，需要4个时钟，并且为了色度块的第二样本行的解码，也需要4个时钟(色度Cb和Cr各需要2个时钟)，因此亮度和色度块的解码可最终没有延迟地完全同时完成。
即，可通过本实施方式中提出的方法解决亮度块和色度块之间的时钟延迟问题，这可弥补CCLM的硬件实现的缺点。
本专利中提出的方法可在作为色度帧内预测模式的CCLM模式下使用，并且通过CCLM模式预测的色度块可在编码器中通过与原始图像的差来获得残差图像时使用，或者可在解码器中通过与残差信号的和来获得重构的图像时使用。
图8是示出根据另一实施方式的基于CCLM的帧内预测处理的流程图。
根据实施方式的解码设备200可生成下采样的亮度模板并推导线性参数模型系数α和β。
根据实施方式的解码设备200可生成下采样的亮度块。在这种情况下，解码设备200可基于1行下采样来生成亮度样本。
根据实施方式的解码设备200可基于式1来执行CCLM预测。
图9是示出根据另一实施方式的基于CCLM的帧内预测的硬件流水线的示例的图。
在一个实施方式中，为了优化实现CCLM的帧内预测的硬件流水线，当色度块的水平长度为2(或在4：4：4的图像格式的情况下，当色度块的水平长度为4时)，提出了一种不应用CCLM的方法。
在基于图7的实施方式的帧内预测中，当应用CCLM模式时，可执行硬件流水线优化，但是当亮度块的水平长度为4时，可能发生时钟延迟。图9示出根据亮度4×4帧内预测块中是否存在CCLM预测的硬件流水线的示例。在图9中，当通过应用根据图7的实施方式的方法来对重构的亮度块进行下采样时，样本行之间的相关性被去除，但是可确定仍发生2个时钟的延迟。
因此，在一个实施方式中，为了增加CCLM模式的硬件实现亲和力，当色度块的水平长度为2(或在4：4：4的图像格式的情况下，当色度块的水平长度为4时)，提出了一种不应用CCLM的方法。即，通过去除作为硬件实现中的问题的时钟延迟，可解决CCLM的硬件不兼容问题。
表2示出使用根据图7的实施方式和根据图9的实施方式中提出的两个方法时的实际实验结果。在一个示例中，实验的锚点可以是将CCLM技术添加到VTM1.0的软件，并且表示图像以全帧内设置编码的结果。
[表2]
Y U V
类A1 0.76％ 4.49％ 2.69％
类A2 0.13％ 1.66％ 1.08％
类B 0.08％ 1.50％ 2.23％
类C 0.39％ 3.39％ 4.02％
类E 0.02％ 0.21％ 0.26％
全部 0.26％ 2.23％ 2.19％
类D 0.18％ 2.97％ 2.45％
如表2所示，当使用根据图7的实施方式和根据图9的实施方式中提出的两个方法时，可获得BD率为亮度图像0.26％和色度图像Cb 2.23％/Cr 2.19％。由于在4×N块中没有应用CCLM，所以发生了一些性能损失，但是仍可获得由CCLM带来的效果。(与VTM1.0相比，Y-1.28％，Cb-8.03％，Cr-8.67％)
根据图7的实施方式和根据图9的实施方式中提出的方法可应用于作为色度帧内预测模式的CCLM模式，并且通过CCLM模式预测的色度块可在编码设备(或编码器)中通过与原始图像的差来获得残差图像时使用，或者可在解码设备(或解码器)中获得基于与残差信号的和重构的图像时使用。
图10是示出根据另一实施方式的基于CCLM的帧内预测处理的流程图。
当亮度块的水平长度(或宽度)不是4时，根据实施方式的解码设备200可生成下采样的亮度模板，推导线性参数模型系数α和β，生成下采样的亮度块，并且基于式1执行CCLM预测。相反，当亮度块的水平长度(或宽度)为4时，可省略上述过程(生成下采样的亮度模板，推导线性参数模型系数α和β，生成下采样的亮度块，并且基于式1执行CCLM预测的过程)。
图11是示出根据另一实施方式的基于CCLM的帧内预测处理的图。
在一个实施方式中，提出了一种当当前(编码)块的上参考样本行位于另一亮度/色度块分离单元块的边界处时限制参考样本行的方法。
在实施方式中，在I切片的情况下，亮度块和色度块可分离，因此可执行编码和解码。在一个示例中，亮度/色度块分离单元块的大小可为64×64，但示例不限于此。亮度/色度块分离单元块可被称为虚拟流水线数据单元(VPDU)。
对于硬件的流水线和并行处理，需要使亮度/色度块分离单元块之间的相关性最小化。在一个实施方式中，为了优化的并行处理，在亮度/色度块分离单元块的上边界处，可不使用用于CCLM的重构的亮度参考样本。即，如图11所示，在亮度/色度块分离单元块的上边界处，通过仅针对CCLM使用左参考样本行，可防止硬件流水线实现中的冗余问题。
图12是示出根据另一实施方式的基于CCLM的帧内预测处理的流程图。
根据实施方式的解码设备200可生成下采样的亮度模板。在这种情况下，解码设备200可确定当前块的上边界是否与亮度/色度块分离单元块的边界交叠，并且如果当前块的上边界与亮度/色度块分离单元块的边界交叠，则解码设备200可不生成上亮度模板，并且如果当前块的上边界不与亮度/色度块分离单元块的边界交叠，则解码设备200可基于2行下采样来生成上亮度模板。解码设备200可基于2行下采样来生成左亮度模板。
根据实施方式的解码设备200可推导作为线性参数模型系数的α和β，生成下采样的亮度块，并且基于式1来执行CCLM预测。
图13是示出根据实施方式的编码设备的操作的流程图，图14是示出根据实施方式的编码设备的配置的框图。
根据图13和图14的编码设备可执行与根据图15和图16(稍后描述)的解码设备对应的操作。因此，稍后参照图15和图16描述的内容可类似地应用于根据图13和图14的编码设备。
图13中公开的各个步骤可由图1中公开的编码设备100执行。更具体地，S1300和S1310可由图1中公开的加法器140执行，S1320至S1340可由图1中公开的预测模块110执行，S1350可由图1中公开的残差处理模块120执行，S1360可由图1中公开的熵编码模块130执行。另外，根据S1300至S1360的操作基于上面参照图3至图12描述的一些内容来执行。因此，将省略或简要描述与上面参照图1和图3至图12描述的那些内容重复的详细描述。
如图14所示，根据实施方式的编码设备可包括预测模块110、残差处理模块120、熵编码模块130和加法器140。然而，在一些情况下，可能并非图14所示的所有组件均是编码设备的必需组件，并且编码设备可由比图14所示的组件更多或更少的组件实现。例如，编码设备还可包括存储器160。
在根据实施方式的编码设备中，预测模块110、残差处理模块120、熵编码模块130和加法器140可各自被实现为单独的芯片，或者至少两个组件可通过一个芯片实现。
当色度块的帧内预测模式是CCLM模式时，根据实施方式的编码设备可推导色度块的邻近色度参考样本(S1300)。更具体地，当色度块的帧内预测模式是CCLM模式时，编码设备的加法器140可推导色度块的邻近色度参考样本。
根据实施方式的编码设备可推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本(S1310)。更具体地，编码设备的预测模块110可推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本。
根据实施方式的编码设备可对邻近亮度参考样本和亮度样本进行下采样以推导下采样的邻近亮度参考样本和下采样的亮度样本(S1320)。更具体地，编码设备的预测模块110可对邻近亮度参考样本和亮度样本进行下采样以推导下采样的邻近亮度参考样本和下采样的亮度样本。
在实施方式中，邻近亮度参考样本可包括位于亮度块的上边界上方的上邻近亮度参考样本以及位于亮度块的左边界的左侧的左邻近亮度参考样本。
在实施方式中，下采样的邻近亮度参考样本可包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本。
在实施方式中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，基于下式12推导下采样的上邻近亮度参考样本。
[式12]
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
在式12中，pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，上邻近亮度参考样本的y轴方向位置为-1。
根据实施方式的编码设备可基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数(S1330)。更具体地，编码设备的预测模块110可基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数。
根据实施方式的编码设备可基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本(S1340)。更具体地，编码设备的预测模块110可基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本。
根据实施方式的编码设备可基于色度块的预测样本来推导色度块的残差样本(S1350)。更具体地，编码设备的残差处理模块120可基于色度块的预测样本来推导色度块的残差样本。
根据实施方式的编码设备可对包括关于残差样本的信息的画面信息进行编码(S1360)。更具体地，编码设备的熵编码模块130可对包括关于残差样本的信息的画面信息进行编码。
根据图13和图14中公开的编码设备和操作编码设备的方法，当色度块的帧内预测模式是CCLM模式时，编码设备可推导色度块的邻近色度参考样本(S1300)，推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本(S1310)，通过对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本(S1320)，基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数(S1330)，基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本(S1340)，基于色度块的预测样本来推导色度块的残差样本(S1350)，并且对包括关于残差样本的信息的画面信息进行编码(S1360)，其中，邻近亮度参考样本包括位于亮度块的上边界上方的上邻近亮度参考样本和位于亮度块的左边界的左侧的左邻近亮度参考样本，其中，下采样的邻近亮度参考样本包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，基于下式推导下采样的上邻近亮度参考样本。
[式13]
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
在式13中，pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置为-1。即，当执行基于CCLM的帧内预测时，通过对1样本行的邻近亮度参考样本进行下采样，图像编码效率可改进，并且当在硬件中实现基于CCLM的帧内预测时，流水线延迟可改进。
图15是示出根据实施方式的解码设备的操作的流程图，图16是示出根据实施方式的解码设备的配置的框图。
图15中公开的各个步骤可由图2中公开的解码设备200执行。更具体地，S1500、S1510和S1550可由图2中公开的加法器240执行，S1510至S1540可由图2中公开的预测模块230执行。另外，根据S1500至S1550的操作基于上面参照图3至图12描述的一些内容来执行。因此，将省略或简要描述与上面图2至图12中的描述重复的详细描述。
如图16所示，根据实施方式的解码设备可包括预测模块230和加法器240。然而，在一些情况下，可能并非图16所示的所有组件均是解码设备的必需组件，并且解码设备可由比图16所示的组件更多或更少的组件实现。在一个示例中，解码设备还可包括存储器260。
在根据实施方式的解码设备中，预测模块230和加法器240可各自被实现为单独的芯片，或者至少两个组件可通过一个芯片实现。
当色度块的帧内预测模式是CCLM模式时，根据实施方式的解码设备可推导色度块的邻近色度参考样本(S1500)。更具体地，当色度块的帧内预测模式是CCLM模式时，解码设备的加法器140可推导(或重构)色度块的邻近色度参考样本。
根据实施方式的解码设备可推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本(S1510)。更具体地，解码设备的预测模块230和/或加法器240可推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本。
根据实施方式的解码设备可对邻近亮度参考样本和亮度样本进行下采样以推导下采样的邻近亮度参考样本和下采样的亮度样本(S1520)。更具体地，解码设备的预测模块230可对邻近亮度参考样本和亮度样本进行下采样以推导下采样的邻近亮度参考样本和下采样的亮度样本。
在实施方式中，邻近亮度参考样本可包括位于亮度块的上边界上方的上邻近亮度参考样本和位于亮度块的左边界的左侧的左邻近亮度参考样本。
在实施方式中，下采样的邻近亮度参考样本可包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本。
在实施方式中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，邻近亮度参考样本当中的用于推导下采样的邻近亮度参考样本的上邻近亮度参考样本的数量小于用于推导下采样的邻近亮度参考样本的左邻近亮度参考样本的数量。
在实施方式中，当亮度块的上边界与CTU的边界交叠时，上邻近亮度参考样本可被包括在亮度块的上侧的水平1样本行中。此外，左邻近亮度参考样本可被包括在亮度块的左侧的多个水平或垂直样本行中。例如，左邻近亮度参考样本可被包括在亮度块的左侧的水平2个样本行中，或者可被包括在亮度块的左侧的垂直3个样本行中，但是示例不限于此。
在实施方式中，下采样的邻近亮度参考样本可包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本，并且当亮度块的上边界与CTU的边界交叠时，用于推导一个下采样的上邻近亮度参考样本的上邻近亮度参考样本的数量可为三个，并且用于推导一个下采样的左邻近亮度参考样本的左邻近亮度参考样本的数量可为六个。
在实施方式中，当下采样的上邻近亮度参考样本的坐标为(x，-1)时，三个上邻近亮度参考样本可分别位于坐标(2*x-1，-1)、(2*x，-1)和(2*x+1，-1)处。
在实施方式中，当下采样的上邻近亮度参考样本的坐标为(0，-1)时，三个上邻近亮度参考样本可分别位于坐标(-1，-1)、(0，-1)和(1，-1)处。
在实施方式中，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，可基于下式14推导下采样的上邻近亮度参考样本。
[式14]
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
在式14中，pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置可为-1。
在实施方式中，亮度块的上边界是否与CTU的边界交叠可基于下式15为真(TRUE)还是假(FALSE)来确定。
[式15]
bCTUboundary＝yCbC&((1<<(CtbLog2SizeY-1)-1)＝＝0
在式15中，yCbC表示针对当前画面的左上样本的当前块的左上样本的y轴方向位置，并且CtbLog2SizeY表示亮度CTB大小的对数值。
在实施方式中，当亮度块的上边界与CTU的边界交叠时，并且当下采样的上邻近亮度参考样本的x轴方向位置为0时，可基于下式16推导下采样的上邻近亮度参考样本的样本值。
[式16]
pTopDsY[0]＝(pY[–1][-1]+2*pY[0][-1]+pY[1][-1]+2)>>2
在式16中，pTopDsY[0]表示当下采样的上邻近亮度参考样本的x轴方向位置为0时下采样的上邻近亮度参考样本的样本值，pY[–1][-1]、pY[0][-1]和pY[1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置为-1。
在实施方式中，当式15为真(TRUE)时，可基于式14推导下采样的上邻近亮度参考样本。
在实施方式中，当式15为真(TRUE)时，并且当下采样的上邻近亮度参考样本的x轴方向位置为0时，可基于上式16推导下采样的上邻近亮度参考样本的样本值。
在一个实施方式中，线性模型参数可包括表示比例因子的第一线性模型参数和表示偏移的第二线性模型参数。
根据实施方式的解码设备可基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数(S1530)。更具体地，解码设备的预测模块230可基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数。
根据实施方式的解码设备可基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本(S1540)。更具体地，解码设备的预测模块230可基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本。
根据实施方式的解码设备可基于色度块的预测样本来重构色度块(S1550)。更具体地，解码设备的加法器240可基于色度块的预测样本来重构色度块。
在实施方式中，在本文献中上面描述的基于CCLM的帧内预测可例如根据如下的英文规范来实现。
摘要
此实施方式提供了CCLM行缓冲器限制的实验结果。来自全帧内配置的实验结果在Y分量、Cb分量和Cr分量上与VTM2.0.1相比分别显示出0.01％、0.01％和0.04％的比特率增加。
1)所提出的方法
当前VVC规范中的CCLM(跨分量线性模型)方法总是使用2行的重构亮度参考样本来得到下采样的并置亮度。在此提议中，为了避免在帧内预测中行缓冲器增加，当上参考行处于CTU边界时，仅使用一个亮度行(帧内预测中的通用行缓冲器)来形成下采样的亮度样本。
2)实验结果
所提出的方法已使用BMS-2.0.1作为软件基础实现，并且根据JVET-K1010中定义的常用测试条件和JVET-K1023中的核心实验描述对VTM测试进行了实验评估。对于基于VTM的测试，启用了VTM配置。
表3和表4示出AI和RA配置下的测试结果。
表3全帧内(AI)测试条件的测试1的实验结果；锚点为VTM2.0.1
表4随机访问(RA)测试条件的测试1的实验结果；锚点为VTM2.0.1
3)利用所提出的方法的INTRA_CCLM帧内预测模式的规范
此处理的输入为：
当前编码块的左上样本相对于当前画面的左上样本的色度位置(xCbC，yCbC)，
当前变换块的左上样本相对于当前画面的左上样本的样本位置(xTbC，yTbC)，
指定变换块宽度的变量nTbW，
指定变换块高度的变量nTbH，
色度邻近样本p[x][y]，其中x＝-1，y＝0..nTbH-1，并且x＝0..nTbW-1，y＝-1。
此处理的输出是预测的样本predSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。
当前亮度位置(xTbY，yTbY)如下推导：
(xTbY，yTbY)＝(xTbC<<1，yTbC<<1)
变量availL、availT和availTL如下推导：
调用条款6.4.X[Ed.(BB)：邻近块可用性检查处理tbd]中指定的块的左邻近样本推导处理的可用性，以设定为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)和邻近亮度位置(xTbY-1，yTbY)作为输入，并且输出被指派给availL。
调用条款6.4.X[Ed.(BB)：邻近块可用性检查处理tbd]中指定的块的上邻近样本推导处理的可用性，以设定为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)和邻近亮度位置(xTbY，yTbY-1)作为输入，并且输出被指派给availT。
调用条款6.4.X[Ed.(BB)：邻近块可用性检查处理tbd]中指定的块的左上邻近样本推导处理的可用性，以设定为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)和邻近亮度位置(xTbY-1，yTbY-1)作为输入，并且输出被指派给availTL。
变量bCTUboudary如下推导：
bCTUboudary＝yCbC&((1<<(CtbLog2SizeY-1)-1)＝＝0
预测样本predSamples[x][y](x＝0..nTbW-1，y＝0..nTbH-1)如下推导：
如果availL和availT二者均等于假(FALSE)，则以下适用：
predSamples[x][y]＝1<<(BitDepthC-1)
否则，应用以下有序步骤：
1.并置亮度样本pY[x][y](x＝0..nTbW*2-1，y＝0..nTbH*2-1)被设定为等于位置(xTbY+x，yTbY+y)处的解块滤波处理之前的重构的亮度样本。
2.邻近亮度样本样本pY[x][y]如下推导：
当availL等于真(TRUE)时，邻近左亮度样本pY[x][y](x＝-1..-3，y＝0..2*nTbH-1)被设定为等于位置(xTbY+x，yTbY+y)处的解块滤波处理之前的重构的亮度样本。
当availT等于真(TRUE)时，邻近上亮度样本pY[x][y](x＝0..2*nTbW-1，y＝-1，-2)被设定为等于位置(xTbY+x，yTbY+y)处的解块滤波处理之前的重构的亮度样本。
当availTL等于真(TRUE)时，邻近左上亮度样本pY[x][y](x＝-1，y＝-1，-2)被设定为等于位置(xTbY+x，yTbY+y)处的解块滤波处理之前的重构的亮度样本。
3.下采样的并置亮度样本pDsY[x][y](x＝0..nTbW-1，y＝0..nTbH-1)如下推导：
-pDsY[x][y](x＝1..nTbW-1，y＝0..nTbH-1)如下推导：
pDsY[x][y]＝(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3
如果availL等于真(TRUE)，则pDsY[0][y](y＝0..nTbH-1)如下推导：
pDsY[0][y]＝(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[0][2*y]+2*pY[0][2*y+1]+pY[1][2*y]+pY[1][2*y+1]+4)>>3
否则，pDsY[0][y](y＝0..nTbH-1)如下推导：
pDsY[0][y]＝(pY[0][2*y]+pY[0][2*y+1]+1)>>1
4.当availL等于真(TRUE)时，下采样的邻近左亮度样本pLeftDsY[y](y＝0..nTbH-1)如下推导：
pLeftDsY[y]＝(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[-2][2*y]+2*pY[-2][2*y+1]+pY[-3][2*y]+pY[-3][2*y+1]+4)>>3
5.当availT等于真(TRUE)并且bCTUboudary等于假(FALSE)时，下采样的邻近上亮度样本pTopDsY[x](x＝0..nTbW-1)如下指定：
-pTopDsY[x](x＝1..nTbW-1)如下推导：
pTopDsY[x]＝(pY[2*x-1][-2]+pY[2*x-1][-1]+2*pY[2*x][-2]+2*pY[2*x][-1]+pY[2*x+1][-2]+pY[2*x+1][-1]+4)>>3
如果availTL等于真(TRUE)，则pTopDsY[0]如下推导：
pTopDsY[0]＝(pY[-1][-2]+pY[-1][-1]+2*pY[0][-2]+2*pY[0][-1]+pY[1][-2]+pY[1][-1]+4)>>3
否则，pTopDsY[0]如下推导：
pTopDsY[0]＝(pY[0][-2]+pY[0][-1]+1)>>1
6.当availT等于真(TRUE)并且bCTUboudary等于真(TRUE)时，下采样的邻近上亮度样本pTopDsY[x](x＝0..nTbW-1)如下指定：
-pTopDsY[x](x＝1..nTbW-1)如下推导：
pTopDsY[x]＝(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
如果availTL等于真(TRUE)，则pTopDsY[0]如下推导：
pTopDsY[0]＝(pY[-1][-1]+2*pY[0][-1]+pY[1][-1]+2)>>2
否则，pTopDsY[0]如下推导：
pTopDsY[0]＝pY[0][-1]
7.变量nS、xS、yS、k0、k1如下推导：
nS＝((availL&&availT)？Min(nTbW，nTbH):(availL？nTbH:nTbW))
xS＝1<<(((nTbW>nTbH)&&availL&&availT)？(Log2(nTbW)-Log2(nTbH)):0)
yS＝1<<(((nTbH>nTbW)&&availL&&availT)？(Log2(nTbH)-Log2(nTbW)):0)
k1＝((availL&&availT)？Log2(nS)+1:Log2(nS))
k0＝BitDepthC+k1-15
8.变量l、c、ll、lc和k1如下推导：
9.当k0大于0时，变量l、c、ll、lc和k1如下修改l＝(l+(l<<(k0-1)))>>k0
c＝(c+(c<<(k0-1)))>>k0
ll＝(ll+(ll<<(k0-1)))>>k0
lc＝(lc+(lc<<(k0-1)))>>k0
k1＝k1-k0
10.变量a、b和k如下推导：
如果k1等于0，则以下适用：
k＝0
a＝0
b＝1<<(BitDepthC-1)
否则，以下适用：
avgY＝l>>k1
errY＝l&((1<<k1)-1)
avgC＝c>>k1
errC＝c&((1<<k1)-1
a1＝lc-((avgY*avgC)<<k1+avgY*errC+avgC*errY)
a2＝ll-((avgY2)<<k1+2*avgY*errY)
k2＝(a1＝＝0)？0:Max(0，Floor(Log2(Abs(a1)))-BitDepthC+2)k3＝(a2＝＝0)？0:Max(0，Floor(Log2(Abs(a2)))-5)
k4＝k3-k2+BitDepthC-2
a1s＝a1>>k2
a2s＝a2>>k3
a2t＝(a2s<32)？0:((1<<(BitDepthY+4))+a2s/2)/a2sif(a2s<32)
a3＝0
else if(a2s>＝32&&k4>＝0)
a3＝(a1s*a2t)>>k4
else a3＝(a1s*a2t)<<(-k4)
a4＝Clip3(-28，28-1，a3)
a5＝a4<<7
k5＝(a5＝＝0)？0:Floor(Log2(Abs(a5)+(Sign2(a5)-1)/2))–5
k＝13-k5
a＝a5>>k5
b＝avgC-((a*avgY)>>k)
11.预测样本predSamples[x][y](x＝0..nTbW-1，y＝0..nTbH-1)如下推导：
predSamples[x][y]＝Clip1C(((pDsY[x][y]*a)>>k)+b)
从上述英文规范，具体地，可推导下式17至式20。
[式17]
bCTUboundary＝yCbC&((1<<(CtbLog2SizeY-1)-1)＝＝0
关于式17，可基于式17为真(TRUE)还是假(FALSE)来确定亮度块的上边界是否与CTU的边界交叠，并且在式17中，yCbC可表示当前色度画面的左上样本的当前色度块的左上样本的y轴方向位置，CtbLog2SizeY可表示亮度CTB大小的对数值。
接下来，式18如下。
[式18]
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
在式18中，pTopDsY[x]表示位于亮度块的上边界的上侧的下采样的亮度参考样本的样本值，x表示下采样的亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示位于上侧的亮度参考样本的样本值，并且位于上侧的亮度参考样本的y轴方向位置为-1。
在实施方式中，x值为0，并且当存在样本值pY[-1][-1]时，式18可如下式19表示。
[式19]
pTopDsY[0]＝(pY[–1][-1]+2*pY[0][-1]+pY[1][-1]+2)>>2
在式19中，pTopDsY[0]表示当位于上边界上面的下采样的亮度参考样本的x轴方向位置为0时位于上边界的上侧的下采样的亮度参考样本的样本值，pY[–1][-1]、pY[0][-1]和pY[1][-1]分别表示位于上侧的亮度参考样本的样本值，并且位于上侧的亮度参考样本的y轴方向位置为-1。
在实施方式中，x值为0，并且当不存在样本值pY[-1][-1]时，式18可如下式20表示。
[式20]
pTopDsY[0]＝pY[0][-1]
在式20中，pTopDsY[0]表示当位于亮度块的上边界上面的下采样的亮度参考样本的x轴方向位置为0时位于上边界的上侧的下采样的亮度参考样本的样本值，并且pY[0][-1]表示位于亮度块的上侧的亮度参考样本的样本值。
根据图15和图16的解码设备和操作解码设备的方法，当色度块的帧内预测模式是跨分量线性模型(CCLM)模式时，该解码设备可推导色度块的邻近色度参考样本(S1600)，推导与色度块对应的亮度块的邻近亮度参考样本和亮度块中的亮度样本(S1610)，通过对邻近亮度参考样本和亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本(S1620)，基于下采样的邻近亮度参考样本和邻近色度参考样本来推导线性模型参数(S1630)，基于线性模型参数和亮度块的下采样的亮度样本来生成色度块的预测样本(S1640)，并且基于色度块的预测样本来重构色度块(S1650)，其中，邻近亮度参考样本包括位于亮度块的上边界上方的上邻近亮度参考样本和位于亮度块的左边界的左侧的左邻近亮度参考样本，其中，下采样的邻近亮度参考样本包括下采样的左邻近亮度参考样本和下采样的上邻近亮度参考样本，其中，当亮度块的上边界与编码树单元(CTU)的边界交叠时，基于下式21推导下采样的上邻近亮度参考样本。
[式21]
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
在式21中，pTopDsY[x]表示下采样的上邻近亮度参考样本，x表示下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示上邻近亮度参考样本的样本值，并且上邻近亮度参考样本的y轴方向位置为-1。即，当执行基于CCLM的帧内预测时，通过对1样本行的邻近亮度参考样本进行下采样，图像编码效率可改进，并且当在硬件中实现基于CCLM的帧内预测时，流水线延迟可改进。
根据本文献的上述方法可按软件形式实现，并且根据本文献的编码设备和/或解码设备可被包括在执行例如TV、计算机、智能电话、机顶盒、显示装置等的图像处理的设备中。
上述各个部分、模块或单元可以是执行存储在存储器(或存储单元)中的连续过程的处理器或硬件部分。上述实施方式中描述的各个步骤可由处理器或硬件部分执行。上述实施方式中描述的各个模块/块/单元可作为硬件/处理器操作。此外，本文献所提出的方法可作为代码执行。代码可被写在处理器可读存储介质中，并且因此可由设备所提供的处理器读取。
在上述实施方式中，使用一系列步骤或方框基于流程图来描述方法，但是本文献不限于该步骤顺序。一些步骤可同时发生，或者以与上述步骤不同的顺序发生。此外，本领域技术人员将理解，顺序图中所示的步骤不是排他的，在不影响本文献的范围的情况下，可包括其它步骤，或者可删除流程图中的一个或更多个步骤。
当本文献的实施方式在软件中实现时，上述方法可由执行上述功能的模块(进程、函数等)实现。这些模块可被存储在存储器中并由处理器执行。存储器可在处理器的内部或外部，并且存储器可使用各种熟知手段联接到处理器。处理器可包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括ROM(只读存储器)、RAM(随机存取存储器)、闪存、存储卡、存储介质和/或其它存储装置。

Claims (4)

1.一种由解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
通过比特流获得色度块的残差信息；
基于所述色度块的帧内预测模式是跨分量线性模型CCLM模式来推导所述色度块的邻近色度参考样本；
推导与所述色度块对应的亮度块的邻近亮度参考样本和所述亮度块中的亮度样本；
通过对所述邻近亮度参考样本和所述亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本；
基于所述下采样的邻近亮度参考样本和所述邻近色度参考样本来推导线性模型参数；
基于所述线性模型参数和所述亮度块的所述下采样的亮度样本来生成所述色度块的预测样本；
基于所述色度块的所述残差信息来生成所述色度块的残差样本；以及
基于所述残差样本和所述预测样本来重构所述色度块，
其中，基于颜色格式为4:2:0，基于所述亮度块中的六个亮度样本的样本值来推导下采样亮度样本，
其中，所述邻近亮度参考样本包括位于所述亮度块的上边界上方的上邻近亮度参考样本，
其中，所述下采样的邻近亮度参考样本包括下采样的上邻近亮度参考样本，并且
其中，基于所述亮度块的所述上边界与编码树单元CTU的边界交叠，基于下式推导所述下采样的上邻近亮度参考样本，
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，
其中，pTopDsY[x]表示所述下采样的上邻近亮度参考样本，x表示所述下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示所述上邻近亮度参考样本的样本值，并且所述上邻近亮度参考样本的y轴方向位置为-1。
2.一种由编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
基于色度块的帧内预测模式是跨分量线性模型CCLM模式来推导所述色度块的邻近色度参考样本；
推导与所述色度块对应的亮度块的邻近亮度参考样本和所述亮度块中的亮度样本；
通过对所述邻近亮度参考样本和所述亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本；
基于所述下采样的邻近亮度参考样本和所述邻近色度参考样本来推导线性模型参数；
基于所述线性模型参数和所述亮度块的所述下采样的亮度样本来生成所述色度块的预测样本；
基于所述色度块的所述预测样本来推导所述色度块的残差样本；以及
对包括与所述残差样本相关的残差信息的图像信息进行编码，
其中，基于颜色格式为4:2:0，基于所述亮度块中的六个亮度样本的样本值来推导下采样亮度样本，
其中，所述邻近亮度参考样本包括位于所述亮度块的上边界上方的上邻近亮度参考样本，
其中，所述下采样的邻近亮度参考样本包括下采样的上邻近亮度参考样本，并且
其中，基于所述亮度块的所述上边界与编码树单元CTU的边界交叠，基于下式推导所述下采样的上邻近亮度参考样本，
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，
其中，pTopDsY[x]表示所述下采样的上邻近亮度参考样本，x表示所述下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示所述上邻近亮度参考样本的样本值，并且所述上邻近亮度参考样本的y轴方向位置为-1。
3.一种存储通过图像编码方法生成的比特流的非暂时性解码器可读存储介质，所述方法包括以下步骤：
基于色度块的帧内预测模式是跨分量线性模型CCLM模式来推导所述色度块的邻近色度参考样本；
推导与所述色度块对应的亮度块的邻近亮度参考样本和所述亮度块中的亮度样本；
通过对所述邻近亮度参考样本和所述亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本；
基于所述下采样的邻近亮度参考样本和所述邻近色度参考样本来推导线性模型参数；
基于所述线性模型参数和所述亮度块的所述下采样的亮度样本来生成所述色度块的预测样本；
基于所述色度块的所述预测样本来推导所述色度块的残差样本；以及
对包括与所述残差样本相关的残差信息的图像信息进行编码，
其中，基于颜色格式为4:2:0，基于所述亮度块中的六个亮度样本的样本值来推导下采样亮度样本，
其中，所述邻近亮度参考样本包括位于所述亮度块的上边界上方的上邻近亮度参考样本，
其中，所述下采样的邻近亮度参考样本包括下采样的上邻近亮度参考样本，并且
其中，基于所述亮度块的所述上边界与编码树单元CTU的边界交叠，基于下式推导所述下采样的上邻近亮度参考样本，
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，
其中，pTopDsY[x]表示所述下采样的上邻近亮度参考样本，x表示所述下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示所述上邻近亮度参考样本的样本值，并且所述上邻近亮度参考样本的y轴方向位置为-1。
4.一种用于发送图像的数据的方法，所述方法包括以下步骤：
获得所述图像的比特流，所述比特流是基于以下步骤生成的：基于色度块的帧内预测模式是跨分量线性模型CCLM模式来推导所述色度块的邻近色度参考样本，推导与所述色度块对应的亮度块的邻近亮度参考样本和所述亮度块中的亮度样本，通过对所述邻近亮度参考样本和所述亮度样本进行下采样来推导下采样的邻近亮度参考样本和下采样的亮度样本，基于所述下采样的邻近亮度参考样本和所述邻近色度参考样本来推导线性模型参数，基于所述线性模型参数和所述亮度块的所述下采样的亮度样本来生成所述色度块的预测样本，基于所述色度块的所述预测样本来推导所述色度块的残差样本，并且对包括与所述残差样本相关的残差信息的图像信息进行编码；以及
发送包括所述比特流的所述数据，
其中，基于颜色格式为4:2:0，基于所述亮度块中的六个亮度样本的样本值来推导下采样亮度样本，
其中，所述邻近亮度参考样本包括位于所述亮度块的上边界上方的上邻近亮度参考样本，
其中，所述下采样的邻近亮度参考样本包括下采样的上邻近亮度参考样本，并且
其中，基于所述亮度块的所述上边界与编码树单元CTU的边界交叠，基于下式推导所述下采样的上邻近亮度参考样本，
pTopDsY[x]＝(pY[2*x–1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2，
其中，pTopDsY[x]表示所述下采样的上邻近亮度参考样本，x表示所述下采样的上邻近亮度参考样本的x轴方向位置，pY[2*x–1][-1]、pY[2*x][-1]和pY[2*x+1][-1]分别表示所述上邻近亮度参考样本的样本值，并且所述上邻近亮度参考样本的y轴方向位置为-1。
CN202310761155.6A 2018-10-04 2019-06-24 图像编码/解码方法、存储介质和数据发送方法 Pending CN116708836A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862741531P 2018-10-04 2018-10-04
US62/741,531 2018-10-04
PCT/KR2019/007575 WO2020071616A1 (ko) 2018-10-04 2019-06-24 Cclm에 기반한 인트라 예측 방법 및 그 장치
CN201980069726.1A CN112913235B (zh) 2018-10-04 2019-06-24 基于cclm的帧内预测方法及其设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980069726.1A Division CN112913235B (zh) 2018-10-04 2019-06-24 基于cclm的帧内预测方法及其设备

Publications (1)

Publication Number Publication Date
CN116708836A true CN116708836A (zh) 2023-09-05

Family

ID=70055503

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980069726.1A Active CN112913235B (zh) 2018-10-04 2019-06-24 基于cclm的帧内预测方法及其设备
CN202310760052.8A Pending CN116708834A (zh) 2018-10-04 2019-06-24 图像编码/解码设备和用于发送图像的数据的设备
CN202310763283.4A Pending CN116708839A (zh) 2018-10-04 2019-06-24 图像编码/解码设备和用于发送图像的数据的设备
CN202310761155.6A Pending CN116708836A (zh) 2018-10-04 2019-06-24 图像编码/解码方法、存储介质和数据发送方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201980069726.1A Active CN112913235B (zh) 2018-10-04 2019-06-24 基于cclm的帧内预测方法及其设备
CN202310760052.8A Pending CN116708834A (zh) 2018-10-04 2019-06-24 图像编码/解码设备和用于发送图像的数据的设备
CN202310763283.4A Pending CN116708839A (zh) 2018-10-04 2019-06-24 图像编码/解码设备和用于发送图像的数据的设备

Country Status (4)

Country Link
US (3) US11394961B2 (zh)
KR (2) KR20230093063A (zh)
CN (4) CN112913235B (zh)
WO (1) WO2020071616A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020125796A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Two step cross-component prediction mode based on multiple parameter
CN113273213B (zh) * 2018-12-31 2024-07-02 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
KR20220087451A (ko) 2019-11-01 2022-06-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로스 컴포넌트 비디오 코딩에서 선형 파라미터의 유도
JPWO2021100450A1 (zh) * 2019-11-21 2021-05-27
CN117596409A (zh) 2020-04-18 2024-02-23 抖音视界有限公司 用于处理视频数据的方法、装置以及计算机可读存储介质
US20220092827A1 (en) * 2020-09-23 2022-03-24 Electronics And Telecommunications Research Institute Method, apparatus, system and computer-readable recording medium for feature information
US11683474B2 (en) * 2021-01-25 2023-06-20 Lemon Inc. Methods and apparatuses for cross-component prediction
US11647198B2 (en) 2021-01-25 2023-05-09 Lemon Inc. Methods and apparatuses for cross-component prediction
CN118216145A (zh) * 2021-08-13 2024-06-18 抖音视界有限公司 用于视频处理的方法、装置和介质
WO2024074125A1 (en) * 2022-10-07 2024-04-11 Mediatek Inc. Method and apparatus of implicit linear model derivation using multiple reference lines for cross-component prediction

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
CA2840488A1 (en) * 2011-06-28 2013-01-03 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
KR102277121B1 (ko) * 2011-11-08 2021-07-15 한국과학기술원 영상 부호화/복호화 방법 및 장치
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
US10362310B2 (en) * 2015-10-21 2019-07-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC) of non-4:4:4 chroma sub-sampling
CN118660159A (zh) 2016-10-04 2024-09-17 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
WO2018174357A1 (ko) * 2017-03-22 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
KR20200028860A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
KR102543468B1 (ko) 2023-06-14
WO2020071616A1 (ko) 2020-04-09
CN116708834A (zh) 2023-09-05
CN112913235A (zh) 2021-06-04
US20220038683A1 (en) 2022-02-03
US20220311998A1 (en) 2022-09-29
CN116708839A (zh) 2023-09-05
CN112913235B (zh) 2023-07-14
US20240015282A1 (en) 2024-01-11
US11805244B2 (en) 2023-10-31
KR20210037725A (ko) 2021-04-06
US11394961B2 (en) 2022-07-19
KR20230093063A (ko) 2023-06-26

Similar Documents

Publication Publication Date Title
CN112369023B (zh) 基于cclm的帧内预测方法和装置
CN112913235B (zh) 基于cclm的帧内预测方法及其设备
KR102568879B1 (ko) 어파인 움직임 예측에 기반한 영상 코딩 방법 및 그 장치
CN113853797B (zh) 使用变换索引的图像编码
US20230055729A1 (en) Method for coding intra-prediction mode, and device for same
US20230224489A1 (en) Method and device for processing video signal using affine motion prediction
KR102516233B1 (ko) 움직임 벡터에 기반한 영상 코딩 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination