CN113491115A - 基于cclm预测的图像解码方法及其装置 - Google Patents
基于cclm预测的图像解码方法及其装置 Download PDFInfo
- Publication number
- CN113491115A CN113491115A CN202080017899.1A CN202080017899A CN113491115A CN 113491115 A CN113491115 A CN 113491115A CN 202080017899 A CN202080017899 A CN 202080017899A CN 113491115 A CN113491115 A CN 113491115A
- Authority
- CN
- China
- Prior art keywords
- neighboring
- samples
- luma
- block
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 141
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 281
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 281
- 238000001914 filtration Methods 0.000 claims abstract description 61
- 239000000523 sample Substances 0.000 description 107
- 239000013074 reference sample Substances 0.000 description 52
- 230000008569 process Effects 0.000 description 48
- 230000000694 effects Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000011449 brick Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011981 development test Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 101150067055 minC gene Proteins 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
根据本文档,一种解码装置通过其来执行图像解码的方法包括以下步骤:以跨分量线性模型(CCLM)模式推导当前色度块的帧内预测模式;基于当前亮度块来推导下采样的亮度样本;基于当前亮度块的邻近亮度样本来推导下采样的邻近亮度样本;以及基于下采样的邻近亮度样本和当前邻近色度块的邻近色度样本来推导CCLM参数,其中,当颜色格式是4:2:2时,通过对三个相邻的当前亮度样本进行滤波来推导下采样的亮度样本。
Description
技术领域
本公开涉及一种基于根据CCLM的帧内预测的图像解码方法及其设备。
背景技术
近来,在各个领域中对诸如高清(HD)图像和超高清(UHD)图像这样的高分辨率和高质量图像的需求已经不断增加。随着图像数据具有高分辨率和高质量,相对于传统图像数据,要发送的信息量或比特量增加。因此,当使用诸如常规有线/无线宽带线路这样的介质来发送图像数据或者使用现有存储介质来存储图像数据时,其传输成本和存储成本增加。
因此,需要一种用于有效地发送、存储并再现高分辨率和高质量图像的信息的高度高效的图像压缩技术。
发明内容
技术目的
本公开的技术目的是为了提供一种用于提高图像编译效率的方法和设备。
本公开的另一技术目的是为了提供一种用于提高帧内预测的效率的方法和设备。
本公开的又一技术目的是为了提供一种用于基于跨分量线性模型(CCLM)提高帧内预测的效率的方法和设备。
本公开的又一技术目的是为了提供一种CCLM预测的高效编码和解码方法,以及一种用于执行该编码和解码方法的设备。
本公开的又一技术目的是为了提供一种用于选择周边样本以用于为CCLM推导线性模型参数的方法和设备。
本公开的又一技术目的是为了提供4:2:2和4:4:4颜色格式的CCLM预测方法。
技术方案
根据本公开的实施方式,本文提供的是一种由解码设备执行的图像解码方法。如果当前色度块的帧内预测模式是跨分量线性模型(CCLM)模式,并且如果颜色格式是4:2:2,则图像解码方法可以包括以下步骤:基于当前亮度块推导下采样的亮度样本;基于当前亮度块的邻近亮度样本推导下采样的邻近亮度样本;以及基于下采样的邻近亮度样本和当前邻近色度块的邻近色度样本推导CCLM参数,其中当推导下采样的亮度样本时,通过对三个相邻的当前亮度样本进行滤波推导下采样的亮度样本。
此时,如果下采样的亮度样本的坐标是(x,y),则三个相邻的亮度样本(三个相邻的亮度样本是第一亮度样本、第二亮度样本和第三亮度样本)的坐标分别可以是(2x-1,y)、(2x,y)和(2x+1,y),并且应用于第一亮度样本、第二亮度样本和第三亮度样本的滤波器系数的比率可以是1:2:1。
附加地,如果颜色格式是4:2:2,则可以通过对当前亮度块的三个相邻的上邻近亮度样本进行滤波来推导下采样的上邻近亮度样本。
在这种情况下,如果下采样的上邻近亮度样本的坐标是(x,y),则三个相邻的上邻近亮度样本(三个相邻的上邻近亮度样本是第一上邻近亮度样本、第二上邻近亮度样本和第三上邻近亮度样本)的坐标分别可以是(2x-1,y)、(2x,y)和(2x+1,y),并且应用于第一上邻近亮度样本、第二上邻近亮度样本和第三上邻近亮度样本的坐标的滤波器系数的比率可以是1:2:1。
根据本公开的另一实施方式,本文提供的是一种执行图像解码方法的解码设备。在当前色度块的帧内预测模式是跨分量线性模型(CCLM)模式的情况下,并且如果颜色格式是4:2:2,以及当相应地执行预测时,则解码设备可以包括预测器,该预测器基于当前亮度块推导下采样的亮度样本、基于当前亮度块的邻近亮度样本推导下采样的邻近亮度样本、以及基于下采样的邻近亮度样本和当前邻近色度块的邻近色度样本推导CCLM参数。并且,此时,当推导下采样的亮度样本时,通过对三个相邻的当前亮度样本进行滤波来推导下采样的亮度样本。
根据本公开的又一实施方式,本文提供的是一种由编码设备执行的图像编码方法。在当前色度块的帧内预测模式是跨分量线性模型(CCLM)模式的情况下,并且如果颜色格式是4:2:2,则图像编码方法可以包括以下步骤:基于当前亮度块推导下采样的亮度样本;基于当前亮度块的邻近亮度样本推导下采样的邻近亮度样本;以及基于下采样的邻近亮度样本和当前邻近色度块的邻近色度样本推导CCLM参数。并且,此时,当推导下采样的亮度样本时,通过对三个相邻的当前亮度样本进行滤波来推导下采样的亮度样本。
根据本公开的又一实施方式,本文提供的是一种编码设备。该编码设备可以包括预测器,该预测器将跨分量线性模型(CCLM)模式推导为当前色度块的帧内预测模式,并且推导当前色度块的颜色格式、基于当前亮度块推导下采样的亮度样本、基于当前亮度块的邻近亮度样本推导下采样的邻近亮度样本、以及基于下采样的邻近亮度样本和当前邻近色度块的邻近色度样本推导CCLM参数。并且,如果颜色格式是4:2:2,则通过对三个相邻的当前亮度样本进行滤波来推导下采样的亮度样本。
根据本公开的又一实施方式,本文提供的是一种数字存储介质,其中存储了包括根据图像编码方法生成的编译的图像信息和比特流的图像数据,该方法由编码设备执行。
根据本公开的另实施例,本文提供的是一种数字存储介质,其中存储了包括编译的图像信息和比特流的图像数据,该图像数据使图像解码方法由解码设备执行。
有益效果
根据本公开,能够提高整体图像/视频压缩效率。
根据本公开,能够提高帧内预测效率。
根据本公开,能够通过基于CCLM执行帧内预测来提高图像编译效率。
根据本公开,能够提高基于CCLM的帧内预测效率。
根据本公开,能够通过将被选择用来推导用于CCLM的线性模型参数的邻近样本的数量限制为特定数量来降低帧内预测复杂度。
根据本公开,可以提供4:2:2和4:4:4颜色格式的CCLM预测方法。
根据本公开,可以提供在4:2:2和4:4:4颜色格式中的执行CCLM预测的标准规范文本。
根据本公开,可以提出一种用于在具有4:2:2和4:4:4颜色格式的图像中对亮度块进行下采样或滤波以进行CCLM预测的方法,并且通过使用此方法,可以提高图像压缩效率。
能够通过描述中的详细示例获得的效果不限于上面提及的效果。例如,可以存在相关领域的普通技术人员能够从描述中理解或推导的各种技术效果。因此,说明书的详细效果不限于说明书中显式地描述的效果,并且可以包括能够从说明书的技术特征理解或推导的各种效果。
附图说明
图1示意性地例示了本公开的实施方式适用于的视频/图像编译系统的示例。
图2是示意性地说明了本公开的实施方式适用于的视频/图像编码设备的配置的图。
图3是示意性地说明了本公开的实施方式适用于的视频/图像解码设备的配置的图。
图4示例性地例示了65个预测方向的帧内定向模式。
图5是说明了根据实施例的推导当前色度块的帧内预测模式的过程的图。
图6例示了用于CCLM预测的参数计算的2N个参考样本。
图7例示了4:2:0颜色格式的亮度样本和色度样本的垂直和水平位置。
图8例示了4:2:2颜色格式的亮度样本和色度样本的垂直和水平位置。
图9例示了4:4:4颜色格式的亮度样本和色度样本的垂直和水平位置。
图10是根据本公开的实施方式的用于描述在4:2:2颜色格式中的亮度块和色度块的CCLM预测的图。
图11示意性地例示了由根据本文档的编码设备执行的图像编码方法。
图12示意性地例示了用于执行根据本文档的图像编码方法的编码设备。
图13示意性地例示了由根据本文档的解码设备执行的图像解码方法。
图14示意性地例示了用于执行根据本文档的图像解码方法的解码设备。
图15例示了应用本公开的内容流系统的结构图。
具体实施方式
尽管本公开可能易于进行各种修改并且包括各种实施方式,但是其具体实施方式已在附图中通过示例的方式示出,并且现在将对其进行详细描述。然而,这并不旨在将本公开限制于本文公开的具体实施方式。本文中使用的术语只是出于描述特定实施方式的目的,并不旨在限制本公开的技术思路。除非上下文另外清楚指示,否则单数形式可以包括复数形式。诸如“包括”和“具有”之类的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合,因此不应被理解为预先排除了存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
此外,为了方便描述彼此不同的特性功能,独立地例示了本文中描述的附图上的各组件,然而,并不意指各组件由単独的硬件或软件来实现。例如,可以组合这些组件中的任何两个或更多个以形成单个组件,并且任何单个组件可以被划分成多个组件。其中组件被组合和/或划分的实施方式将属于本公开的专利权的范围,只要它们不脱离本公开的实质即可。
在此文档中,术语“A或B”可以意指“仅A”、“仅B”或“A和B二者”。换句话说,在该文档中,术语“A或B”可以被解释为指示“A和/或B”。例如,在该文档中,术语“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。
此文档中使用的斜线“/”或逗号可以意指“和/或”。例如,“A/B”可以意指“A和/或B”。因此,“A/B”可以意指“仅A”、“仅B”或“A和B二者”。例如,“A、B、C”可以意指“A、B或C”。
在该文档中,“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B二者”。此外,在该文档中,表述“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为与“A和B中的至少一个”相同。
此外,在该文档中,“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。此外,“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。
此外,该文档中使用的括号可以意指“例如”。具体地,在表达“预测(帧内预测)”的情况下,可以指示将“帧内预测”作为“预测”的示例提出。换句话说,术语“预测”不限于“帧内预测”,并且可以指示将“帧内预测”作为“预测”的示例提出。此外,即使在表达“预测(即,帧内预测)”的情况下,也可以指示将“帧内预测”作为“预测”的示例提出。
在该文档中,在一个附图中单独地说明的技术特征可以被单独地实现,或者可以被同时地实现。
在下文中,将参照附图详细地描述本公开的实施方式。另外,贯穿附图使用相似的附图标记来指示相似的元件,并且将省略对相似的元件的相同描述。
图1简要地例示了本公开的实施方式适用于的视频/图像编译装置的示例。
参照图1,视频/图像编译系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流的形式将编码的视频/图像信息或数据传递到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备,并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器,并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板和智能电话,并且可以(电子地)生成视频/图像。例如,可以通过计算机等来生成虚拟视频/图像。在这种情况下,视频/图像捕获过程可以用生成相关数据的过程替换。
编码设备可以对输入视频/图像进行编码。为了压缩和编译效率,编码设备可以执行诸如预测、变换和量化这样的一系列过程。编码的数据(编码的视频/图像信息)可以以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码的图像/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括各种存储介质,诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器可以包括用于通过预定文件格式来生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器可以接收/提取比特流并且将所接收到的比特流发送到解码设备。
解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换和预测这样的一系列过程来对视频/图像进行解码。
渲染器可以渲染解码的视频/图像。可以通过显示器来显示渲染后的视频/图像。
此文档涉及视频/图像编译。例如,此文档中公开的方法/实施方式可以被应用于通用视频编译(VVC)、EVC(基本视频编译)标准、AOMedia视频1(AV1)标准、第二代音频视频编译标准(AVS2)或下一代视频/图像编译标准(例如H.267或H.268等)中公开的方法。
此文档呈现了视频/图像编译的各种实施方式,并且除非另外提及,否则这些实施方式可以被相互结合地执行。
在此文档中,视频可以是指随时间而推移的一系列图像。图片通常是指表示特定时区中的一个图像的单元,并且切片(slice)/图块(tile)是在编译时构成图片的一部分的单元。切片/图块可以包括一个或更多个编译树单元(CTU)。一个图片可以由一个或更多个切片/图块构成。一个图片可以由一个或更多个图块组构成。一个图块组可以包括一个或更多个图块。拼块(brick)可以表示图片中图块内的CTU行的矩形区域。图块可以被分割成多个拼块,其中的每一个由图块内的一个或更多个CTU行构成。未被分割成多个拼块的图块也可以被称为拼块。拼块扫描是分割图片的CTU的特定顺序排序,其中CTU在拼块中以CTU光栅扫描连续地排序,图块内的拼块以图块的拼块的光栅扫描连续地排序,并且图片中的图块以图片的图块的光栅扫描连续地排序。图块是图片中特定图块列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片的宽度的CTU的矩形区域。图块扫描是分割图片的CTU的特定顺序排序,其中CTU在图块中以CTU光栅扫描连续地排序,而图片中的图块在图片中以图块的光栅扫描连续地排序。切片包括图片的整数个拼块,它们可以被排他性地包含在单个NAL单元中。切片可以由许多完整图块或仅由一个图块的完整拼块的连续序列构成。可以在本文档中互换地使用图块组和切片。例如,在此文档中,图块组/图块组头可以被称为切片/切片头。
像素或像元(pel)可以意指构成一个图片(或图像)的最小单元。另外,“样本”可以被用作与像素对应的术语。样本可以通常表示像素或像素的值,并且可以表示仅亮度分量的像素/像素值或仅色度分量的像素/像素值。
单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如cb、cr)块。在一些情况下,单元可以与诸如块或区域这样的术语互换地使用。在一般情况下,M×N块可以包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本文档中,术语“/”和“,”应该被解释为指示“和/或”。例如,表述“A/B”可以意指“A和/或B”。另外,“A、B”可以意指“A和/或B”。另外,“A/B/C”可以意指“A、B和/或C中的至少一个”。另外,“A/B/C”可以意指“A、B和/或C中的至少一个”。
另外,在该文档中,术语“或”应该被解释为指示“和/或”。例如,表述“A或B”可以包括1)仅A、2)仅B和/或3)A和B二者。换句话说,本文档中的术语“或”应该被解释为指示“附加地或另选地”。
图2是例示了可以应用本文档的实施方式的视频/图像编码设备的配置的示意图。在下文中,视频编码设备可以包括图像编码设备。
参照图2,编码设备200可以包括图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234、逆变换器235。残差处理器230可以进一步包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施方式,以上描述的图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由一个或更多个硬件组件(例如,编码器芯片组或处理器)构成。此外,存储器270可以包括解码图片缓冲器(DPB),并且可以由数字存储介质构成。硬件组件可以进一步包括作为内部/外部组件的存储器270。
图像分割器210可以将输入到编码设备200的输入图像(或图片或帧)分割为一个或更多个处理单元。作为一个示例,处理单元可以被称为编译单元(CU)。在这种情况下,从编译树单元(CTU)或最大编译单元(LCU)开始,可以根据四叉树二叉树三叉树(QTBTTT)结构来递归地分割编译单元。例如,基于四叉树结构、二叉树结构和/或三叉树结构,一个编译单元可以被分割为深度较深的多个编译单元。在这种情况下,例如,可以首先应用四叉树结构,并且可以稍后应用二叉树结构和/或三叉树结构。另选地,可以首先应用二叉树结构。可以基于未进一步分割的最终编译单元来执行根据本公开的编译过程。在这种情况下,基于根据图像特性的编码效率,最大编译单元可以直接用作最终编译单元。另选地,可以根据需要将编译单元递归地分割为更深的深度的编译单元,由此可以将最佳大小的编译单元用作最终编译单元。这里,编译过程可以包括诸如预测、变换和重构之类的过程,其将在后面描述。作为另一示例,处理单元可以进一步包括预测单元(PU)或变换单元(TU)。在这种情况下,预测单元和变换单元可以与上述最终编译单元分开或分割开。预测单元可以是样本预测的单元,并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
根据情况,可以使用单元和诸如块、区域等之类的术语来代替彼此。在通常情况下,M×N块可以表示由M列和N行构成的样本或变换系数的集。样本通常可以表示像素或像素值,并且可以仅表示亮度分量的像素/像素值,或者仅表示色度分量的像素/像素值。样本可用作与一幅图片(或图像)的像素或像元(pel)相对应的术语。
在编码设备200中,从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列),并且将所生成的残差信号发送到变换器232。在这种情况下,如所示,用于在编码器200中从输入图像信号(原始块、原始样本阵列)中减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对要处理的块(在下文中,称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可以在当前块或CU基础上确定是应用帧内预测还是帧间预测。如稍后在每种预测模式的描述中描述的,预测器可以生成与预测有关的各种信息,诸如预测模式信息,并且将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式输出。
帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式,参考样本可以位于当前块的附近或与当前块分开。在帧内预测中,预测模式可以包括多种非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度,定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而,这仅仅是示例,并且根据设置,可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来推导针对当前块的预测块。此时,为了减少在帧间预测模式下发送的运动信息的量,可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等,并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如,帧间预测器221可以基于邻近块来配置运动信息候选列表,并且生成指示哪个候选被用于推导当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如,在跳过模式和合并模式的情况下,帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式下,与合并模式不同,可以不发送残差信号。在运动信息预测(运动向量预测、MVP)模式的情况下,邻近块的运动向量可以被用作运动向量预测符,并且可以通过发信号通知运动向量差来指示当前块的运动向量。
预测器220可以基于下述各种预测方法来生成预测信号。例如,预测器可以不仅应用帧内预测或帧间预测来预测一个块,而且还可以同时地应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。另外,预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译,例如,屏幕内容编译(SCC)。IBC基本上在当前图片中执行预测,但是在在当前图片中推导参考块的方面可以类似于帧间预测被执行。也就是说,IBC可以使用此文档中描述的帧间预测技术中的至少一种。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来用信号通知图片内的样本值。
由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或者生成残差信号。变换器232可以通过对残差信号应用变换技术来生成变换系数。例如,变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里,GBT意指当像素之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素来生成的预测信号而生成的变换。另外,变换过程可以被应用于具有相同大小的正方形像素块或者可以被应用于具有可变大小而非正方形的块。
量化器233可以量化变换系数并且将它们发送到熵编码器240,并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块型量化变换系数重新布置成一维向量形式,并且基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行各种编码方法,诸如例如指数哥伦布、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等。熵编码器240可以一起或单独地对除量化变换系数以外的视频/图像重构所必需的信息(例如,语法元素的值等)进行编码。编码的信息(例如编码的视频/图像信息)可以被比特流的形式以NAL(网络抽象层)为单位发送或存储。视频/图像信息还可以包括关于各种参数集的信息,诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外,视频/图像信息还可以包括一般约束信息。在此文档中,从编码设备向解码设备发送/用信号通知的信息和/或语法元素可以被包括在视频/图片信息中。视频/图像信息可以通过上述编码过程来编码并且被包括在比特流中。比特流可以通过网络发送或者可以被存储在数字存储介质中。网络可以包括广播网络和/或通信网络,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可以作为编码设备200的内部/外部元件被包括,并且另选地,发送器可以被包括在熵编码器240中。
从量化器233输出的量化变换系数可以用于生成预测信号。例如,可以通过经由解量化器234和逆变换器235对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图像、重构块、重构样本阵列)。如果没有要处理的针对块的残差,诸如应用跳过模式的情况,则可以将预测块用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以被用于要在当前图片中处理的下一块的帧内预测,并且可以被用于通过如下所述的滤波对下一图片进行帧间预测。
同时,可以在图片编码和/或重构期间应用亮度映射与色度缩放(LMCS)。
滤波器260可以通过对重构信号应用滤波来改善主观/客观图像质量。例如,滤波器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片,并且将修改后的重构图片存储在存储器270具体地存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以如稍后在每种滤波方法的描述中描述的那样生成与滤波有关的各种信息并且将所生成的信息发送到熵编码器240。与滤波有关的信息可以由熵编码器240编码并且以比特流的形式输出。
发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。当通过编码设备来应用帧间预测时,可以避免编码设备200与解码设备之间的预测失配,并且可以改善编译效率。
存储器270DPB可以存储修改后的重构图片,以便使用它作为帧间预测器221中的参考图片。存储器270可以存储从中已推导(或编码了)运动信息的当前图片中的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器221,以被用作邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本,并且将它们发送到帧内预测器222。
图3是示意性地例示可应用本公开的视频/图像解码设备的配置的图。
参照图3,视频解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器321。根据实施方式,上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如,解码器芯片组或处理器)构成。另外,存储器360可以包括解码图片缓冲器(DPB),并且可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时,解码设备300可以与据此已在图2的编码设备中处理视频/图像信息的处理对应地重构图像。例如,解码设备300可以基于与从比特流获得的与块分割相关的信息来推导单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此,解码的处理单元可以是例如编译单元,可以用编译树单元或最大编译单元顺着四叉树结构、二叉树结构和/或三叉树结构对其进行分割。可以用编译单元推导一个或更多个变换单元。并且,可以通过再现器来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以以比特流的形式接收从图2的编码设备输出的信号,并且可以通过熵解码器310对所接收到的信号进行解码。例如,熵解码器310可以解析比特流以推导图像重构(或图片重构)所必需的信息(例如视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外,视频/图像信息还可以包括一般约束信息。解码设备还可以基于参数集信息和/或一般约束信息来对图片进行解码。稍后在此文档中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程来解码,并且可以从比特流获得。例如,熵解码器310基于诸如指数哥伦布编译、CAVLC或CABAC这样的编译方法来对比特流中的信息进行解码,并且输出图像重构所必需的语法元素和用于残差的变换系数的量化值。更具体地,CABAC熵解码方法可以接收与比特流中的每个语法元素对应的bin,使用解码目标语法元素信息、解码目标块的解码信息或在前一个阶段中解码的符号/bin的信息来确定上下文模型,并且通过根据所确定的上下文模型预测bin的发生概率来对bin执行算术解码,以及生成与每个语法元素的值对应的符号。在这种情况下,CABAC熵解码方法可以通过在确定上下文模型之后将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。可以将由熵解码器310解码的信息当中与预测有关的信息提供给预测器(帧间预测器332和帧内预测器331),并且可以将在熵解码器310中执行熵解码的残差值(即量化变换系数)和相关参数信息输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外,可以向滤波器350提供由熵解码器310解码的信息当中关于滤波的信息。同时,用于接收从编码设备输出的信号的接收器(未示出)可以被进一步配置为解码设备300的内部/外部元件,或者接收器可以是熵解码器310的组件。同时,根据此文档的解码设备可以被称为视频/图像/图片解码设备,并且解码设备可以被分类成信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310,而样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
解量化器321可以通过对量化变换系数进行解量化来输出变换系数。解量化器321可以将量化变换系数重新布置为二维块的形式。在这种情况下,可以基于已在编码设备中执行的系数扫描的顺序来执行重新布置。解量化器321可以使用量化参数(例如,量化步长信息)对量化变换系数执行解量化,并且获得变换系数。
逆变换器322通过对变换系数进行逆变换来获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测,并且生成包括针对当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测,并且具体地可以确定帧内/帧间预测模式。
预测器320可以基于下述各种预测方法来生成预测信号。例如,预测器可以不仅应用帧内预测或帧间预测来预测一个块,而且还同时地应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。另外,预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译,例如,屏幕内容编译(SCC)。IBC基本上在当前图片中执行预测,但是在在当前图片中推导参考块的方面可以类似于帧间预测被执行。也就是说,IBC可以使用此文档中描述的帧间预测技术中的至少一种。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来用信号通知图片内的样本值。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式,参考样本可以位于当前块的邻域中或者可以分开定位。在帧内预测中,预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式下发送的运动信息量,可以基于邻近块与当前块之间的运动信息的相关性,以块、子块或样本为单位预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如,帧间预测器332可以基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测,并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果没有要处理的针对块的残差,诸如当应用跳过模式时,可以将预测块用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以被用于要在当前图片中处理的下一块的帧内预测、可以通过如下所述的滤波来输出、或者可以被用于下一图片的帧间预测。
同时,可以在图片解码过程中应用亮度映射与色度缩放(LMCS)。
滤波器350可以通过对重构信号应用滤波来改善主观/客观图像质量。例如,滤波器350可以通过对重构图片应用各种滤波方法来生成修改后的重构图片并且将修改后的重构图片存储在存储器360(具体地,存储器360的DPB)中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从中推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经被重构的块的运动信息。可以将所存储的运动信息发送到帧间预测器260以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本并且将重构样本传送到帧内预测器331。
在本公开中,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或者被分别应用于解码设备300的滤波器350、帧间预测器332和帧内预测器331。相同情况也可以适用于单元332和帧内预测器331。
如上所述,执行预测,以便提高执行视频编译时的压缩效率。据此,可以生成包括针对作为编译目标块的当前块的预测样本的预测块。这里,预测块包括空间域(或像素域)中的预测样本。可以在编码设备和解码设备中相同地推导预测块,并且编码设备可以通过向解码设备发信号通知并非原始块本身的原始样本值而是关于原始块与预测块之间的残差的信息(残差信息)来提高图像编译效率。解码设备可以基于残差信息来推导包括残差样本的残差块,通过将残差块与预测块相加来生成包括重构样本的重构块,并且生成包括重构块的重构图片。
可以通过变换过程和量化过程来生成残差信息。例如,编码设备可以推导原始块与预测块之间的残差块,通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来推导变换系数,并且通过对变换系数执行量化过程来推导量化变换系数,使得它可以(通过比特流)向解码设备发信号通知关联的残差信息。这里,残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核、量化参数等。解码设备可以基于残差信息来执行量化/解量化过程并且推导残差样本(或残差样本块)。解码设备可以基于预测块和残差块来生成重构块。编码设备可以通过对量化变换系数进行解量化/逆变换来推导残差块以便作为下一个图片的帧间预测的参考,并且可以基于此来生成重构图片。
图4例示了65个预测方向的帧内定向模式。
参照图4,可以基于具有左上对角线预测方向的帧内预测模式#34来对具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式进行分类。图3中的H和V分别表示水平方向性和垂直方向性,并且从-32至32的数字表示样本网格位置上1/32单位的位移。帧内预测模式#2至#33具有水平方向性,而帧内预测模式#34至#66具有垂直方向性。帧内预测模式#18和帧内预测模式#50分别表示水平帧内预测模式和垂直帧内预测模式。帧内预测模式#2可以被称为左下对角线帧内预测模式,帧内预测模式#34可以被称为左上对角线帧内预测模式,而帧内预测模式#66可以被称为右上对角线帧内预测模式。
同时,除了上述帧内预测模式之外,帧内预测模式还可以包括跨分量线性模型(CCLM)模式。取决于为了推导LM参数是否正在考虑左样本、是否正在考虑上样本,或是否正在考虑左样本和上样本二者,CCLM模式可以被划分成LT_CCLM、L_CCLM和T_CCLM。并且,这可以仅被应用于色度分量。根据实施例,可以如在下面在下表中示出的那样对帧内预测模式编索引。
[表1]
帧内预测模式 | 相关名称 |
0 | INTRA_PLANAR |
1 | INTRA_DC |
2..66 | INTRA_ANGULAR2..INTRA_ANGULAR66 |
81..83 | INTRA_LT_CCLM、INTRA_L_CCLM、INTRA_T_CCLM |
图5是用于描述根据实施例的推导当前色度块的帧内预测模式的过程的图。
在本公开中,“色度块”、“色度图像”等可以表示色彩度块、色彩度图像等的相同含义,并且因此,可以共同地使用色度和色彩度。同样地,“亮度块”、“亮度图像”等可以表示辉度块、辉度图像等的相同含义,并且因此,可以共同地使用亮度和辉度。
在本公开中,“当前色度块”可以意指作为当前编译单元的当前块的色度分量块,并且“当前亮度块”可以意指作为当前编译单元的当前块的亮度分量块。因此,当前亮度块和当前色度块彼此对应。然而,当前亮度块和当前色度块的块格式和块数量不总是相同,而是可以取决于情况而不同。在一些情况下,当前色度块可以对应于当前亮度区域,并且在这种情况下,当前亮度区域可以包括至少一个亮度块。
在本公开中,“参考样本模板”可以意指与当前色度块邻近以用于预测当前色度块的参考样本的集合。参考样本模板可以是预定义的,或者参考样本模板的信息可以被从编码设备200用信号通知给解码设备300。
参照图5,与作为当前色度块的4x4块邻近的一个阴影线的样本的集合表示参考样本模板。在图5中示出了参考样本模板包括一条线的参考样本,但是与参考样本模板对应的亮度区域中的参考样本区域包括两条线。
在实施例中,当在联合视频开发组(JVET)中使用的联合开发测试模型(JEM)中执行色度图像的帧内编码时,可以使用跨分量线性模型(CCLM)。CCLM是基于重构亮度图像的像素值来预测色度图像的像素值的方法,其基于色度图像与亮度图像之间的高相关性的性质。
Cb和Cr色度图像的CCLM预测可以基于以下等式。
[等式1]
PredC(i,j)=α·Rec′L(i,j)+β
这里,predc(i,j)意指要预测的Cb或Cr色度图像,RecL’(i,j)意指其大小被调整为色度块大小的重构亮度图像,并且(i,j)意指像素坐标。在4:2:0颜色格式中,由于亮度图像的大小是色度图像的大小的两倍,所以应该通过下采样来生成色度块大小的RecL’,并且因此,可以除了RecL(2i,2j)之外还考虑所有邻近像素来使用要用于色度图像predc(i,j)的量度图像的像素。可以将RecL’(i,j)表示为下采样的亮度样本。
例如,可以如在以下等式中一样使用6个邻近像素来推导RecL’(i,j)。
[等式2]
Rec′L(x,y)=(2×RecL(2x,2y)+2×RecL(2x,2y+1)+RecL(2x-1,2y)+RecL(2x+1,2y)+RecL(2x-1,2y+1)+RecL(2x+1,2y+1)+4)>>3
此外,α和β表示如作为图5的阴影区域示出的Cb或Cr色度块邻近模板与亮度块邻近模板之间的互相关和平均值差,并且可以例如在以下等式3中那样。
[等式3]
这里,L(n)意指与当前色度图像对应的亮度块的邻近参考样本和/或左邻近样本,C(n)意指当前应用编码的当前色度块的邻近参考样本和/或左邻近样本,并且(i,j)意指像素位置。此外,L(n)可以表示当前亮度块的下采样的上邻近样本和/或左邻近样本。此外,N可以表示用于计算CCLM参数的总像素对(亮度和色度)值的数量,并且可以表示为当前色度块的宽度和高度之间的较小值的两倍大的值。
同时,可以如下选择用于上述CCLM预测的参数计算(例如,α和β)的样本。
-在当前色度块是NxN大小的色度块的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)邻近参考样本对(亮度和色度)。
-在当前色度块是NxM大小或MxN大小(这里,N<=M)的色度块的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)邻近参考样本对。同时,由于M大于N(例如,M=2N或3N等),可以通过在M个样本当中子采样来选择N个样本对。
图6例示了用于上述CCLM预测的参数计算的2N个参考样本。参照图6,示出了2N个参考样本对,其被推导用于CCLM预测的参数计算。2N个参考样本对可以包括与当前色度块相邻的2N个参考样本和与当前亮度块相邻的2N个参考样本。
同时,为了执行帧内色度预测编译,可以允许(或授权)总共8个帧内预测模式用于帧内色度编译。8个帧内预测模式可以包括5个常规的(或现有的)帧内预测模式和CCLM模式。表1示出了用于CCLM预测不可用的情况的帧内色度预测模式推导的映射表,而表2示出了用于CCLM预测可用的情况的帧内色度预测模式推导的映射表。
如表2和表3中指示的,可以基于关于覆盖当前块或色度块的中心底部左样本的亮度块(例如,在应用DUAL_TREE的情况下)的帧内亮度预测模式以及用信号通知的帧内色度预测模式(intra_chroma_pred_mode)的信息的值来确定帧内色度预测模式。从在下面示出的表中推导的IntraPredModeC[xCb][yCb]的索引可以对应于上述表1中公开的帧内预测模式的索引。
[表2]
[表3]
在下文中,将详细地描述帧内预测,更具体地,在执行CCLM预测时考虑编译块的颜色格式的方法。这种预测方法可以由编码设备和解码设备二者执行。
颜色格式可以是亮度样本和色度样本(cb、cr)的配置格式,并且这也可以被称为色度格式。颜色格式或色度格式可以被预先确定或者可以被自适应地用信号通知。例如,可以基于在下面在下表中示出的chroma_format_idc和separate_colour_plane_flag中的至少一个来用信号通知色度格式。
[表4]
在单色采样中,存在仅一个样本阵列,其被名义上(或通常)认为是亮度阵列。4:2:0采样意味着两个色度阵列中的每一个具有亮度阵列的一半高度和一半宽度。4:2:2采样意味着两个色度阵列中的每一个具有亮度阵列的一半宽度和与亮度阵列相同的高度。并且,4:4:4采样意味着两个色度阵列中的每一个具有与亮度阵列相同的宽度和高度。
如果表4的separate_colour_plane_flag等于0,则这指示两个色度阵列中的每一个具有与亮度阵列相同的高度和宽度。并且,否则,即如果separate_colour_plane_flag等于1,则这指示三个颜色平面被单独地处理为单色采样的图片。
本实施方式涉及在输入图像具有4:2:2和4:4:4颜色格式的情况下执行CCLM预测的方法。并且,在本文中,已经在上面参照图5描述了输入图像的颜色格式是4:2:0的情况。
图7至图9例示了根据颜色格式的亮度样本和色度样本的位置。在本文中,图7例示了4:2:0颜色格式的亮度样本和色度样本的垂直和水平位置。图8例示了4:2:2颜色格式的亮度样本和色度样本的垂直和水平位置。并且,图9例示了4:4:4颜色格式的亮度样本和色度样本的垂直和水平位置。
与亮度图像的大小是色度图像的大小的两倍的图7的4:2:0颜色格式不同,在图8所示的4:2:2颜色格式的色度图像中,色度图像的高度与亮度图像相同,并且色度图像的宽度是亮度图像的宽度的一半。附加地,图9所示的4:4:4颜色格式的色度图像具有与亮度图像相同的大小。图像大小的这种变化被应用于基于块的图像编码和解码二者。
如上所述,在4:2:2和4:4:4颜色格式图像中,由于使用等式2的下采样不能被同样地使用,所以对于4:2:2和4:4:4颜色格式的CCLM预测,应该执行不同的采样方法。
因此,在以下实施方式中,将提出用于执行在4:2:2和4:4:4颜色格式中的CCLM预测的方法。
图10是根据本公开的实施方式的用于描述在4:2:2颜色格式中的亮度块和色度块的CCLM预测的图。
如图10所示,在4:2:2颜色格式中,由于色度块的高度与亮度块相同,并且色度块的宽度是亮度块的宽度的一半,所以在根据等式1来执行CCLM预测之前,编码设备和解码设备通过使用在下面示出的等式来调整亮度块,使得亮度块的大小与色度块相同。
[等式4]
Rec′L(x,y)=(2×RecL(2x,y)+RecL(2x-1,y)+RecL(2x+1,y)+2)>>2
在上面呈现的等式中,RecL表示亮度块,并且Rec′L表示已对其应用下采样的亮度块。
也就是说,由于亮度块的高度与色度块相同,所以仅需要将亮度块的宽度下采样到2:1比率。
在使用当前块的参考样本以便获得CCLM参数α和β的情况下,通过对亮度块的参考样本执行下采样,编码设备和解码设备将亮度块的下采样的参考样本与色度块的参考样本区域相等地匹配。首先,由于与色度块的左参考样本区域对应的亮度块的参考样本是通过1:1匹配来匹配的,所以可以通过使用在下面示出的等式来表达与亮度块的高度对应的参考样本Rec’L(-1,y)。
[等式5]
Rec′L(-1,y)=RecL(-1,y)
可以通过使用在下面示出的等式执行2:1下采样来推导与色度块的上参考样本区域对应的亮度块的参考样本。
[等式6]
Rec′L(x,-1)=(2×RecL(2x,-1)+RecL(2x-1,-1)+RecL(2x+1,-1)+2)>>2
在通过使用等式4来将亮度块下采样到色度块大小之后,编码设备和解码设备可以根据常规方法执行CCLM预测。也就是说,编码设备和解码设备可以通过使用比较运算和线性映射来计算α和β。此后,编码设备和解码设备可以通过使用等式1来执行CCLM预测。
另选地,根据实施例,当通过6抽头滤波执行亮度块的下采样时,如等式2所示,通过根据低频滤波效果去除高频分量,可以提高CCLM预测准确度。也就是说,编码设备和解码设备可以通过使用在下面示出的以下等式来对亮度块执行下采样。
[等式7]
Rec′L(x,y)=(2×RecL(2x,y)+2×RecL(2x,y-1)+RecL(2x-1,y)+RecL(2x+1,y)+RecL(2x-1,y-1)+RecL(2x+1,y-1)+4)>>3
附加地,可以通过使用在下面示出的以下等式来推导与色度块的左参考样本区域对应的亮度块的参考样本。
[等式8]
Rec′L(-1,y)=(2×RecL(-2,y)+2×RecL(-2,y-1)+RecL(-3,y)+RecL(-1,y)+RecL(-3,y-1)+RecL(-1,y-1)+4)>>3
附加地,可以通过使用在下面示出的以下等式来推导与色度块的上参考样本区域对应的亮度块的参考样本。
[等式9]
Rec′L(x,-1)=(2×RecL(2x,-1)+2×RecL(2x,-2)+RecL(2x-1,-1)+RecL(2x+1,-1)+RecL(2x-1,-2)+RecL(2x+1,-2)+4)>>3
在通过使用上面呈现的等式来将亮度块下采样到色度块大小之后,编码设备和解码设备可以根据常规方法来执行CCLM预测。也就是说,编码设备和解码设备可以通过使用比较运算和线性映射来计算α和β。此后,编码设备和解码设备可以通过使用等式1来执行CCLM预测。
在使用上面呈现的等式的情况下,就如常规方法那样,在CTU边界处使用仅一个上部线,并且,如果在周围不可用的位置中存在像素,则在排除这样的像素的同时执行滤波。
如上所述,也可以通过使用本实施方式提出的方法来在4:2:2颜色格式中执行CCLM预测。因此,可以显著地提高4:2:2颜色格式的压缩效率。
同时,根据另一实施方式,在图像具有4:4:4颜色格式的情况下,可以提出用于执行CCLM预测的方法。在包括当前块的图像具有4:4:4颜色格式的情况下,编码设备和解码设备可以如下所述执行CCLM预测。
首先,在根据等式1来执行CCLM预测之前,编码设备和解码设备可以通过使用在下面示出的以下等式来调整亮度块以与色度块大小匹配。
[等式10]
Rec′L(x,y)=RecL(x,y)
在4:4:4颜色格式的情况下,由于色度块大小与亮度块大小相同,所以不需要对亮度块进行下采样。并且,相应地,可以简单地生成Rec′L块,如等式10所示。
在使用当前块的参考样本以便获得CCLM参数α和β的情况下,由于当前块的参考样本与色度块的参考样本区域相同,所以编码设备和解码设备可以通过使用在下面示出的以下等式来推导亮度块的左参考样本和上参考样本。
[等式11]
Rec′L(-1,y)=RecL(-1,y)
Rec′L(x,-1)=RecL(x,-1)
在通过等式11来执行亮度块与色度块的1:1匹配之后,编码设备和解码设备可以根据常规方法来执行CCLM预测。也就是说,编码设备和解码设备可以通过使用比较运算和线性映射来计算α和β。此后,编码设备和解码设备可以通过使用等式1来执行CCLM预测。
另选地,根据实施例,当通过6抽头滤波来执行亮度块的下采样时,如等式2所示,通过根据低频滤波效果去除高频分量,可以提高CCLM预测准确度。也就是说,编码设备和解码设备可以通过使用在下面示出的以下等式来对亮度块执行下采样。
[等式12]
Rec′L(x,y)=(5×RecL(x,y)+RecL(x,y-1)+RecL(x-1,y)+RecL(x+1,y)+RecL(x,y+1)+4)>>3
附加地,可以通过使用在下面示出的以下等式来推导与色度块的左参考样本区域对应的亮度块的参考样本。
[等式13]
Rec′L(-1,y)=(2×RecL(-1,y)+RecL(-1,y-1)+RecL(-1,y+1)+2)>>2
附加地,可以通过使用在下面示出的以下等式来推导与色度块的上参考样本区域对应的亮度块的参考样本。
[等式14]
Rec′L(x,-1)=(2×RecL(x,-1)+RecL(x-1,-1)+RecL(x+1,-1)+2)>>2
在通过使用上面呈现的等式来将亮度块滤波到色度块大小之后,编码设备和解码设备可以根据常规方法来执行CCLM预测。也就是说,编码设备和解码设备可以通过使用比较运算和线性映射来计算α和β。此后,编码设备和解码设备可以通过使用等式1来执行CCLM预测。
在使用上面呈现的等式的情况下,就如常规方法那样,在CTU边界处使用仅一个上部线,并且,在周围不可用的位置中存在像素的情况下,在排除这样的像素的同时执行滤波。
如上所述,也可以通过使用本实施方式提出的方法来以4:4:4颜色格式执行CCLM预测。因此,可以显著地提高4:4:4颜色格式的压缩效率。
可以如在下面在下表中示出的那样表达在本公开中提出的用于在4:2:2和4:4:4颜色格式中执行CCLM预测的方法。表5至表7的内容以在HEVC或VVC规范标准中使用的标准文档格式等描述本公开中提出的实施方式。并且,在本文中,在详细内容中指示的图像处理过程及其解释对本领域的普通技术人员而言是显而易见的。
[表5]
表5描述了在当前块的帧内预测模式为CCLM模式的情况下的帧内预测方法。并且,在本文中,需要帧内预测模式、被视为当前块的当前变换块的左上样本位置、变换块的宽度和高度以及色度块的邻近参考样本作为输入值。并且,可以通过使用基于上面提及的输入值的输出值来推导预测样本。
在此过程期间,可以执行检查当前块的参考样本的可用性的过程(其中推导了变量availL、availT和availTL),并且在本文中,可以推导可用右上邻近色度样本的数量(numTopRight)、可用左下邻近色度样本的数量(numLeftBelow)、上和右上的可用邻近色度样本的数量(numTopSamp)以及左和左下的可用邻近色度样本的数量(nLeftSamp)。
[表6]
表6描述了用于获得色度块的预测样本的方法,最特别地,推导邻近亮度样本的过程(2.推导邻近亮度样本pY[x][y]),推导与色度块对应的亮度块的样本以进行CCLM预测的过程,即,对亮度块样本进行下采样的过程(3.推导并置亮度样本pDsY[x][y],其中x=0..nTbW-1,y=0..nTbH-1),在可用亮度块的左邻近样本的数量大于0的情况下推导亮度块的邻近参考样本的过程(4.当numSampL大于0时,推导邻近左亮度样本pLeftDsY[y],其中y=0..numSampL-1),以及在可用亮度块的上邻近样本的数量大于0的情况下推导亮度块的邻近参考样本的过程(5.当numSampT大于0时,指定邻近上亮度样本pTopDsY[x],其中x=0..numSampT-1)。
在推导邻近亮度样本的过程中,如果可用亮度块的左邻近样本的数量大于0,并且如果颜色格式是4:2:2(其中chroma_format_idc等于2)或4:4:4(其中chroma_format_idc等于3),则可以将左邻近亮度样本(x=-1,y=0..numSampL-1)推导为(xTbY+x,yTbY+y)位置的恢复亮度样本。
附加地,在推导邻近亮度样本的过程中,如果可用亮度块的上邻近样本的数量大于0,并且如果颜色格式是4:2:2,则可以将上邻近亮度样本(x=0..2*numSampT-1,y=-1、-2)推导为(xTbY+x,yTbY+y)位置的恢复亮度样本,以及,如果颜色格式是4:4:4,则可以将上邻近亮度样本(x=0..numSampT-1,y=-1)推导为(xTbY+x,yTbY+y)位置的恢复亮度样本。
此外,在推导邻近亮度样本的过程中,如果当前块的左上参考样本可用,并且如果颜色格式是4:2:2,则可以将左上邻近亮度样本(x=-1,y=-1)推导为(xTbY+x,yTbY+y)位置的恢复亮度样本。
在对亮度块样本进行下采样的过程中,如果颜色格式是4:2:2,则可以通过对3个亮度样本执行滤波(pDsY[x][y]=(pY[2*x-1][y]+2*pY[2*x][y]+pY[2*x+1][y]+2)>>2)来推导下采样的亮度样本(pDsY[x][y],其中x=1..nTbW-1,y=0..nTbH-1)。
也就是说,在颜色格式是4:2:2的情况下,由于亮度块的宽度应根据色度块的宽度减半,以便推导下采样的亮度样本(x,y)值,所以可以使用位于(2*x,y)位置的亮度样本的左右位置处的样本((2*x-1,y)和(2*x+1,y))。并且,此时,滤波器系数可以是1:2:1。
在颜色格式是4:4:4的情况下,由于亮度块的宽度与色度块的宽度相同,所以可以通过使用pDsY[x][y]=pY[x][y]来推导下采样的亮度样本。
附加地,如果左邻近亮度样本可用,则可以通过使用pDsY[0][y]=(pY[-1][y]+2*pY[0][y]+pY[1][y]+2)>>2来推导下采样的亮度样本(pDsY[0][y],其中y=0..nTbH-1)。并且,如果左邻近亮度样本不可用,则可以通过使用pDsY[0][y]=pY[0][y]来推导下采样的亮度样本。
也就是说,如果左邻近亮度样本可用,则可以通过使用(-1,y)、(0,y)、(1,y)位置的样本来对位于亮度块(0,y)的最左侧的亮度样本进行滤波。并且,此时,滤波器系数可以是1:2:1。
同时,如果可用亮度块的左邻近样本的数量大于0,则在推导亮度块的邻近参考样本的过程中,如果颜色格式是4:2:2或4:4:4,则可以通过使用pLeftDsY[y]=pY[-1][y]来推导邻近参考样本。
由于亮度块的高度与色度块的高度相同,所以可以在不用执行下采样过程的情况下推导亮度块的左邻近参考样本。
同时,如果可用亮度块的上邻近样本的数目大于0,则在推导亮度块的邻近参考样本的过程中,如果颜色格式是4:2:2或4:4:4,则可以通过使用(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2来推导x=1..numSampT-1的情况的上邻近亮度参考样本(x=1..numSampT-1)。
也就是说,如果上邻近亮度样本可用,则由于亮度块的宽度应根据色度块的宽度减半,以便推导下采样的上邻近亮度参考样本(x,y)值,所以可以使用位于(2*x,-1)位置的亮度样本的左右位置处的样本((2*x-1,-1)和(2*x+1,-1))。并且,此时,滤波器系数可以是1:2:1。
此时,如果当前块的左上参考样本可用,则可以通过使用(pY[-1][-1]+2*pY[0][-1]+pY[1][-1]+2)>>2来推导具有等于0的x值的上邻近亮度参考样本(pTopDsY[0])。并且,如果当前块的左上参考样本不可用,则可以通过使用pY[0][-1]来推导具有等于0的x值的上邻近亮度参考样本(pTopDsY[0])。
如果可用亮度块的上邻近样本的数量大于0,则在推导亮度块的邻近参考样本的过程中,如果颜色格式是4:4:4,则可以通过使用pTopDsY[x]=pY[x][-1]来推导邻近参考样本。
[表7]
表7示出了推导各种变量(其中变量是nS、xS、Ys,其中变量是minY、maxY、minC和maxC,并且其中变量是a、b和k)以便在CCLM模式下根据可用参考样本的位置来获得色度块的预测样本的过程(9.推导预测样本predSamples[x][y],其中x=0..nTbW-1,y=0..nTbH-1)。
已准备以下附图来说明本公开的特定示例。由于附图中描述的特定装置的名称和特定信号/消息/字段的名称被示例性地呈现,所以本公开的技术特征不限于以下附图中使用的特定名称。
图11示意性地例示了由根据本文档的编码设备执行的图像编码方法。图11中公开的方法可以由图2中公开的编码设备执行。具体地,例如,图11中的S1100至S1140可以由编码设备的预测器执行,并且S1150可以由编码设备的熵编码器执行。此外,虽然未例示,但是基于当前色度块的原始样本和预测样本来推导当前色度块的残差样本的过程可以由编码设备的减法器执行,并且基于当前色度块的残差样本和预测样本来推导当前色度块的重构样本的过程可以由编码设备的加法器执行。基于残差样本来生成关于当前色度块的残差的信息的过程可以由编码设备的变换器执行,并且对关于残差的信息进行编码的过程可以由编码设备的熵编码器执行。
编码设备可以将跨分量线性模型(CCLM)模式确定为当前色度块的帧内预测模式,并且可以推导当前色度块的颜色格式(S1100)。
例如,编码设备可以基于速率失真(RD)成本(或RDO)来确定当前色度块的帧内预测模式。这里,可以基于绝对差之和(SAD)来推导RD成本。编码设备可以基于RD成本来将CCLM模式确定为当前色度块的帧内预测模式。
颜色格式可以是亮度样本和色度样本(cb、cr)的配置格式,并且这也可以被称为色度格式。颜色格式或色度格式可以被预先确定或者可以被自适应地用信号通知。可以通过使用表4所示的五个颜色格式中的一个来推导当前色度块的颜色格式。并且,可以基于chroma_format_idc和separate_colour_plane_flag中的至少一个来用信号通知颜色格式。
此外,编码设备可以对关于当前色度块的帧内预测模式的信息进行编码,并且可以通过比特流来用信号通知关于帧内预测模式的信息。当前色度块的预测相关信息可以包括关于帧内预测模式的信息。
编码设备可以基于当前亮度块来推导下采样的亮度样本,并且,如果当前色度块的颜色格式是4:2:2,则编码设备可以通过对3个相邻的(或连续的)当前亮度样本进行滤波来推导下采样的亮度样本(S1110)。
如果当前色度块的颜色格式是4:2:2,如图8所示,则编码设备可以执行下采样,其中亮度块的宽度减半,如图10所示。并且,此时,通过对3个相邻的(或连续的)当前亮度样本进行滤波,可以推导下采样的亮度样本。
如果下采样的亮度样本的坐标是(x,y),则3个相邻的(或连续的)第一亮度样本、第二亮度样本和第三亮度样本的坐标分别可以是(2x-1,y)、(2x,y)和(2x+1,y)。并且,此时,如等式4所示,可以使用3抽头滤波器。也就是说,应用于第一亮度样本、第二亮度样本和第三亮度样本的滤波器系数的比率可以是1:2:1。
附加地,根据一个示例,编码设备可以在执行亮度块的下采样时通过使用低频滤波效果来去除高频分量。并且,此时,可以通过使用等式7来推导下采样的亮度样本。
同时,如果当前色度块的颜色格式是4:4:4,如图9所示,则编码设备可以像等式10所示的那样在不用对当前亮度块的样本执行滤波的情况下推导下采样的亮度样本。也就是说,可以在不用滤波的情况下将当前亮度块的每个亮度样本分别推导为对应下采样的亮度样本。
附加地,根据一个示例,当推导下采样的亮度样本时,编码设备可以基于等式12通过使用低频滤波效果来去除高频分量。
编码设备可以基于当前亮度块的邻近亮度样本来推导下采样的邻近亮度样本,并且可以通过对当前亮度块的3个相邻的(或连续的)上邻近亮度样本进行滤波来推导下采样的上邻近亮度样本(S1120)。
在本文中,邻近亮度样本可以是与上邻近色度样本和左邻近色度样本对应的相关样本。下采样的邻近亮度样本可以包括:与上邻近色度样本对应的当前亮度块的下采样的上邻近亮度样本,以及与左邻近色度样本对应的当前亮度块的下采样的左邻近亮度样本。
如果当前色度块的颜色格式是4:2:2,则可以基于等式6来推导色度块的上参考样本区域,即,与上邻近色度样本对应的亮度块的参考样本。
如等式6所示,如果下采样的上邻近亮度样本的坐标是(x,y),则3个相邻的(或连续的)第一上邻近亮度样本、第二上邻近亮度样本和第三上邻近亮度样本的坐标分别可以是(2x-1,y)、(2x,y)和(2x+1,y),并且应用于第一上邻近亮度样本,第二上邻近亮度样本和第三上邻近亮度样本的坐标的滤波器系数的比率可以是1:2:1。
附加地,如果当前色度块的颜色格式是4:2:2,则可以基于等式5来推导色度块的左参考样本区域,即,与左邻近色度样本对应的亮度块的参考样本。
附加地,根据实施例,为了去除高频分量,可以对亮度块的参考样本执行滤波,如等式8和等式9所示。
同时,如果当前色度块的颜色格式是4:4:4,如图9所示,则编码设备可以在不用对当前亮度块的邻近样本执行滤波的情况下将色度块的上参考样本区域(即,与上邻近色度样本对应的亮度块的参考样本)以及色度块的左参考样本区域(即,与左邻近色度样本对应的亮度块的参考样本)推导为下采样的邻近亮度样本。也就是说,可以在不用滤波的情况下将邻近亮度样本中的每一个推导为下采样的邻近亮度样本。并且,在本文中,如果下采样的上邻近亮度样本的坐标是(x,y),则上邻近亮度样本的坐标也可以是(x,y)。
同时,根据一个示例,当推导下采样的邻近亮度样本时,编码设备可以基于等式13和等式14使用低频滤波效果来去除高频分量。
同时,根据一个示例,编码设备可以推导邻近亮度样本即亮度块的邻近参考样本的阈值。
可以推导阈值以推导用于当前色度块的CCLM参数。
例如,可以将阈值表示为邻近样本的数量的上限或邻近样本的最大数量。所推导的阈值可以是4。此外,所推导的阈值可以是4、8或16。
如果当前色度块处于基于上和左的CCLM模式,也就是说,如果当前色度块处于基于左上的CCLM模式,则可以基于其数量等于阈值的左上下采样的邻近亮度样本和左上邻近色度样本来推导CCLM参数。例如,如果当前色度块处于基于左上的CCLM模式并且阈值是4,则可以基于两个下采样的左邻近亮度样本和两个下采样的上邻近亮度样本,以及两个左邻近色度样本和两个上邻近色度样本,来推导CCLM参数。
另选地,如果当前色度块处于基于左的CCLM模式,则可以基于其数量等于阈值的左下采样的邻近亮度样本和左邻近色度样本来推导参数。例如,如果当前色度块处于基于左侧的CCLM模式并且阈值是4,则可以基于四个下采样的左邻近亮度样本和四个左邻近色度样本来推导CCLM参数。
另选地,如果当前色度块处于基于上的CCLM模式,则可以基于其数量等于阈值的上下采样的邻近亮度样本和上邻近色度样本来推导参数。例如,如果当前色度块处于基于上侧的CCLM模式并且阈值是4,则可以基于四个下采样的上邻近亮度样本和四个上邻近色度样本来推导CCLM参数。
可以将上述阈值推导为预定值。也就是说,可以将阈值推导为编码设备与解码设备之间的约定值。换句话说,可以将阈值推导为应用CCLM模式的当前色度块的预定值。
另选地,例如,编码设备可以对包括预测相关信息的图像信息进行编码,并且执行通过比特流来用信号通知包括预测相关信息的图像信息,并且预测相关信息可以包括指示阈值的信息。可以以编译单元(CU)、切片、PPS或SPS为单位用信号通知指示阈值的信息。
编码设备可以推导其数量等于当前色度值的阈值的上邻近色度样本、或其数量等于阈值的左邻近色度样本、或其数量等于阈值的上邻近色度样本和左邻近色度样本。
如果推导其数量等于阈值的上邻近色度样本,则可以推导其数量等于与上邻近色度样本对应的阈值的下采样的上邻近亮度样本。此外,如果推导其数量等于宽度的值的上邻近色度样本,则可以推导其数量等于与上邻近色度样本对应的宽度的值的下采样的上邻近亮度样本。
此外,如果推导其数量等于阈值的左邻近色度样本,则可以推导其数量等于与左邻近色度样本对应的阈值的下采样的左邻近亮度样本。此外,如果推导其数量等于高度的值的左邻色度样本,则可以推导其数量等于与左邻近色度样本对应的高度的值的下采样的左邻近亮度样本。
如果推导其数量等于阈值的上邻近色度样本和左邻近色度样本,则可以推导其数量等于与上邻近色度样本和左邻近色度样本对应的阈值的下采样的上邻近亮度样本和左邻近亮度样本。
同时,可能不对在当前亮度块的邻近亮度样本当中未用于推导下采样的邻近亮度样本的样本进行下采样。
编码设备基于阈值、包括上邻近色度样本和左邻近色度样本中的至少一个的邻近色度样本,以及包括下采样的邻近亮度样本和下采样的左邻近亮度样本中的至少一个的邻近亮度样本,来推导CCLM参数(S1130)。
编码设备可以基于阈值、上邻近色度样本、左邻近色度样本和下采样的邻近亮度样本来推导CCLM参数。例如,可以基于如上所述的等式3来推导CCLM参数。
编码设备基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本(S1140)。
编码设备可以基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本。编码设备可以通过将根据CCLM参数推导的CCLM应用于下采样的亮度样本来生成当前色度块的预测样本。也就是说,编码设备可以通过基于CCLM参数执行CCLM预测来生成当前色度块的预测样本。例如,可以基于如上所述的等式1来推导预测样本。
编码设备对当前色度块的预测相关信息,即关于帧内预测模式的信息,以及包括关于当前色度块的颜色格式的信息的图像信息,进行编码(S1150)。
编码设备可以对包括当前色度块的预测相关信息的图像信息进行编码,并且执行通过比特流用信号通知图像信息。
例如,预测相关信息还可以包括指示阈值的信息。另选地,例如,预测相关信息可以包括指示特定阈值的信息。另选地,例如,预测相关信息可以包括指示是否基于阈值来推导邻近参考样本的数量的标志信息。另选地,例如,预测相关信息可以包括指示当前色度块的帧内预测模式的信息。
同时,虽然未例示,但是编码设备可以基于当前色度块的原始样本和预测样本来推导当前色度块的残差样本,基于残差样本来生成关于当前色度块的残差的信息,并且对关于残差的信息进行编码。图像信息可以包括关于残差的信息。此外,编码设备可以基于当前色度块的预测样本和残差样本来生成当前色度块的重构样本。
同时,可以通过网络或(数字)存储介质将比特流发送到解码设备。这里,网络可以包括广播网络和/或通信网络,并且数字存储介质可以包括各种存储介质,诸如USB、SD、CD、DVD、蓝光、HDD和SSD。
图12示意性地例示用于执行根据本文档的图像编码方法的编码设备。图11中公开的方法可以由图12中公开的编码设备执行。具体地,例如,图12的编码设备的预测器可以执行图11中的S1100至S1140,并且图12的编码设备的熵编码器可以执行图11的S1150。此外,虽然未例示,但是基于当前色度块的原始样本和预测样本来推导当前色度块的残差样本的过程可以由图12的编码设备的减法器执行,并且基于当前色度块的预测样本和残差样本来推导当前色度块的重构样本的过程可以由图12的编码设备的加法器执行。基于残差样本来生成关于当前色度块的残差的信息的过程可以由图12的编码设备的变换器执行,并且对关于残差的信息进行编码的过程可以由图12的编码设备的熵编码器执行。
已准备以下附图来说明本公开的特定示例。由于示例性地呈现了附图中描述的特定装置的名称和特定信号/消息/字段的名称,所以本公开的技术特征不限于以下附图中使用的特定名称。
图13示意性地例示了由根据本文档的解码设备执行的图像解码方法。图13中公开的方法可以由图3中公开的解码设备执行。具体地,例如,图13中的S1300至S1340可以由解码设备的预测器执行,并且S1350可以由解码设备的加法器执行。此外,虽然未例示,但是通过比特流来获取关于当前块的残差的信息的过程可以由解码设备的熵解码器执行,并且基于残差信息来推导当前块的残差样本的过程可以由解码设备的逆变换器执行。
解码设备可以将跨分量线性模型(CCLM)模式推导为当前色度块的帧内预测模式并且可以推导当前色度块的颜色格式(S1300)。
解码设备可以接收包括与当前色度块的预测有关的信息的图像信息并且对其进行解码。
可以推导当前色度帧内预测模式的帧内预测模式和关于颜色格式的信息。例如,解码设备可以通过比特流来接收关于当前色度块的帧内预测模式的信息和关于当前色度块的颜色格式的信息,并且解码设备可以基于关于帧内预测模式的信息和关于颜色格式的信息来将CCLM模式推导为当前色度块的帧内预测模式。
颜色格式可以是亮度样本和色度样本(cb、cr)的配置格式并且这也可以被称为色度格式。颜色格式或色度格式可以被预先确定或者可以被自适应地用信号通知。可以通过使用表4所示的五个颜色格式中的一个来推导当前色度块的颜色格式。并且,可以基于chroma_format_idc和separate_colour_plane_flag中的至少一个来用信号通知颜色格式。
附加地,预测相关信息还可包括指示阈值的信息。附加地,例如,预测相关信息可以包括指示特定阈值的信息。附加地,例如,预测相关信息可以包括指示是否正在基于阈值来推导邻近参考样本的数量的标志信息。
解码设备可以基于当前亮度块来推导下采样的亮度样本,并且如果当前色度块的颜色格式是4:2:2,则编码设备可以通过对3个相邻的(或连续的)当前亮度样本进行滤波来推导下采样的亮度样本(S1310)。
如果当前色度块的颜色格式为4:2:2,如图8所示,则解码设备可以进行下采样,其中亮度块的宽度减半,如图10所示。并且,此时,通过滤波3个相邻的(或连续)的当前亮度样本,可以推导下采样的亮度样本。
如果下采样的亮度样本的坐标是(x,y),则3个相邻的(或连续的)第一亮度样本、第二亮度样本和第三亮度样本的坐标分别可以是(2x-1,y)、(2x,y)和(2x+1,y)。并且,此时,如等式4所示,可以使用3抽头滤波器。也就是说,应用于第一亮度样本、第二亮度样本和第三亮度样本的滤波器系数的比率可以是1:2:1。
附加地,根据一个示例,解码设备可以在执行亮度块的下采样时通过使用低频滤波效果来去除高频分量。并且,此时,可以通过使用等式7来推导下采样的亮度样本。
同时,如果当前色度块的颜色格式是4:4:4,如图9所示,则解码设备可以像等式10所示的那样在不用对当前亮度块的样本执行滤波的情况下推导下采样的亮度样本。也就是说,可以在不用滤波的情况下将当前亮度块的每个亮度样本分别推导为对应下采样的亮度样本。
附加地,根据一个示例,当推导下采样的亮度样本时,解码设备可以基于等式12通过使用低频滤波效果来去除高频分量。
解码设备可以基于当前亮度块的邻近亮度样本来推导下采样的邻近亮度样本,并且可以通过对当前亮度块的3个相邻的(或连续的)上邻近亮度样本来推导下采样的上邻近亮度样本(S1320)。
在本文中,邻近亮度样本可以是与上邻近色度样本和左邻近色度样本对应的相关样本。下采样的邻近亮度样本可以包括:与上邻近色度样本对应的当前亮度块的下采样的上邻近亮度样本,以及与左邻近色度样本对应的当前亮度块的下采样的左邻近亮度样本。
如果当前色度块的颜色格式是4:2:2,则可以基于等式6来推导色度块的上参考样本区域,即,与上邻近色度样本对应的亮度块的参考样本。
如等式6所示,如果下采样的上邻近亮度样本的坐标是(x,y),则3个相邻的(或连续的)第一上邻近亮度样本、第二上邻近亮度样本和第三上邻近亮度样本的坐标分别可以是(2x-1,y)、(2x,y)和(2x+1,y),并且应用于第一上邻近亮度样本的坐标、第二上邻近亮度样本和第三上邻近亮度样本的滤波器系数的比率可以是1:2:1。
附加地,如果当前色度块的颜色格式是4:2:2,则可以基于等式5来推导色度块的左参考样本区域,即,与左邻近色度样本对应的亮度块的参考样本。
附加地,根据实施例,为了去除高频分量,可以对亮度块的参考样本执行滤波,如等式8和等式9所示。
同时,如果当前色度块的颜色格式是4:4:4,如图9所示,则解码设备可以在不用对当前亮度块的邻近样本执行滤波的情况下将色度块的上参考样本区域(即,与上邻近色度样本对应的亮度块的参考样本)以及色度块的左参考样本区域(即,与左邻近色度样本对应的亮度块的参考样本)推导为下采样的邻近亮度样本。也就是说,可以在不用滤波的情况下将邻近亮度样本中的每一个推导为下采样的邻近亮度样本。并且,在本文中,如果下采样的上邻近亮度样本的坐标是(x,y),则上邻近亮度样本的坐标也可以是(x,y)。
同时,根据一个示例,当推导下采样的邻近亮度样本时,解码设备可以基于等式13和等式14使用低频滤波效果来去除高频分量。
同时,根据一个示例,解码设备可以推导邻近亮度样本即亮度块的邻近参考样本的阈值。
可以推导阈值以推导当前色度块的CCLM参数。
例如,可以将阈值表示为邻近样本的数量的上限或邻近样本的最大数量。所推导的阈值可以是4。此外,所推导的阈值可以是4、8或16。
如果当前色度块处于基于上和左的CCLM模式,也就是说,如果当前色度块处于基于左上的CCLM模式,则可以基于其数量等于阈值的左上下采样的邻近亮度样本和左上邻近色度样本来推导CCLM参数。例如,如果当前色度块处于基于左上的CCLM模式并且阈值是4,则可以基于两个下采样的左邻近亮度样本和两个下采样的上邻近亮度样本,以及两个左邻近色度样本推导和两个上邻近色度样本,来推导CCLM参数。
另选地,如果当前色度块处于基于左的CCLM模式,则可以基于其数量等于阈值的左下采样的邻近亮度样本和左邻近色度样本来推导参数。例如,如果当前色度块处于基于左侧的CCLM模式并且阈值为4,则可以基于四个下采样的左邻近亮度样本和四个左邻近色度样本来推导CCLM参数。
另选地,如果当前色度块处于基于上的CCLM模式,则可以基于其数量等于阈值的上下采样的邻近亮度样本和上邻近色度样本来推导参数。例如,如果当前色度块处于基于上侧的CCLM模式并且阈值是4,则可以基于四个下采样的上邻近亮度样本和四个上邻近色度样本来推导CCLM参数。
可以将上述阈值推导为预定值。也就是说,可以将阈值推导为编码设备与解码设备之间的约定值。换句话说,可以将阈值推导为应用CCLM模式的当前色度块的预定值。
另选地,例如,解码设备可以通过比特流来接收包括预测相关信息的图像信息,并且预测相关信息可以包括指示阈值的信息。可以以编译单元(CU)、切片、PPS和SPS为单位用信号通知指示阈值的信息。
解码设备可以推导其数量等于当前色度值的阈值的上邻近色度样本、或其数量等于阈值的左邻近色度样本、或其数量等于阈值的上邻近色度样本和左邻近色度样本。
如果推导其数量等于阈值的上邻近色度样本,则可以推导其数量等于与上邻近色度样本对应的阈值的下采样上邻近亮度样本。此外,如果推导其数量等于宽度的值的上邻近色度样本,则可以推导其数量等于与上邻近色度样本对应的宽度的值的下采样的上邻近亮度样本。
此外,如果推导其数量等于阈值的左邻近色度样本,则可以推导其数量等于与左邻近色度样本对应的阈值的下采样的左邻近亮度样本。此外,如果推导其数量等于高度的值的左邻色度样本,则可以推导其数量等于与左邻近色度样本对应的高度的值的下采样的左邻近亮度样本。
如果推导其数量等于阈值的上邻近色度样本和左邻近色度样本,则可以推导其数量等于与上邻近色度样本和左邻近色度样本对应的阈值的下采样的上邻近亮度样本和左邻近亮度样本。
同时,可能不对在当前亮度块的邻近亮度样本当中未用于推导下采样的邻近亮度样本的样本进行下采样。
解码设备基于阈值、包括上邻近色度样本和左邻近色度样本中的至少一个的邻近色度样本,以及包括下采样的邻近亮度样本和下采样的左邻近亮度样本中的至少一个的邻近亮度样本,来推导CCLM参数(S1330)。
解码设备可以基于阈值、上邻近色度样本、左邻近色度样本和下采样的邻近亮度样本来推导CCLM参数。例如,可以基于如上所述的等式3来推导CCLM参数。
解码设备基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本(S1340)。
解码设备可以基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本。解码设备可将通过CCLM参数推导的CCLM应用于下采样的亮度样本并且生成当前色度块的预测样本。也就是说,解码设备可以基于CCLM参数来执行CCLM预测并且生成当前色度块的预测样本。例如,可以基于上述等式1来推导预测样本。
解码设备基于预测样本来生成当前色度块的重构样本(S1350)。
解码设备可以基于预测样本来生成重构样本。例如,解码设备可以从比特流接收关于当前色度块的残差的信息。残差的信息可以包括(色度)残差样本的变换系数。解码设备可以基于残差信息来推导当前色度块的残差样本(或残差样本阵列)。在这种情况下,解码设备可以基于预测样本和残差样本来生成重构样本。解码设备可以基于重构样本来推导重构块或重构图片。稍后,解码设备可以如上所述对重构图片应用诸如解块滤波和/或SAO过程这样的环路滤波过程以改善主观/客观图像质量。
图14示意性地例示了用于执行根据本文档的图像解码方法的解码设备。图13中公开的方法可以由图14中公开的解码设备执行。具体地,例如,图14的解码设备的预测器可以执行图13的S1300至S1340,并且图14的解码设备的加法器可以执行图13中的S1350。此外,虽然未例示,但是通过比特流来获取包括关于当前块的残差的信息的图像信息的过程可以由图14的解码设备的熵解码器执行,并且基于残差信息来推导当前块的残差样本的过程可以由图14的解码设备的逆变换器执行。
根据如上所述的本文档,能够通过基于CCLM执行帧内预测来提高图像编译效率。
此外,根据本文档,能够提高基于CCLM的帧内预测效率。
此外,根据本文档,能够通过将被选择来为CCLM推导线性模型参数的邻近样本的数量限制为特定数量来降低帧内预测复杂度。
在上述实施方式中,基于具有一系列步骤或框的流程图来描述方法。本公开不限于上述步骤或框的次序。一些步骤或框可以与如上所述的其他步骤或框同时地发生或者以与如上所述的其他步骤或框不同的次序发生。此外,本领域的技术人员将理解,上述流程图所示的步骤不是排他性的,在不影响本公开的范围的情况下,可以包括另外的步骤,或者可以删除流程图中的一个或更多个步骤。
本说明书中描述的实施方式可以通过被实现在处理器、微处理器、控制器或芯片上来执行。例如,每个附图所示的功能单元可以通过被实现在计算机、处理器、微处理器、控制器或芯片上来执行。在这种情况下,实现方式的信息(例如,关于指令的信息)或算法可以被存储在数字存储介质中。
另外,应用本公开的解码装置和编码装置可以被包括在多媒体广播传输/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设备、诸如视频通信这样的实时通信设备、移动流设备、存储介质、摄像机、VoD服务提供设备、空中(OTT)视频设备、互联网流服务提供设备、三维(3D)视频设备、电话会议视频设备、交通用户设备(例如,车辆用户设备、飞机用户设备、船舶用户设备等)和医疗视频设备中并且可以用于处理视频信号和数据信号。例如,过顶(OTT)视频设备可以包括游戏机、蓝光播放器、互联网接入TV、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
此外,可以以将由计算机执行并且可以被存储在计算机可读记录介质中的程序的形式产生应用本公开的处理方法。具有根据本公开的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储了可由计算机系统读取的数据的所有类型的存储装置。例如,计算机可读记录介质可以包括BD、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外,计算机可读记录介质包括以载波(例如,通过互联网传输)形式实现的介质。另外,通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线/无线通信网络来发送。
另外,本公开的实施方式可以用根据程序代码的计算机程序产品来实现,并且可以通过本公开的实施方式在计算机中执行程序代码。程序代码可以被存储在计算机可读的载体上。
图15例示了应用本公开的内容流系统的结构图。
应用本文档的实施方式的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
编码服务器用于将从诸如智能电话、相机、摄像机等的多媒体输入装置输入的内容压缩成数字数据以生成比特流,并且向流传输服务器发送它。作为另一示例,在诸如智能电话、相机、便携式摄像机等的多媒体输入装置直接生成比特流的情况下,可以省略编码服务器。
可以通过应用本公开的编码方法或比特流生成方法来生成比特流。并且流传输服务器可以在发送或接收比特流的过程期间临时存储比特流。
流传输服务器基于用户的请求通过web服务器向用户装置发送多媒体数据,web服务器用作向用户通知存在什么服务的器具。当用户请求用户想要的服务时,web服务器将请求传送至流传输服务器,并且流传输服务器向用户发送多媒体数据。在此而言,内容流系统可以包括单独的控制服务器,并且在这种情况下,控制服务器用于控制内容流系统中的相应装置之间的命令/响应。
流传输服务器可以从媒体存储装置和/或编码服务器接收内容。例如,在从编码服务器接收内容的情况下,可以实时地接收内容。在这种情况下,为了平稳地提供流服务,流传输服务器可以存储比特流达预定时间。
例如,用户装置可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、板式PC、平板PC、超级本、可穿戴装置(例如,手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。内容流系统中的各个服务器可以作为分布式服务器操作,并且在这种情况下,由各个服务器接收到的数据可以用分布式方式进行处理。
可以以各种方式组合本公开中描述的权利要求。例如,本公开的方法权利要求的技术特征可以被组合以作为设备被实现,并且本公开的设备权利要求的技术特征可以被组合以作为方法被实现。此外,本公开的方法权利要求的技术特征和设备权利要求的技术特征可以被组合作为设备被实现,并且本公开的方法权利要求的技术特征和设备权利要求的技术特征可以被组合以作为方法被实现。
Claims (15)
1.一种由解码设备执行的图像解码方法,所述方法包括:
基于当前色度块的预测模式信息将跨分量线性模型(CCLM)模式推导为所述当前色度块的帧内预测模式,并且推导用于所述当前色度块的颜色格式;
基于当前亮度块推导下采样的亮度样本;
基于所述当前亮度块的邻近亮度样本推导下采样的邻近亮度样本;
基于所述下采样的邻近亮度样本和当前邻近色度块的邻近色度样本推导CCLM参数;以及
基于所述CCLM参数和所述下采样的亮度样本生成用于所述当前色度块的预测样本,
其中,如果所述颜色格式是4:2:2,则通过对三个相邻的当前亮度样本进行滤波推导所述下采样的亮度样本。
2.根据权利要求1所述的方法,其中,如果下采样的亮度样本的坐标是(x,y),则包括第一亮度样本、第二亮度样本和第三亮度样本的所述三个相邻的亮度样本的坐标分别是(2x-1,y)、(2x,y)和(2x+1,y)。
3.根据权利要求2所述的方法,其中,应用于所述第一亮度样本、所述第二亮度样本和所述第三亮度样本的滤波器系数的比率是1:2:1。
4.根据权利要求1所述的方法,其中,如果所述颜色格式是4:2:2,则通过对所述当前亮度块的三个相邻的上邻近亮度样本进行滤波来推导所述下采样的上邻近亮度样本。
5.根据权利要求4所述的方法,其中,如果下采样的上邻近亮度样本的坐标是(x,y),则包括第一上邻近亮度样本、第二上邻近亮度样本和第三上邻近亮度样本的所述三个相邻的上邻近亮度样本的坐标分别是(2x-1,y)、(2x,y)和(2x+1,y)。
6.根据权利要求5所述的方法,其中,应用于所述第一上邻近亮度样本、所述第二上邻近亮度样本和所述第三上邻近亮度样本的坐标的滤波器系数的比率是1:2:1。
7.根据权利要求1所述的方法,其中,如果所述颜色格式是4:4:4,则所述当前亮度块的每个亮度样本分别在不用滤波的情况下被推导为对应的下采样的亮度样本。
8.根据权利要求7所述的方法,其中,如果所述下采样的亮度样本的坐标是(x,y),则所述当前块的所述亮度样本的坐标是(x,y)。
9.根据权利要求1所述的方法,其中,如果所述颜色格式是4:4:4,则所述邻近亮度样本中的每一个在不用滤波的情况下被推导为下采样的邻近亮度样本,并且
其中,如果所述下采样的上邻近亮度样本的坐标是(x,y),则所述上邻近亮度样本的坐标是(x,y)。
10.一种由编码设备执行的图像编码方法,所述方法包括:
将跨分量线性模型(CCLM)模式确定为当前色度块的帧内预测模式,并且推导用于所述当前色度块的颜色格式;
基于当前亮度块推导下采样的亮度样本;
基于所述当前亮度块的邻近亮度样本推导下采样的邻近亮度样本;
基于所述下采样的邻近亮度样本和当前邻近色度块的邻近色度样本推导CCLM参数;
基于所述CCLM参数和所述下采样的亮度样本生成用于所述当前色度块的预测样本;以及
对关于所述帧内预测模式的信息和关于所述颜色格式的信息进行编码,
其中,如果所述颜色格式是4:2:2,则通过对三个相邻的当前亮度样本进行滤波推导所述下采样的亮度样本。
11.根据权利要求10所述的方法,其中,如果下采样的亮度样本的坐标是(x,y),则包括第一亮度样本、第二亮度样本和第三亮度样本的所述三个相邻的亮度样本的坐标分别是(2x-1,y)、(2x,y)和(2x+1,y),以及
其中,应用于所述第一亮度样本、所述第二亮度样本和所述第三亮度样本的滤波器系数的比率是1:2:1。
12.根据权利要求10所述的方法,其中,如果所述颜色格式是4:2:2,则通过对所述当前亮度块的三个相邻的上邻近亮度样本进行滤波推导所述下采样的上邻近亮度样本。
13.根据权利要求12所述的方法,其中,如果下采样的上邻近亮度样本的坐标是(x,y),则包括第一上邻近亮度样本、第二上邻近亮度样本和第三上邻近亮度样本的所述三个相邻的上邻近亮度样本的坐标分别是(2x-1,y)、(2x,y)和(2x+1,y),以及
其中,应用于所述第一上邻近亮度样本、所述第二上邻近亮度样本和所述第三上邻近亮度样本的坐标的滤波器系数的比率是1:2:1。
14.根据权利要求10所述的方法,其中,如果所述颜色格式是4:4:4,则所述当前亮度块的每个亮度样本分别在不用滤波的情况下被推导为对应下采样的亮度样本,以及
其中,所述邻近亮度样本中的每一个在不用滤波的情况下被推导为下采样的邻近亮度样本。
15.一种计算机可读数字存储介质,存储使解码设备执行图像解码方法的指令信息,所述方法包括:
基于当前色度块的预测模式信息将跨分量线性模型(CCLM)模式推导为所述当前色度块的帧内预测模式,并且推导用于所述当前色度块的颜色格式;
基于当前亮度块来推导下采样的亮度样本;
基于所述当前亮度块的邻近亮度样本推导下采样的邻近亮度样本;
基于所述下采样的邻近亮度样本和当前邻近色度块的邻近色度样本推导CCLM参数;以及
基于所述CCLM参数和所述下采样的亮度样本生成用于所述当前色度块的预测样本,
其中,如果所述颜色格式是4:2:2,则通过对三个相邻的当前亮度样本进行滤波推导所述下采样的亮度样本。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410911202.5A CN118678090A (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
CN202410910689.5A CN118694954A (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962814830P | 2019-03-06 | 2019-03-06 | |
US62/814,830 | 2019-03-06 | ||
PCT/KR2020/003093 WO2020180119A1 (ko) | 2019-03-06 | 2020-03-05 | Cclm 예측에 기반한 영상 디코딩 방법 및 그 장치 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410911202.5A Division CN118678090A (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
CN202410910689.5A Division CN118694954A (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113491115A true CN113491115A (zh) | 2021-10-08 |
CN113491115B CN113491115B (zh) | 2024-07-23 |
Family
ID=72337908
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080017899.1A Active CN113491115B (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
CN202410911202.5A Pending CN118678090A (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
CN202410910689.5A Pending CN118694954A (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410911202.5A Pending CN118678090A (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
CN202410910689.5A Pending CN118694954A (zh) | 2019-03-06 | 2020-03-05 | 基于cclm预测的图像解码方法及其装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210368165A1 (zh) |
KR (1) | KR20210100739A (zh) |
CN (3) | CN113491115B (zh) |
WO (1) | WO2020180119A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11758159B2 (en) * | 2018-05-14 | 2023-09-12 | Intellectual Discovery Co., Ltd. | Image decoding method/device, image encoding method/device, and recording medium in which bitstream is stored |
CN113660492B (zh) * | 2021-08-10 | 2023-05-05 | 中山大学 | 一种颜色列表的编解码方法、装置及介质 |
WO2023128704A1 (ko) * | 2021-12-30 | 2023-07-06 | 엘지전자 주식회사 | Cclm(cross-component linear model) 인트라 예측에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
WO2023132508A1 (ko) * | 2022-01-04 | 2023-07-13 | 현대자동차주식회사 | 크로마 성분을 위한 템플릿 기반 인트라 모드 유도를 위한 방법 |
WO2024058595A1 (ko) * | 2022-09-16 | 2024-03-21 | 주식회사 케이티 | 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103782596A (zh) * | 2011-06-28 | 2014-05-07 | 三星电子株式会社 | 使用图像的亮度分量的对图像的色度分量的预测方法和设备 |
CN103918269A (zh) * | 2012-01-04 | 2014-07-09 | 联发科技(新加坡)私人有限公司 | 基于亮度的色度帧内预测方法及装置 |
US20180063527A1 (en) * | 2016-08-31 | 2018-03-01 | Qualcomm Incorporated | Cross-component filter |
JP2018063527A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社デンソー | 電子制御装置 |
WO2018070914A1 (en) * | 2016-10-12 | 2018-04-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Residual refinement of color components |
CN109274969A (zh) * | 2017-07-17 | 2019-01-25 | 华为技术有限公司 | 色度预测的方法和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018056685A (ja) * | 2016-09-27 | 2018-04-05 | 株式会社ドワンゴ | 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム |
-
2020
- 2020-03-05 WO PCT/KR2020/003093 patent/WO2020180119A1/ko active Application Filing
- 2020-03-05 CN CN202080017899.1A patent/CN113491115B/zh active Active
- 2020-03-05 CN CN202410911202.5A patent/CN118678090A/zh active Pending
- 2020-03-05 CN CN202410910689.5A patent/CN118694954A/zh active Pending
- 2020-03-05 KR KR1020217024239A patent/KR20210100739A/ko not_active Application Discontinuation
-
2021
- 2021-07-30 US US17/390,654 patent/US20210368165A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103782596A (zh) * | 2011-06-28 | 2014-05-07 | 三星电子株式会社 | 使用图像的亮度分量的对图像的色度分量的预测方法和设备 |
CN103918269A (zh) * | 2012-01-04 | 2014-07-09 | 联发科技(新加坡)私人有限公司 | 基于亮度的色度帧内预测方法及装置 |
US20180063527A1 (en) * | 2016-08-31 | 2018-03-01 | Qualcomm Incorporated | Cross-component filter |
JP2018063527A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社デンソー | 電子制御装置 |
WO2018070914A1 (en) * | 2016-10-12 | 2018-04-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Residual refinement of color components |
CN109274969A (zh) * | 2017-07-17 | 2019-01-25 | 华为技术有限公司 | 色度预测的方法和设备 |
Non-Patent Citations (1)
Title |
---|
PHILIPPE HANHART ET AL.: "CE3-related: Enabling different chroma sample location types in CCLM,JVET-L0239-v2", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAU, CN, 3–12 OCTOBER 2018, pages 1 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020180119A1 (ko) | 2020-09-10 |
KR20210100739A (ko) | 2021-08-17 |
CN118678090A (zh) | 2024-09-20 |
CN113491115B (zh) | 2024-07-23 |
CN118694954A (zh) | 2024-09-24 |
US20210368165A1 (en) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11956451B2 (en) | Method for decoding image on basis of CCLM prediction in image coding system, and device therefor | |
CN113491115B (zh) | 基于cclm预测的图像解码方法及其装置 | |
US11943434B2 (en) | Method and device for image decoding on basis of CCLM prediction in image coding system | |
JP2024050869A (ja) | シンタックスデザイン方法及びシンタックスを用いてコーディングを行う装置 | |
CN114258677A (zh) | 编译色度量化参数偏移相关信息的图像解码方法和设备 | |
KR102605674B1 (ko) | 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치 | |
US20220159239A1 (en) | Intra prediction-based image coding in image coding system | |
US11671598B2 (en) | Image decoding method and device using residual information in image coding system | |
CN114270840A (zh) | 使用色度量化参数的图像解码方法及其装置 | |
AU2020334638B2 (en) | Intra prediction device and method | |
US20220166968A1 (en) | Intra prediction method and apparatus based on multi-reference line in image coding system | |
US11683480B2 (en) | Method and device for decoding images using CCLM prediction in image coding system | |
US20220329796A1 (en) | Method for decoding image by using block partitioning in image coding system, and device therefor | |
CN114600451A (zh) | 基于矩阵帧内预测的图像编码设备和方法 | |
US12058343B2 (en) | Image encoding/decoding method and device for determining division mode on basis of prediction mode type determined according to color format, and method for transmitting bitstream | |
US12126797B2 (en) | Method and device for decoding images using CCLM prediction in image coding system | |
CN113273210A (zh) | 用于编译关于合并数据的信息的方法和装置 | |
CN113767625A (zh) | 基于mpm列表的帧内预测方法及其设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |