CN113615179A - 图像编码/解码方法和装置以及发送比特流的方法 - Google Patents

图像编码/解码方法和装置以及发送比特流的方法 Download PDF

Info

Publication number
CN113615179A
CN113615179A CN202080019891.9A CN202080019891A CN113615179A CN 113615179 A CN113615179 A CN 113615179A CN 202080019891 A CN202080019891 A CN 202080019891A CN 113615179 A CN113615179 A CN 113615179A
Authority
CN
China
Prior art keywords
current block
block
isp
prediction
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080019891.9A
Other languages
English (en)
Other versions
CN113615179B (zh
Inventor
李翎
许镇
具文模
南廷学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202410091662.8A priority Critical patent/CN118075460A/zh
Priority to CN202410076703.6A priority patent/CN118018726A/zh
Publication of CN113615179A publication Critical patent/CN113615179A/zh
Application granted granted Critical
Publication of CN113615179B publication Critical patent/CN113615179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种图像编码/解码方法和装置。根据本公开的图像解码方法可以包括：基于关于当前块的预测模式的信息确定当前块的预测模式是否是帧内预测模式；在当前块的预测模式为帧内预测模式时，确定帧内子分区(ISP)是否可用于当前块；当ISP可用于当前块时，解码指示是否对当前块应用ISP的ISP应用指示符；以及基于ISP应用指示符，当ISP被确定应用于当前块时，通过将ISP应用于当前块来生成当前块的预测块。

Description

图像编码/解码方法和装置以及发送比特流的方法
技术领域
本公开涉及一种图像编码/解码方法和装置以及一种发送比特流的方法，并且更具体地，涉及一种通过将帧内子块分区(ISP)应用于具有各种色度格式的图像来编码/解码图像的方法和装置、以及发送由本公开的图像编码方法/装置生成的比特流的方法。
背景技术
最近，各个领域对高分辨率和高质量图像的需求正在增加，例如高清(HD)图像和超高清(UHD)图像。随着图像数据的分辨率和质量的提高，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有改善的编码/解码效率的图像编码/解码方法和装置。
本公开的目的是提供一种通过将ISP应用于具有各种色度格式的图像来编码/解码图像的方法和装置。
本公开的另一个目的是提供一种发送由根据本公开的图像编码方法或装置生成的比特流的方法。
本公开的另一个目的是提供一种存储由根据本公开的图像编码方法或装置生成的比特流的记录介质。
本公开的另一个目的是提供一种记录介质，其存储由根据本公开的图像解码装置接收、解码并用于重建图像的比特流。
本公开所解决的技术问题不限于上述技术问题，本领域技术人员通过以下描述将清楚此处未描述的其他技术问题。
技术方案
根据本公开的一个方面由图像解码装置执行的图像解码方法可以包括：基于关于当前块的预测模式的信息来确定当前块的预测模式是否是帧内预测模式；在当前块的预测模式为帧内预测模式时，确定帧内子分区(ISP)是否可用于当前块；当ISP可用于当前块时，解码指示是否对当前块应用ISP的ISP应用指示符；以及在基于ISP应用指示符确定ISP应用于当前块时通过将ISP应用于当前块来生成用于当前块的预测块。
在本公开的图像解码方法中，可以基于当前块的亮度分量块的大小与预定阈值之间的比较来确定ISP是否可用于当前块。
在本公开的图像解码方法中，预定阈值可以是最大变换大小。
在本公开的图像解码方法中，在当前块的亮度分量块的宽度和高度都等于或小于预定阈值时，可以确定ISP可用于当前块。
在本公开的图像解码方法中，通过将ISP应用于当前块来生成用于当前块的预测块可以包括：通过将ISP应用于当前块的亮度分量块来生成用于亮度分量块的预测块，确定是否将ISP应用于当前块的色度分量块，以及在确定将ISP应用于当前块的色度分量块时，通过将ISP应用于色度分量块来生成用于色度分量块的预测块。
在本公开的图像解码方法中，可以基于色度分量块的大小或当前块的色度格式中的至少一个来执行确定是否对当前块的色度分量块应用ISP。
在本公开的图像解码方法中，在当前块的色度格式为4:2:2或4:4:4并且色度分量块的宽度或高度中的至少一个大于最大变换大小时，可以确定ISP应用于当前块的色度分量块。
在本公开的图像解码方法中，当ISP应用于色度分量块时，可以基于用于亮度分量块的分割方向和子分区的数量来确定用于色度分量块的分割方向和子分区的数量。
在本公开的图像解码方法中，用于色度分量块的分割方向和子分区的数量可以分别等于用于亮度分量块的分割方向和子分区的数量。
在本公开的图像解码方法中，通过将ISP应用于当前块来生成用于当前块的预测块可以包括：通过将ISP应用于当前块的亮度分量块来生成用于亮度分量块的预测块并且通过对当前块的色度分量块应用ISP来生成用于色度分量块的预测块。
在本公开的图像解码方法中，可以基于用于亮度分量块的分割方向和子分区的数量来确定用于色度分量块的分割方向和子分区的数量。
在本公开的图像解码方法中，用于色度分量块的分割方向和子分区的数量可以分别等于亮度分量块的分割方向和(子分区的数量/2)。
根据本公开的另一方面的图像解码装置可以包括存储器和至少一个处理器。至少一个处理器可以基于关于当前块的预测模式的信息来确定当前块的预测模式是否是帧内预测模式，在当前块的预测模式是帧内预测模式时确定帧内子分区(ISP)是否可用于当前块，当ISP可用于当前块时解码指示是否对当前块应用ISP的ISP应用指示符，以及在基于ISP应用指示符来确定ISP应用于当前块时，通过对当前块应用ISP来生成用于当前块的预测块。
根据本公开的另一方面的图像编码方法可以包括：确定当前块的预测模式是否是帧内预测模式；在当前块的预测模式为帧内预测模式时，确定帧内子分区(ISP)是否可用于当前块；当ISP可用于当前块时，确定是否将ISP应用于当前块；当ISP可用于当前块时，通过将ISP应用于当前块来生成用于当前块的预测块；以及编码关于当前块的预测模式的信息和关于是否将ISP应用于当前块的信息。
根据本公开的另一方面的传输方法可以发送由本公开的图像编码装置或图像编码方法生成的比特流。
根据本公开的另一方面的计算机可读记录介质可以存储由本公开的图像编码装置或图像编码方法生成的比特流。
根据本公开的另一方面的计算机可读记录介质可以存储由图像解码装置接收和解码并用于重构图像的比特流。比特流可以包括关于当前块的预测模式的信息和指示是否对当前块应用ISP的ISP应用指示符，关于当前块的预测模式的信息可以用于确定当前块的预测模式是否是帧内预测模式，在当前块的预测模式是帧内预测模式并且确定ISP可用于当前块时ISP应用指示符可以被用于确定是否对当前块应用ISP，并且通过在确定ISP应用于当前块时针对当前块执行ISP来生成当前块的预测块。
以上关于本公开的简要概述的特征仅仅是本公开的以下详细描述的示例性方面，并不限制本公开的范围。
有益效果
根据本公开，能够提供一种具有改进的编码/解码效率的图像编码/解码方法和装置。
此外，根据本公开，能够提供一种通过将ISP应用于具有各种色度格式的图像来编码/解码图像的方法和装置。
此外，根据本公开，能够提供一种发送由根据本公开的图像编码方法或装置生成的比特流的方法。
此外，根据本公开，能够提供一种存储由根据本公开的图像编码方法或设备装置生成的比特流的记录介质。
此外，根据本公开，能够提供一种记录介质，其存储由根据本公开的图像解码装置接收、解码并用于重建图像的比特流。
本领域的技术人员将理解，通过本公开可以实现的效果不限于上文已经具体描述的内容，并且将从详细描述中更清楚地理解本公开的其他优点。
附图说明
图1是示意性地示出本公开的实施例适用于的视频编译系统的视图。
图2是示意性地示出本公开的实施例适用于的图像编码装置的视图。
图3是示意性地示出本公开的实施例适用于的图像解码装置的视图。
图4是图示基于帧内预测的视频/图像编码方法的流程图。
图5是图示根据本公开的帧内预测器185的配置的视图。
图6是图示基于帧内预测的视频/图像解码方法的流程图。
图7是图示根据本公开的帧内预测器265的配置的视图。
图8a和8b是图示根据本公开的实施例的帧内预测方向的视图。
图9是图示根据ISP模式执行当前块的编码/解码的传统方法的视图。
图10是图示针对具有各种大小的当前块的ISP的分割示例的视图。
图11是图示根据色度格式在亮度分量块(亮度分量阵列)和色度分量块(色度分量阵列)之间的关系的视图。
图12是图示当亮度分量块是64x128块时根据色度格式的色度分量块的大小的视图。
图13是图示根据本公开的实施例的ISP应用方法的流程图。
图14是图示根据图13的ISP应用方法分割色度分量块的示例的视图。
图15是图示根据本公开的另一实施例的ISP应用方法的流程图。
图16是图示根据图15的ISP应用方法分割色度分量块的示例的视图。
图17是图示其中反映修改的ISP可用性条件的比特流的结构的示例的视图。
图18是图示其中反映修改的ISP可用性条件的比特流的结构的另一示例的视图。
图19是示出本公开的实施例适用于的内容流传输系统的视图。
具体实施方式
以下，将结合附图对本公开的实施例进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施例。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当组件“连接”、“耦合”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当组件“包括”或“具有”其他组件时，除非另有说明，否则是指还可以包括其他组件，而不是排除其他组件。
在本公开中，术语第一、第二等仅用于将一个组件与其他组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施例中的第一部件在另一个实施例中可以被称为第二部件，类似地，一个实施例中的第二部件在另一个实施例中可以被称为第一部件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施例也包括在本公开的范围内。
在本公开中，各个实施例中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施例中描述的组件的子集组成的实施例也包括在本公开的范围内。此外，除了在各种实施例中描述的组件之外还包括其他组件的实施例包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“图片”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/图块(tile)是构成图片的一部分的编译单元，一个图片可以由一个或多个切片/图块组成。此外，切片/图块可以包括一个或多个编译树单元(CTU)。
在本公开中，“像素”或“像元”可以意指构成一个图片(或图像)的最小单个。此外，“样本”可以用作对应于像素的术语。样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单位可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列和N行的变换系数的集合(或阵列)或样本(或样本阵列)。
在本公开中，“当前块”可以意指“当前编译块”、“当前编译单元”、“编译目标块”、“解码目标块”或“处理目标块”之一。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
在本公开中，斜线“/”或“，”可以解释为指示“和/或”。例如，“A/B”和“A，B”可以意指“A和/或B”。此外，“A/B/C”和“A/B/C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释以指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，或3)“A和B”这两者。换言之，在本公开中，词语“或”应被解释以指示“附加地或可替选地”。
视频编译系统概述
图1是示意性地示出根据本公开的视频编译系统的视图。
根据实施例的视频编译系统可以包括编码装置10和解码装置20。编码装置10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码装置20。
根据实施例的编码装置10可以包括视频源生成器11、编码单元12和发射器13。根据实施例的解码装置20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发射器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的设备或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获设备和/或视频/图像生成设备。视频/图像捕获设备可以包括例如一个或多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成设备可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编译效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发射器13可以通过数字存储介质或网络以文件或流的形式将编码的视频/图像信息或以比特流的形式输出的数据传输到解码装置20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发射器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码装置概要
图2是示意性地示出本公开的实施例可适用于的图像编码装置的视图。
如图2所示，图像编码装置100可以包括图像分区器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以统称为“预测器”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施例中，配置图像编码装置100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。
图像分区器110可将输入到图像编码装置100的输入图像(或图片或帧)分区成一个或多个处理单元。例如，处理单元可以称为编译单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分区编译树单元(CTU)或最大编译单元(LCU)来获取编译单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编译单元分区为更深深度的多个编译单元。对于编译单元的分区，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分区的最终编译单元来执行根据本公开的编译过程。可以将最大编译单元用作最终编译单元，也可以将通过分区最大编译单元获取的更深深度的编译单元用作最终编译单元。这里，编译过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编译过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编译单元分割或分区。预测单元可以是样本预测单元，变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
预测器(帧间预测器180或帧内预测器185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测器可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测器可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测器185可以通过参考当前图片中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器180可基于邻近块配置运动信息候选列表并生成指示使用哪个候选来导出当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动矢量预测(MVP)模式的情况下，邻近块的运动矢量可以用作运动矢量预测器，并且当前块的运动矢量可以通过编码运动矢量差和运动矢量预测器的指示符来用信号通知当前块的运动矢量。运动矢量差可以意指当前块的运动矢量与运动矢量预测器之间的差。
预测器可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测这两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测器可以执行块内复制(IBC)以预测当前块。块内复制可以用于游戏等的内容图像/视频编译，例如，屏幕内容编译(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前图片中先前重构的参考块来预测当前图片的方法。当应用IBC时，当前图片中的参考块的位置可以被编码为对应于预定距离的向量(块向量)。
预测器生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测器输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的方形像素块或者可以应用于具有可变大小而不是方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描顺序将块形式中的量化变换系数重新排列为一维矢量形式，并且基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码除了量化变换系数之外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)为单位进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络被传输或者可以被存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发射器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码装置100的内部/外部元件。可替选地，可以提供发射器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测器180或帧内预测器185输出的预测信号相加，生成重构信号(重构图像、重构块、重构样本阵列)。如果要处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个图片进行帧间预测。
同时，如下面所描述的，具有色度缩放的亮度映射(LMCS)可以在图片编码过程中适用。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构图片可以用作帧间预测器180中的参考图片。当通过图像编码装置100应用帧间预测时，可以避免图像编码装置100和图像解码装置之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构图片以用作帧间预测器180中的参考图片。存储器170可以存储从其中导出(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中重构块的重构样本并且可以将重构样本传送到帧内预测器185。
图像解码装置概要
图3是示意性地示出本公开的实施例可适用的图像解码装置的视图。
如图3所示，图像解码装置200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以统称为“预测器”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施例，配置图像解码装置200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码图片缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码装置200可以通过执行与由图2的图像编码装置100执行的处理相对应的处理来重构图像。例如，图像解码装置200可以使用在图像编码装置中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编译单元。编译单元可以通过分区编译树单元或最大编译单元来获得。通过图像解码装置200解码和输出的重构图像信号可以通过再现装置(未示出)再现。
图像解码装置200可以接收以比特流的形式从图2的图像编码装置输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码装置还可以基于参数集信息和/或通用约束信息对图片进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编译方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率，对bin进行算术解码，生成与每个句法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息之中与预测相关的信息可以被提供给预测器(帧间预测器260和帧内预测器265)，以及在熵解码器210中对其执行熵解码的残差值，即，量化的变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将关于熵解码器210解码的信息当中的滤波的信息提供给滤波器240。同时，用于接收从图像编码装置输出的信号的接收器(未示出)可以进一步被配置为图像解码装置200的内部/外部元件，或者接收器可以是熵解码器210的组件。
同时，根据本公开的图像解码装置可以被称为视频/图像/图片解码装置。图像解码装置可以分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器160或帧内预测器265中的至少一个。
解量化器220可以对量化的变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化的变换系数。在这种情况下，可以基于在图像编码装置中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于关于从熵解码器210输出的预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定的帧内/帧间预测模式(预测技术)。
与在图像编码装置100的预测器中描述的相同的是，预测器可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测器265可以通过参考当前图片中的样本来预测当前块。帧内预测器185的描述同样适用于帧内预测器265。
帧间预测器260可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息来导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测器(包括帧间预测器260和/或内预测器265)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。加法器155的描述同样适用于加法器235。
同时，如下面所描述的，具有色度缩放的亮度映射(LMCS)在图片解码过程中可适用。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器250的DPB中的(修改的)重构图片可以用作帧间预测器260中的参考图片。存储器250可以存储从其中导出(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前图片中重构块的重构样本并将重构样本传送到帧内预测器265。
在本公开中，在图像编码装置100的滤波器160、帧间预测器180和帧内预测器185中描述的实施例可以同等地或对应地应用于图像解码装置200的滤波器240、帧间预测器260和帧内预测器265。
帧内预测概述
以下，将描述根据实施例的帧内预测方法。
帧内预测可以指示基于当前块所属的图片(以下称为当前图片)中的参考样本为当前块生成预测样本的预测。当帧内预测应用于当前块时，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括与具有nWxnH大小的当前块的左边界相邻的样本和与左下相邻的总共2xnH个样本、与当前块的上边界相邻的样本以及与右上相邻的总共2xnW个样本、以及与当前块的左上相邻的一个样本。可替选地，当前块的邻近参考样本可以包括多列顶部邻近样本和多行左侧邻近样本。此外，当前块的邻近参考样本可以包括与具有nWxnH大小的当前块的右边界相邻的总共nH个样本、与当前块的下边界相邻的总共nW个样本以及与当前块的右下相邻的一个样本。
当前块的一些邻近参考样本尚未解码或可能不可用。在这种情况下，解码器可以通过利用可用样本替换不可用样本来构建用于预测的邻近参考样本。可替选地，可以使用可用样本的插值来构造要用于预测的邻近参考样本。
当导出邻近参考样本时，(i)可以基于当前块的邻近参考样本的平均值或插值来导出预测样本，以及(ii)可以基于相对于当前块的邻近参考样本中预测样本的特定(预测)方向中存在的参考样本导出预测样本。(i)的情况可以被称为非定向模式或非角度模式并且(ii)的情况可以被称为定向模式或角度模式。
此外，可以基于邻近参考样本中的当前块的预测目标样本，通过与位于当前块的帧内预测模式的预测方向中的第一邻近样本和位于相反方向中的第二邻近样本进行插值来生成预测样本。上述情况可以被称为线性插值帧内预测(LIP)。
此外，可以使用线性模型基于亮度样本生成色度预测样本。这种情况可以称为线性模型(LM)模式。
另外，可以基于滤波的邻近参考样本导出当前块的临时预测样本，并且可以通过将临时预测样本与根据现有邻近参考样本中的帧内预测模式(即未滤波的邻近参考样本)导出的至少一个参考样本加权求和，来导出当前块的预测样本。这种情况可以被称为位置相关帧内预测(PDPC)。
另外，可以从当前块的多条邻近参考样本线中选择预测精度最高的参考样本线，以利用位于对应线的预测方向上的参考样本导出预测样本，此时，以比特流编码并用信号发送关于所使用的参考样本线的信息(例如，intra_luma_ref_idx)。这种情况可以被称为多参考线(MRL)帧内预测或基于MRL的帧内预测。
另外，当前块可以被分割成垂直或水平子分区以基于相同的帧内预测模式相对于每个子分区执行帧内预测。此时，可以以子分区为单位导出帧内预测的邻近参考样本。即，按照编码/解码顺序的先前子分区的重构样本可以用作当前子分区的邻近参考样本。在这种情况下，当前块的帧内预测模式被同等地应用于子分区，并且以子分区为单位导出和使用邻近参考样本，从而提高帧内预测性能。这种预测方法可以称为帧内子分区(ISP)或基于ISP的帧内预测。
帧内预测技术可以被称为各种术语，诸如帧内预测类型或附加帧内预测模式，以区别于定向或非定向帧内预测模式。例如，帧内预测技术(帧内预测类型或附加帧内预测模式)可以包括LIP、LM、PDPC、MRL、ISP或MIP中的至少一种。同时，如有必要，可以对导出的预测样本执行后滤波。
具体地，帧内预测过程可以包括帧内预测模式/类型确定步骤、邻近参考样本导出步骤和基于帧内预测模式/类型的预测样本导出步骤。此外，如果需要，可以对导出的预测样本进行后滤波。
图4是图示基于帧内预测的视频/图像编码方法的流程图。
图4的图像编码方法可以由图2的图像编码装置执行。具体地，步骤S410可以由帧内预测器185执行，并且步骤S420可以由残差处理器执行。具体地，步骤S420可以由减法器115执行。步骤S430可以由熵编码器190执行。步骤S430的预测信息可以由帧内预测器185导出，并且步骤S430的残差信息可以由残留处理器。残差信息是关于残差样本的信息。残差信息可以包括关于残差样本的量化变换系数的信息。如上所述，残差样本可以通过图像编码装置的变换器120被导出为变换系数，并且变换系数可以被导出为通过量化器130量化的变换系数。关于量化的变换系数的信息可以通过残差编译过程由熵编码器190编码。
图像编码装置可以针对当前块执行帧内预测(S410)。图像编码装置可以确定当前块的帧内预测模式/类型，导出当前块的邻近参考样本，并基于帧内预测模式/类型和邻近参考样本生成当前块中的预测样本。这里，帧内预测模式/类型确定、邻近参考样本导出和预测样本生成过程可以同时执行，或者任何一个过程可以在其他过程之前执行。
图5是图示根据本公开的帧内预测器185的配置的视图。
如图5中所示，图像编码装置的帧内预测器185可以包括帧内预测模式/类型确定单元186、参考样本导出单元187和/或预测样本导出单元188。帧内预测模式/类型确定单元186可以确定当前块的帧内预测模式/类型。参考样本导出单元187可以导出当前块的邻近参考样本。预测样本导出单元188可以导出当前块的预测样本。同时，虽然未示出，但是当执行下面描述的预测样本滤波过程时，帧内预测器185可以进一步包括预测样本滤波器(未示出)。
图像编码装置可以在多个帧内预测模式/类型之中确定应用于当前块的模式/类型。图像编码装置可以比较帧内预测模式/类型的率失真(RD)成本，并且确定当前块的最佳帧内预测模式/类型。
同时，图像编码装置可以执行预测样本滤波过程。预测样本滤波可以被称为后滤波。通过预测样本滤波过程，一些或所有预测样本可以被滤波。在某些情况下，可以省略预测样本滤波过程。
再次参考图4，图像编码装置可以基于预测样本或滤波的预测样本来生成当前块的残差样本(S420)。图像编码装置可以通过从当前块的原始样本中减去预测样本来导出残差样本。也就是说，图像编码装置可以通过从原始样本值中减去对应的预测样本值来导出残差样本值。
图像编码装置可以对包括关于帧内预测的信息(预测信息)和残差样本的残差信息的图像信息进行编码。预测信息可以包括帧内预测模式信息和/或帧内预测技术信息。图像编码装置可以以比特流的形式输出编码的图像信息。输出比特流可以通过存储介质或网络被发送到图像解码装置。
残差信息可以包括残差编译语法，这将在后面描述。图像编码装置可以对残差样本进行变换/量化并导出量化的变换系数。残差信息可以包括关于量化的变换系数的信息。
同时，如上所述，图像编码装置可以产生重构图片(包括重构样本和重构块)。为此，图像编码装置可以对量化的变换系数执行解量化/逆变换并导出(修改的)残差样本。对残差样本进行变换/量化并且然后执行解量化/逆变换的原因是为了导出与由图像解码装置导出的残差样本相同的残差样本。图像编码装置可以基于预测样本和(修改的)残差样本来生成包括用于当前块的重构样本的重构块。基于重构块，可以生成用于当前图片的重构图片。如上所述，环内滤波过程进一步适用于重构图片。
图6是图示基于帧内预测的视频/图像解码方法的流程图。
图像解码装置可以执行与由图像编码装置执行的操作相对应的操作。
图6的图像解码装置可以由图3的图像解码装置执行。步骤S610至S630可以由帧内预测器265执行，并且步骤S610的预测信息和步骤S640的残差信息可以由熵解码器210从比特流中获得。图像解码装置的残差处理器可以基于残差信息导出当前块的残差样本(S640)。具体地，残差处理器的解量化器220可以基于根据残差信息导出的解量化变换系数执行解量化以导出变换系数，并且残差处理器的逆变换器230可以针对变换系数执行逆变换以导出用于当前块的残差样本。步骤S650可以由加法器235或重构器执行。
具体地，图像解码装置可以基于接收到的预测信息(帧内预测模式/类型信息)导出用于当前块的帧内预测模式/类型(S610)。图像解码装置可以导出当前块的邻近参考样本(S620)。基于帧内预测模式/类型和邻近参考样本，图像解码装置可以在当前块中生成预测样本(S630)。在这种情况下，图像解码装置可以执行预测样本滤波过程。预测样本滤波可以被称为后滤波。通过预测样本滤波过程，一些或所有预测样本可以被滤波。在一些情况下，可以省略预测样本滤波过程。
图像解码装置可以基于接收到的残差信息来产生当前块的残差样本(S640)。图像解码装置可以基于预测样本和残差样本来生成用于当前块的重构样本并导出包括重构样本的重构块(S650)。基于重构块，可以生成用于当前图片的重构图片。如上所述，环内滤波过程进一步适用于重建的图片。
图7是图示根据本公开的帧内预测器265的配置的视图。
如图7中所示，图像解码装置的帧内预测器265可以包括帧内预测模式/类型确定单元266、参考样本导出单元267和预测样本导出单元268。帧内预测模式/类型确定单元266可以基于由图像编码装置的帧内预测模式/类型确定单元186生成并用信号发送的帧内预测模式/类型信息来确定用于当前块的帧内预测模式/类型，并且参考样本导出单元267可以从当前图片中的重构的参考区域中导出当前块的邻近参考样本。预测样本导出单元268可以导出当前块的预测样本。同时，虽然未示出，但是当执行上述预测样本滤波过程时，帧内预测器265可以进一步包括预测样本滤波器(未示出)。
帧内预测模式信息可以包括例如标志信息(例如，intra_luma_mpm_flag)，其指示是否将最可能模式(most probable mode，MPM)或剩余模式应用于当前块，并且当MPM应用于当前块时，帧内预测模式信息可以进一步包括指示帧内预测模式候选(MPM候选)之一的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(MPM候选)可以由MPM候选列表或MPM列表组成。此外，当MPM不应用于当前块时，帧内预测模式信息可以进一步包括剩余模式信息(例如，intra_luma_mpm_remainder)，其指示除了帧内预测模式候选(MPM候选)之外的剩余帧内预测模式之一。图像解码装置可以基于帧内预测模式信息来确定当前块的帧内预测模式。MPM候选模式可以包括当前块的邻近块(例如，左邻近块和上邻近块)的帧内预测模式和附加候选模式。
图8a示出根据本公开实施例的帧内预测方向。为了捕获自然视频中呈现的任何边缘方向，如图8a中所示，帧内预测模式可以包括两种非定向帧内预测模式和65种定向帧内预测模式。非定向帧内预测模式可以包括平面帧内预测模式(平面模式)和DC帧内预测模式(DC模式)，并且定向帧内预测模式可以包括第2到第66种帧内预测模式。
同时，除了上述帧内预测模式之外，帧内预测模式可以进一步包括用于色度样本的交叉分量线性模型(CCLM)模式。CCLM模式可以根据LM参数导出是否考虑左样本、上样本或这两者而分割成L_CCLM、T_CCLM、LT_CCLM，并且可以仅应用于色度分量。
例如，帧内预测模式可以例如如下表所示被索引。
[表1]
Figure BDA0003254006700000251
图8b示出根据本公开的另一实施例的帧内预测方向。在图8b中，虚线方向表示仅应用于非方形块的广角模式。如图8b中所示，为了捕获自然视频中呈现的任何边缘方向，根据实施例的帧内预测模式可以包括两种非定向帧内预测模式和93种定向帧内预测模式。非定向帧内预测模式可以包括平面模式和DC模式，并且定向帧内预测模式可以包括第2到第80和第-1到第-14帧内预测模式，如图8b的箭头所表示。平面模式可以用INTRA_PLANAR表示，并且DC模式可以用INTRA_DC表示。此外，定向帧内预测模式可以由INTRA_ANGULAR-14至INTRA_ANGULAR-1和INTRA_ANGULAR2至INTRA_ANGULAR80表示。此外，可以以各种形式实现帧内预测技术信息。例如，帧内预测技术信息可以包括指示帧内预测技术之一的帧内预测类型索引信息。作为另一示例，帧内预测技术信息可以包括下述中的至少一个：参考样本线信息(例如，intra_luma_ref_idx)，其指示是否将MRL应用到当前块并且如果被应用则使用哪个参考样本线；ISP标志信息(例如，intra_subpartitions_mode_flag)，其指示是否对当前块应用ISP；ISP类型信息(例如，intra_subpartitions_split_flag)，其指示当应用ISP时子分区的分割类型；指示是否应用PDPC的标志信息，或指示是否应用LIP的标志信息。在本公开中，ISP标志信息可以被称为ISP应用指示符。
可以通过本公开中描述的编译方法来对帧内预测模式信息和/或帧内预测技术信息进行编码/解码。例如，可以通过基于截断(莱斯)二进制码的熵编译(例如，CABAC、CAVLC)来对帧内预测模式信息和/或帧内预测技术信息进行编码/解码。
在确定是否对当前块应用预先确定的帧内预测技术之前，可以首先确定对应帧内预测技术是否可用于当前块。例如，可以基于当前块的编译参数来确定对应帧内预测技术是否可用于当前块。在这种情况下，编译参数可以包括当前块的大小(宽度和/或高度)、当前块的位置、当前块的颜色分量、或是否应用另一帧内预测技术。
另外，可以基于在当前块的更高级别处发信号通知的信息，例如序列、图片、切片和CTU来执行关于对应帧内预测技术是否可用于当前块的确定。例如，当在序列级别处发送的信息指示预先确定的帧内预测技术不可用时，可以确定对应帧内预测技术不可用于属于对应序列的块。
在确定预先确定的帧内预测技术可用于当前块时，图像编码设备可以使用各种方法来确定是否将对应帧内预测技术应用于当前块。例如，图像编码设备可以基于RDO来确定是否应用对应帧内预测技术。
图像编码设备可以在比特流中对帧内预测技术信息进行编码和发信号通知。可以以各种形式根据对应帧内预测技术对帧内预测技术信息进行编码。例如，当帧内预测技术是MRL时，帧内预测技术信息可以是指示多条参考线当中用于当前块的预测的参考线的索引(例如，intra_luma_ref_idx)。当帧内预测技术是ISP时，帧内预测技术信息可以是指示是否对当前块应用ISP的标志信息(例如，intra_subpartitions_mode_flag)。另外，当应用ISP时，帧内预测技术信息还可以包括关于分割方向的信息(例如，intra_subpartitions_split_flag)。另外，帧内预测技术信息可以包括指示是否应用PDPC的标志信息、指示是否应用LIP的标志信息、或指示是否应用LM模式的标志信息。
在确定了预先确定的帧内预测技术可用于当前块的情况下，图像解码装置可以基于发信号通知的帧内预测技术信息来确定是否将对应帧内预测技术应用于当前块。
作为另一示例，除了显式地发信号通知的帧内预测技术信息之外，图像编码设备和图像解码装置还可以基于当前块的编译参数隐式地导出是否将预先确定的帧内预测技术应用于当前块。在这种情况下，编译参数可以包括当前块的大小(宽度和/或高度)、当前块的位置、当前块的颜色分量或是否应用另一帧内预测技术。
在下文中，将详细地描述根据本公开的ISP模式。
当前块可以包括亮度分量块(阵列)和与其相对应的色度分量块(阵列)。在本公开中，“当前块”或“亮度分量块”可以意指“当前块的亮度分量块”，而“色度分量块”或“对应的色度分量块”可以意指“当前块的色度分量块”。另外，“亮度分量块”可以被称为术语“亮度块”、“辉度分量块”或“辉度块”，而“色度分量块”可以被称为术语“色度块”、“色彩分量块”或“色彩块”。
在常规帧内预测中，当前编译/解码目标块(当前块)被视为一个单元并且因此在不分割的情况下执行编译/解码。然而，当应用ISP模式时，在水平或垂直方向上分割当前块以执行帧内预测编码/解码。在这种情况下，以分割子分区为单位执行编码/解码以生成重构子分区，并且该重构子分区被用作下一个分割子分区的参考块。
可以基于表2的以下条件来确定ISP是否可用于当前块。可以基于当前块的亮度分量块来确定以下条件。也就是说，在以下情况下，当前块的宽度、高度和位置分别可以意指当前块的亮度分量块的宽度、高度和位置。
[表2]
Figure BDA0003254006700000281
例如，当满足用于当前块的所有上述条件时，可以确定ISP可用于当前块。在确定ISP可用于当前块之后，可以确定是否将ISP应用于当前块。在ISP可用性条件中，(x0,y0)是指示当前块的左顶部样本的位置的坐标。另外，intra_luma_ref_idx[x0][y0]是指示用于当前块的预测的参考线的信息。根据ISP可用性条件，当intra_luma_ref_idx是0时，也就是说，当用于当前块的预测的参考线是线0(与当前块紧邻的参考线)时，可以确定ISP可用于当前块。当用于当前块的预测的参考线是除线0以外的线时，可以确定ISP不可用于当前块。
在ISP可用性条件中，cbWidth和cbHeight分别对应于当前块的宽度和高度。另外，MaxTbSizeY和MinTbSizeY分别可以指示最大变换大小和最小变换大小。如上所述，残差处理可以包括变换或逆变换。在这种情况下，其中变换或逆变换可用的变换块的大小可以被预定义或通过比特流来发信号通知。也就是说，最大变换大小意指可以执行变换或逆变换的变换块的最大大小。另外，最小变换大小意指可以执行变换或逆变换的变换块的最小大小。例如，在当前块的大小大于最大变换大小时，可以将当前块分割成两个或更多个变换块。另外，可以不将当前块分割成具有的大小小于最小变换大小的变换块。可以在图像编码设备和图像解码装置中预定义最大变换大小和/或最小变换大小，或者可以基于在块的更高级别处发信号通知的信息来导出最大变换大小和/或最小变换大小。
根据ISP可用性条件，只有当cbWidth或cbHeight中的至少一个等于或小于MaxTbSizeY时，才可以确定ISP可用于当前块。也就是说，当cbWidth和cbHeight都大于MaxTbSizeY时，可以确定ISP不可用于当前块。当cbWidth大于MaxTbSizeY、cbHeight等于或小于MaxTbSizeY并且ISP适用于当前块时，可以如下所述将ISP分割方向确定为垂直方向。当cbHeight大于MaxTbSizeY、cbWidth等于或小于MaxTbSizeY并且ISP适用于当前块时，可以如下所述将ISP分割方向确定为水平方向。
根据ISP可用性条件，当cbWidth*cbHeight大于MinTbSizeY*MinTbSizeY时，可以确定ISP可用于当前块。cbWidth*cbHeight可以意指当前块的面积或当前块中包括的样本数。例如，如果MinTbSizeY是4，则只有在当前块中包括的样本数大于16(4*4)时才可以确定ISP可用于当前块。
图9是图示根据ISP模式来执行当前块的编码/解码的常规方法的视图。
当要编码/解码的当前块被输入(S910)时，可以确定是否将ISP应用于当前块(S920)。步骤S920的确定可以包括确定ISP是否可用于当前块和/或确定是否将ISP应用于当前块。可以基于上述ISP可用性条件来做出关于ISP是否可用于当前块的确定。当ISP可用时，图像编码设备可以基于如上所述的各种方法来确定是否将ISP应用于当前块，并且可以将确定的结果作为帧内预测技术信息编码在比特流中。当ISP可用时，图像解码装置可以基于发信号通知的帧内预测技术信息来确定是否将ISP应用于当前块。
当ISP不适用于当前块时，可以关于当前块执行TU平铺(tiling)(S930)。TU平铺意指将当前块分割成多个变换块使得当前块的宽度和高度等于或小于作为可变换大小的最大变换大小的过程。如上所述，残差信号的处理包括变换，并且最大变换大小意指可以执行变换过程的变换块的最大大小。因此，在当前块的宽度或高度大于最大变换大小时，通过经由TU平铺分割当前块，分割块的宽度和高度都可以等于或小于最大变换大小。例如，当最大变换大小是64个样本的大小并且当前块具有128x128的大小时，可以将当前块分割成四个64x64块。可替选地，当最大变换大小是64个样本的大小并且当前块具有64x128或128x64的大小时，可以将当前块分割成两个64x64块。例如，当最大变换大小是64个样本的大小并且当前块的大小具有64x64或更小的大小时，可以不执行TU平铺。
此后，可以针对当前块或通过TU平铺步骤分割的每个块执行编码/解码(S960)。步骤S960的编码可以包括预测信息和残差信息的帧内预测、残差处理和/或编码。步骤S960的编码可以包括帧内预测、残差样本导出和/或重建块生成。
在步骤S920中，当将ISP应用于当前块时，可以确定分割方向和分割次数(子分区数)(S940)。
在步骤S920中，可以基于通过比特流来发信号通知的信息(例如，intra_subpartitions_split_flag)来导出分割方向。可替选地，可以基于当前块的大小隐式地导出分割方向。例如，如上所述，在当前块的宽度大于最大变换大小时，可以在垂直方向上导出ISP的分割方向。另外，在当前块的高度大于最大变换大小时，可以在水平方向上导出ISP的分割方向。另外，在当前块的宽度和高度都大于最大变换大小时，可以施加限制使得ISP不可用于当前块。例如，当最大变换大小是64个样本的大小并且ISP适用于的当前块是128x64块时，在垂直方向上导出ISP的分割方向并且子分区的宽度(128/4)和高度(64)都被确定为最大变换大小(64)或更小。类似地，当最大变换大小是64个样本的大小并且ISP适用于的当前块是64x128块时，在水平方向上导出ISP的分割方向并且子分区的宽度(64)和高度(128/4)被确定为最大变换大小(64)或更小。如上所述，当将ISP应用于当前块时，当前块被分割为使得子分区的宽度和高度都等于或小于最大变换大小。出于此原因，不需要关于ISP适用于的当前块执行步骤S930的TU平铺。
在步骤S940中，可以基于当前块的大小隐式地导出分割次数。具体地，可以根据当前块的大小来分割当前块，如表3所示。
[表3]
块大小 分割次数
4x4 不分割
4x8、8x4 2
所有其他情况 4
图10a是图示针对4x8块或8x4块的ISP的分割示例的视图。如图10a图所示，4x8块或8x4块可以被分割成两个子分区。在当前块是4x8块并且在水平方向上被分割时，可以将当前块分割成两个4x4子分区。在当前块是4x8块并且在垂直方向上被分割时，可以将当前块分割成两个2x8子分区。在当前块是8x4块并且在水平方向上被分割时，可以将当前块分割成两个8x2子分区。在当前块所8x4块并且在垂直方向上被分割时，可以将当前块分割成两个4x4子分区。
图10b是图示针对大小为8x8或更大的块的ISP的分割示例的视图。
如图10b所示，可以将大小为8x8或更大的块分割成四个子分区。在当前块是WxH块、W和H都是8或更大并且在水平方向上分割当前块时，可以将当前块分割成四个Wx(H/4)子分区。在当前块是WxH块、W和H都是8或更大并且在垂直方向上分割当前块时，可以将当前块分割成四个(W/4)xH子分区。
再次参考图9，当在步骤S940中确定了分割方向和分割次数时，可以基于此来分割当前块的亮度分量块(S950)。
此后，可以针对每个分割的子分区执行编码/解码(S960)。如上所述，步骤S960的编码可以包括预测信息和残差信息的帧内预测、残差处理和/或编码。另外，步骤S960的解码可以包括帧内预测、残差样本导出和/或重构块生成。具体地，当应用ISP时，用于当前块的帧内预测模式同样地适用于子分区，并且以子分区为单位导出和使用邻近参考样本，从而提高帧内预测性能。也就是说，当应用ISP时，以子分区为单位执行残留样本处理过程。换句话说，针对每个子分区导出帧内预测样本，并且向其添加对应子分区的残差信号(残差样本)，从而获得重构样本。可以基于上述比特流中的残差信息(量化后的变换系数信息或残差编译语法)，通过解量化/逆变换过程来导出残差信号(残差样本)。也就是说，可以执行用于第一子分区的预测样本导出和残差样本导出，并且可以基于此导出用于第一子分区的重构样本。在这种情况下，当导出用于第二子分区的预测样本时，第一子分区中的重构样本中的一些(例如，与第二子分区的左侧或上侧相邻的重构样本)可以被用作第二子分区的邻近参考样本。类似地，可以导出用于第二子分区的预测样本导出和残差样本导出，并且可以基于此导出用于第二子分区的重构样本。在这种情况下，当导出用于第三子分区的预测样本时，第二子分区中的重构样本中的一些(例如，与第三子分区的左侧或上侧相邻的重构样本)可以被用作用于第三子分区的邻近参考样本。类似地，第三子分区中的重构样本中的一些可以被用作用于第四子分区的邻近参考样本。
多个子分区当中的编码/解码的顺序在分割方向为水平方向时是自顶向下，并且在分割方向为垂直方向时是从左到右。例如，在图10b中，当分割方向是水平方向时，子分区可以从最上面的子分区到最下面的子分区被顺序地编码/解码。另外，当分割方向是垂直方向时，子分区可以从最左边的子分区到最右边的子分区被顺序地编码/解码。
当将ISP应用于当前块时，为了降低编译复杂度，根据每种分割方法(水平分割和垂直分割)来生成MPM列表，并且在速率失真优化(RDO)方面比较所生成的MPM列表中的预测模式当中的合适的预测模式，以生成最佳模式。另外，当使用多参考线(MRL)帧内预测时，可以施加限制使得不使用上述ISP。也就是说，当使用第0参考线(例如，intra_luma_ref_idx＝＝0)时，ISP是适用的。另外，当应用ISP时，可以施加限制使得不使用上述PDPC。也就是说，当应用ISP时，可以不使用PDPC。
当应用ISP时，作为帧内预测技术信息，可以以当前块为单位发送指示是否应用ISP的信息(intra_subpartitions_mode_flag)，并且如果当前块使用ISP(例如，当intra_subpartitions_mode_flag是1时)，则可以发送关于分割方法(水平分割或垂直分割)的信息(intra_subpartitions_split_flag)。
根据参考图9描述的常规方法，在当前块的亮度分量块和当前块的色度分量块被分割成同一树结构的单树结构中，当将ISP应用于当前块时，亮度分量块被分割成多个子分区，但是ISP不适用于色度分量块。在这种情况下，色度分量块的宽度或高度变得大于根据色度格式的最大变换大小，并且因此色度分量块的变换或逆变换可能变得不可能。
在下文中，将描述根据色度格式的亮度分量块的大小与色度分量块的大小之间的关系。
图11是图示根据色度格式的亮度分量块(亮度分量阵列)与色度分量块(色度分量阵列)之间的关系的视图。
源或编译的图片/图像可以包括亮度分量(Y)块和两个色度分量(cb、cr)块。也就是说，图片/图像的一个像素可以包括亮度样本和两个色度样本(cb、cr)。颜色格式可以表示亮度样本和色度样本(cb、cr)的配置格式，并且可以被称为色度格式。色度格式可以被预定义或者可以被自适应地发信号通知。例如，可以基于如表4所示的chroma_format_idc或separate_colour_plane_flag中的至少一个来发信号通知色度格式。
[表4]
chroma_format_idc separate_colour_plane_flag ChromaArrayType 色度格式 SubWidthC SubHeightC
0 0 0 单色 1 1
1 0 1 4:2:0 2 2
2 0 2 4:2:2 2 1
3 0 3 4:4:4 1 1
3 1 0 4:4:4 1 1
在上表4中，chroma_format_idc是指示亮度样本和与其相对应的色度样本的格式的信息，并且separate_colour_plane_flag是指示以4:4:4色度格式分别编码的三个颜色分量Y、cb和cr的信息。在上表4中，当chroma_format_idc是0时，色度格式对应于单色，并且当前块不包括色度分量块而仅包括亮度分量块。
在上表4中，当chroma_format_idc是1时，色度格式对应于4:2:0色度格式，并且色度分量块的宽度和高度分别对应与亮度分量块的宽度的一半和高度的一半。图11a以4:2:0色度格式示出亮度样本和色度样本之间的位置关系。
在上表4中，当chroma_format_idc是2时，色度格式对应于4:2:2色度格式，色度分量块的宽度分别对应于亮度分量块的宽度的一半，并且色度分量块的高度等于亮度分量块的高度。图11b以4:2:2色度格式示出亮度样本和色度样本之间的位置关系。
在上表4中，当chroma_format_idc是3时，色度格式对应于4:4:4色度格式，并且色度分量块的宽度和高度分别对应于亮度分量块的宽度和高度。图11c以4:4:4色度格式示出亮度样本与色度样本之间的位置关系。
在上表4中，SubWidthC和SubHeightC表示亮度样本和色度样本的比率。例如，当亮度分量块的宽度和高度分别是CbWidth和CbHeight时，可以将与其相对应的色度分量块的宽度和高度分别导出为(CbWidth/SubwidthC)和(CbHeight/SubHeightC)。
如参考图11所描述的，与当前块的亮度分量块相对应的色度分量块的大小可以根据色度格式而变化。
图12是图示当亮度分量块是64x128块时根据色度格式的色度分量块的大小的视图。如图12所示，与64x128亮度分量块相对应的色度分量块可以是以4:2:0色度格式的32x64块、以4:2:2色度格式的32x128块和以4:4:4色度格式的64x128块。
如上所述，根据参考图9描述的常规方法，在亮度分量块和色度分量块被分割成同一树结构的单树结构中，当将ISP应用于当前块时，亮度分量块被分割成多个子分区，但是不分割色度分量块。例如，当ISP适用于的当前块的亮度分量块是64x128块时，由于分割方向被确定为水平方向，所以亮度分量块被分割成四个64x32子分区，并且每个子分区的宽度(64)和高度(32)都等于或小于最大变换大小(64)。因此，可以执行亮度分量块的每个子分区的变换或逆变换。然而，如图12所示，色度分量块是以4:2:0色度格式的32x64块、以4:2:2色度格式的32x128块或以4:4:4色度格式的64x128块，并且例如，在4:2:2色度格式和4:4:4色度格式中，由于色度分量块的高度(128)大于最大变换大小(64)，所以色度分量块的变换或逆变换是不可能的。
在下文中，将详细地描述用于解决上述问题的本公开的各种实施例。
实施例#1
在本公开的实施例#1中，为了解决常规问题，当将ISP应用于当前块时，ISP基于色度分量块的色度格式和/或大小自适应地适用于色度分量块。根据本公开的实施例#1，例如，当将ISP应用于色度分量块时，关于亮度分量块确定的分割方向和分割次数同样地适用于色度分量块。
图13是图示根据本公开的实施例的ISP应用方法的流程图。
图14是图示根据图13的ISP应用方法来分割色度分量块的示例的视图。
当要编码/解码的当前块被输入(S1310)时，可以确定是否将ISP应用于当前块(S1320)。步骤S1320的确定可以包括确定ISP是否可用于当前块和/或是否将ISP应用于当前块。可以基于上述ISP可用性条件来执行关于ISP是否可用于当前块的确定。当ISP可用时，图像编码设备可以基于如上所述的各种方法来确定是否将ISP应用于当前块，并且可以将确定的结果作为帧内预测技术信息编码在比特流中。当ISP可用时，图像解码装置可以基于发信号通知的帧内预测技术信息来确定是否将ISP应用于当前块。
当ISP不适用于当前块时，可以关于当前块执行TU平铺(S1330)。此后，可以关于当前块或通过TU平铺步骤分割的每个块执行编码/解码(S1390)。步骤S1330和S1390等于图9的步骤S930和S960并且因此将省略其详细描述。
在步骤S1320中，当将ISP应用于当前块时，可以确定分割方向和分割次数(子分区数)(S1340)。确定分割方向和分割次数的描述等于图9的描述并且因此将被省略。
当在步骤S1340中确定了分割方向和分割次数时，可以基于此分割当前块的亮度分量块(S1350)。
此后，可以确定是否将ISP应用于与亮度分量块相对应的色度分量块(S1360)。可以通过色度格式和/或通过色度分量块的宽度和高度与最大变换大小之间的比较来执行步骤S1360的确定。
在4:2:0色度格式的情况下，如下所述，色度分量块的宽度和高度等于或小于最大变换大小。因此，在4:2:0色度格式的情况下，在不将色度分量块的宽度和高度与最大变换大小进行比较的情况下，可以确定ISP不适用于色度分量块。
在4:2:2色度格式或4:4:4色度格式的情况下，如下所述，色度分量块的宽度或高度可以大于最大变换大小。因此，在4:2:2色度格式或4:4:4色度格式的情况下，色度分量块的宽度和高度可以与最大变换大小进行比较，并且当色度分量块的宽度或高度大于最大变换大小时，可以确定ISP适用于色度分量块。
如图14所示，当亮度分量块是64x128块时，与其相对应的色度分量块是4:2:0色度格式的32x64块、4:2:2色度格式的32x128块或4:4:4色度格式的64x128块。
在图14所示的示例中，能够看到4:2:0色度格式的色度分量块的宽度(32)和高度(64)这二者都等于或小于最大变换大小(64)。因此，在4:2:0色度格式的情况下，可以在没有附加大小比较的情况下确定ISP不适用于32x64色度分量块。
相比之下，在4:2:2色度格式或4:4:4色度格式的情况下，附加地，色度分量块的宽度和高度可以与最大变换大小进行比较。在图14所示的示例中，由于4:2:2色度格式的32x128色度分量块的宽度(128)和4:4:4色度格式的64x128色度分量块的宽度(128)大于最大变换大小(64)，所以可以确定ISP适用于色度分量块。
作为实施例#1的变型，不管色度格式如何，基于色度分量块的宽度和高度是否都等于或小于最大变换大小，可以确定是否将ISP应用于色度分量块。例如，当色度分量块的宽度和高度都等于或小于最大变换大小时，可以确定ISP不适用于色度分量块。另外，当色度分量块的宽度或高度大于最大变换大小时，可以确定ISP适用于色度分量块。
在确定ISP适用于色度分量块时，可以分割色度分量块(S1370)。可以基于在步骤S1340中确定的分割方向和分割次数来执行色度分量块的分割。具体地，可以与亮度分量块的分割方向和分割次数同样地确定色度分量块的分割方向和分割次数。根据本公开的实施例#1，在图14所示的示例中，亮度分量块在水平方向上被分割成四个子分区。因此，可以与亮度分量块同样地将4:2:2色度格式的32x128色度分量块和4:4:4色度格式的64x128色度分量块在水平方向上分割成四个子分区。
此后，可以对每个分割的子分区进行编码/解码(S1390)。在这种情况下，可以针对亮度分量块的每个子分区和色度分量块的每个子分区执行步骤S1390的编码/解码。步骤S1390等于步骤S960并且因此将省略其详细描述。
在步骤S1360中，当确定ISP不适用于色度分量时，不分割色度分量块(S1380)，并且可以对亮度分量块和未分割的色度分量块的每个子分区进行编码/解码(S1390)。步骤S1390等于步骤S960并且因此将省略其详细描述。根据本公开的实施例#1，在图14所示的示例中，可以不分割4:2:0色度格式的32x64色度分量块。
根据本公开的实施例#1，当ISP适用于的当前块的色度分量块的宽度或高度大于最大变换大小时，可以能够通过将ISP应用于色度分量块来解决色度分量块的变换或逆变换不可能的问题。另外，根据本公开的实施例#1，当ISP适用于的当前块的色度格式是4:2:0或者ISP适用于的当前块的色度分量块的宽度和高度等于或小于最大变换大小时，ISP不适用于色度分量块。因此，由于能够避免ISP不必要地应用于色度分量块的情况，所以可以减少编码/解码的计算量。另外，根据本公开的实施例#1，由于针对色度分量块的ISP的分割方向和分割次数是与针对亮度分量块的ISP的分割方向和分割次数同样地确定的，所以不需要单独地发信号通知或导出针对色度分量块的ISP的分割方向和分割次数。
实施例#2
在本公开的实施例#2中，为了解决常规问题，当ISP适用于当前块时，ISP也适用于色度分量块。根据本公开的实施例#2，可以基于针对亮度分量块确定的分割方向和分割次数来确定色度分量块的分割方向和分割次数。
图15是图示根据本公开的另一实施例的ISP应用方法的流程图。
图16是图示根据图15的ISP应用方法来分割色度分量块的示例的视图。
当要编码/解码的当前块被输入(S1510)时，可以确定是否将ISP应用于当前块(S1520)。步骤S1520的确定可以包括确定ISP是否可用于当前块和/或是否将ISP应用于当前块。可以基于上述ISP可用性条件来执行关于ISP是否可用于当前块的确定。当ISP可用时，图像编码设备可以基于如上所述的各种方法来确定是否将ISP应用于当前块，并且可以将确定的结果作为帧内预测技术信息编码在比特流中。当ISP可用时，图像解码装置可以基于发信号通知的帧内预测技术信息来确定是否将ISP应用于当前块。
当ISP不适用于当前块时，可以关于当前块执行TU平铺(S1530)。此后，可以关于当前块或通过TU平铺步骤分割的每个块执行编码/解码(S1570)。步骤S1530和S1570等于图9的步骤S930和S960并且将省略其详细描述。
在步骤S1520中，当将ISP应用于当前块时，可以确定分割方向和分割次数(子分区数)(S1540)。确定分割方向和分割次数的描述等于图9的描述并且因此将被省略。
可以基于在步骤S1540中确定的分割方向和分割次数来分割当前块的亮度分量块(S1550)。
此后，可以基于在步骤S1540中确定的分割方向和分割次数来分割当前块的色度分量块(S1560)。具体地，可以与亮度分量块的分割方向同样地确定色度分量块的分割方向。另外，可以基于亮度分量块的分割次数来确定色度分量块的分割次数。例如，当亮度分量块的分割次数是N时，可以将色度分量块的分割次数确定为N/n。在本公开的实施例#2中，例如，n可以是2，但不限于此并且n可以是任何整数。根据实施例#2，在图16的顶部所示的示例中，16x16亮度分量块可以在水平方向上被分割成四个子分区。在这种情况下，对应色度分量块的分割方向是水平方向，并且可以将分割次数确定为2。也就是说，对应色度分量块可以在水平方向上被分割成两个子分区，而不管色度分量块的色度格式和/或大小如何。另外，在图16的底部所示的示例中，4x8亮度分量块在垂直方向上被分割成两个子分区。在这种情况下，对应色度分量块的分割方向是垂直方向，并且可以将分割次数确定为1。在这种情况下，由于基本上不分割色度分量块，所以能够看到ISP不适用于色度分量块。
此后，可以对每个子分区或未分割的色度分量块进行编码/解码(S1570)。在这种情况下，可以针对亮度分量块的每个子分区和色度分量块的每个子分区或色度分量块执行步骤S1570的编码/解码。步骤S1570等于步骤S960并且因此将省略其详细描述。
在本公开的实施例#2中，当最大编译单元的大小是128x128、最大变换大小是为最大编译单元的宽度和高度的一半并且当前块的宽度和高度都大于最大变换大小时，ISP不适用于当前块。根据本公开的实施例#2，由于ISP适用于的当前块的色度分量块或色度分量块的子分区的宽度和高度总是等于或小于最大变换大小，所以可以解决色度分量块的变换或逆变换不可能的问题。另外，根据本公开的实施例#2，由于不需要执行关于是否将ISP应用于当前块的色度分量块的确定(例如，S1360的确定)，所以可以减少编码/解码的计算量。另外，根据本公开的实施例#2，由于色度分量块的子分区数被确定为2或1，所以能够简化色度分量块的编码/解码过程。另外，根据本公开的实施例#2，由于与针对亮度分量块的ISP的分割方向和(分割次数/2)同样地确定针对色度分量块的ISP的分割方向和分割次数，所以不需要单独地发信号通知或导出针对色度分量块的ISP的分割方向和分割次数。
实施例#3
在本公开的实施例#3中，为了解决常规问题，通过改变ISP可用性条件色度分量块的宽度和高度等于或小于最大变换大小。
根据参考图9描述的常规ISP方法，在当前块的宽度和高度都大于最大变换大小时，确定ISP不适用于当前块。也就是说，在当前块的宽度或高度中的一个大于最大变换大小并且另一个等于或小于最大变换大小时，确定ISP适用于当前块。
在本公开的实施例#3中，上述ISP可用性条件被修改为下表5。
[表5]
Figure BDA0003254006700000421
在修改后的ISP可用性条件当中，intra_luma_ref_idx[x0][y0]为0的条件和cbWidth*cbHeight大于MinTbSizeY*MinTbSizeY的条件等同于现有的ISP可用性条件。根据修改后的ISP可用性条件，只有在当前块的cbWidth和cbHeight都等于或小于MaxTbSizeY时，才可以确定ISP可用于当前块。
根据修改后的ISP可用性条件适用于的本公开的实施例#3，只有在当前块的宽度和高度都等于或小于最大变换大小时，才确定ISP适用于当前块，并且可以发送指示是否应用ISP的intra_subpartitions_mode_flag。
根据本公开的实施例#3，由于当前块的宽度和高度都等于或小于最大变换大小，所以与当前块的亮度样本块相对应的色度样本块的宽度和/或高度不管色度格式都总是等于或小于最大变换大小。因此，能够通过应用修改后的ISP可用性条件来解决参考图9描述的常规ISP方法的问题。
可以通过修改常规方法的ISP可用性条件来实现根据本公开的实施例#3的方法。因此，除了仅用于在步骤S920中确定ISP是否可用的条件不同之外，可以与图9所示的流程图同样地执行根据本公开的实施例#3的方法。
图17是图示在其中反映修改后的ISP可用性条件的比特流的结构的示例的视图。
图17的矩形框与关于当前编译单元的帧内预测技术信息的ISP的信息的信令有关。如图17所示，当满足上述修改后的ISP可用性条件时，可以发送有关是否应用ISP的intra_subpartitions_mode_flag。intra_subpartitions_mode_flag是指示是否将ISP应用于当前编译单元的信息。当不满足ISP可用性条件时，不发送intra_subpartitions_mode_flag，并且可以确定ISP不适用于当前编译单元。
修改后的ISP可用性条件可以包括一个或多个条件，并且修改后的ISP可用性条件中包括的一个或多个条件不限于上述示例。也就是说，在根据本公开的技术思想的范围内，可以省略一些条件或者可以附加地包括其他条件。
另外，如图17所示，当ISP适用于当前块时，也就是说，当intra_subpartitions_mode_flag是1时，可以发送指示分割方向的信息(intra_subpartitions_split_flag)。
在图17所示的示例中，只有当满足cbWidth<＝MaxTbSizeY&&cbHeight<＝MaxTbSizeY的条件时，才可以发送intra_subpartitions_mode_flag。也就是说，当所发送的intra_subpartitions_mode_flag是1时，能够看到已经满足cbWidth<＝MaxTbSizeY&&cbHeight<＝MaxTbSizeY I的条件。因此，可以如图18所示的那样改变与是否发送intra_sinpartitions_split_flag有关的图17的条件。
图18是图示其中反映修改的ISP可用性条件的比特流的结构的另一示例的视图。
图18的矩形框涉及关于当前编译单元的帧内预测技术信息的ISP的信息的信令。如图18中所示，当满足上述修改的ISP可用性条件时，可以用信号发送intra_subpartitions_mode_flag，并且当满足其中intra_subpartitions_mode_flag为1的条件时，可以用信号发送intra_sinpartitions_split_flag。
根据本公开的实施例#3，应用ISP的当前块的宽度和高度都等于或小于最大变换大小。相应地，因为当前块的色度分量块的宽度和高度均等于或小于最大变换大小，而与色度格式无关，所以可以解决色度分量块无法进行变换或逆变换的问题。另外，根据本发明实施例#3，因为对当前块的色度分量块是否应用ISP的确定(例如，S1360的确定)和色度分量块的ISP不需要执行，可以减少编码/解码的计算量。另外，根据本公开的实施例#3，因为没有显着改变传统的编码/解码过程，所以可以在不显着编码/解码复杂度的情况下解决传统问题。
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本发明的方法，所描述的步骤可以进一步包括其他步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其他附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施例不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施例中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施例可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施例的图像解码装置和图像编码装置可以包括在多媒体广播传送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像机、视频聊天设备、诸如视频通信的实时通信设备、移动流传输设备、存储介质、摄像机、视频点播(VoD)服务提供设备、OTT视频(over the top video)设备、互联网流传输服务提供设备、三维(3D)视频设备、视频电话视频设备、医疗视频设备等，并且可用于处理视频信号或数据信号。例如，OTT视频设备可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能手机、平板PC、数字录像机(DVR)等。
图19是示出可应用本公开的实施例的内容流传输系统的视图。
如图19中所示，应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入设备。
编码服务器将从诸如智能手机、相机、便携式摄像机等多媒体输入设备输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能手机、相机、摄像机等多媒体输入设备直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施例的图像编码方法或图像编码装置产生，并且流传送服务器可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器通过web服务器基于用户的请求将多媒体数据发送到用户设备，并且web服务器用作向用户通知服务的媒介。当用户从web服务器请求所需的服务时，web服务器可以将其递送到流传输服务器，并且流传输服务器可以向用户发送多媒体数据。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用作控制内容流系统中设备之间的命令/响应。
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，可以实时接收内容。在这种情况下，为了提供平滑的流传输服务，流传输服务器可以在预定时间内存储比特流。
用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、平板PC、平板计算机、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流传输系统中的每个服务器都可以作为分布式服务器运行，在这种情况下，从每个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施例的方法的操作能够在装置或计算机上执行的软件或者可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并可在装置或计算机上执行的此类软件或命令的一种非暂时性计算机可读介质。
工业适用性
本公开的实施例可以被用于对图像进行编码或解码。

Claims (15)

1.由图像解码装置执行的图像解码方法，所述图像解码方法包括：
基于关于当前块的预测模式的信息来确定所述当前块的预测模式是否是帧内预测模式；
当所述当前块的预测模式是帧内预测模式时，确定帧内子分区(ISP)是否可用于所述当前块；
当ISP可用于所述当前块时，解码指示是否对所述当前块应用ISP的ISP应用指示符；以及
在基于所述ISP应用指示符来确定所述ISP应用于所述当前块时，通过将ISP应用于所述当前块来生成用于所述当前块的预测块。
2.根据权利要求1所述的图像解码方法，其中，基于所述当前块的亮度分量块的大小与预定阈值之间的比较来执行确定ISP是否可用于所述当前块。
3.根据权利要求2所述的图像解码方法，其中，所述预定阈值是最大变换大小。
4.根据权利要求2所述的图像解码方法，其中，当所述当前块的亮度分量块的宽度和高度都等于或小于预定阈值时，确定ISP可用于所述当前块。
5.根据权利要求1所述的图像解码方法，其中，通过将ISP应用于所述当前块来生成用于所述当前块的预测块包括：
通过将ISP应用于所述当前块的亮度分量块来生成用于所述亮度分量块的预测块；
确定是否将ISP应用于所述当前块的色度分量块；以及
在确定将ISP应用于所述当前块的色度分量块时，通过将ISP应用于所述色度分量块来生成用于所述色度分量块的预测块。
6.根据权利要求5所述的图像解码方法，其中，基于所述色度分量块的大小或所述当前块的色度格式中的至少一个来执行确定是否对所述当前块的色度分量块应用ISP。
7.根据权利要求6所述的图像解码方法，其中，当所述当前块的色度格式是4:2:2或4:4:4并且所述色度分量块的宽度或高度中的至少一个大于最大变换大小时，确定ISP应用于所述当前块的色度分量块。
8.根据权利要求5所述的图像解码方法，其中，当ISP应用于所述色度分量块时，基于用于所述亮度分量块的分割方向和子分区的数量来确定用于所述色度分量块的分割方向和子分区的数量。
9.根据权利要求8所述的图像解码方法，其中，用于所述色度分量块的分割方向和子分区的数量分别等于用于所述亮度分量块的分割方向和子分区的数量。
10.根据权利要求1所述的图像解码方法，其中，通过将ISP应用于所述当前块来生成用于所述当前块的预测块包括：
通过将ISP应用于所述当前块的亮度分量块来生成用于所述亮度分量块的预测块；以及
通过对所述当前块的色度分量块应用ISP来生成用于所述色度分量块的预测块。
11.根据权利要求10所述的图像解码方法，其中，基于用于所述亮度分量块的分割方向和子分区的数量来确定用于所述色度分量块的分割方向和子分区的数量。
12.根据权利要求11所述的图像解码方法，其中，用于所述色度分量块的分割方向和子分区的数量分别等于所述亮度分量块的分割方向和(子分区的数量/2)。
13.一种图像解码装置，包括：
存储器；以及
至少一个处理器，
其中，所述至少一个处理器被配置为：
基于关于当前块的预测模式的信息来确定所述当前块的预测模式是否是帧内预测模式；
当所述当前块的预测模式是帧内预测模式时，确定帧内子分区(ISP)是否可用于所述当前块；
当ISP可用于所述当前块时，解码指示是否对所述当前块应用ISP的ISP应用指示符；以及
在基于所述ISP应用指示符来确定ISP应用于所述当前块时，通过对所述当前块应用ISP来生成用于所述当前块的预测块。
14.一种通过图像编码装置执行的图像编码方法，所述图像编码方法包括：
确定当前块的预测模式是否是帧内预测模式；
当所述当前块的预测模式是所述帧内预测模式，确定帧内子分区(ISP)是否可用于所述当前块；
当ISP可用于所述当前块时，确定是否将ISP应用于所述当前块；
当ISP被应用于所述当前块时，通过将ISP应用于所述当前块来生成用于所述当前块的预测块；以及
编码关于所述当前块的预测模式的信息和关于是否将ISP应用于所述当前块的信息。
15.一种发送根据权利要求14所述的图像编码方法生成的比特流的方法。
CN202080019891.9A 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法 Active CN113615179B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202410091662.8A CN118075460A (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法
CN202410076703.6A CN118018726A (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962817580P 2019-03-13 2019-03-13
US62/817,580 2019-03-13
PCT/KR2020/003359 WO2020184966A1 (ko) 2019-03-13 2020-03-11 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202410076703.6A Division CN118018726A (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法
CN202410091662.8A Division CN118075460A (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法

Publications (2)

Publication Number Publication Date
CN113615179A true CN113615179A (zh) 2021-11-05
CN113615179B CN113615179B (zh) 2024-02-09

Family

ID=72427543

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202410076703.6A Pending CN118018726A (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法
CN202080019891.9A Active CN113615179B (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法
CN202410091662.8A Pending CN118075460A (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410076703.6A Pending CN118018726A (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410091662.8A Pending CN118075460A (zh) 2019-03-13 2020-03-11 图像编码/解码方法和装置以及发送比特流的方法

Country Status (5)

Country Link
US (2) US11445189B2 (zh)
EP (1) EP3941048A4 (zh)
KR (1) KR20210109636A (zh)
CN (3) CN118018726A (zh)
WO (1) WO2020184966A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020197038A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 서브 파티션 기반의 인트라 예측 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110038414A1 (en) * 2009-08-17 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
WO2011142801A1 (en) * 2010-05-10 2011-11-17 Thomson Licensing Methods and apparatus for adaptive interpolative intra block encoding and decoding
WO2015078304A1 (en) * 2013-11-27 2015-06-04 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
CN105338345A (zh) * 2011-10-24 2016-02-17 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
CN107005717A (zh) * 2014-11-12 2017-08-01 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
CN107018417A (zh) * 2015-11-05 2017-08-04 联发科技股份有限公司 使用块预测的视频编码方法
WO2019009540A1 (ko) * 2017-07-06 2019-01-10 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101432775B1 (ko) * 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101588143B1 (ko) * 2011-06-23 2016-01-22 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
CN106878722B (zh) 2011-06-24 2019-11-12 太阳专利托管公司 解码方法、解码装置、编码方法、编码装置
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
KR102488123B1 (ko) * 2016-12-26 2023-01-12 에스케이텔레콤 주식회사 인트라 예측을 이용한 영상의 부호화 및 복호화
CN110521207A (zh) 2017-03-13 2019-11-29 韩国电子通信研究院 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置
CN111247799B (zh) * 2017-10-18 2022-08-09 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110038414A1 (en) * 2009-08-17 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
WO2011142801A1 (en) * 2010-05-10 2011-11-17 Thomson Licensing Methods and apparatus for adaptive interpolative intra block encoding and decoding
CN105338345A (zh) * 2011-10-24 2016-02-17 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
WO2015078304A1 (en) * 2013-11-27 2015-06-04 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
CN107005717A (zh) * 2014-11-12 2017-08-01 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
CN107018417A (zh) * 2015-11-05 2017-08-04 联发科技股份有限公司 使用块预测的视频编码方法
WO2019009540A1 (ko) * 2017-07-06 2019-01-10 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DAMIÁN RUIZ-COLL ET AL.: "Fast partitioning algorithm for HEVC Intra frame coding using machine learning", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
M. ALBRECHT ET AL: ""Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 JVET-J0014》, pages 2 *
SANTIAGO DE LUXÁN HERNÁNDEZ ET AL: "CE3: Line-based intra coding mode (Tests 1.4.1, 1.4.2 and 1.4.3)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 JVET-K0049V2》, pages 2 *
SANTIAGO DE-LUXÁN-HERNÁNDEZ ET AL: "CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 JVET-M0102V4》, pages 1 *
董可: "HEVC帧内预测模式选择算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
韦虎 等: "一种改进的H.264 Intra4×4帧内预测算法", 《计算机工程》 *

Also Published As

Publication number Publication date
WO2020184966A1 (ko) 2020-09-17
EP3941048A4 (en) 2022-12-28
CN118018726A (zh) 2024-05-10
US20220078420A1 (en) 2022-03-10
CN113615179B (zh) 2024-02-09
US20220417512A1 (en) 2022-12-29
EP3941048A1 (en) 2022-01-19
CN118075460A (zh) 2024-05-24
US11445189B2 (en) 2022-09-13
KR20210109636A (ko) 2021-09-06

Similar Documents

Publication Publication Date Title
JP7362786B2 (ja) 単純化されたｍｐｍリスト生成方法を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP7197728B2 (ja) 変換インデックスを利用する映像コーディング
JP2023025271A (ja) 映像コーディングにおけるマトリクスベースのイントラ予測のための変換
US11546583B2 (en) Image encoding/decoding method and device for determining division mode on basis of color format, and method for transmitting bitstream
US20220174271A1 (en) Image encoding/decoding method and device having simplified mip mode mapping, and method for transmitting bitstream
US20220191512A1 (en) Image encoding/decoding method and device based on intra prediction mode conversion, and method for transmitting bitstream
US11770537B2 (en) Image encoding/decoding method and apparatus for performing intra prediction, and method for transmitting bitstream
JP2023033544A (ja) イントラ予測ベースの映像コーディングにおける変換
KR20210126765A (ko) 영상 코딩 시스템에서의 인트라 예측 기반 영상 코딩
US20240163430A1 (en) Image encoding/decoding method and device using filtering, and method for transmitting bitstream
US20220417512A1 (en) Image encoding/decoding method and device, and method for transmitting bitstream
CN113632468A (zh) 图像编码/解码方法和装置，以及发送比特流的方法
RU2811456C2 (ru) Способ и оборудование кодирования/декодирования изображений и способ передачи потока битов
US11778192B2 (en) Video encoding/decoding method and apparatus for performing PDPC and method for transmitting bitstream
RU2785731C1 (ru) Способ и оборудование кодирования/декодирования изображений и способ передачи потока битов
US11962757B2 (en) Residual signal encoding/decoding method and apparatus employing intra sub-partitions (ISP), and method for transmitting bitstream
CN115176465A (zh) 基于叶节点的重新配置的预测模式类型来执行预测的图像编码/解码方法和设备以及比特流传输方法
KR20220031059A (ko) 컬러 포멧에 따라 결정된 예측 모드 타입에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240325

Address after: No. 18 Wusha Haibin Road, Chang'an Town, Dongguan City, Guangdong Province

Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Country or region after: China

Address before: Seoul, South Kerean

Patentee before: LG ELECTRONICS Inc.

Country or region before: Republic of Korea

TR01 Transfer of patent right