CN115516855A - 图像编译方法及其装置 - Google Patents

图像编译方法及其装置 Download PDF

Info

Publication number
CN115516855A
CN115516855A CN202180033890.4A CN202180033890A CN115516855A CN 115516855 A CN115516855 A CN 115516855A CN 202180033890 A CN202180033890 A CN 202180033890A CN 115516855 A CN115516855 A CN 115516855A
Authority
CN
China
Prior art keywords
target block
block
intra
prediction mode
mip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180033890.4A
Other languages
English (en)
Inventor
具文模
赵杰
金昇焕
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115516855A publication Critical patent/CN115516855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种根据本文档的图像解码方法包括以下步骤：接收用于第一目标块的帧内MIP语法元素；导出帧内MIP语法元素的值；基于帧内MIP语法元素的值为与第一目标块的区域相同的预设特定区域设置变量MIP标志；基于变量MIP标志来导出第二目标块的帧内预测模式；以及基于第二目标块的帧内预测模式来导出第二目标块的预测样本。

Description

图像编译方法及其装置
技术领域
本文档涉及图像编译技术，并且更具体地，涉及在图像编译系统中基于帧内预测的图像编译方法及其装置。
背景技术
如今，在各个领域中对诸如4K、8K或更高的超高清(UHD)图像/视频这样的高分辨率和高质量图像/视频的需求已经不断增长。随着图像/视频数据变成更高分辨率和更高质量，与传统图像数据相比，所发送的信息量或比特量增加。因此，当使用诸如传统有线/无线宽带线这样的介质来发送图像数据或者使用现有存储介质来存储图像/视频数据时，其传输成本和存储成本增加。
另外，如今，对于诸如虚拟现实(VR)和人工现实(AR)内容或全息图等这样的沉浸式媒体的兴趣和需求正在增加，并且对具有与诸如游戏图像这样的真实图像不同的图像特征的图像/视频的广播正在增加。
因此，需要有效地压缩并发送或存储以及再现具有如上所述的各种特征的高分辨率和高质量图像/视频的信息的高效图像/视频压缩技术。
发明内容
技术问题
本公开的技术方面是提供一种用于提高图像编译效率的方法和设备。
本文档的另一技术方面是为了提供一种高效帧内预测方法及其设备。
本文档的再一技术方面是为了提供一种用于基于矩阵的帧内预测的图像编译方法及其设备。
本文档的又一技术方面是为了提供一种用于基于IPS的帧内预测的图像编译方法及其设备。
技术方案
根据本文档的实施例，提供了一种由解码设备执行的图像解码方法。该方法可以包括：从比特流接收包括帧内预测类型信息的图像信息，该帧内预测类型信息包括用于第一目标块的帧内MIP语法元素；导出帧内MIP语法元素的值；基于帧内MIP语法元素的值，为与第一目标块的区域相同的预设特定区域设置变量MIP标志；导出用于第二目标块的帧内预测模式；基于用于第二目标块的帧内预测模式来导出用于第二目标块的预测样本；以及基于预测样本来生成重构块，其中，可以基于用于第一目标块的变量MIP标志来导出用于第二目标块的帧内预测模式。
第一目标块可以是第二目标块的左邻近块，导出用于第二目标块的帧内预测模式可以包括：基于变量MIP标志来导出候选帧内预测模式；以及基于候选帧内预测模式来导出用于第二目标块的帧内预测模式，特定区域可以包括(xCb-1,yCb+cbHeight-1)的样本位置，(xCb,yCb)可以是第二目标块的左上样本位置，并且cbHeight可以指示第二目标块的高度。
第一目标块可以是第二目标块的上邻近块，导出用于第二目标块的帧内预测模式可以包括：基于变量MIP标志来导出候选帧内预测模式；以及基于候选帧内预测模式来导出用于第二目标块的帧内预测模式，特定区域可以包括(xCb+cbWidth-1,yCb-1)的样本位置，(xCb,yCb)可以是第二目标块的左上样本的位置，并且cbWidth可以指示第二目标块的宽度。
第二目标块可以包括色度块，第一目标块可以是与该色度块相关的亮度块，并且导出用于第二目标块的帧内预测模式可以包括：基于变量MIP标志来导出对应的亮度帧内预测模式；以及基于对应的亮度帧内预测模式来导出用于第二目标块的帧内预测模式。
这里，基于第二目标块的树类型不是单树或者其色度阵列类型不是3，特定区域可以包括(xCb+cbWidth/2,yCb+cbHeight/2)的样本位置，(xCb,yCb)可以指示色度块在亮度样本单元中的左上位置，cbWidth可以指示与色度块相对应的对应亮度块的宽度，并且cbHeight可以指示对应亮度块的高度。
可以基于第一目标块的树类型不是双树色度，为特定区域设置变量MIP标志。
根据本文档的另一实施例，提供了一种由编码设备执行的图像编码方法。该方法可以包括：当对第一目标块应用帧内MIP模式时导出用于第一目标块的帧内MIP标志的值；基于帧内MIP标志的值为与第一目标块的区域相同的预设特定区域设置变量MIP标志；导出用于第二目标块的帧内预测模式；基于用于第二目标块的帧内预测模式来导出用于第二目标块的预测样本；基于预测样本来导出用于第二目标块的残差样本；以及对基于帧内MIP标志和残差样本生成的变换系数信息进行编码和输出，其中，可以基于用于第一目标块的变量MIP标志来导出用于第二目标块的帧内预测模式。
根据本文档的再一实施例，可以提供一种数字存储介质，该数字存储介质存储包括编码图像信息的图像数据和/或根据由编码设备执行的图像编码方法生成的比特流。
根据本文档的又一实施例，可以提供一种数字存储介质，该数字存储介质存储包括编码图像信息的图像数据和/或比特流以使解码设备执行图像解码方法。
有益效果
根据本文档，能够增加整体图像/视频压缩效率。
根据本文档，可以提高帧内预测中的效率。
根据本文档，可以提高基于矩阵的帧内预测的图像编译效率。
根据本文档，可以提高基于ISP的帧内预测的图像编译效率。
能够通过本公开的特定示例获得的效果不限于上面列举的效果。例如，可以存在相关领域的普通技术人员能够理解或从本公开中导出的各种技术效果。因此，本公开的特定效果不限于在本公开中显式地描述的效果，并且能够包括能够从本公开的技术特征理解或导出的各种效果。
附图说明
图1示意性地图示本公开适用于的视频/图像编译系统的示例。
图2是示意性地图示本公开适用于的视频/图像编码设备的配置的图。
图3是示意性地图示本公开适用于的视频/图像解码设备的配置的图。
图4图示应用本公开的内容流传输系统的结构。
图5图示65个预测方向的帧内定向模式。
图6图示根据示例的基于MIP的预测样本生成过程。
图7图示一个编译块被分割成的子块的示例。
图8图示一个编译块被分割成的子块的另一示例。
图9示意性地图示根据本文档的实施例的多变换方案。
图10图示根据本文档的实施例的RST。
图11是图示根据本文档的实施例的视频解码设备的操作的流程图。
图12a和图12b示出根据本文档的实施例的用于第一目标块的变量MIP标志被用于导出用于第二目标块的帧内预测模式。
图13图示根据色度格式的样本的配置。
图14a至图14c示出根据本文档的实施例的用于作为第一目标块的对应亮度块的变量MIP标志被用于导出用于作为第二目标块的色度块的帧内预测模式。
图15图示根据本文档的实施例的视频编码设备的操作。
具体实施方式
尽管本公开可能易于进行各种修改并且包括各种实施例，但是其具体实施例已在附图中通过示例的方式示出，并且现在将对其进行详细描述。然而，这并不旨在将本公开限制于本文公开的具体实施例。本文中使用的术语只是出于描述特定实施例的目的，并不旨在限制本公开的技术思路。除非上下文另外清楚指示，否则单数形式可以包括复数形式。诸如“包括”和“具有”之类的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此不应被理解为预先排除了存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
同时，为了方便描述彼此不同的特性功能，独立地例示了本文中描述的附图上的各组件，然而，并不意指各组件由单独的硬件或软件来实现。例如，可以组合这些组件中的任何两个或更多个以形成单个组件，并且任何单个组件可以被划分成多个组件。其中组件被组合和/或划分的实施例将属于本公开的专利权的范围，只要它们不脱离本公开的实质即可。
在下文中，将参考附图更详细地说明本公开的优选实施例。另外，在附图中，相同的附图标号用于相同的组件，并且将省略对相同组件的重复描述。
本文档涉及视频/图像编译。例如，本文档中公开的方法/示例可以涉及VVC(通用视频编译)标准(ITU-T Rec.H.266)、VVC之后的下一代视频/图像编译标准、或其他视频编译相关标准(例如，HEVC(高效视频编译)标准(ITU-T Rec.H.265)、EVC(基本视频编译)标准、AVS2标准等)。
在本文档中，可以提供与视频/图像编译相关的各种实施例，并且除非相反地指定，否则这些实施例可以彼此组合并执行。
在本文档中，视频可以是指一段时间内一系列图像的集合。通常，图片是指表示特定时间区域的图像的单元，而切片(slice)/图块(tile)是构成图片的一部分的单元。切片/图块可以包括一个或更多个编译树单元(CTU)。一个图片可以由一个或更多个切片/图块组成。一个图片可以由一个或多个图块组组成。一个图块组可以包括一个或更多个图块。
像素或像元(pel)可以是指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。可替选地，样本可以意指空间域中的像素值，或者当该像素值被变换为频域时，其可以意指频域中的变换系数。
单元可以表示图像处理的基本单位。单元可以包括特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。根据情况，可以将单元和诸如块、区域等这样的术语互换地使用。在通常情况下，M×N块可以包括由M列和N行组成的样本(或样本阵列)或变换系数的集(或阵列)。
在本文档中，术语“/”和“，”应该被解释为指示“和/或”。例如，表述“A/B”可以意指“A和/或B”。另外，“A、B”可以意指“A和/或B”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。
另外，在该文档中，术语“或”应该被解释为指示“和/或”。例如，表述“A或B”可以包括1)仅A、2)仅B和/或3)A和B二者。换句话说，本文档中的术语“或”应该被解释为指示“附加地或另选地”。
在本公开中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B这两者”。此外，在本公开中，表述“A或B中的至少一个”或者“A和/或B中的至少一个”可以被解释为“A和B中的至少一个”。
此外，在本公开中，“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。此外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。
另外，本公开中使用的括号可以表示“例如”。具体地，当指示为“预测(帧内预测)”时，可以意指“帧内预测”被提出为“预测”的示例。换句话说，本公开的“预测”不限于“帧内预测”，并且“帧内预测”是作为“预测”的示例而提出的。另外，当指示为“预测(即，帧内预测)”时，这也可以意指“帧内预测”被提出为“预测”的示例。
在本公开中的一个附图中单独描述的技术特征可以单独地实现或可以同时实现。
图1示意性地图示本公开适用于的视频/图像编译系统的示例。
参考图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流的形式向接收装置递送编码视频/图像信息或数据。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。
编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编译效率的预测、变换和量化这样的一系列过程。编码的数据(编码的视频/图像信息)可以以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并且将接收/提取的比特流发送到解码设备。
解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换、预测等这样的一系列过程来解码视频/图像。
渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
图2是示意性地图示能够应用本公开的视频/图像编码设备的配置的图。在下文中，被称为视频编码设备的术语可以包括图像编码设备。
参考图2，编码设备200可以包括图像分区器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。可以将加法器250称为重构器或重构块生成器。在上面描述的图像分区器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由根据实施例的一个或多个硬件组件(例如，编码器芯片组或处理器)配置。此外，存储器270可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件还可以包括存储器270作为内部/外部组件。
图像分区器210可以将输入到编码设备200的输入图像(或图片或帧)分区成一个或多个处理单元。作为一个示例，可以将处理单元称为编译单元(CU)。在这种情况下，从编译树单元(CTU)或最大编译单元(LCU)开始，可以根据四叉树二叉树三叉树(QTBTTT)结构递归地划分编译单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构来将一个编译单元划分成更深深度的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构并且可以稍后应用二叉树结构和/或三叉树结构。可替选地，可以首先应用二叉树结构。可以基于不进一步划分的最终编译单元来执行根据本公开的编译过程。在这种情况下，可以根据图像特性基于编译效率将最大编译单元直接用作最终编译单元。可替选地，可以按需将编译单元递归地划分成进一步更深深度的编译单元，使得可以将最佳大小的编译单元用作最终编译单元。这里，编译过程可以包括诸如将稍后描述的预测、变换和重构的过程。作为另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可以从上述最终编译单元分割或分区。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
根据情况，可以使用单元和诸如块、区域等之类的术语来代替彼此。在通常情况下，M×N块可以表示由M列和N行构成的样本或变换系数的集。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可以用作与一个图片(或图像)的像素或像元(pel)相对应的术语。
减法器231从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示的，可以将在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元称为减法器231。预测器可以对处理目标块(在下文中，称为“当前块”)执行预测并且可以生成包括用于当前块的预测样本的预测块。预测器可以确定是否在当前块或CU基础上应用帧内预测或帧间预测。如稍后讨论的，在每个预测模式的描述中，预测器可以生成与预测相关的各种信息，诸如预测模式信息，并且将所生成的信息发送到熵编码器240。可以在熵编码器240中对关于预测的信息进行编码并且以比特流的形式输出。
帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的邻近区域中或在远离当前块的遥远区域中。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的细节程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，并且可以取决于配置而使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于参考图片上由运动矢量指定的参考块(参考样本阵列)来导出用于当前块的预测块。此时，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本单元来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括关于帧间预测方向的信息(L0预测、L1预测、Bi预测等)。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或不同。可以将时间邻近块称为并置参考块、并置CU(colCU)等，并且可以将包括时间邻近块的参考图片称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表并且生成指示哪个候选被用于导出当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式中，与合并模式不同，可以不发送残差信号。在运动信息预测(运动矢量预测，MVP)模式的情况下，可以将邻近块的运动矢量用作运动矢量预测子，并且可以通过用信号发送运动矢量差来指示当前块的运动矢量。
预测器220可以基于各种预测方法来生成预测信号。例如，预测器可以应用帧内预测或帧间预测以用于对一个块进行预测并且还可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。此外，预测器可以基于帧内块复制(IBC)预测模式或调色板模式以便对块执行预测。IBC预测模式或调色板模式可以被用于游戏等中的内容图像/视频编译，诸如屏幕内容编译(SCC)。尽管IBC基本上在当前块中执行预测，但是在当前块内导出参考块的方面可以与帧间预测类似地执行。也就是说，IBC能够使用本公开中描述的帧间预测技术中的至少一个。
通过帧间预测器221和/或帧内预测器222生成的预测信号可以被用于生成重构信号或者生成残差信号。变换器232可以通过对残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一个。这里，GBT意指当通过图来表示像素之间的关系信息时从图获得的变换。CNT指的是基于使用所有先前重构的像素生成的预测信号所获得的变换。另外，变换过程可以被应用于具有相同大小的正方形像素块或者可以被应用于具有除了正方形块之外的可变大小的块。
量化器233可以量化变换系数并且将量化变换系数发送到熵编码器240，并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并且可以在比特流中输出编码信号。可以将关于量化变换系数的信息称为残差信息。量化器233可以基于系数扫描顺序将块类型量化变换系数重新排列成一维矢量形式，并且基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。熵编码器240可以执行各种编码方法，诸如例如指数哥伦布(exponential Golomb)、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等。熵编码器240可以一起或单独地对除量化变换系数以外的视频/图像重构所必需的信息(例如，语法元素的值等)进行编码。能够以比特流的形式在网络抽象层(NAL)的单元基础上发送或存储编码信息(例如，编码视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等的各种参数集的信息。此外，视频/图像信息还可以包括一般约束信息。在本公开中，可以在视频/图像信息中包括从编码设备向解码设备发送/用信号发送的信息和/或语法元素。视频/图像信息可以通过上述编码过程来编码并且被包括在比特流中。比特流可以通过网络来发送，或者存储在数字存储介质中。这里，网络可以包括广播网络、通信网络和/或类似物，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。可以将发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储装置(未示出)配置为编码设备200的内部/外部元件，或者可以将发送器包括在熵编码器240中。
从量化器233输出的量化变换系数可以用于生成预测信号。例如，通过经由解量化器234和逆变换器235对量化变换系数应用解量化和逆变换，可以重构残差信号(残差块或残差样本)。加法器255将重构残差信号加到从帧间预测器221或帧内预测器222输出的预测信号，使得能够生成重构信号(重构图片、重构块、重构样本阵列)。当处理目标块没有残差时，如在应用跳过模式的情况下一样，可以将预测块用作重构块。可以将加法器250称为重构器或重构块生成器。所生成的重构信号可以被用于当前块中的下一处理目标块的帧内预测，并且如稍后描述的，所生成的重构信号可以被用于通过滤波对下一图片进行帧间预测。
同时，在图片编码和/或重构过程中，可以应用亮度映射与色度缩放(LMCS)。
滤波器260可以通过将滤波应用于重构信号来改进主观/客观视频质量。例如，滤波器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并且滤波器260可以将修改的重构图片存储在存储器270中，更具体地，在存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。如稍后在每种滤波方法的描述中讨论的，滤波器260可以生成与滤波相关的各种信息并且将所生成的信息发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式输出。
可以将被发送到存储器270的修改的重构图片用作帧间预测器221中的参考图片。在这样做时，编码设备可以避免当应用帧间预测时编码设备200和解码设备中的预测失配，并且还可以改进编译效率。
存储器270DPB可以存储修改的重构图片以便将它用作帧间预测器221中的参考图片。存储器270可以存储从其导出运动信息(或者对其进行编码)的当前图片中的块的运动信息和/或已经(或先前)重构的图片中的块的运动信息。可以将所存储的运动信息发送到帧间预测器221以便被用作邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本并且可以将重构样本发送到帧内预测器222。
图3是示意性地图示能够应用本公开的视频/图像解码设备的配置的图。
参考图3，视频解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器322。在上面描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由根据实施例的一个或多个硬件组件(例如，解码器芯片组或处理器)配置。此外，存储器360可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以与已经在图2的编码设备中处理视频/图像信息的过程对应地重构图像。例如，解码设备300可以基于与从比特流获得的块分区相关的信息来导出单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编译单元，该编译单元可以从编译树单元或最大编译单元沿着四叉树结构、二叉树结构和/或三叉树结构被分区。可以从编译单元导出一个或多个变换单元。并且，可以通过再现器来再现通过解码设备300解码和输出的重构图像信号。
解码设备300能够以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对所接收到的信号进行解码。例如，熵解码器310可以解析比特流以导出图像重构(或图片重构)所需要的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等的各种参数集的信息。此外，视频/图像信息还可以包括一般约束信息。解码设备可以进一步基于关于参数集的信息和/或一般约束信息来对图片进行解码。在本公开中，将稍后描述的用信号发送/接收的信息和/或语法元素可以通过解码过程来解码并且从比特流获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编码方法来对比特流中的信息进行解码，并且可以输出图像重构所必需的语法元素的值和有关残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息以及邻近和解码目标块的解码信息或在前一个步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率，并且执行bin的算术解码以生成与每个语法元素值相对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。可以将在熵解码器310中解码的信息之中关于预测的信息提供给预测器(帧间预测器332和帧内预测器331)，并且可以将已经在熵解码器310中对其执行熵解码的残差值即量化变换系数以及相关参数信息输入到残差处理器320。残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。此外，可以将在熵解码器310中解码的信息之中关于滤波的信息提供给滤波器350。同时，接收从编码设备输出的信号的接收器(未示出)可以进一步将解码设备300配置为内部/外部元件，并且接收器可以是熵解码器310的组件。同时，可以将根据本公开的解码设备称为视频/图像/图片编译设备，并且可以将解码设备分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
解量化器321可以通过对量化变换系数进行解量化来输出变换系数。解量化器321能够以二维块的形式重新排列量化变换系数。在这种情况下，重新排列过程可以基于在编码设备中执行的系数扫描的次序来执行重新排列。解量化器321可以使用量化参数(例如，量化步长信息)来对量化变换系数执行解量化并且获得变换系数。
逆变换器322通过对变换系数执行逆变换来获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测并且生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定是否对当前块应用帧内预测或帧间预测，并且更具体地，预测器可以确定帧内/帧间预测模式。
预测器可以基于各种预测方法来生成预测信号。例如，预测器可以应用帧内预测或帧间预测以用于对一个块进行预测，并且还可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。另外，预测器可以执行帧内块复制(IBC)以用于对块进行预测。帧内块复制可以被用于游戏等中的内容图像/视频编译，诸如屏幕内容编译(SCC)。尽管IBC基本上在当前块中执行预测，但是在当前块内导出参考块的方面可以与帧间预测类似地执行。也就是说，IBC可以使用本公开中描述的帧间预测技术中的至少一个。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的邻近区域中或在远离当前块的遥远区域中。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参考图片上由运动矢量指定的参考块(参考样本阵列)来导出用于当前块的预测块。此时，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本单元预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括关于帧间预测方向的信息(L0预测、L1预测、Bi预测等)。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表并且基于接收到的候选选择信息来导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。
加法器340可以通过将所获得的残差信号添加到从预测器330输出的预测信号(预测块、预测样本阵列)来生成重构信号(重构图片、重构块、重构样本阵列)。当处理目标块没有残差时，如在应用跳过模式的情况下一样，可以将预测块用作重构块。
可以将加法器340称为重构器或重构块生成器。所生成的重构信号可以被用于当前块中的下一处理目标块的帧内预测，并且如稍后描述的，所生成的重构信号可以通过滤波来输出或者被用于下一图片的帧间预测。
同时，在图片解码过程中，可以应用亮度映射与色度缩放(LMCS)。
滤波器350可以通过将滤波应用于重构信号来改进主观/客观视频质量。例如，滤波器350可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并且可以将修改的重构图片发送到存储器360中，更具体地，存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
可以将被存储在存储器360的DPB中的(修改的)重构图片用作帧间预测器332中的参考图片。存储器360可以存储已从其导出(或者解码)运动信息的当前图片中的块的运动信息和/或已经(或先前)重构的图片中的块的运动信息。可以将所存储的运动信息发送到帧间预测器260以便被用作邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本并且可以将重构样本发送到帧内预测器331。
在本说明书中，解码设备300的预测器330、解量化器321、逆变换器322和滤波器350中描述的示例可以分别类似地或对应地应用于编码设备200的预测器220、解量化器234、逆变器235和滤波器260。
如上所述，执行预测以便在执行视频编译时提高压缩效率。在这样做时，可以生成包括用于作为编译目标块的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。可以在编码设备和解码设备中相同地导出预测块，并且编码设备可以通过向解码设备用信号发送不是原始块它本身的原始样本值而是关于原始块与预测块之间的残差的信息(残差信息)来提高图像编译效率。解码设备可以基于残差信息来导出包括残差样本的残差块，通过将残差块加到预测块来生成包括重构样本的重构块，并且生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如，编码设备可以导出原始块与预测块之间的残差块，通过对包括在残差块中的残差样本(残差样本阵列)执行变换过程来导出变换系数，并且通过对变换系数执行量化过程来导出量化变换系数，使得它能够(通过比特流)将相关残差信息用信号发送给解码设备。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核、量化参数等。解码设备可以执行量化/解量化过程并且基于残差信息来导出残差样本(或残差样本块)。解码设备可以基于预测块和残差块来生成重构块。编码设备可以通过对量化变换系数进行解量化/逆变换来导出残差块以供参考以进行下一图片的帧间预测，并且可以基于所导出的残差块来生成重构图片。
图4图示应用本公开的内容流传输系统的结构。
此外，应用本公开的内容流系统可以大致包括编码服务器、流服务器、web服务器、媒体存储、用户设备和多媒体输入装置。
编码服务器用于将从诸如智能电话、相机、摄像机等的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且向流服务器发送它。作为另一示例，在诸如智能电话、相机、摄像机等的多媒体输入装置直接生成比特流的情况下，可以省略编码服务器。可以通过应用本公开的编码方法或比特流生成方法来生成比特流。并且流服务器可以在发送或接收比特流的过程期间临时存储比特流。
流服务器基于用户的请求通过web服务器向用户设备发送多媒体数据，web服务器用作向用户通知存在什么服务的器具。当用户请求用户想要的服务时，web服务器将请求传送至流服务器，并且流服务器向用户发送多媒体数据。在此而言，内容流系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流系统中的相应设备之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收内容的情况下，可以实时地接收内容。在这种情况下，为了平稳地提供流服务，流服务器可以存储比特流达预定时间。
例如，用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、板式PC、平板PC、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。内容流系统中的各个服务器可以作为分布式服务器操作，并且在这种情况下，由各个服务器接收到的数据可以用分布式方式进行处理。
当执行帧内预测时，可以使用样本之间的相关性，并且可以获得原始块与预测块之间的差，即残差。上述变换和量化可以被应用于残差，因此可以减少空间冗余。在下文中，具体地描述使用帧内预测的编码方法和解码方法。
帧内预测是指用于在包括当前块的图片(在下文中，当前图片)内基于当前块外部的参考样本来生成用于当前块的预测样本的预测。在这种情况下，当前块外部的参考样本可以是指与当前块相邻的样本。当对当前块应用帧内预测时，可以导出要用于当前块的帧内预测的邻近参考样本。
例如，在当前块的大小(宽度×高度)是nW×nH时，当前块的邻近参考样本可以包括：包括有与当前块的左边界相邻的样本和左下邻近样本的总共2×nH个样本、包括有与当前块的上边界相邻的样本和右上邻近样本的总共2×nW个样本、以及当前块的一个左上邻近样本。可替选地，当前块的邻近参考样本可以包括上邻近样本的多个行和左邻近样本的多个列。此外，当前块的邻近参考样本可以包括与大小为nW×nH的当前块的右边界相邻的总共nH个样本、与当前块的下边界相邻的总共nW个样本、以及当前块的一个右下邻近样本。
这里，当前块的邻近参考样本中的一些可能尚未被解码或者可能不可用。在这种情况下，解码设备可以通过利用可用样本取代不可用样本来配置要用于预测的邻近参考样本。可替选地，解码设备可以通过可用样本的插值来配置要用于预测的邻近参考样本。
当邻近参考样本被导出时，(i)可以基于当前块的邻近参考样本的平均或插值来导出预测样本，或者(ii)可以基于当前块的邻近参考样本当中存在于用于预测样本的特定(预测)方向上的参考样本来导出预测样本。当帧内预测模式是非定向模式或非角度模式时可以应用(i)，而当帧内预测模式是定向模式或角度模式时可以应用(ii)。
帧内预测模式可以包括非定向(或非角度)帧内预测模式和定向(或角度)帧内预测模式。例如，在HEVC中，使用包括两个非定向帧内预测模式和33个定向帧内预测模式的帧内预测模式。非定向帧内预测模式可以包括作为帧内预测模式0的平面帧内预测模式以及作为帧内预测模式1的DC帧内预测模式，而定向帧内预测模式可以包括帧内预测模式2至34。平面帧内预测模式可以被称为平面模式，而DC帧内预测模式可以被称为DC模式。
可替选地，为了捕获自然视频中呈现的任意边缘方向，可以如在下面在图10中示出的那样将定向帧内预测模式的数量从33扩展到65。在这种情况下，帧内预测模式可以包括两个非定向帧内预测模式和65个定向帧内预测模式。非定向帧内预测模式可以包括作为帧内预测模式0的平面帧内预测模式以及作为帧内预测模式1的DC帧内预测模式，而定向帧内预测模式可以包括帧内预测模式2至66。扩展的定向帧内预测模式可以被应用于任何大小的块，并且可以被应用于亮度分量和色度分量二者。然而，上述示例是为了图示，并且还可以在帧内预测模式的数量不同的情况下应用本文档的实施例。可以取决于情况而进一步使用帧内预测模式67，并且帧内预测模式67可以是指线性模型(LM)模式。
图5图示本文档的实施例适用于的帧内预测模式的示例。
参考图5，可以基于具有左上对角线预测方向的帧内预测模式34来将帧内预测模式划分成具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式。在图5中，H和V分别指示水平方向性和垂直方向性，并且数字-32至32中的每一个指示在样本网格位置上以1/32单位的位移。帧内预测模式2至33具有水平方向性，而帧内预测模式34至66具有垂直方向性。帧内预测模式18和帧内预测模式50分别是指水平帧内预测模式和垂直帧内预测模式。帧内预测模式2可以被称为左下对角线帧内预测模式，帧内预测模式34可以被称为左上对角线帧内预测模式，并且帧内预测模式66可以被称为右上对角线帧内预测模式。
基于矩阵的帧内预测(在下文中，MIP)可以被用作用于帧内预测的方法。可以将MIP称为仿射线性加权帧内预测(ALWIP)或矩阵加权帧内预测(MWIP)。
当对当前块应用MIP时，可以通过以下操作来导出用于当前块的预测样本：i)使用已经受平均过程的邻近参考样本来ii)执行矩阵-矢量乘法过程，以及(iii)必要时进一步执行水平/垂直插值过程。可以与在前述LIP、PDPC、MRL或ISP帧内预测中使用的或在正常帧内预测中使用的帧内预测模式不同地配置用于MIP的帧内预测模式。
用于MIP的帧内预测模式可以被称为仿射线性加权帧内预测模式或基于矩阵的帧内预测模式。例如，可以取决于用于MIP的帧内预测模式而不同地配置在矩阵-矢量乘法中使用的矩阵和偏移。这里，矩阵可以被称为(仿射)加权矩阵，并且偏移可以被称为(仿射)偏移矢量或(仿射)偏置矢量。在本公开中，用于MIP的帧内预测模式可以被称为MIP帧内预测模式、仿射线性加权帧内预测(ALWIP)模式、矩阵加权帧内预测(MWI)模式或基于矩阵的帧内预测模式。
为了预测具有宽度(W)和高度(H)的矩形块的样本，MIP使用邻近该块的左边界的重构样本当中的一条H线和邻近该块的上边界的重构样本当中的一条W线作为输入值。当无重构样本可用时，可以通过应用于一般帧内预测的插值方法来生成参考样本。
图6图示根据示例的基于MIP的预测样本生成过程。参考图6如下描述MIP过程。
1.平均过程
在边界样本当中，通过平均过程来提取针对W＝H＝4的情况的四个样本和针对任何其他情况的八个样本。
2.矩阵-矢量乘法过程
矩阵矢量乘法是以平均样本作为输入随后加上偏移来执行的。通过此操作，可以导出用于原始块中的子采样样本集的缩减预测样本。
3.(线性)插值过程
剩余位置处的预测样本通过线性插值从子采样样本集的预测样本生成，所述线性插值是每个方向上的单步线性插值。
生成预测块或预测样本所必需的矩阵和偏移矢量可以从用于矩阵的三个集S0、S1和S2中选择。
集S0可以包括：16个矩阵A0 i，i∈{0,…,15}，并且每个矩阵可以包括16行、四列；以及16个偏移矢量b0 i，i∈{0,…,15}。集S0的矩阵和偏移矢量可以被用于4×4块。在另一示例中，集S0可以包括18个矩阵。
集S1可以包括：八个矩阵A1 i，i∈{0,…,7}，并且每个矩阵可以包括16行、八列；以及八个偏移矢量b1 i，i∈{0,…,7}。在另一示例中，集S1可以包括六个矩阵。集S1的矩阵和偏移矢量可以被用于4×8、8×4和8×8块。可替选地，集S1的矩阵和偏移矢量可以被用于4×H或W×4块。
最后，集S2可以包括：六个矩阵A2 i，i∈{0,…,5}，并且每个矩阵可以包括64行、八列；以及六个偏移矢量b2 i，i∈{0,…,5}。集S2的矩阵和偏移矢量或其一部分可以被用于集S0和集S1不适用于的具有不同大小的任何块。例如，集S2的矩阵和偏移矢量可以被用于具有8或更大的高度和宽度的块的操作。
矩阵-矢量乘积的计算所需要的乘法的总数总是小于或等于4×W×H。也就是说，在MIP模式中，每样本需要直至四个乘法。
此外，当前块可以被分割成垂直或水平子分区，并且可以基于相同的帧内预测模式来执行帧内预测，其中可以以子分区为单位导出并使用邻近参考样本。也就是说，在这种情况下，用于当前块的帧内预测模式可以被同样地应用于子分区，并且可以以子分区为单位导出并使用邻近参考样本，从而在一些情况下改进帧内预测的性能。此预测方法可以被称为帧内子分区(ISP)或基于ISP的帧内预测。
帧内子分区(ISP)编译是指通过在水平方向或垂直方向上分割要当前编译的块来执行帧内预测编译。在这种情况下，可以通过以分割块为单位执行编码/解码来生成重构块，并且可以将重构块用作用于下一个分割块的参考块。根据示例，在ISP编译中，一个编译块可以被分割成两个或四个子块并且然后可以被编译，并且在ISP中，一个子块参考左邻近子块或上邻近子块的重构像素的值经受帧内预测。如本文所使用的，可以将“编译”用作包括由编码设备执行的编译和由解码设备执行的解码二者的概念。
表1示出当应用ISP时根据块的大小分割的子块的数量，并且根据ISP分割的子分区可以被称为变换块(TU)。
[表1]
块大小(CU) 分区的数量
4×4 不可用
4×8、8×4 2
任何其他情况 4
ISP根据块的大小在垂直方向或水平方向上将通过亮度帧内预测的块分割成两个或四个子分区。例如，ISP适用于的块的最小大小是4×8或8×4。当块的大小大于4×8或8×4时，块被分割成四个子分区。
图7和图8图示一个编译块被分割成子块的示例。具体地，图7图示分割作为4×8块或8×4块的编译块(宽度(W)×高度(H))的示例，并且图8图示分割不是4×8块、8×4块或4×4块的编译块的示例。
当应用ISP时，可以根据分割类型例如水平地、垂直地、从左到右或从上到下依次对子块进行编译，其中一个子块可以经受逆变换、帧内预测和重构，此后可以对下一个子块进行编译。对于最左或最上子块，如在常规帧内预测方法中那样，已经编译的编译块的重构像素被用于参考。此外，当后续内部子块的每侧与前一个子块不相邻时，如在常规帧内预测方法中那样，已经编译的相邻编译块的重构像素被用于参考以导出与该侧相邻的参考像素。
在ISP编译模式中，可以用相同的帧内预测模式对所有子块进行编译，并且可以用信号发送指示是否使用ISP编译的标志和指示执行分割的方向(水平或垂直)的标志。如图7和图8所示，可以取决于块形状而将子块的数量调整为2或4，并且当一个子块的大小(宽度×高度)小于16时，可能不允许分割成对应数量的子块或者可以设置不应用ISP编译的限制。
在ISP预测模式中，一个编译单元被分割成两个或四个分区块，即子块，以被预测，并且对这两个或四个分割块应用相同的帧内预测模式。
图9示意性地图示根据本公开的实施例的多重变换技术。
参考图9，变换器可以对应于前述图2的编码设备中的变换器，并且逆变换器可以对应于前述图2的编码设备中的逆变换器，或者对应于图3的解码设备中的逆变换器。
变换器可以通过基于残差块中的残差样本(残差样本阵列)执行初级变换来导出(初级)变换系数(S910)。可以将此初级变换称为核心变换。在本文中，初级变换可以基于多重变换选择(MTS)，并且当应用多重变换作为初级变换时，可以将它称为多核心变换。
多核心变换可以表示附加地使用离散余弦变换(DCT)类型2和离散正弦变换(DST)类型7、DCT类型8和/或DST类型1进行变换的方法。也就是说，多核心变换可以表示基于从DCT类型2、DST类型7、DCT类型8和DST类型1之中选择的多个变换核将空间域的残差信号(或残差块)变换为频域的变换系数(或初级变换系数)的变换方法。在本文中，从变换器的视角来看初级变换系数可以称为临时变换系数。
换句话说，当应用常规变换方法时，可以通过基于DCT类型2对残差信号(或残差块)应用从空间域到频率域的变换来生成变换系数。与此不同，当应用多核心变换时，可以通过基于DCT类型2、DST类型7、DCT类型8和/或DST类型1对残差信号(或残差块)应用从空间域到频率域的变换来生成变换系数(或初级变换系数)。在本文中，DCT类型2、DST类型7、DCT类型8和DST类型1可以被称为变换类型、变换核或变换核心。可以基于基函数来定义这些DCT/DST变换类型。
当执行多核心变换时，可以从变换核之中选择用于目标块的垂直变换核和水平变换核，可以基于垂直变换核对目标块执行垂直变换，并且可以基于水平变换核对目标块执行水平变换。这里，水平变换可以指示对目标块的水平分量的变换，并且垂直变换可以指示对目标块的垂直分量的变换。可以基于包括残差块的目标(CU或子块)的预测模式和/或变换索引来适应性地确定垂直变换核/水平变换核。
此外，根据示例，如果通过应用MTS来执行初级变换，则可以通过将特定基函数设置为预定值并组合要在垂直变换或水平变换中应用的基函数来设置变换核的映射关系。例如，当水平变换核表示为trTypeHor，并且垂直方向变换核表示为trTypeVer时，可以将值为0的trTypeHor或trTypeVer设置给DCT2，将值为1的trTypeHor或trTypeVer设置给DST-7，并且将值为2的trTypeHor或trTypeVer可以设置给DCT-8。
在这种情况下，MTS索引信息可以被编码并且用信号发送到解码设备以指示多个变换核集中的任何一个。例如，MTS索引0可以指示trTypeHor和trTypeVer值均为0，MTS索引1可以指示trTypeHor和trTypeVer值均为1，MTS索引2可以指示trTypeHor值为2并且trTypeVer值为1，MTS索引为3可以指示trTypeHor值为1并且trTypeVer值为2，而MTS索引4可以指示trTypeHor和trTypeVer值均为2。
在一个示例中，根据MTS索引信息的变换核集在下表中示出。
[表2]
tu_mts_idx[x0][y0] 0 1 2 3 4
trTypeHor 0 1 2 1 2
trTypeVer 0 1 1 2 2
变换器可以基于(初级)变换系数来执行次级变换以导出修改的(次级)变换系数(S920)。初级变换是从空间域到频域的变换，并且次级变换是指使用(初级)变换系数之间存在的相关性来变换成更压缩的表达式。次级变换可以包括不可分离变换。在这种情况下，可以将次级变换称为不可分离次级变换(NSST)或模式相关不可分离次级变换(MDNSST)。不可分离次级变换可以表示基于不可分离变换矩阵对通过初级变换导出的(初级)变换系数进行次级变换以为残差信号生成修改的变换系数(或次级变换系数)的变换。这里，可以不将垂直变换和水平变换分开地应用于(或者可以不将垂直变换和水平变换独立地应用于)(初级)变换系数，而是可以基于不可分离变换矩阵一次性地应用变换。换句话说，不可分离次级变换可以表示未被单独地应用于垂直方向和水平方向中的(初级)变换系数，并且可以例如通过特定预先确定的方向(例如，行优先方向或列优先方向)来将二维信号(变换系数)重新排列成一维信号并且然后基于不可分离变换矩阵来生成修改的变换系数(或次级变换系数)的变换方法。例如，根据行优先次序，MxN块以第1行、第2行、…、第N行的次序排列成线(line)。根据列优先次序，MxN块以第1列、第2列、…、第M列的次序排列成线(line)。可以将NSST应用于被配置有(初级)变换系数的块(在下文中，称为变换系数块)的左上区域。例如，当变换系数块的宽度W和高度H都是8或更大时，可以对变换系数块的左上8×8区域应用8×8 NSST。此外，在变换系数块的宽度(W)和高度(H)都是4或更大的同时，当变换系数块的宽度(W)或高度(H)小于8时，可以对变换系数块的左上min(8,W)×min(8,H)区域应用4×4NSST。然而，实施例不限于此，并且例如，即使满足仅变换系数块的宽度W或高度H为4或更大的条件，也可以将4×4 NSST应用于变换系数块的左上min(8,W)×min(8,H)区域。
这里，为了选择变换核，可以针对8×8变换和4×4变换二者配置用于不可分离次级变换的每变换集两个不可分离次级变换核，并且可以存在四个变换集。也就是说，可以针对8×8变换配置四个变换集，并且可以针对4×4变换配置四个变换集。在这种情况下，用于8×8变换的四个变换集中的每一个可以包括两个8×8变换核，而用于4×4变换的四个变换集中的每一个可以包括两个4×4变换核。
然而，随着变换的大小(即，变换所应用于的区域的大小)可以为例如除了8×8或4×4之外的大小，集的数量可以是n，并且每个集中的变换核的数量可以是k。
变换集可以被称为NSST集或LFNST集。可以例如基于当前块(CU或子块)的帧内预测模式来选择变换集之中的特定集。低频不可分离的变换(LFNST)可以是缩减不可分离的变换的示例，其将稍后描述，并且表示用于低频分量的不可分离的变换。
根据示例，可以映射根据帧内预测模式的四个变换集，例如，如下表所示。
[表3]
predModeIntra lfnstTrSetIdx
predModeIntra＜0 1
0＜＝predModeIntra＜＝1 0
2＜＝predModeIntra＜＝12 1
13＜＝predModeIntra＜＝23 2
24＜＝predModeIntra＜＝44 3
45＜＝predModeIntra＜＝55 2
56＜＝predModeIntra＜＝80 1
如表3所示，根据帧内预测模式，四个变换集中的任何一个，即，lfnstTrSetIdx，可以映射到四个索引(即，0至3)中的任何一个。
当确定特定集用于不可分离的变换时，可以通过不可分离的次级变换索引来选择特定集中的k个变换核之一。编码设备可以基于率失真(RD)校验来导出指示特定变换核的不可分离的次级变换索引，并且可以将不可分离的次级变换索引用信号发送给解码设备。解码设备可以基于不可分离的次级变换索引来选择特定集中的k个变换核中的一个。例如，lfnst索引值0可以指代第一不可分离的次级变换核，lfnst索引值1可以指代第二不可分离的次级变换核，lfnst索引值2可以指代第三不可分离的次级变换核。可替选地，lfnst索引值0可以指示第一不可分离的次级变换没有被应用于目标块，并且lfnst索引值1至3可以指示三个变换核。
变换器可以基于所选择的变换核来执行不可分离的次级变换，并且可以获得修改的(次级)变换系数。如上所述，修改的变换系数可以被导出为通过量化器量化的变换系数，并且可以被编码并用信号发送给解码设备，并且被传送到编码设备中的解量化器/逆变换器。
同时，如上所述，如果省略了次级变换，则可以将作为初级(可分离的)变换的输出的(初级)变换系数导出为如上所述通过量化器量化的变换系数，并且可以被编码并用信号发送给解码设备，并传送到编码设备中的解量化器/逆变换器。
逆变换器能够以与在上述变换器中执行一系列过程的次序相反的次序执行一系列过程。逆变换器可以接收(解量化)变换器系数，并且通过执行次级(逆)变换来导出(初级)变换系数(S950)，并且可以通过针对(初级)变换系数执行初级(逆)变换来获得残差块(残差样本)(S960)。在这方面，从逆变换器的角度来看，可以将初级变换系数称作修改的变换系数。如上所述，编码设备和解码设备可以基于残差块和预测块来生成重构块，并且可以基于重构块来生成重构图片。
解码设备还可以包括次级逆变换应用确定器(或用于确定是否应用次级逆变换的元件)和次级逆变换确定器(或用于确定次级逆变换的元件)。次级逆变换应用确定器可以确定是否应用次级逆变换。例如，次级逆变换可以是NSST、RST或LFNST，并且次级逆变换应用确定器可以基于通过解析比特流而获得的次级变换标志来确定是否应用次级逆变换。在另一示例中，次级逆变换应用确定器可以基于残差块的变换系数来确定是否应用次级逆变换。
次级逆变换确定器可以确定次级逆变换。在这种情况下，次级逆变换确定器可以基于根据帧内预测模式指定的LFNST(NSST或RST)变换集来确定应用于当前块的次级逆变换。在实施例中，可以取决于初级变换确定方法来确定次级变换确定方法。可以根据帧内预测模式来确定初级变换和次级变换的各种组合。此外，在示例中，次级逆变换确定器可以基于当前块的大小来确定应用次级逆变换的区域。
同时，如上所述，如果省略次级(逆)变换，则可以接收(解量化的)变换系数，可以执行初级(可分离的)逆变换，并且可以获得残差块(残差样本)。如上所述，编码设备和解码设备可以基于残差块和预测块来生成重构块，并且可以基于重构块来生成重构图片。
在本文档中，可以在NSST的概念中应用在其中变换矩阵(核)的大小被缩减的缩减次级变换(RST)，以便减少不可分离次级变换所需要的计算和存储器量。通常在变换块中的包括非零系数的低频区域中执行RST，并且因此可以将RST称为低频不可分离变换(LFNST)。变换索引可以被称为LFNST索引。
在本说明书中，LFNST可以是指基于具有缩减的大小的变换矩阵来对用于目标块的残差样本执行的变换。在执行缩减变换的情况下，由于变换矩阵的大小的缩减，可以缩减变换所需要的计算量。也就是说，LFNST可以用于解决在不可分离变换或大大小的块的变换下发生的计算复杂性问题。
当基于LFNST来执行次级逆变换时，编码设备200的逆变换器235和解码设备300的逆变换器322可以包括：逆缩减次级变换器，其基于变换系数的逆RST来导出修改的变换系数；以及逆初级变换器，其基于修改的变换系数的逆初级变换来导出用于目标块的残差样本。逆初级变换是指应用于残差的初级变换的逆变换。在本文档中，基于变换来导出变换系数可以是指通过应用变换来导出变换系数。
图10是图示根据本公开的实施例的RST的图。
在本公开中，“目标块”可以指代要编码的当前块，残差块或变换块。
在根据示例的RST中，可以将N维矢量映射到位于另一个空间中的R维矢量，从而可以确定缩减变换矩阵，其中R小于N。N可以是指应用了变换的块的侧边的长度的平方，或与应用了变换的块相对应的变换系数的总数，并且缩减因子可以是指R/N值。缩减因子可以被称为缩减因子、缩小因子、简化因子、简单因子或其他各种术语。此外，R可以被称为缩减系数，但是根据情况，缩减因子可以是指R。此外，根据情况，缩减因子可以是指N/R值。
在示例中，可以通过比特流来用信号发送缩减因子或缩减系数，但是该示例不限于此。例如，可以在编码设备200和解码设备300中的每个中存储用于缩减因子或缩减系数的预定义值，并且在这种情况下，可以不单独地用信号发送缩减因子或缩减系数。
根据示例的缩减变换矩阵的大小可以是小于N×N(常规变换矩阵的大小)的R×N，并且可以如下面的式1所限定。
[式1]
Figure BDA0003931415820000331
图10的(a)中示出的缩减变换块中的矩阵T可以意指式1的矩阵TRxN。如图10的(a)所示，当将缩减变换矩阵TRxN与目标块的残差样本相乘时，可以导出用于目标块的变换系数。
在示例中，如果被应用变换的块的大小是8x8并且R＝16(即，R/N＝16/64＝1/4)，则可以将根据图10的(a)的RST表达为如以下式2中所示的矩阵运算。在这种情况下，能够通过缩减因子将存储器和乘法计算缩减到大约1/4。
在本公开中，矩阵运算可以理解为通过将列矢量与设置在列矢量的左侧的矩阵相乘来获得列矢量的运算。
[式2]
Figure BDA0003931415820000341
在式2中，r1至r64可以表示目标块的残差样本，并且具体地可以是通过应用初级变换而生成的变换系数。作为式2的计算的结果，可以导出目标块的变换系数ci，并且导出ci的过程可以如式3所示。
[式3]
Figure BDA0003931415820000342
作为式3的计算的结果，可以导出用于目标块的变换系数c1至cR。也就是说，当R＝16时，可以导出用于目标块的变换系数c1至c16。虽然为目标块导出了64(N)个变换系数，但是如果代替RST，应用常规变换(regular transform)并且将64x64(NxN)大小的变换矩阵与64x1(Nx1)大小的残差样本相乘，则因为RST被应用，所以为目标块导出仅16(R)个变换系数。由于用于目标块的变换系数的总数从N减小到R，所以由编码设备200发送到解码设备300的数据量减少，如此能够改进编码设备200与解码设备300之间的传输的效率。
当从变换矩阵的大小的视角考虑时，常规变换矩阵的大小为64×64(N×N)，但缩减变换矩阵的大小缩减为16×64(R×N)，因此与执行常规变换的情况相比，执行LFNST的情况下的存储使用率可以减小R/N比率。另外，当与使用常规变换矩阵的情况下的乘法计算的数量N×N相比时，使用缩减变换矩阵可以将乘法计算的数量(R×N)减小R/N比率。
在示例中，编码设备200的变换器232可以通过针对用于目标块的残差样本执行初级变换和基于RST的次级变换来导出用于目标块的变换系数。可以将这些变换系数传递到解码设备300的逆变换器，并且解码设备300的逆变换器322可以基于针对变换系数的逆缩减次级变换(RST)来导出修改的变换系数，并且可以基于针对修改的变换系数的逆初级变换来导出用于目标块的残差样本。
根据示例的逆RST矩阵TNxR的大小是小于常规逆变换矩阵的大小NxN的NxR，并且与式4中所示的缩减变换矩阵TRxN处于转置关系。
图10的(b)中示出的缩减逆变换块中的矩阵Tt可以意指逆RST矩阵TRxN T(上标T意指转置)。当如图10的(b)所示将逆RST矩阵TRxN T与用于目标块的变换系数相乘时，可以导出用于目标块的修改的变换系数或用于当前块的残差样本。可以将逆RST矩阵TRxN T表达为(TRxN)TNxR。
更具体地，当逆RST被用作次级逆变换时，当逆RST矩阵TN×R T被乘以目标块的变换系数时，可以导出目标块的修改的变换系数。此外，可以将逆RST用作逆初级变换，并且在这种情况下，当将逆RST矩阵TN×R T与目标块的变换系数相乘时，可以导出目标块的残差样本。
在示例中，如果被应用逆变换的块的大小是8x8并且R＝16(即，R/N＝16/64＝1/4)，则可以将根据图10的(b)的RST表达为如以下式4中所示的矩阵运算。
[式4]
Figure BDA0003931415820000361
在式4中，c1至c16可以表示目标块的变换系数。作为式4的计算的结果，可以导出表示目标块的修改的变换系数或目标块的残差样本的ri，并且导出ri的过程可以如式5所示。
[式5]
Figure BDA0003931415820000362
作为式5的计算的结果，可以导出表示目标块的修改的变换系数或目标块的残差样本的r1至rN。从逆变换矩阵的大小的视角考虑，常规逆变换矩阵的大小为64×64(N×N)，但逆缩减变换矩阵的大小缩减为64×16(R×N)，因此与执行常规逆变换的情况相比，执行逆RST的情况下的存储使用率可以减小R/N比率。另外，当与使用常规逆变换矩阵的情况下的乘法计算的数量N×N相比时，使用逆缩减变换矩阵可以将乘法计算的数量(N×R)减少R/N比率。
根据本公开的实施例，对于编码过程中的变换，可以仅选择48条数据，并且可以向其应用最大16×48变换核矩阵，而不是将16×64变换核矩阵应用于形成8×8区域的64条数据。此处，“最大”意味着m在m×48变换核矩阵中具有最大值16以用于生成m个系数。也就是说，当通过将m×48变换核矩阵(m≤16)应用于8×8区域来执行RST时，输入48条数据，并且生成m个系数。当m是16时，输入48条数据并且生成16个系数。也就是说，假设48条数据形成48×1矢量，16×48矩阵和48×1矢量依次相乘，由此生成16×1矢量。这里，形成8×8区域的48条数据可以被适当地排列，由此形成48×1矢量。例如，可以基于构成8×8区域之中的除了右下4×4区域之外的区域的48条数据来构造48×1矢量。这里，当通过应用最大16×48变换核矩阵来执行矩阵运算时，生成16个修改的变换系数，并且可以根据扫描顺序将16个修改的变换系数排列在左上4×4区域中，并且可以用零填充右上4×4区域和左下4×4区域。
对于解码过程中的逆变换，可以使用前述变换核矩阵的转置矩阵。也就是说，当在由解码设备执行的逆变换过程中执行逆RST或LFNST时，根据预定排列顺序在一维矢量中配置应用逆RST的输入系数数据，并且可以根据预定排列顺序将通过将一维矢量与在一维矢量左侧的对应的逆RST矩阵相乘而获得的修改的系数矢量排列到二维块中。
总之，在变换过程中，当RST或LFNST被应用于8×8区域时，在8×8区域的除了右下区域之外的左上区域、右上区域和左下区域中的48个变换系数与16×48变换核矩阵的矩阵运算。对于矩阵运算，以一维阵列输入48个变换系数。当执行矩阵运算时，导出16个修改的变换系数，并且可以将修改的变换系数排列于8×8区域的左上区域中。
相反，在逆变换过程中，当将逆RST或LFNST应用于8×8区域时，可以根据扫描顺序以一维阵列输入8×8区域中的变换系数之中的对应于8×8区域的左上区域的16个变换系数，并且可以经历与48×16变换核矩阵的矩阵运算。也就是说，矩阵运算可以表示为(48×16矩阵)*(16×1变换系数矢量)＝(48×1修改的变换系数矢量)。这里，n×1矢量可以被解释为具有与n×1矩阵相同的含义，并且因此可以被表示为n×1列矢量。此外，*表示矩阵乘法。当执行矩阵运算时，可以导出48个修改的变换系数，并且可以将48个修改的变换系数排列在8×8区域中的除了右下区域之外的左上区域、右上区域和左下区域中。
根据示例，可以如在表4中一样在编译单元语法表中用信号发送用于MIP的语法元素。
[表4]
Figure BDA0003931415820000381
Figure BDA0003931415820000391
Figure BDA0003931415820000401
在表4的编译单元语法表中用信号发送的intra_mip_flag[x0][y0]是指示是否对编译单元应用MIP帧内模式的标志信息。
除了表4，还如在表5中那样，intra_mip_flag[x0][y0]在规范文本中被引用多次，并且特别地，用于除(x0,y0)以外的位置的intra_mip_flag的值，例如intra_mip_flag[xCb+cbWidth/2][yCb+cbHeight/2]也被引用。
这里，x0和y0分别指示基于亮度图片的x坐标和y坐标，当亮度图片的最左位置被定义为0时x坐标以亮度样本单位从左到右增加，而当亮度图片的最上位置被定义为0时y坐标以亮度样本单位从上到下增加。可以以诸如(x,y)的二维坐标形式表达x坐标和y坐标。
然而，intra_mip_flag[x0][y0]可以仅针对(x0,y0)位置被认为有效，并且(x0,y0)对应于用信号发送intra_mip_flag[x0][y0]的编译单元(CU)的左上位置。也就是说，对于每个编译单元，可以考虑仅针对作为在编译单元中作为代表位置的左上位置的(x0,y0)用信号发送intra_mip_flag[x0][y0]。
在表5中，由于用于除了作为编译单元中的左上位置的(x0,y0)的其他位置的intra_mip_flag值被引用(下划线)，所以需要填充用于除左上位置以外的位置的intra_mip_flag值的信息。
[表5]
Figure BDA0003931415820000411
Figure BDA0003931415820000421
Figure BDA0003931415820000431
Figure BDA0003931415820000441
Figure BDA0003931415820000451
如在表4和表5中那样，intra_mip_flag被定义为语法元素，并且如在表5中图示的intra_mip_flag的语义(7.4.11.5编译单元语义)中那样，intra_mip_flag在不存在时被推断为0。
可以在导出帧内预测模式时使用intra_mip_flag的值(8.4.1和8.4.2)。例如，如8.4.2中描述的，可以使用用于邻近块的或邻近块中的特定位置的intra_mip_flag的值(intra_mip_flag[xNbX][yNbX]等于1)。
此外，如8.3.4中描述的，当导出用于色度块的帧内预测模式时，可以使用对应亮度块的位置的intra_mip_flag的值(-色度帧内预测模式IntraPredModeC[xCb][yCb]被设置为等于IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2])。
另外，可以不仅在帧内预测中而且还在变换过程中使用intra_mip_flag的值(8.7.4.1——当intra_mip_flag[xTbY][yTbY]等于1并且cIdx等于0时，predModeIntra被设置为等于INTRA_PLANAR)，并且可以在导出要编译的目标块的上下文索引的过程中使用用于邻近块的intra_mip_flag的值(表132：使用左和上语法元素的ctxInc规范)。
因此，考虑intra_mip_flag为二维阵列变量，可能在除(x0,y0)以外的位置中填写intra_mip_flag阵列变量值的方法中出现歧义。也就是说，由于语义规定intra_mip_flag[x0][y0]在不存在时被推断为0，所以在intra_mip_flag阵列中的未填充位置中填充任何非零值可能是模糊的，即不确定的。
因此，根据示例，可以提出定义单独的二维阵列，诸如如表6所示的IntraLumaMipFlag[x][y]，并且在后续图像编译过程中利用该二维阵列。
[表6]
Figure BDA0003931415820000461
在表6中，(x0,y0)指示当前编译的编译单元(CU)的左上位置，并且cbWidth和cbHeight分别指示编译单元的宽度和高度。此外，“x＝x0..x0+cbWidth–1”意味着x坐标值从x0到x0+cbWidth–1改变，而“y＝y0..y0+cbHeight–1”意味着y坐标值从y0到y0+cbHeight-1改变。因此，在表6中的IntraLumaMipFlag[x][y]阵列中，与编译单元相对应的区域用intra_mip_flag[x0][y0]值填充。
根据示例，在当前VVC规范文本中引用intra_mip_flag信息的所有部分(下划线)可以如表7所示的那样用IntraLumaMipFlag变量取代或修改。
[表7]
Figure BDA0003931415820000471
Figure BDA0003931415820000481
Figure BDA0003931415820000491
Figure BDA0003931415820000501
Figure BDA0003931415820000511
在表7中，可以照原样使用现有intra_mip_flag来描述确定地引用编译单元中的左上位置的IntraLumaMipFlag信息的情况。表8仅示出可以使用如从表7中提取的现有intra_mip_flag的部分。
[表8]
Figure BDA0003931415820000521
在表4中，对于当前VVC规范文本中除intra_mip_flag以外的intra_subpartitions_mode_flag可能发生相同的问题。也就是说，编译单元中除左上位置(x0,y0)以外的位置的intra_subpartitions_mode_flag信息被引用，这被示出在表9中(由下划线指示)。
因此，可以被配置成以类似于IntraLumaMipFlag变量的方式定义IntraSubPartitionsModeFlag[x][y]的二维阵列变量，以用必要的信息填充编译单元中的所有位置，然后为任何位置引用适当的值。也就是说，编译单元中的所有位置都可以用对应的intra_subpartitions_mode_flag[x0][y0]值填充。
表10示出使用IntraSubPartitionsModeFlag变量来将引用intra_subpartitions_mode_flag的部分(下划线)用IntraSubPartitionsModeFlag变量替换。在IntraSubPartitionsModeFlag的情况下，当引用关于编译单元中的左上位置的信息时，intra_subpartitions_mode_flag可以被配置成被照原样引用。
根据另一示例，此实施例中呈现的IntraLumaMipFlag变量或IntraSubPartitionModeFlag变量可以具有不同的变量名称。也就是说，这些变量可以被表达或称为不同变量。例如，IntraLumaMipFlag变量可以被称为MipFlag变量。
[表9]
Figure BDA0003931415820000531
Figure BDA0003931415820000541
[表10]
Figure BDA0003931415820000551
提供以下附图以描述本公开的具体示例。由于为图示提供附图中所示的用于装置的特定术语或用于信号/消息/字段的特定术语，因此本公开的技术特征不限于以下附图中使用的特定术语。
图11是图示根据本公开的实施例的视频解码设备的操作的流程图。
图11中公开的每个过程基于参考图5至图10描述的一些细节。因此，与参考图3和图5至图10描述的那些重叠的具体细节的描述将被省略或将被示意性地进行。
根据实施例的解码设备300可以从比特流接收关于帧内预测模式的信息、残差信息等，并且可以接收例如包括帧内预测类型信息的图像信息，该帧内预测类型信息包括用于第一目标块的帧内MIP语法元素(intra_mip_flag)(S1110)。
具体地，解码设备300可以从比特流解码关于用于当前块的量化变换系数的信息，并且可以基于关于用于当前块的量化变换系数的信息来导出用于目标块的量化变换系数。关于用于目标块的量化变换系数的信息可以被包括在序列参数集(SPS)或切片报头中，并且可以包括关于是否应用RST的信息、关于缩减因子的信息、关于用于应用RST的最小变换大小的信息、关于用于应用RST的最大变换大小的信息、逆RST大小、以及关于指示在变换集中包括的任何一个变换核矩阵的变换索引的信息中的至少一个。
解码设备可以进一步接收关于用于当前块的帧内预测模式的信息和关于是否将ISP应用于当前块的信息。解码设备可以接收并且解析指示是否应用ISP编译或应用ISP模式的标志信息，从而导出当前块是否被分割成预定数量的子分区变换块。这里，当前块可以是编译块。此外，解码设备可以通过指示当前块被分割的方向的标志信息来导出分割的子分区块的大小和数量。
解码设备300可以对用于第一目标块的帧内MIP语法元素进行解码，从而导出帧内MIP语法元素的值(S1120)。
解码设备可以基于帧内MIP语法元素的值来为与第一目标块的区域相同的预设特定区域设置变量MIP标志(S1130)。
如参考表6所描述的，变量MIP标志(IntraLumaMipFlag[x][y])可以被设置在用于帧内MIP语法元素的语义中，并且可以在用于对图像进行解码的后续过程中被利用。
特定区域可以被设置为与其中样本位于第一目标块中的区域(x＝x0..x0+cbWidth–1并且y＝y0..y0+cbHeight–1)相同。这里，cbWidth和cbHeight指示第一目标块的宽度和高度。
可以基于第一目标块的树类型不是双树色度来为特定区域设置变量MIP标志。也就是说，只有当第一目标块的树类型是单树或双树亮度而不是双树色度时，才可以将变量MIP标志针对特定区域设置为接收的帧内MIP语法元素的值。
帧内MIP语法元素intra_mip_flag只有在对应编译块的树类型是单树或双树亮度时才被用信号发送，而在树类型是双树色度时不用信号发送并且因此被推断为0。因此，当第一目标块的树类型是双树色度时，intra_mip_flag的值是0。在帧内预测或变换中，当用于色度块的帧内预测模式被导出时，采用用于亮度块的帧内预测模式，在这种情况下可以使用新设置的变量MIP标志。当用于设置变量MIP标志的条件中不具有仅在“单树和双树亮度”的情况下设置变量MIP标志的条件时，还可以在双树色度中设置变量MIP标志。在这种情况下，由于intra_mip_flag的值是0，所以变量MIP标志不包括关于亮度分量的信息，因此在导出用于色度块的帧内预测模式时不能使用亮度信息。为了防止此问题发生，只有当对应编译块(即第一目标块)不是双树色度时才可以设置变量MIP标志。
解码设备可以基于第一目标块的变量MIP标志来导出用于第二目标块的帧内预测模式(S1140)。
图12a和图12b示出用于第一目标块的变量MIP标志被用于导出用于第二目标块的帧内预测模式。
如图12a所示，第一目标块可以是第二目标块的左邻近块，并且特定区域可以包括(xCb-1,yCb+cbHeight-1)的样本位置。在这种情况下，(xCb,yCb)是第二目标块的左上样本的位置，并且cbHeight指示第二目标块的高度。
也就是说，可以基于包括在第一目标块中的(xCb-1,yCb+cbHeight-1)的样本位置(即特定区域)的变量MIP标志来导出用于第二目标块的候选帧内预测模式，并且可以基于该候选帧内预测模式来导出用于第二目标块的帧内预测模式。
在另一示例中，如图12b所示，第一目标块可以是第二目标块的上邻近块，并且特定区域可以包括(xCb+cbWidth-1,yCb-1)的样本位置。在这种情况下，(xCb,yCb)是第二目标块的左上样本的位置，并且cbWidth指示第二目标块的宽度。
也就是说，可以基于包括在第一目标块中的(xCb+cbWidth-1,yCb-1)的样本位置(即特定区域)的变量MIP标志来导出用于第二目标块的候选帧内预测模式，并且可以基于该候选帧内预测模式来导出用于第二目标块的帧内预测模式。
在再一示例中，第二目标块可以包括色度块，并且第一目标块可以是与该色度块相关的亮度块。如上所述，可以基于用于亮度块的变量MIP标志值来导出用于色度块的帧内预测模式。
在本文档中，图片/图像可以包括亮度分量阵列，并且在一些情况下可以进一步包括两个色度分量(cb、cr)阵列。也就是说，图片/图像的一个像素可以包括亮度样本和色度样本(cb、cr)。
颜色格式可以指示亮度分量和色度分量(cb、cr)的配置格式，并且可以被称为色度格式或色度阵列类型。可以预先确定或者可以自适应地用信号发送颜色格式(或色度格式)。例如，可以基于如表11所示的chroma_format_idc和separate_colour_plane_flag中的至少一者来用信号发送色度格式。
[表11]
chroma_format_idc separate_colour_plane_flag 色度格式 SubWidthC SubHeightC
0 0 单色 1 1
1 0 4:2:0 2 2
2 0 4:2:2 2 1
3 0 4:4:4 1 1
3 1 4:4:4 1 1
图13示出根据表11的色度格式的样本的配置。
色度格式索引为1即色度阵列类型1的4:2:0采样指示两个色度阵列的高度和宽度分别是亮度阵列的高度和宽度的一半，而色度格式索引为2即色度阵列类型2的4:2:2采样指示两个色度阵列的高度等于亮度阵列的高度并且其宽度是亮度阵列的宽度的一半。
色度格式索引为3即色度阵列类型3的4:4:4采样指示色度阵列的高度和宽度与亮度阵列的高度和宽度相同。
根据示例，基于第二目标块的树类型不是单树或者其色度阵列类型不是3，特定区域可以包括(xCb+cbWidth/2，yCb+cbHeight/2)的样本位置。这里，(xCb，yCb)可以指示色度块在亮度样本单元中的左上位置，cbWidth可以指示与色度块相对应的对应亮度块的宽度，而cbHeight可以指示对应亮度块的高度。
图14a至图14c示出作为第一目标块的对应亮度块的变量MIP标志被用于导出用于作为第二目标块的色度块的帧内预测模式。图14a至图14c根据亮度块和色度块的树类型和颜色格式示出包括在特定区域中的(xCb+cbWidth/2,yCb+cbHeight/2)的样本位置。
图14a示出具有单树类型并且颜色格式为4:2:0的亮度块和色度块。也就是说，图14a示出在第二目标块的树类型不是单树的条件或第二目标块的色度阵列类型不是3的条件当中满足第二目标块的色度阵列类型不是3的条件的情况。
色度块的第一样本位置(I)指示色度块的左上位置，并且亮度块的第二样本位置(II(xCb,yCb))指示色度块在亮度样本单元中的左上位置。cbWidth指示与色度块相对应的对应亮度块的宽度，而cbHeight指示对应亮度块的高度。由于颜色格式是4:2:0，所以与色度块相对应的对应亮度块的宽度和高度(cbWidth和cbHeight)是色度块的宽度和高度(cbWidth/2和cbHeight/2)的两倍。
在亮度块中由(xCb+cbWidth/2,yCb+cbHeight/2)指示的第三样本位置(III)的变量MIP标志值可以用于导出用于色度块的帧内预测模式。也就是说，可以基于包括在作为第一目标块的亮度块中的(xCb+cbWidth/2,yCb+cbHeight/2)的样本位置的变量MIP标志来导出用于作为第二目标块的色度块的候选帧内预测模式，并且可以基于该候选帧内预测模式来导出用于色度块的帧内预测模式。
图14b示出具有双树类型并且颜色格式为4:4:4的亮度块和色度块。也就是说，图14b示出在第二目标块的树类型不是单树的条件或第二目标块的色度阵列类型不是3的条件当中满足第二目标块的树类型不是单树的条件的情况。
如所示，针对由虚线指示的亮度块的色度块由虚线指示，并且由于颜色格式是4:4:4，所以亮度阵列和色度阵列的宽度和高度是相同的。尽管亮度块未被分割，但是色度块被分割和编译。
当分割的色度块的右下块是要预测的第二目标块时，第一样本位置(I)如所示指示第二目标块的左上位置，并且第二样本位置(II(xCb,yCb))指示色度块在亮度样本单元中的左上位置。
另外，由于颜色格式是4:4:4，所以在亮度块中由(xCb+cbWidth/2,yCb+cbHeight/2)指示的第三样本位置(III)位于对应亮度块中，该对应亮度块位于亮度块的右下处。
解码设备可以基于第三样本位置(III)的变量MIP标志值来导出用于色度块的帧内预测模式。也就是说，可以基于包括在作为第一目标块的亮度块中的(xCb+cbWidth/2,yCb+cbHeight/2)的样本位置的变量MIP标志来导出用于作为第二目标块的色度块的候选帧内预测模式，并且可以基于该候选帧内预测模式来导出用于色度块的帧内预测模式。
图14c示出具有双树类型并且颜色格式为4:2:0的亮度块和色度块。也就是说，图14c示出满足第二目标块的树类型不是单树的条件和第二目标块的色度阵列类型不是3的条件二者的情况。换句话说，图14c示出第二目标块的树类型不是单树并且其色度阵列类型不是3的情况。
色度块的第一样本位置(I)指示色度块的左上位置，而亮度块的第二样本位置(II(xCb,yCb))指示色度块在亮度样本单元中的左上位置。cbWidth指示与色度块相对应的对应亮度块的宽度，而cbHeight指示对应亮度块的高度。
因此，在亮度块中由(xCb+cbWidth/2,yCb+cbHeight/2)指示的第三样本位置(III)的变量MIP标志值可以用于导出用于色度块的帧内预测模式。也就是说，可以基于包括在作为第一目标块的亮度块中的(xCb+cbWidth/2,yCb+cbHeight/2)的样本位置的变量MIP标志来导出用于作为第二目标块的色度块的候选帧内预测模式，并且可以基于该候选帧内预测模式来导出用于色度块的帧内预测模式。
解码设备可以基于用于第二目标块的帧内预测模式来导出用于第二目标块的预测样本(S1150)，并且可以基于该预测样本来生成重构块(S1160)。
解码设备可以基于接收到的残差信息和预测样本来生成重构块。解码设备可以基于残差信息通过变换过程来导出变换系数，并且当在变换过程中需要用于第二目标块的帧内预测模式时，可以利用第一目标块的变量MIP标志值。
根据另一示例，当帧内预测类型信息包括用于第一目标块的帧内子分区(ISP)模式的标志语法元素(intra_subpartitions_mode_flag)时，解码设备可以使用基于intra_subpartitions_mode_flag的值而设置的变量值来导出用于第二目标块的帧内预测模式。
也就是说，解码设备可以导出标志语法元素(intra_subpartitions_mode_flag)的值，可以基于标志语法元素的值为与第一目标块的区域相同的预设特定区域设置变量ISP标志(IntraSubPartitionsModeFlag)，并且可以基于变量ISP标志的值来导出用于第二目标块的帧内预测模式。
还可以基于第一目标块的树类型不是双树色度来为特定区域设置变量ISP标志。也就是说，只有当第一目标块的树类型是单树或双树亮度而不是双树色度时，才可以针对特定区域将变量ISP标志设置为接收的标志语法元素的值。
提供以下附图以描述本公开的具体示例。因为在附图中图示的装置的特定术语或信号/消息/字段的特定术语是为了说明而提供的，所以本公开的技术特征不限于以下附图中使用的特定术语。
图15是图示根据本公开的实施例的视频编码设备的操作的流程图。
在图15中公开的每个过程基于参考图5至图10描述的一些细节。因此，与参考图2和图5至图10描述的那些重叠的具体细节的描述将被省略或将被示意性地进行。
当对第一目标块应用帧内MIP模式时，根据实施例的编码设备200可以导出用于第一目标块的预测样本并且可以导出用于第一目标块的帧内MIP标志的值(S1510)。
当ISP被应用于当前块时，编码设备可以通过每个子分区变换块来执行预测。
编码设备可以确定是否将ISP编译或者ISP模式应用于当前块，即，编译块，并且可以确定其中当前块被分割的方向，并且可以根据确定结果来导出分割的子块的大小和数量。
相同的帧内预测模式可以应用于当前块被分割成的子分区变换块，并且编码设备可以导出用于每个子分区变换块的预测样本。即，编码设备根据子分区变换块的分割形式，依次执行帧内预测，例如，水平或垂直，或从左到右或从上到下。对于最左边或最上面的子块，如在传统的帧内预测方法中，参考已经编译的编译块的重构像素。进一步地，对于与先前子分区变换块不相邻的后续内部子分区变换块的每个边，为了导出与该侧相邻的参考像素，如在传统的帧内预测方法中参考已经编译的相邻编译块的重构像素。
编码设备可以基于帧内MIP标志的值来为与第一目标块的区域相同的预设特定区域设置变量MIP标志(S1520)。
如参考表6所描述的，变量MIP标志(IntraLumaMipFlag[x][y])可以被设置在帧内MIP语法元素的语义中，并且可以在用于对图像进行解码的后续过程中被利用。
特定区域可以被设置为与其中样本位于第一目标块中的区域(x＝x0..x0+cbWidth–1并且y＝y0..y0+cbHeight–1)相同。这里，cbWidth和cbHeight指示第一目标块的宽度和高度。
可以基于第一目标块的树类型不是双树色度来为特定区域设置变量MIP标志。也就是说，只有当第一目标块的树类型是单树或双树亮度而不是双树色度时，才可以将变量MIP标志针对特定区域设置为接收的帧内MIP语法元素的值。
帧内MIP语法元素intra_mip_flag只有在对应编译块的树类型是单树或双树亮度时才被用信号发送，而在树类型是双树色度时不用信号发送并且因此被推断为0。因此，当第一目标块的树类型是双树色度时，intra_mip_flag的值是0。在帧内预测或变换中，当用于色度块的帧内预测模式被导出时，采用用于亮度块的帧内预测模式，在这种情况下可以使用新设置的变量MIP标志。当用于设置变量MIP标志的条件中不具有仅在“单树和双树亮度”的情况下设置变量MIP标志的条件时，还可以在双树色度中设置变量MIP标志。在这种情况下，由于intra_mip_flag的值是0，所以变量MIP标志不包括关于亮度分量的信息，因此不能在导出用于色度块的帧内预测模式时使用亮度信息。为了防止此问题发生，只有当对应编译块(即第一目标块)不是双树色度时才可以设置变量MIP标志。
编码设备可以基于第一目标块的变量MIP标志来导出用于第二目标块的帧内预测模式(S1530)。
参考图12a至图14c描述的细节可以被应用于由编码设备执行的帧内预测模式导出过程。
编码设备可以基于导出的用于第二目标块的帧内预测模式来导出用于第二目标块的预测样本(S1540)，并且可以基于这些预测样本来导出用于第二目标块的残差样本(S1550)。
此外，如上所述，当关于第一目标块的帧内预测类型信息是帧内子分区(ISP)模式时，可以基于指示是否执行帧内子分区(ISP)模式的标志值来设置第一目标块的变量ISP标志值。可以基于变量ISP标志值来导出用于第二目标块的帧内预测模式。
编码设备可以对基于帧内MIP标志和残差样本而生成的变换系数信息进行编码和输出(S1560)。
编码设备可以通过针对当前块基于修改的变换系数执行量化来导出量化变换系数，并且可以生成并输出包括帧内MIP标志的图像信息。
编码设备可以生成包括关于量化的变换系数的信息的残差信息。残差信息可以包括前述的变换相关信息/语法元素。编码设备可以对包括残差信息的图像/视频信息进行编码，并且能够以比特流的形式输出编码的图像/视频信息。
具体地，编码设备200可以生成关于量化的变换系数的信息并且可以对关于生成的变换系数的量化的信息进行编码。
在本公开中，可以省略量化/解量化和/或变换/逆变换中的至少一个。当省略量化/解量化时，量化的变换系数可以被称为变换系数。当省略变换/逆变换时，变换系数可以被称为系数或残差系数，或者为了表达的一致性，可以仍然被称为变换系数。
此外，在本公开中，量化的变换系数和变换系数分别可以被称为变换系数和缩放的变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编译语法来用信号发送关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来导出变换系数，并且可以通过变换系数的逆变换(缩放)来导出缩放的变换系数。可以基于缩放的变换系数的逆变换(变换)来导出残差样本。也可以在本公开的其他部分中应用/表达这些细节。
在上述实施例中，借助于一系列步骤或框来基于流程图说明方法，但是本公开不限于步骤的顺序，并且可以在与上述顺序或步骤不同的顺序或步骤中或与另一步骤同时地执行某个步骤。此外，本领域的普通技术人员可以理解，流程图所示的步骤不是排他性的，并且在不影响本公开的范围的情况下，可以并入另一步骤或者移除流程图的一个或更多个步骤。
可以将根据本公开的上述方法实现为软件形式，并且根据本公开的编码设备和/或解码设备可以被包括在诸如TV、计算机、智能电话、机顶盒、显示装置等的用于图像处理的装置中。
当本公开中的实施例由软件具体实现时，可以将上述方法具体体现为用于执行上述功能的模块(过程、功能等)。模块可以被存储在存储器中并且可以由处理器执行。存储器可以在处理器内部或外部并且能够以各种公知方式连接到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片组、逻辑电路和/或数据处理器件。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储器卡、存储介质和/或其他存储器件。也就是说，可以在处理器、微处理器、控制器或芯片上具体实现和执行本公开中描述的实施例。例如，可以在计算机、处理器、微处理器、控制器或芯片上具体实现和执行每个附图所示的功能单元。
此外，应用本公开的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、过顶(OTT)视频装置、因特网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置和医疗视频装置，并且可以用于处理视频信号或数据信号。例如，过顶(OTT)视频装置可以包括游戏机、蓝光播放器、因特网接入TV、家庭影院系统、智能电话、平板PC、数字视频记录机(DVR)等。
另外，应用本公开的处理方法能够以由计算机执行的程序的形式产生，并且被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过因特网的传输)的形式具体体现的介质。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者通过有线或无线通信网络被发送。附加地，本公开的实施例可以通过程序代码被具体体现为计算机程序产品，并且可以通过本公开的实施例在计算机上执行程序代码。程序代码可以被存储在计算机可读载体上。
本文公开的权利要求能够被以各种方式组合。例如，本公开的方法权利要求的技术特征能够被组合成在设备中实现或执行，并且设备权利要求的技术特征能够被组合成在方法中实现或执行。此外，方法权利要求和设备权利要求的技术特征能够被组合成在设备中实现或执行，并且方法权利要求和设备权利要求的技术特征能够被组合成在方法中实现或执行。

Claims (15)

1.一种由解码设备执行的图像解码方法，所述方法包括：
从比特流接收包括帧内预测类型信息的图像信息，所述帧内预测类型信息包括用于第一目标块的帧内MIP语法元素；
导出所述帧内MIP语法元素的值；
基于所述帧内MIP语法元素的所述值，为与所述第一目标块的区域相同的预设特定区域设置变量MIP标志；
导出用于第二目标块的帧内预测模式；
基于用于所述第二目标块的所述帧内预测模式，导出用于所述第二目标块的预测样本；以及
基于所述预测样本，生成重构块，
其中，基于用于所述第一目标块的所述变量MIP标志，导出用于所述第二目标块的所述帧内预测模式。
2.根据权利要求1所述的图像解码方法，其中，所述第一目标块是所述第二目标块的左邻近块，并且
其中，导出用于所述第二目标块的所述帧内预测模式包括：
基于所述变量MIP标志，导出候选帧内预测模式，以及
基于所述候选帧内预测模式，导出用于所述第二目标块的所述帧内预测模式。
3.根据权利要求2所述的图像解码方法，其中，所述特定区域包括(xCb-1,yCb+cbHeight-1)的样本位置，并且
其中，(xCb,yCb)是所述第二目标块的左上样本的位置，并且cbHeight指示所述第二目标块的高度。
4.根据权利要求1所述的图像解码方法，其中，所述第一目标块是所述第二目标块的上邻近块，并且
其中，导出用于所述第二目标块的所述帧内预测模式包括：
基于所述变量MIP标志，导出候选帧内预测模式；以及
基于所述候选帧内预测模式，导出用于所述第二目标块的所述帧内预测模式。
5.根据权利要求4所述的图像解码方法，其中，所述特定区域包括(xCb+cbWidth-1,yCb-1)的样本位置，并且
其中，(xCb,yCb)是所述第二目标块的左上样本的位置，并且cbWidth指示所述第二目标块的宽度。
6.根据权利要求1所述的图像解码方法，其中，所述第二目标块包括色度块，并且所述第一目标块是与所述色度块相关的亮度块，并且
其中，导出用于所述第二目标块的所述帧内预测模式包括：
基于所述变量MIP标志，导出对应的亮度帧内预测模式；以及
基于所述对应的亮度帧内预测模式，导出用于所述第二目标块的所述帧内预测模式。
7.根据权利要求6所述的图像解码方法，其中，基于所述第二目标块的树类型不是单树或其色度阵列类型不是3，所述特定区域包括(xCb+cbWidth/2,yCb+cbHeight/2)的样本位置，并且
其中，(xCb,yCb)指示所述色度块在亮度样本单元中的左上位置，cbWidth指示与所述色度块相对应的对应亮度块的宽度，并且cbHeight指示所述对应亮度块的高度。
8.根据权利要求1所述的图像解码方法，其中，基于所述第一目标块的树类型不是双树色度，为所述特定区域设置所述变量MIP标志。
9.一种由编码设备执行的图像编码方法，所述方法包括：
当对第一目标块应用帧内MIP模式时，导出用于所述第一目标块的帧内MIP标志的值；
基于所述帧内MIP标志的所述值，为与所述第一目标块的区域相同的预设特定区域设置变量MIP标志；
导出用于第二目标块的帧内预测模式；
基于用于所述第二目标块的所述帧内预测模式，导出用于所述第二目标块的预测样本；
基于所述预测样本，导出用于所述第二目标块的残差样本；以及
对基于所述帧内MIP标志和所述残差样本生成的变换系数信息进行编码和输出，
其中，基于用于所述第一目标块的所述变量MIP标志，导出用于所述第二目标块的所述帧内预测模式。
10.根据权利要求9所述的图像编码方法，其中，所述第一目标块是所述第二目标块的左邻近块，
其中，导出用于所述第二目标块的所述帧内预测模式包括：
基于所述变量MIP标志，导出候选帧内预测模式，以及
基于所述候选帧内预测模式，导出用于所述第二目标块的所述帧内预测模式，
其中，所述特定区域包括(xCb-1,yCb+cbHeight-1)的样本位置，并且
其中，(xCb,yCb)是所述第二目标块的左上样本的位置，并且cbHeight指示所述第二目标块的高度。
11.根据权利要求9所述的图像编码方法，其中，所述第一目标块是所述第二目标块的上邻近块，
其中，导出用于所述第二目标块的所述帧内预测模式包括：
基于所述变量MIP标志，导出候选帧内预测模式；以及
基于所述候选帧内预测模式，导出用于所述第二目标块的所述帧内预测模式，
其中，所述特定区域包括(xCb+cbWidth-1,yCb-1)的样本位置，并且
其中，(xCb,yCb)是所述第二目标块的左上样本的位置，并且cbWidth指示所述第二目标块的宽度。
12.根据权利要求9所述的图像编码方法，其中，所述第二目标块包括色度块，并且所述第一目标块是与所述色度块相关的亮度块，并且
其中，导出用于所述第二目标块的所述帧内预测模式包括：
基于所述变量MIP标志，导出对应的亮度帧内预测模式；以及
基于所述对应的亮度帧内预测模式，导出用于所述第二目标块的所述帧内预测模式。
13.根据权利要求12所述的图像编码方法，其中，基于所述第二目标块的树类型不是单树或其色度阵列类型不是3，所述特定区域包括(xCb+cbWidth/2,yCb+cbHeight/2)的样本位置，并且
其中，(xCb,yCb)指示所述色度块在亮度样本单元中的左上位置，cbWidth指示与所述色度块相对应的对应亮度块的宽度，并且cbHeight指示所述对应亮度块的高度。
14.根据权利要求9所述的图像编码方法，其中，基于所述第一目标块的树类型不是双树色度，为所述特定区域设置所述变量MIP标志。
15.一种计算机可读数字存储介质，所述计算机可读数字存储介质存储用于使图像解码方法被执行的指示信息，所述图像解码方法包括：
从比特流接收包括帧内预测类型信息的图像信息，所述帧内预测类型信息包括用于第一目标块的帧内MIP语法元素；
导出所述帧内MIP语法元素的值；
基于所述帧内MIP语法元素的所述值，为与所述第一目标块的区域相同的预设特定区域设置变量MIP标志；
导出用于第二目标块的帧内预测模式；
基于用于所述第二目标块的所述帧内预测模式，导出用于所述第二目标块的预测样本；以及
基于所述预测样本，生成重构块，
其中，基于用于所述第一目标块的所述变量MIP标志，导出用于所述第二目标块的所述帧内预测模式。
CN202180033890.4A 2020-05-11 2021-05-11 图像编译方法及其装置 Pending CN115516855A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063023229P 2020-05-11 2020-05-11
US63/023,229 2020-05-11
PCT/KR2021/005837 WO2021230602A1 (ko) 2020-05-11 2021-05-11 영상 코딩 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN115516855A true CN115516855A (zh) 2022-12-23

Family

ID=78524515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180033890.4A Pending CN115516855A (zh) 2020-05-11 2021-05-11 图像编译方法及其装置

Country Status (5)

Country Link
US (1) US20230143945A1 (zh)
KR (1) KR20230012526A (zh)
CN (1) CN115516855A (zh)
MX (1) MX2022014037A (zh)
WO (1) WO2021230602A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099626B1 (ko) * 2014-08-20 2020-04-10 한국전자통신연구원 부호화 장치 및 방법
CN105516730B (zh) * 2014-09-24 2018-04-24 晨星半导体股份有限公司 视讯编码装置及视讯解码装置以及其编码与解码方法
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
EP3849183A4 (en) * 2018-09-07 2022-06-29 B1 Institute of Image Technology, Inc. Method and device for coding/decoding image using intra prediction

Also Published As

Publication number Publication date
WO2021230602A1 (ko) 2021-11-18
MX2022014037A (es) 2022-11-30
US20230143945A1 (en) 2023-05-11
KR20230012526A (ko) 2023-01-26

Similar Documents

Publication Publication Date Title
CN113940070B (zh) 基于变换的图像解码和编码方法及发送比特流的方法
JP7260665B2 (ja) Ｂｄｐｃｍに基づく映像コーディング方法、及びその装置
CN113273214B (zh) 基于二次变换的图像编码方法及其装置
CN113826395A (zh) 图像编码中基于矩阵的帧内预测的变换
CN113853797A (zh) 使用变换索引的图像编码
CN113170197A (zh) 基于二次变换的图像编码方法及其装置
CN113302942A (zh) 基于二次变换的图像编码方法及其设备
JP2023033544A (ja) イントラ予測ベースの映像コーディングにおける変換
CN114982239A (zh) 基于变换的图像编码方法及其装置
JP2024026419A (ja) 変換に基づく映像コーディング方法及びその装置
CN114946189A (zh) 基于变换的图像编码方法及其装置
CN114731434A (zh) 基于变换的图像编码方法及其装置
CN114930847A (zh) 基于变换的图像编码方法及其装置
AU2024200793A1 (en) Intra-prediction device and method
CN114930848A (zh) 基于变换的图像编码方法及其设备
CN114930846A (zh) 基于变换的图像编码方法及其装置
CN114556921A (zh) 用于基于变换的图像编码的方法和设备
CN113940074A (zh) 基于广角帧内预测和变换的图像编码方法和装置
CN113302941A (zh) 基于二次变换的视频编码方法及其装置
CN113228685A (zh) 用于基于二次变换编码图像的方法及其装置
CN113597770B (zh) 基于变换的图像编译方法及其装置
CN114600451A (zh) 基于矩阵帧内预测的图像编码设备和方法
CN114930845A (zh) 基于变换的图像编码方法及其装置
CN114846799A (zh) 基于变换的图像编码方法及其设备
CN115516855A (zh) 图像编译方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination