CN109863751A - 用于对图片进行编码和解码的方法和装置 - Google Patents

用于对图片进行编码和解码的方法和装置 Download PDF

Info

Publication number
CN109863751A
CN109863751A CN201780065588.0A CN201780065588A CN109863751A CN 109863751 A CN109863751 A CN 109863751A CN 201780065588 A CN201780065588 A CN 201780065588A CN 109863751 A CN109863751 A CN 109863751A
Authority
CN
China
Prior art keywords
component
block
picture
described piece
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780065588.0A
Other languages
English (en)
Other versions
CN109863751B (zh
Inventor
多米尼克·托罗
穆罕默德·图尔坎
马丁·阿兰
华金·塞欠达·萨尔瓦蒂埃拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=57286411&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN109863751(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN109863751A publication Critical patent/CN109863751A/zh
Application granted granted Critical
Publication of CN109863751B publication Critical patent/CN109863751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于对图片进行编码的方法和装置。对于要编码的图片的至少一个块，从所述图片的第一分量的重建区域确定(22)所述至少一个块的解码的第一分量(21)的块预测器。然后，通过从所述块预测器的第二分量预测所述至少一个块的至少一个第二分量，对所述至少一个第二分量进行编码(23)。公开了对应的解码方法和装置。

Description

用于对图片进行编码和解码的方法和装置
技术领域
公开了一种用于将图片或视频编码为比特流的方法和装置。还公开了对应的解码方法和装置。
背景技术
为了通过网络传输数字图像或视频序列，应压缩数字图像或视频序列以减少其传输所需的带宽。
视频压缩技术通常建议相对于同一图片中的其它像素(帧内预测)或前一图像或下一图像(帧间预测)实现当前图像的像素预测。为此，图像被分成像素块。然后使用已经重建的信息来预测块，其对应于先前根据图像中块的扫描顺序在当前图像中编码/解码的块。使用当前块的帧内或帧间预测来执行当前块的编码，并且计算与当前块和预测块之间的差相对应的预测残差或“残余块”。然后例如通过使用诸如DCT(离散余弦变换)类型变换的变换来转换所得残余块。然后，通过熵编码对变换后的残差块的系数进行量化和编码，并将其传输到解码器。
更具体地，帧内预测利用当前图像的空间冗余来编码。诸如H.264/AVC或HEVC的已知视频压缩标准使用定向帧内预测模式，其使用围绕当前块的因果关系相邻块的像素来编码以用于构建当前块的预测。用于编码当前块的亮度分量的帧内预测模式针对图1A上的H.264/AVC标准和针对图1B上的HEVC标准示出。
已知的视频压缩标准通常顺序地操作于图像的颜色分量。例如，当视频是YUV格式时，首先对当前块的亮度Y分量进行编码，然后对色度分量U和V进行编码。
根据H.264/AVC标准，可以通过在9种帧内预测模式的子集中选择的帧内预测模式来预测当前块的色度分量，即，9种帧内预测模式(索引m)不是全部可用于色度分量。根据HEVC标准，可以以与36个帧内预测模式的子集(索引m)中选择的帧内预测模式类似的方式或者使用与用于亮度分量的一个帧内预测模式相同的帧内预测模式来预测当前块的色度分量。
公开了一种用于对图片进行编码的新颖方法和装置。
发明内容
根据本公开的第一方面，公开了一种用于对图片进行编码的方法。这种编码方法包括，对于所述图片的至少一个块：
-从所述图片的第一分量的重建区域确定所述块的解码的第一分量的块预测器，
-通过从所述块预测器的第二分量预测所述块的至少一个第二分量，对所述至少一个第二分量进行编码。
根据本公开的另一方面，公开了一种用于对图片进行编码的装置。这种编码装置包括：
-用于从所述图片的第一分量的重建区域确定所述块的解码的第一分量的块预测值的装置，
-用于通过从所述块预测器的第二分量预测所述块的至少一个第二分量，对所述至少一个第二分量进行编码的装置。
根据本原理，当前块的重建的第一分量用于确定对当前块的另一分量的预测。因此，在编码当前块时考虑当前块的颜色分量之间的相关性。此外，由于根据重建的第一分量确定其它分量的块预测器，可以在解码器处执行相同的预测而不需要发送信令信息，例如，因此避免运动矢量的传输或帧内模式预测。本原理允许提高压缩效率。
根据本公开的实施例，确定所述解码的第一分量的块预测器包括：通过最小化所述块的所述解码的第一分量与所述图片的第一分量的重建区域中的块的第一分量之间的失真度量来选择所述块预测器。
根据本实施例，可以为第一分量选择最佳块匹配预测器。
根据本公开的另一实施例，使用空间预测对块的所述第一分量进行编码。
根据本公开的另一实施例，编码方法还包括或者编码装置被配置成：通过从所述块预测器的第三分量预测所述块的至少一个第三分量，对所述至少一个第三分量进行编码。
根据本公开的另一实施例，编码方法还包括或者编码装置被配置成：
-解码所述块的第二分量，
-通过最小化所述块的所述解码的第一分量与所述图片的第一分量的重建区域中的块的第一分量之间的差以及所述块的所述解码的第二分量与所述图片的第二分量的重建区域中的块的第二分量之间的差，来确定另一块预测器，
-通过从所述另一个块预测器的第三分量预测所述块的至少一个第三分量，对所述块的所述至少一个第三分量进行编码。
根据本实施例，当前块的先前编码的分量可以用于确定第三分量的最佳预测器。因此，进一步提高了压缩效率。
根据本公开的另一实施例，编码方法还包括或者编码装置被配置成，对于所述块之后的块：
-对数据进行编码，所述数据指示后续块的第二分量在所述后续块的第一分量之前被编码，
-通过使用根据所述后续块的重建的第二分量而确定的预测器块，对所述后续块的所述第一分量进行编码。
根据本实施例，对于同一图片的不同块，首先编码的分量可以改变。例如，在YUV图片格式的情况下，可以针对一个块首先编码Y分量然后编码U和V分量，并且针对另一个块首先编码U分量然后编码Y和V分量。
根据本公开的另一方面，公开了一种用于从编码比特流解码图片的方法，这种解码方法包括：
-从所述图片的第一分量的重建区域确定所述图片的块的解码的第一分量的块预测器，
-通过从所述块预测器的第二分量预测所述块的至少一个第二分量，对所述块的所述至少一个第二分量进行解码。
根据本公开的另一方面，公开了一种用于从编码比特流解码图片的装置，这种解码装置包括：
-用于从所述图片的第一分量的重建区域确定所述图片的块的解码的第一分量的块预测值的装置，
-用于通过从所述块预测器的第二分量预测所述块的至少一个第二分量，对所述块的所述至少一个第二分量进行解码的装置。
根据本公开的实施例，确定所述解码的第一分量的块预测器包括：通过最小化所述解码的第一分量与所述图片的第一分量的重建区域中的块的第一分量之间的失真度量来选择所述块预测器。
根据本公开的另一实施例，使用空间预测对块的所述第一分量进行解码。
根据本公开的另一实施例，解码方法还包括或者解码装置还被配置成：通过从所述块预测器的第三分量预测所述块的至少一个第三分量，对所述块的所述至少一个第三分量进行解码。
根据本公开的另一实施例，解码方法还包括或者解码装置还被配置成：
-通过最小化所述块的所述重建的第一分量与所述图片的第一分量的重建区域中的块的第一分量之间的差、以及块的所述重建的第二分量与所述图片的第二分量的重建区域中的块的第二分量之间的差，来确定另一块预测器，
-通过从所述另一块预测器的第一分量和第二分量预测所述块的至少一个第三分量，对所述块的所述至少一个第三分量进行解码。
根据本公开的另一实施例，解码方法还包括或者解码装置还被配置成，对于当前块之后的块：
-从所述比特流解码数据，所述数据指示后续块的第二分量在所述后续块的第一分量之前被编码，
-通过使用根据所述后续块的解码的第二分量而确定的预测器块，对所述后续块的所述第一分量进行解码。
根据本公开的另一方面，公开了表示编码图片的编码比特流。对于所述图片的至少一个块，这种编码比特流包括：
-代表所述块的第一分量的编码数据，
-代表所述块的第二分量的编码数据，
-指示所述块的所述第二分量由块预测器的第二分量预测的编码数据，所述块预测器是根据先前重建的所述块的所述第一分量来确定的。
根据本公开的实施例，编码的比特流还包括，对于所述块的至少一个后续块：
-指示所述后续块的第二分量在所述后续块的第一分量之前被编码的编码数据，
-代表所述后续块的所述第二分量的编码数据，和
-代表所述后续块的所述第一分量的编码数据，所述第一分量是使用来自预测器块的第一分量的预测进行编码的，所述预测器块是根据先前重建的所述后续块的第二分量来确定的。
根据一种实现方式，如上所述的用于对图片进行编码或对图片进行解码的方法的不同步骤由一个或多个软件程序或软件模块程序实现，所述软件程序或软件模块程序包括旨在由用于对图片进行编码/解码的装置的数据处理器执行的软件指令，这些软件指令被设计成命令执行根据本原理的方法的不同步骤。
还公开了一种能够由计算机或数据处理器执行的计算机程序，该程序包括命令执行用于对图片进行编码的方法的步骤或用于对图片进行解码的方法的步骤的指令，如上所述。
该程序可以使用任何编程语言，并且可以是源代码、目标代码或源代码和目标代码之间的中间代码的形式，诸如部分编译的形式或任何其它期望的形式。
信息载体可以是能够存储程序的任何实体或装置。例如，载体可以包括诸如ROM的存储装置，例如CD ROM或微电子电路ROM，或者也可以包括磁记录装置，例如软盘或硬盘驱动。
同样，信息载体可以是可传输的载体，诸如电信号或光信号，其可以经由电缆或光缆，通过无线电或其它方式传送。尤其是，根据本原理的程序可以被上传到互联网类型的网络。
作为替代方案，信息载体可以是结合了程序的集成电路，该电路适于执行或用于执行所讨论的方法。
根据一个实施例，可以借助于软件和/或硬件组件来实现这些方法/装置。在这方面，术语“模块”或“单元”在本文档中可以等同地对应于软件组件和硬件组件或硬件和软件组件集合。
软件组件对应于一个或多个计算机程序、程序的一个或多个子程序或更一般地，对应于程序的任何元素或能够实现如下文针对有关模块所述的功能或功能集合的软件。这样的软件组件由物理实体(终端、服务器等)的数据处理器执行，并且能够访问该物理实体的硬件资源(存储器、记录介质、通信总线、输入/输出电子板、用户接口等等)。
以相同的方式，硬件组件对应于能够实现如下针对有关模块所述的功能或功能集合的硬件单元的任何元件。它可以是可编程硬件组件或具有用于执行软件的集成处理器的组件，例如集成电路、智能卡、存储卡、用于执行固件的电子板等。
附图说明
图1A示出了根据H.264/AVC视频压缩标准的帧内预测模式，
图1B示出了根据HEVC视频压缩标准的帧内预测模式，
图2A示出了根据本公开实施例的用于对图片进行编码的示例性方法的流程图，
图2B示出了根据本公开另一实施例的用于对图片进行编码的示例性方法的流程图，
图2C示出了根据本公开实施例的要编码或解码的当前块以及对应的搜索区域，
图3示出了根据本公开另一实施例的用于对图片进行编码的示例性方法的流程图，
图4示出了可用于实现本文公开的任何一个实施例的示例性编码器，
图5A示出了根据本公开实施例的用于对图片进行解码的示例性方法的流程图，
图5B示出了根据本公开另一实施例的用于对图片进行解码的示例性方法的流程图，
图6示出了根据本公开另一实施例的用于对图片进行解码的示例性方法的流程图，
图7示出了可用于实现本文公开的任何一个实施例的示例性解码器，
图8示出了可用于实现本文公开的任何一个实施例的编码器的示例性结构，
图9示出了可用于实现本文公开的任何一个实施例的解码器的示例性结构，
图10示出了用于对来自编码比特流的图片进行编码或解码的编码器或解码器的一个实施例。
具体实施方式
应当理解，附图和描述已经被简化以示出与清楚理解本原理相关的元件，同时为了清楚起见，消除了在典型的编码和/或解码设备中发现的许多其它元件。应当理解，尽管本文可以使用术语第一和第二来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。以上描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非为了方法的正确操作需要特定的步骤或动作顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。通常，“分量”针对样本阵列中的特定区域(例如，亮度Y)，并且“块”包括所有编码的颜色分量(Y、Cb、Cr或单色，或Y、U、V等)的并置样本阵列。
在以下部分中，用词“重建”和“解码”可以互换使用。通常但并不一定，在编码器方面使用“重建”，而在解码器方面使用“解码”。
根据本原理，公开了一种用于对图片进行编码的方法和用于对图片进行解码的方法。本原理可以应用于表示为2D图像的任何类型的图像，诸如静止图像编码或来自视频序列的图像。
根据本原理，根据当前块的先前重建的分量对要编码或解码的当前块的分量进行编码或解码。这里描述了本原理，其中图片以YUV颜色空间表示，其中Y分量对应于图片的亮度数据，U和V分量对应于要编码或者解码的图片的色度数据。本原理适用于用于表示图片的其它颜色空间，诸如RGB、Luv、X、Y、Z或任何其它表示....
图2A示出了根据本公开实施例的用于对图片进行编码的示例性方法的流程图。为了对图片进行编码，当前将图片划分为像素块，并且根据编码扫描顺序对每个块进行编码。下面，公开了对图片的当前块Blk(Y，U，V)的编码，其中Y、U和V表示当前块的分量。
在步骤20中，首先对图片的当前块Blk(Y，U，V)的亮度信号Y进行编码。例如，使用例如来自视频压缩标准的帧内预测模式，使用块空间预测来预测亮度信号。为此，从可用的帧内预测模式中搜索最佳预测模式，并构建预测块Ypred。
对于给定块，例如基于拉格朗日等式的求最小值，在N个模式中选择最佳帧内预测模式：
J(Mode|Qp，λ)＝D(y，y′，Mode|Qp)+λ×R(y，y′，Mode|Qp)
其中
·QP是块量化器，λ是用于模式决策的拉格朗日乘数，
·这里，D是原始块亮度信号y与其重建y′之间的平方差的总和，
·R(s，c，Mode|Qp)表示与选择模式Mode相关的比特数。它包括用于帧内预测模式的比特和用于亮度块的DCT系数。
最后，选择速率失真成本J最小的最佳帧内预测模式。
然后，计算亮度块Y和块预测Ypred之间的差Yres，并进行频率变换(例如，使用DCT，离散余弦变换)、量化和编码，然后执行。
在步骤21中，重建当前块的亮度信号Y’。通过将预测块Ypred与去量化和逆变换的预测误差块Y’res相加来重建当前块Blk的亮度信号Y’。
在步骤22中，通过在搜索区域中搜索与重建的亮度块Y’匹配的最佳块，确定当前块Blk(Y，U，V)的亮度信号Y的块预测器。图2C示出了用于编码BLK的当前块和相关的搜索区域，用粗线表示。搜索区域包括根据编码的扫描顺序的先前重建的图片块(由图2C中的阴影线表示)。搜索重建的亮度块Y’与图片的亮度空间中的搜索区域的块之间的最佳匹配。
为此，在步骤220中，通过计算例如块Y’的像素(其像素值被表示为y’0至y’N-1)与块候选Y’cd的像素(其像素值用y’cd，0至y’cd，N-1表示)之间的均方误差(MSE)来搜索块Y’的最近块Y’nst，其中：
这里，N等于c×l，其对应于用于块匹配的亮度块的像素大小(列c，行l)。
在步骤221中，选择提供最低MSE的候选块Y’cd作为块Y’的最佳匹配，如下：
其中Y’cd属于搜索区域。
因此，块P(Y’nst，U’pred，V’pred)被选为最佳预测器块。
在步骤23中，然后使用与最佳预测器块P(Y’nst，U’pred，V’pred)相关联的色度分量U’pred对当前块的色度分量U进行编码。
计算当前块Blk(Y，U，V)的原始块U与块预测U’pred之间的差Ures，然后进行频率变换、量化和编码，然后执行。
根据本公开的实施例，使用在步骤22确定的最佳预测器块P(Y’nst，U’pred，V’pred)对色度分量U和V两者进行编码。因此，根据本实施例，在步骤24中，然后使用与最佳预测器块P(Y’nst，U’pred，V’pred)相关联的色度分量V’pred对当前块的色度分量V进行编码。计算当前块Blk(Y，U，V)的原始块V与块预测V’pred之间的差Vres，然后进行频率变换、量化和编码，然后执行。
根据另一实施例，为了对当前块Blk(Y，U，V)的色度分量V进行编码，搜索新的最佳预测器块。下面结合图2B进一步公开这样的实施例。
在图2B中，步骤20至23类似于图2A所公开的步骤20至23，并且不再进一步解释。
在步骤25中，重建当前块的色度信号U’。通过将预测块U’pred与去量化和逆变换的预测误差块U’res相加来重建当前块Blk的色度信号U’。
在步骤26中，以与步骤22中类似的方式确定第二最佳预测器块，但是通过最小化亮度信号Y’和色度信号U’的误差。也就是说，通过求以下等式最小值来搜索最接近的块Q’：
其中y’0至y’N-1表示亮度块Y’的像素值，
u’0至u’N-1表示色度块U’的像素值，
y’cd，0至y’cd，N-1表示候选块的亮度块Y’cd的像素值
u’cd，0至u’cd，N-1表示候选块的色度块U’cd的像素值，
N等于c×l，其对应于用于块匹配的亮度块的像素大小(列c，行l)，
M等于cu×lu，其对应于用于块匹配的色度块的像素大小(列cu，行lu)的大小。
来自提供最小误差的搜索区域的候选块被选择作为第二最佳预测块Q(Y’Q，U’Q，V’pred)。
在步骤27中，然后使用与第二最佳预测器块Q(Y′Q，U′Q，V′pred)相关联的色度分量V’pred对当前块的色度分量V进行编码。计算当前块Blk(Y，U，V)的原始块V与块预测V’pred之间的差Vres，然后进行频率变换、量化和编码，然后执行。
在上面公开的实施例中，首先对当前块的亮度分量进行编码，并且使用根据当前块的重建亮度块而确定的预测器块对色度分量U和V进行编码。根据另一实施例，可以首先对当前块的任何分量进行编码，例如U，并且根据该分量(Y，V)对其余分量进行编码。
根据本实施例，如图3中所示，在步骤30中，对数据进行编码以用于信号通知分量(例如U)在另一分量(例如Y)之前被编码。根据本实施例，从一个块到另一个块，编码的首个分量可以例如根据速率-失真决策而变化。
根据本实施例，然后根据以上结合图2A和图2B公开的任何一个实施例对分量进行编码。
例如，在步骤31中，以与步骤20中类似的方式对色度分量U进行编码。然后，在步骤32中，通过执行图2A中公开的步骤21至23对亮度分量Y进行编码。
图4示出了被配置成实现上面公开的对图片进行编码的方法的任何一个实施例的示例性编码器。下面公开的编码器40可以符合任何视频或静止图像编码方案。下面描述的编码和解码过程用于说明目的。根据一些实施例，可以添加或移除编码或解码模块，或者可以从以下模块改变编码或解码模块。然而，本文公开的原理仍可应用于这些变体。
传统上，编码器40可以包括用于基于块的视频编码的若干模块，如图4中所示。要编码的图片I被输入到编码器40。图片I首先被细分模块细分为一组块。然后处理图片I的每个块BLK以进行编码。
编码器40如下对图片I的每个块BLK执行编码。编码器40包括模式选择单元，用于例如基于速率/失真优化为要编码的图片的块BLK选择编码模式。这种模式选择单元包括：
-运动估计模块，用于估计要编码的图片的一个当前块与参考图片之间的运动，
-运动补偿模块，用于使用估计的运动来预测当前块，
-用于空间预测当前块的帧内预测模块。
在帧内预测模式的情况下，帧内预测模块被配置成实现根据上面公开的任何一个实施例的用于编码的方法。
例如，基于速率-失真优化，选择最佳帧内预测模式，用于对当前块BLK的第一分量进行编码。然后，帧内预测模块通过使用预测，根据参考图2A或图2B公开的任一实施例对当前块BLK的第二和第三分量进行编码，所述预测是至少使用当前块BLK的第一分量确定的。
可以与可用于这些分量的经典帧内预测编码模式竞争地执行第二和第三分量的这种编码，并且因此选择在速率-失真意义上表现最佳的编码模式来编码当前块的第二和第三分量。
一旦为当前块BLK的每个分量选择了编码模式，模式选择单元针对当前块BLK传送预测块PRED(Y，U，V)和对应语法元素，以在比特流中编码，用于在解码器处执行相同的块预测。预测块PRED(Y，U，V)的每个分量对应于根据为该分量确定的编码模式而计算的预测样本阵列。在为当前块BLK的分量选择的编码模式是与上面公开的用于编码的方法相对应的编码模式的情况下，可以在比特流中编码附加语法元素，用于将该编码模式用信号通知给解码器。
然后通过从块BLK的原始样本中减去预测块PRED(Y，U，V)来获得残余块RES(Y，U，V)。然后，通过变换处理模块对残差块RES(Y，U，V)的每个分量进行变换，从而产生具有变换系数的变换块TCOEF(Y，U，V)。然后，通过量化模块量化变换系数，从而产生量化的变换残差系数QCOEF。
然后将语法元素和量化残差变换系数QCOEF输入到熵编码模块以产生编码数据来形成编码比特流STR。
量化的残差变换系数QCOEF由反量化模块处理，从而产生具有去量化的变换系数的块TCOEF’(Y，U，V)。块TCOEF’(Y，U，V)被传递到逆变换模块，用于重建残差预测块RES’(Y，U，V)。
然后通过将预测块PRED(Y，U，V)与重建的残差预测块RES’(Y，U，V)相加来获得块BLK(Y，U，V)的重建版本REC(Y，U，V)。
重建块REC(Y，U，V)存储在存储器中以供图片重建模块使用。图片重建模块从重建块REC(Y，U，V)执行图片I的解码版本I’的重建。然后将重建的图片I’存储在参考图片存储器中，以便稍后用作参考图片，用于对要编码的该组图片的后续图片进行编码或对图片I的后续块进行编码。
图5A示出了根据本公开实施例的用于对图片进行解码的示例性方法的流程图。为了解码图片，图片当前被分成像素块，并且从压缩比特流独立地解码每个块。下面，公开了对图片的当前块Blk(Y，U，V)的解码，其中Y、U和V表示当前块的分量。
在步骤50中，首先对图片的当前块Blk(Y，U，V)的亮度信号Y′进行解码。为此，构建预测块Ypred。例如，比特流中的语法元素用信号通知：当前块Blk的亮度信号Y是根据帧内模式预测m编码的。因此，通过执行帧内模式预测m来构建预测块Ypred。然后，从比特流中解码块Blk(req)的亮度信号Y的残差系数，并对其进行去量化和逆变换，以形成残差预测块(Y’res)。将残差预测(Y’res)与预测块Ypred相加，给出重建亮度块Y’。
以与图2A公开的步骤22类似的方式执行步骤22。在步骤22结束时，如在编码阶段中，基于对相同搜索区域中的解码亮度块Y’执行的块匹配搜索，找到最佳预测器块P(Y’nst，U’pred，V’pred)。
在步骤51，然后使用与最佳预测器块P(Y’nst，U’pred，V’pred)相关联的色度分量U’pred对当前块的色度分量U’进行解码。从比特流中解码块Blk的色度信号U的残余系数，对其进行去量化和逆变换以形成残差预测块(U’res)。残差预测(U’res)与预测块U’pred相加，给出解码的色度块U’。
根据本公开实施例，使用在步骤22确定的最佳预测器块P(Y’nst，U’pred，V’pred)来预测色度分量U和V。因此，根据本实施例，在步骤52中，然后使用与最佳预测器块P(Y’nst，U’pred，V’pred)相关联的色度分量V’pred对当前块的色度分量V进行解码。从比特流中解码块Blk的色度信号V的残差系数，对其进行去量化和逆变换以形成残差预测块(V’res)。残差预测(V’res)与预测块V’pred相加，给出解码的色度块V’。
根据另一实施例，从根据解码的亮度分量Y’和解码的色度分量U’而确定的新的最佳预测器块来预测当前块Blk(Y，U，V)的色度分量V。下面结合图5B进一步公开这样的实施例。
在图5B中，步骤50至51和22类似于图5A和图2A公开的步骤50至51和22，并且不再进一步解释。
在步骤26中，以与图2B中公开的步骤26类似的方式确定第二最佳预测器块，并且这里不再进一步描述。在步骤26结束时，如在编码阶段，基于针对同一搜索区域中的解码亮度块Y’和解码色度块U’执行的块匹配搜索，找到最佳预测块Q(Y’Q，U’Q，V’pred)。
在步骤54中，然后使用与第二最佳预测器块Q(Y’Q，U’Q，V’pred)相关联的色度分量V’pred对当前块的色度分量V进行解码。从比特流中解码块Blk的色度信号V的残差系数，对其进行去量化和逆变换以形成残差预测块(V’res)。残差预测(V’res)与预测块V’pred相加，给出解码的色度块V’。
在上面公开的实施例中，首先解码当前块的亮度分量，并且使用至少根据当前块的解码亮度块而确定的预测器块来对色度分量U和V进行解码。根据另一实施例，可以首先对当前块的任何分量进行解码，只要该分量已经首先被编码到压缩比特流中即可。例如，可以根据色度分量U对亮度分量Y进行解码。根据该实施例，如图6中所示，在步骤60中，从压缩比特流中解码数据，该数据用于发信号通知：给定块的分量(例如U)是在另一分量(例如Y)之前被编码的。
根据该实施例，然后根据以上结合图5A和图5B公开的任何一个实施例对分量进行解码。
例如，在步骤61中，以与步骤50中类似的方式对色度分量U’进行解码。然后，在步骤62中，通过执行图2A中公开的步骤22和51来解码亮度分量Y’。
图7示出了被配置成实现上面公开的用于解码图片的方法的任何一个实施例的示例性解码器。
表示编码图像或视频的比特流包括表示所述图像或视频的至少一个块的编码数据，其中所述块是已根据本原理的实施例进行编码的。
编码数据被传递到视频解码器70的视频解码模块。如图7中所示，编码数据被传递到熵解码模块，该熵解码模块执行熵解码并将量化系数QCOEF’传送到逆量化模块以及将语法元素传送到预测模块。
对于要解码的当前块的每个颜色分量，量化系数QCOEF’由逆量化模块进行逆量化，并由逆变换模块进行逆变换，产生残余块数据RES’。
指定块的编码模式的语法元素从比特流中解码，并且为了对当前块的每个颜色分量Y、U、V进行编码，预测模块构建预测块PRED。预测模块被配置成根据上面公开的任何一个实施例执行块的分量的预测。更具体地，预测模块被配置成针对要解码的当前块的先前解码的分量，执行最佳块预测器的块匹配搜索(图2A和图2B中公开的步骤22、26)。
通过将当前块的每个颜色分量的预测块PRED和残余块RES’相加来获得重建图片I’。将重建的图片I’存储在参考帧存储器中以供稍后用作参考帧。然后，由视频解码器70输出重建的图片I’。
解码器70可以实现为硬件或软件或其硬件和软件的组合。
图8示出了根据本原理实施例的用于对图片进行编码的装置(40)的简化结构。这样的装置40被配置成根据上面公开的任何实施例实现根据本原理的用于对图片进行编码的方法。已经参考图4公开了编码器装置40的功能单元。下面公开的结构化装置40可以被配置成单独地或组合地并且根据以上参考图2A、图2B或图3所公开的原理的任何一个实施例来实现这些功能单元中的每一个。
根据实施例，编码器装置40包括处理单元PROC，其配备有例如处理器并由存储在存储器MEM中的计算机程序PG驱动，并实现根据本原理对图片进行编码的方法。
在初始化时，计算机程序PG的代码指令例如被加载到RAM(未示出)中，然后由处理单元PROC的处理器执行。处理单元PROC的处理器根据计算机程序PG的指令实现上面已经描述的用于对图片进行编码的方法的步骤。
编码器装置40包括通信单元COMOUT，以将编码比特流STR传输到数据网络。
编码器装置40还包括用于接收要编码的图片或视频的接口COMIN。
图9示出了可以在本原理的一个实施例中使用的示例性解码器。这种用于对图片进行解码的装置被配置成实现根据本原理的用于对图片进行解码的方法。图9的解码器装置可以是如图7中所描述的解码器70的示例。
在图9所示的示例中，解码器装置包括处理单元PROC，其配备有例如处理器并由存储在存储器MEM中的计算机程序PG驱动，并实现根据本原理对图片进行解码的方法。
在初始化时，计算机程序PG的代码指令例如被加载到RAM(未示出)中，然后由处理单元PROC的处理器执行。处理单元PROC的处理器根据计算机程序PG的指令实现上面已经描述的用于对图片进行解码的方法的步骤。
可选地，解码器装置70包括通信单元COM，以从编码器接收编码比特流。
解码器装置70还包括用于显示重建图片或重建视频的接口。
图10示出了使用本原理对图片进行编码或从编码比特流中对图片进行解码的装置1000的一个实施例。该装置包括与存储器1020互连的处理器1010。存储器1020中的指令使处理器1010执行指令以对数字视频图像数据或编码数字视频图像数据实现图2、图3、图5或图6中的方法，这些数据可以在处理器1010的输入端口中的一个端口上输入或存储在存储器1020中。

Claims (17)

1.一种用于对图片进行编码的方法，包括：
对于所述图片的至少一个块：
从所述图片的第一分量的重建区域确定(22)所述块的解码的第一分量的块预测器，
通过从所述块预测器的第二分量预测所述块的至少一个第二分量，对所述至少一个第二分量进行编码(23)。
2.一种用于对图片进行编码的装置，包括：
存储器，和
处理器，被配置成：
从所述图片的第一分量的重建区域确定所述块的解码的第一分量的块预测值，并且
通过从所述块预测器的第二分量预测所述块的至少一个第二分量，对所述至少一个第二分量进行编码。
3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中确定所述解码的第一分量的块预测器包括：
通过最小化所述块的所述解码的第一分量与所述图片的所述第一分量的所述重建区域中的块的第一分量之间的失真度量来选择(221)所述块预测器。
4.根据权利要求1或3中任一项所述的方法或根据权利要求2或3中任一项所述的装置，其中使用空间预测对所述块的所述第一分量进行编码(20)。
5.根据权利要求1、3或4中任一项所述的方法，还包括：
或者根据权利要求2、3或4中任一项所述的装置，还被配置成：
通过从所述块预测器的第三分量预测所述块的至少一个第三分量，对所述至少一个第三分量进行编码(24、27)。
6.根据权利要求1、3或4中任一项所述的方法，还包括：
或者根据权利要求2、3或4中任一项所述的装置，还被配置成：
解码(25)所述块的所述第二分量，
通过最小化所述块的所述解码的第一分量与所述图片的所述第一分量的所述重建区域中的块的第一分量之间的差以及所述块的所述解码的第二分量与所述图片的第二分量的重建区域中的块的第二分量之间的差来确定(26)另一块预测器，
通过从所述另一块预测器的第三分量预测所述块的至少一个第三分量，对所述块的所述至少一个第三分量进行编码(27)。
7.根据权利要求1或3至6中任一项所述的方法，还包括：
或者根据权利要求2或3至6中任一项所述的装置，还被配置成：
对于所述块之后的块：
对数据进行编码(30)，所述数据指示后续块的第二分量在所述后续块的第一分量之前被编码，
通过使用根据所述后续块的重建的第二分量而确定的预测器块，对所述后续块的所述第一分量进行编码(32)。
8.一种用于从编码比特流解码图片的方法，包括：
从所述图片的第一分量的重建区域确定(50)所述图片的块的解码的第一分量的块预测器，
通过从所述块预测器的第二分量预测所述块的至少一个第二分量，对所述块的所述至少一个第二分量进行解码(51)。
9.一种用于从编码比特流解码图片的装置，包括：
存储器，和
处理器，被配置成：
从所述图片的第一分量的重建区域确定所述图片的块的解码的第一分量的块预测器，并且
通过从所述块预测器的第二分量预测所述块的至少一个第二分量，对所述块的所述至少一个第二分量进行解码。
10.根据权利要求8所述的方法或根据权利要求9所述的装置，其中确定所述解码的第一分量的块预测器包括：
通过最小化所述解码的第一分量与所述图片的所述第一分量的所述重建区域中的块的第一分量之间的失真度量来选择(221)所述块预测器。
11.根据权利要求8或10中任一项所述的方法或根据权利要求9或10中任一项所述的装置，其中使用空间预测对所述块的所述第一分量进行解码。
12.根据权利要求8、10或11中任一项所述的方法，还包括：
或者根据权利要求9至11中任一项所述的装置，还被配置成：
通过从所述块预测器的第三分量预测所述块的至少一个第三分量，对所述块的所述至少一个第三分量进行解码(52、54)。
13.根据权利要求8、10或11中任一项所述的方法，还包括：
或者根据权利要求9至11中任一项所述的装置，还被配置成：
通过最小化所述块的所述重建的第一分量与所述图片的所述第一分量的所述重建区域中的块的第一分量之间的差、以及所述块的所述重建的第二分量与所述图片的所述第二分量的重建区域中的块的第二分量之间的差，来确定(26)另一块预测器，
通过从所述另一块预测器的第一分量和第二分量预测所述块的至少一个第三分量，对所述块的所述至少一个第三分量进行解码(54)。
14.根据权利要求8或10至13中任一项所述的方法，还包括：
或者根据权利要求9或10至13中任一项所述的装置，还被配置成：
对于所述当前块之后的块：
从所述比特流解码(60)数据，所述数据指示后续块的第二分量在所述后续块的第一分量之前被编码，
通过使用根据所述后续块的解码的第二分量而确定的预测器块，对所述后续块的所述第一分量进行解码(62)。
15.一种计算机程序，包括软件代码指令，用于当由处理器执行所述计算机程序时，执行根据权利要求1或3至7中任一项或权利要求8或10至14中任一项所述的方法。
16.一种代表编码图片的比特流，包括：
对于所述图片的至少一个块：
代表所述块的第一分量的编码数据，
代表所述块的第二分量的编码数据，
指示所述块的所述第二分量由块预测器的第二分量预测的编码数据，所述块预测器是根据先前重建的所述块的所述第一分量来确定的。
17.根据权利要求16所述的比特流，还包括：
对于所述块的至少一个后续块：
指示后续块的第二分量在所述后续块的第一分量之前被编码的编码数据，
代表所述后续块的所述第二分量的编码数据，和
代表所述后续块的所述第一分量的编码数据，所述第一分量是使用来自预测器块的第一分量的预测进行编码的，所述预测器块是根据先前重建的所述后续块的所述第二分量来确定的。
CN201780065588.0A 2016-10-25 2017-10-24 用于对图片进行编码和解码的方法和装置 Active CN109863751B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16306398.5 2016-10-25
EP16306398.5A EP3316578A1 (en) 2016-10-25 2016-10-25 Method and apparatus for encoding and decoding a picture
PCT/EP2017/077140 WO2018077865A1 (en) 2016-10-25 2017-10-24 Method and apparatus for encoding and decoding a picture

Publications (2)

Publication Number Publication Date
CN109863751A true CN109863751A (zh) 2019-06-07
CN109863751B CN109863751B (zh) 2024-03-01

Family

ID=57286411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780065588.0A Active CN109863751B (zh) 2016-10-25 2017-10-24 用于对图片进行编码和解码的方法和装置

Country Status (6)

Country Link
US (1) US11202097B2 (zh)
EP (2) EP3316578A1 (zh)
JP (1) JP7055134B2 (zh)
KR (1) KR102543086B1 (zh)
CN (1) CN109863751B (zh)
WO (1) WO2018077865A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243614A1 (en) * 2011-03-22 2012-09-27 Danny Hong Alternative block coding order in video coding
US20120328013A1 (en) * 2011-06-24 2012-12-27 Madhukar Budagavi Luma-Based Chroma Intra-Prediction for Video Coding
EP2739058A2 (en) * 2012-11-30 2014-06-04 Canon Kabushiki Kaisha Image coding apparatus, image coding method, and program
EP2903275A1 (en) * 2010-04-05 2015-08-05 Samsung Electronics Co., Ltd Determining intra prediction mode of image coding unit and image decoding unit
WO2016115981A1 (en) * 2015-01-22 2016-07-28 Mediatek Singapore Pte. Ltd. Method of video coding for chroma components

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0154921B1 (ko) 1994-12-30 1998-11-16 배순훈 동영상 부호화 장치에 이용하기 위한 움직임 추정기
EP1376521A1 (en) 2002-06-28 2004-01-02 Deutsche Thomson Brandt Processing video pictures for improving dynamic false contour effect compensation
US20100246675A1 (en) 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
WO2012164939A1 (ja) * 2011-06-03 2012-12-06 パナソニック株式会社 画像符号化方法および画像復号化方法
CN103688533B (zh) * 2011-06-20 2015-12-23 联发科技（新加坡）私人有限公司 可减少行存储器的色度帧内预测方法及装置
WO2013102293A1 (en) * 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
EP2805501A1 (en) * 2012-01-24 2014-11-26 Futurewei Technologies, Inc. Simplification of lm mode
WO2013155662A1 (en) * 2012-04-16 2013-10-24 Mediatek Singapore Pte. Ltd. Methods and apparatuses of simplification for intra chroma lm mode
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US10491906B2 (en) * 2015-11-05 2019-11-26 Mediatek Inc. Method and apparatus for block prediction using variable block-size in image compression
US10511859B2 (en) * 2016-02-04 2019-12-17 Mediatek Inc. Method and apparatus for image compression without residue signaling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2903275A1 (en) * 2010-04-05 2015-08-05 Samsung Electronics Co., Ltd Determining intra prediction mode of image coding unit and image decoding unit
US20120243614A1 (en) * 2011-03-22 2012-09-27 Danny Hong Alternative block coding order in video coding
US20120328013A1 (en) * 2011-06-24 2012-12-27 Madhukar Budagavi Luma-Based Chroma Intra-Prediction for Video Coding
EP2739058A2 (en) * 2012-11-30 2014-06-04 Canon Kabushiki Kaisha Image coding apparatus, image coding method, and program
WO2016115981A1 (en) * 2015-01-22 2016-07-28 Mediatek Singapore Pte. Ltd. Method of video coding for chroma components

Also Published As

Publication number Publication date
WO2018077865A1 (en) 2018-05-03
KR102543086B1 (ko) 2023-06-14
EP3533225A1 (en) 2019-09-04
JP2019537328A (ja) 2019-12-19
US11202097B2 (en) 2021-12-14
JP7055134B2 (ja) 2022-04-15
US20190238886A1 (en) 2019-08-01
KR20190068555A (ko) 2019-06-18
CN109863751B (zh) 2024-03-01
EP3316578A1 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
US9392282B2 (en) Moving-picture encoding apparatus and moving-picture decoding apparatus
US9462279B2 (en) Image encoding/decoding method and device
KR101228020B1 (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US9628814B2 (en) Motion vector encoding/decoding method and device and image encoding/decoding method and device using same
US9706226B2 (en) Image encoding apparatus and image decoding apparatus employing intra preciction and direction transform matrix
CN101911702B (zh) 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置
WO2008004768A1 (en) Image encoding/decoding method and apparatus
CN103004201A (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN102077596A (zh) 图像处理设备和图像处理方法
US20080107175A1 (en) Method and apparatus for encoding and decoding based on intra prediction
CN107211161A (zh) 包括最后阶段处理的扩展空间的视频编码优化
US20110310975A1 (en) Method, Device and Computer-Readable Storage Medium for Encoding and Decoding a Video Signal and Recording Medium Storing a Compressed Bitstream
KR20110090841A (ko) 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
CN103718560A (zh) 用于对图像进行编码和解码的方法、用于对图像进行编码和解码的装置、以及对应的计算机程序
CN109863751A (zh) 用于对图片进行编码和解码的方法和装置
KR101366088B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
WO2022197772A1 (en) Temporal structure-based conditional convolutional neural networks for video compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210430

Address after: Paris France

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Delaware, USA

Applicant before: Interactive Digital VC Holdings

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant