CN108141601A - 对图片序列进行编码和解码的方法和设备，以及对应的计算机程序产品和计算机可读介质 - Google Patents

对图片序列进行编码和解码的方法和设备，以及对应的计算机程序产品和计算机可读介质 Download PDF

Info

Publication number
CN108141601A
CN108141601A CN201680060923.3A CN201680060923A CN108141601A CN 108141601 A CN108141601 A CN 108141601A CN 201680060923 A CN201680060923 A CN 201680060923A CN 108141601 A CN108141601 A CN 108141601A
Authority
CN
China
Prior art keywords
color component
parameter
function
component
picture element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680060923.3A
Other languages
English (en)
Other versions
CN108141601B (zh
Inventor
P.博兹
P.安德里冯
P.萨尔蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108141601A publication Critical patent/CN108141601A/zh
Application granted granted Critical
Publication of CN108141601B publication Critical patent/CN108141601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于对图片序列进行编码和解码的方法和设备，以及对应的计算机程序产品和计算机可读介质。本公开涉及一种用于解码表示图片序列的视频流的方法，包括：获得(22)图片单元的至少第一颜色分量和第二颜色分量，解码(23)第二分量的后处理的至少一个参数，所述至少一个参数定义为所述第一颜色分量的函数，响应于所述至少一个解码的参数以及所述第一颜色分量，将所述至少一个后处理应用(24)于图片单元的第二颜色分量。

Description

对图片序列进行编码和解码的方法和设备，以及对应的计算 机程序产品和计算机可读介质
1.技术领域
本公开涉及图片或图片序列(也称为视频)的编码和解码。
更具体地，本公开提供了一种用于在编码侧或在解码侧的后处理图片单元(如预测单元或所解码的单元)的技术，目的在于提高它们的质量和/或精度并提高编码效率。
根据本公开的这种技术可以在符合任何视频编解码器标准化的视频编码器和/或视频解码器中实现，包括例如HEVC、SHVC、HEVC-Rext和其他HEVC扩展。
2.背景技术
本部分旨在向读者介绍可能与以下描述和/或要求保护的本公开的各个方面有关的领域的各个方面。该讨论被认为有助于为读者提供背景信息以便更好地理解本公开的各个方面。相应地，应该理解的是，应从这个角度来阅读这些陈述，而不是作为现有技术的承认。
原始视频内容的范围(即，原始视频内容的样本的最小值和最大值)通常由编码器已知和/或确定。
可以保留该范围的一些极端值用于特殊用途。例如，ITU-R推荐BT.709(通常缩写为Rec.709)使用“工作室摆动”(studio-swing)电平，其中参考黑色定义为8位代码16，并且参考白色被定义为8位代码235。代码0和255用于同步，并在视频数据中禁止。1和15之间的8位代码提供“下动态余量(footroom)”，可用于容纳瞬态信号内容，如滤波器下冲(undershoot)。236和254之间的8位代码提供“上动态余量(headroom)”，可用于容纳瞬态信号内容，如滤波器过冲(overshoot)以及镜面高光(specular highlights)。通过附加最不重要的位获得比8位更深的位深度。与称为“全范围”的0...255范围相反，源于ITU Rec.601的用于亮度或R、G、B的16...235范围、或用于色度的16...240范围称为“正常范围”。
在另一使用情况下，原始视频内容的图片样本范围值是已知的，因为内容创建者有意地限制了亮度和色度的最小值和最大值，或者因为已知内容创建过程将分量值限制在特定范围内。
在另一使用情况下，可以使用预处理模块来计算原始内容直方图并确定范围限制。
因此，原始的范围限制在编码侧是已知的。
但是，视频编码过程改变原始范围限制。
更具体地，视频编码器允许压缩原始视频内容，以显著减少编码视频流中的数据量。然而，由于有损压缩，重构/解码的图片样本可能与原始样本不严格地完全相同。因此，如果原始图片样本的范围是(minorig，maxorig)，则重构/解码图片样本的范围可以是(minrec，maxrec)，其中minrec＜minorig和/或
maxrec＞maxorig。
大多数视频编解码器(如MPEG-2、AVC、SVC、HEVC、SHVC等)使用minthres＝0和maxthres＝(1<<bitdepth)-1执行固定的先验(或“正常范围”)的最小/最大限幅(clipping)测试，其中bitdepth是用以表示一个图片样本分量的位数。例如，如果bitdepth＝8，则maxthres＝255。
使用该方法限幅时，可能会违反原始范围限制约束(例如，Rec.709)。因此，不尊重原始范围限制会影响重构/解码的图片的质量/准确性。
另外，由于重构/解码的图片样本可以用作后续图片样本的预测器(帧内或帧间预测)，所以该重构/解码的图片样本不准确性可能在图片中传播，导致编码漂移伪影或编码效率低下。
因此，希望提供一种更高效的用于编码和/或解码图片序列的技术。
3.发明内容
本公开涉及一种用于将图片序列编码成视频流的方法，所述方法包括：
-获得至少图片单元的第一颜色分量和第二颜色分量，
-响应于所述后处理的至少一个参数以及所述第一颜色分量，将所述至少一个后处理应用于图片单元的第二颜色分量，所述至少一个参数定义为第一颜色分量的函数
-编码所述至少一个参数。
因此，本公开提出了一种用于通过在编码方法的解码环中“循环”(in-loop)后处理图片单元(如所解码的单元或预测单元)有效地编码至少一个图片的序列的新技术(“循环”意味着在帧内预测的情况下将重构的后处理图片单元用作另一图片单元的预测，或者可以将重建的后处理图片存储在解码图片缓冲器中并用作用于帧间预测的参考图片)。
这种后处理具有一个或多个“后处理参数”类型的参数，这些参数是根据图片单元的第二颜色分量的值确定的，并且被应用于图片单元的第一颜色分量(其不同于第二颜色分量)。因此，本公开提出使用交叉分量后处理以提高图片单元的精度和/或质量。
具体地，当已经后处理图片单元的颜色分量时，后处理的分量可用作用于后处理图片单元的其他分量或其他图片单元的后处理参数。
例如，第一颜色分量和第二颜色分量属于Y、U、V分量或R、G、B分量。
根据公开的实施例，编码定义为第一颜色分量的函数的所述至少一个参数包括编码所述函数的一组点(也表示为对应函数p)。
具体地，对所述函数的一组点进行编码包括：
-使用分段线性函数近似所述函数，以获得至少一个仿射函数片段，以及
-编码仿射函数片段的点。
有益地，该函数可以用编码的一组点的另一个内插函数来近似，如多项式函数。以这种方式，可以将这样的对应函数发送到视频解码器并被视频解码器用来以与编码侧相似的方式在解码侧处理所解码的单元。对应函数的这种编码的目的是减少传输到视频解码器的数据量。
根据本公开的另一实施例，所述至少一个后处理属于包括以下各项的组：
-限幅函数，其中所述至少一个参数定义图片单元的第二颜色分量的最大值和/或最小值；
-偏移函数，其中所述至少一个参数定义将加到图片单元的第二颜色分量上的偏移；
-线性滤波函数，其中所述至少一个参数定义将应用在图片单元的第二分量上的滤波器的系数。
根据具体实施例，通过以下来获得将这种参数与第一颜色分量相关联的对应函数：
-确定图片单元的颜色分量的至少一个直方图(可能在后处理之后)；以及
-确定图片单元的颜色分量的每个颜色分量的范围(可能在后处理之后)。
本公开还涉及一种用于将图片序列编码成视频流的编码设备，包括通信界面，配置成访问所述图片序列，以及至少一个处理器，配置成：
-获得图片单元的至少第一颜色分量和第二颜色分量，
-响应于所述后处理的至少一个参数和所述第一颜色分量，对图像单元的第二颜色分量应用至少一个后处理，所述至少一个参数被定义为第一颜色分量的函数；以及
-编码所述至少一个参数。
这样的设备或编码器尤其可以适于实现上面描述的编码方法。它当然可以包括与根据本公开的实施例的编码方法有关的不同特性，其可以被组合或者被单独采用。因此，该设备的特征和优点与编码方法的特征和优点相同，并且没有更详细地描述。
另外，本公开涉及一种用于解码表示图片序列的视频流的方法，所述方法包括：
-获得图片单元的至少第一颜色分量和第二颜色分量，
-解码第二分量的后处理的至少一个参数，所述至少一个参数定义为所述第一颜色分量的函数，
-响应于所述至少一个解码的参数以及所述第一颜色分量，将所述至少一个后处理应用于图片单元的第二颜色分量。
本公开因此提供了一种通过后处理图片单元来有效地解码视频流的新技术。
该解码方法的特征和优点与编码方法的特征和优点相同，因此没有更详细地描述。
具体地，这种解码方法提出使用交叉分量后处理来提高诸如所解码的单元或预测单元的图片单元的精度和/或质量。
根据本公开的实施例，解码定义为第一颜色分量的函数的至少一个参数包括解码表示所述函数(也表示为对应函数p)的一组点。
具体地，对定义为第一颜色分量的函数的至少一个参数进行解码还包括在该组点的两个点之间插值以便重构该函数。
本公开还涉及一种用于对表示图片序列的视频流进行解码的解码设备，该解码设备包括配置为访问所述至少一个视频流的通信接口以及被配置为执行以下操作的至少一个处理器：
-获得图片单元的至少第一颜色分量和第二颜色分量，
-解码第二分量的后处理的至少一个参数，所述至少一个参数定义为所述第一颜色分量的函数，
-响应于所述至少一个解码参数和所述第一颜色分量，将所述至少一个后处理应用于图片单元的第二颜色分量。
再一次地，这样的设备或编码器尤其可以适于实现上面描述的编码方法。它当然可以包括与根据本公开的实施例的解码方法有关的不同特性，其可以被组合或者被单独采用。因此，该设备的特征和优点与解码方法的特征和优点相同，并且没有更详细地描述。
本公开的另一方面关于可从通信网络下载和/或记录在计算机可读介质上和/或可由包括适于执行编码方法和/或解码方法的软件代码的处理器执行的计算机程序产品，其中该软件代码适用于执行上述至少一种方法的步骤。
此外，本公开涉及一种包括记录在其上并且能够由处理器运行的计算机程序产品的非暂时性计算机可读介质，包括用于实现前述方法中的至少一个的步骤的程序代码指令。
以下阐述与所公开的实施例在范围上相称的某些方面。应该理解的是，呈现这些方面仅仅是为了向读者提供本公开可能采用的某些形式的简要概述，并且这些方面并非意在限制本公开的范围。事实上，本公开可以涵盖可能未在下面阐述的各种方面。
4.附图说明
参照附图，借助于下面的实施例和执行示例示出、并将更好地理解本公开，而绝不会限制本公开，其中：
-图1图示了根据本公开的实施例的用于对图片序列进行编码的方法的主要步骤；
-图2呈现了根据本公开的实施例的用于对视频流进行解码的方法的主要步骤；
-图3示出了根据本公开的实施例的编码器的示例；
-图4示出了根据本公开的实施例的解码器的示例；
-图5图示了具有从图片单元获得的具有三个分量的直方图，
-图6A、6B、7A和7B示出了对应函数的不同例子，
-图8图示了图6A的对应函数的近似，
-图9和图10是分别实现根据图1的编码方法和根据图2的解码方法的设备的框图；以及
-图11描述了作为Y分量的函数的V分量的界限。
在图1至图4、图9和图10中，所呈现的块是纯粹的功能实体，其不一定对应于物理上分离的实体。也就是说，它们可以以软件、硬件的形式开发，或者可以在一个或多个包括一个或多个处理器的集成电路中实现。
5.具体实施例
应该理解的是，已经简化本公开的附图和描述以说明与清楚理解本公开相关的元件，同时，为了清楚的目的而省略了在典型编码和/或解码设备中找到的许多其他元件。
5.1一般原则
本公开的一般原则是在编码侧和/或解码侧向预测单元或所解码的单元(即更一般地为图片单元)应用后处理，以便提高图片单元的质量和/或精度。
可以将这样的后处理应用于图片单元的颜色分量，但考虑图片单元的另一种颜色分量，也称为“双分量”。
这样的后处理可以是例如：
-考虑到另一种颜色分量的值，对图片单元的颜色分量的值的限幅，以便尊重图片单元的原始范围限制，
-考虑到另一种颜色分量的值，对图片单元的颜色分量的值的滤波，
-等。
在下文中，“重构”和“解码”可以互换使用。通常，在编码器侧使用“重构”，而在解码器侧使用“解码”。
图1和图2中分别图示了用于将图片序列编码成视频流以及解码视频流的方法的主要步骤。
在下文中，关于所解码的单元公开该方法，但是该方法也可以应用于预测单元。在编码/解码编码单元的后一种的情况下，使用后处理预测单元。
如图1中所示出的，将图片序列中的至少一张图片分解为编码单元CU(像素、像素组、切片、图片、GOP，...)。
在步骤11中，对至少一个编码单元进行编码。应该注意的是，可以在步骤11中获得预测单元，并将其用于编码单元的编码。
为了改进编码单元的编码，编码器实现至少一个解码循环。在步骤12中，这种解码循环实现编码单元的解码，以获得所解码的单元。应该注意的是，在步骤11中使用的预测单元用于编码单元的解码。
在步骤13中，获得所解码的单元的至少第一颜色分量和第二颜色分量。例如，这样的颜色分量属于RGB分量或YUV分量。例如，编码单元是包括一个或多个分量的像素。对于彩色视频，每个像素通常包括亮度分量Y，以及两个色度分量U和V。
应该理解，尽管本文中可以使用术语第一、第二等来描述各种颜色分量，但是这些颜色分量不应该被这些术语限制。这些术语仅用于区分一个颜色分量和另一个颜色分量。例如，第一颜色分量可以被称为“分量”或“第二颜色分量”，并且类似地，在不偏离本公开的教导时，第二颜色分量可以被称为“另一分量”或“第一颜色分量”。
在步骤14中，响应于所述后处理的至少一个参数Pval(表示为后处理参数)和所述第一颜色分量，将至少一个后处理f应用于所解码的单元的第二颜色分量，所述至少一个参数定义为第一颜色分量的函数(表示为对应函数p)。
根据第一示例，第一对应函数可以将第一后处理参数(如所解码的单元的U分量的最小值)与所解码的单元的第一颜色分量的值相关联，如所解码的单元的Y分量。换句话说，第一对应函数为所解码的单元的Y分量的每个值定义所解码的单元的U分量的最小值。第二对应函数可以将第二后处理参数(如所解码的单元的U分量的最大值)与所解码的单元的第一颜色分量的值相关联，如所解码的单元的Y分量。
然后，将至少一个后处理应用于所解码的单元的第二颜色分量，这样的后处理具有后处理参数作为参数。
根据第一示例，后处理f可以是限幅函数，其中后处理参数定义所解码的单元的第二颜色分量的最小值和/或最大值。
根据第二示例，后处理f可以是偏移函数，其中后处理参数定义添加到所解码的单元的第二颜色分量的偏移。
根据第三示例，后处理f可以是线性滤波函数，其中后处理参数定义要应用在图片单元的第二分量上的滤波器的系数。
对这样的后处理参数Pval进行编码，例如，以对应函数p的形式，并且在步骤15中将Pval存储和/或传输到解码器。
-图2图示了根据本公开的用于解码代表图片序列的视频流的方法的主要步骤。
在步骤21中，对在视频流中编码的所述序列的至少一个编码单元进行解码，以获得所解码的单元。可以在步骤21中获得预测单元，并且用于编码单元的解码。
在步骤22中，获得所解码的单元的至少第一颜色分量和第二颜色分量。如前所述，例如，这样的颜色分量属于RGB分量或YUV分量。
在步骤23中，对第二分量的后处理的至少一个参数Pval(表示为后处理参数)进行解码，所述至少一个参数定义为第一颜色分量的函数(表示为对应函数)。通过编码器可以以对应函数的形式对这样的参数Pval进行编码并将其传输到解码器，该函数将至少一个参数与所解码的单元的第一颜色分量的值相关联。注意的是，步骤23可以放置在步骤21和22之间，或者在步骤21之前。
在步骤24中，将至少一个后处理f应用于所解码的单元的第二颜色分量，这样的后处理具有所述后处理参数作为参数。
因此，所提出的解决方案允许在编码器和/或解码器侧提高所解码的单元的质量和/或精度。
根据具体实施例，本公开提出将用于一个分量(例如Y)的限幅值发送为另一分量的函数(例如U)。例如，对亮度分量Y的最小和最大限幅值进行编码，并且将每个色度分量的最小值和最大值编码为亮度分量的函数。以这种方式，限幅值针对其他分量的每个值专用，并且限幅校正更精确。
5.2具体实施例的公开
在本节中，将更加具体地描述编码器和解码器如何与限幅类型的后处理一起工作。本发明的公开内容当然不限于这种特定类型的后处理，还可以涉及其他后处理，如线性滤波或偏移添加。
例如，让我们考虑图3中所示的编码器。如已经参考图1所解释的那样，首先将输入视频信号分解为编码单元。
编码器可以实现经典变换步骤31、量化步骤32和高级语法和熵编码步骤33。
为了改进编码单元的编码，编码器还可以实现至少一个解码循环。为此，编码器可以实现经典的逆量化步骤34、逆变换步骤35以及帧内预测36和/或帧间预测37。
一旦重构/解码编码单元，获得图片单元的颜色分量，并且定义将后处理参数值与图片单元的颜色分量的值相关联的至少一个对应函数。
例如，如图5所示，从图片单元获得具有三个分量Yrec、Urec、Vrec的直方图。从这个直方图中，确定了四个对应函数。
根据图6A和图6B示出的第一示例，第一对应函数p1将Urec分量的类型最小值的后处理(限幅)参数与Yrec分量的每个值相关联，第二对应函数p2将Urec分量的类型最大值的后处理(限幅)参数与Yrec分量的每个值相关联，第三对应函数p3将Vrec分量的类型最小值的后处理(限幅)参数与Yrec分量的每个值相关联，以及第四对应函数p4将Vrec分量的类型最大值的后处理(限幅)参数与Yrec分量的每个值相关联。
例如，将Urec分量的最小值与Yrec分量的每个值相关联的第一对应函数以及将Urec分量的最大值与Yrec分量的每个值相关联的第二对应函数由下表定义：
根据图7A和图7B示出的第二示例，第五对应函数p5将Yrec分量的类型最小值的后处理(限幅)参数与Urec分量的每个值相关联，第六对应函数p6将Yrec分量的类型最大值的后处理(限幅)参数与Urec分量的每个值相关联，第七对应函数p7将Yrec分量的类型最小值的后处理(限幅)参数与Vrec分量的每个值相关联，以及第八对应函数p8将Yrec分量的类型最大值的后处理(限幅)参数与Vrec分量的每个值相关联。
换言之，对于给定的分量(例如：Y、U或V)，在给定的重构/解码的帧、切片、GOP或宏块组...中，可以将限幅参数定义为另一个(双)分量值的函数。
这样的限幅参数可以由限幅类型的后处理使用，如图3所示。
例如，这样的后处理可以在循环(in-loop)滤波器38(限幅381)之前和/或之后和/或在帧内预测36(限幅361)之后和/或在帧间运动补偿预测37(限幅371)进行。
如果我们考虑第一示例，例如，在帧内预测36之后的限幅361目标是将后处理f1应用于预测单元的U分量，表示为Upred，取决于对应于限幅使用的最小值的后处理参数Pval，所述后处理参数Pval取决于Yrec分量的值。后处理后的U分量表示为Upost：Upost＝f1(Upred，Pval)
这样的后处理f1可以是限幅函数，如：
如果Upred＜Pval，那么Upost＝Pval
如果Upred≥Pval，那么Upost＝Upred，其中Pval取决于Yrec
因此，所提出的解决方案确保后处理的单元的值具有与图片单元相同的范围值(或者至少更接近图片单元范围值)，并且可能作为编码单元。
相同的处理可以应用于图片单元的其他分量。具体地，当对分量已经进行过后处理后，经后处理的分量可以用于处理其他分量。例如，第一对应函数(或表格)可以在后处理(Upost)之后用U分量的值更新，然后，用于另一图片单元的U分量的后处理，或者用于另一分量的后处理。
换句话说，如果定义了将Urec分量的类型最小值的后处理参数与Vrec分量的每个值相关联的另一对应函数，则Vrec分量可以只有在Urec分量已被后处理后才能被后处理。可以预先定义几个后处理阶段的顺序，或者可以在比特流中发送信号。
可以将对应函数和/或后处理函数形式的后处理参数进行编码并发送到解码器，以与在编码侧相似的方式改善解码图像。因此根据至少一个实施例提出，发送/编码/解码一个颜色分量的限幅参数作为另一(双)颜色分量的函数。
为了减少从编码器传输到解码器的信息量，对应函数可以是近似的。
例如，如图8所示，如果我们考虑第二对应函数p2，则可以使用分段线性函数来近似这样的函数。例如，使用十个仿射函数片段和连接仿射函数片段的十一个点来近似第二对应关系函数p2，并且将该十一个点的集合编码以发送到解码器。换句话说，可以使用分段线性模型对限幅参数进行编码，编码对应函数的一组点。
对对应函数和/或后处理函数的形式的后处理参数的编码可以通过熵编码步骤33来实现。
例如，现在让我们考虑图4中所示的解码器。
在解码侧，解码代表图片序列的视频流。这样的解码器可以实现经典的高级语法以及熵解码步骤41、逆量化步骤42和逆变换步骤43。
对应函数和/或后处理函数的形式的后处理参数也可以在熵解码步骤41中解码。
一旦编码单元被解码，获得图片单元的颜色分量，并且获得至少一个后处理参数。例如，解码第一对应表。因此，对于图片单元的Y分量的每个值，解码器知道应该取图像单元的U分量的最小值。
这样的后处理参数可以与关于编码器所描述的相似的方式由限幅类型的后处理使用，如图4所示。
例如，这样的后处理可以在循环(in-loop)滤波器44(限幅441)之前和/或之后、和/或在帧内预测45(限幅451)之后、和/或在帧间运动补偿预测46(限幅461)之后进行。
如果我们再次考虑在帧内预测45之后的限幅451，那么这样的限幅451目的是，取决于对应于Urec分量的最小值的后处理参数Pval，将后处理f1应用于由帧内预测45输出的预测单元的U分量(表示为Upred)。
这样的限幅函数f1可以表示为：
如果Upred＜Pval，那么Upost＝Pval
如果Upred≥Pval，那么Upost＝Upred，其中Pval取决于Yrec
当在编码器侧已经近似对应函数时，解码器侧可以通过首先解码一组点(如图8的十一个点)，并然后通过在该组的点之间插值来解码它们。
在上述实施例中，我们认为后处理是限幅函数，以及后处理参数是限幅参数。
然而，本发明不限于该具体实施例。
根据另一实施例，后处理可以是偏移函数，其并且后处理参数定义要添加到图片单元的第二颜色分量的偏移量(Pval)。换言之，在传输/编码/解码偏移量的情况下，提出将一个颜色分量(例如：Y分量)的值与另一个分量(例如U或V分量)的值分类。例如，对于包括在0和18之间的Yrec分量的值，要添加到Urec分量的值的偏移量是0，对于包括在19和32之间的Yrec分量的值，要添加到Urec分量的值的偏移量是5，对于包含在33和64之间的Yrec分量的值，要添加到Urec分量的值的偏移量是3，等等。这样的偏移量定义了可以通过分段线性函数来近似的对应函数。
这种情况下的后处理可以表示为：
Upost＝f(Urec，pval)＝Urec+pval，其中Pval取决于Yrec。
根据另一实施例，后处理是线性滤波函数，以及后处理参数定义要应用在图片单元的第二分量上的滤波器的系数。例如，pvali＝pi(Yrec)定义将应用于分量Urec的大小为N的线性滤波器的系数i的值。如果组件Urec位于图片单元的位置x处，则后处理可以表示为：
还应该注意的是，可以从原始图片序列/编码单元而不是从图片单元确定将至少一个后处理参数与图片单元的第二颜色分量的值相关联的对应函数。
在这种情况下，可以从原始图片序列的分析中在编码侧获得颜色直方图，并且可以从该直方图获得不同颜色分量的值，以便确定至少一个对应函数p。如果图片单元的某些颜色分量(例如Urec)与编码单元的颜色分量(例如U)不相同，则p(U)将不同于p(Urec)。在这种情况下，可以通过编码器稍微调整对应函数，使得p’(Urec)＝p(U)，并且它是应该被编码和存储/发送到解码器的经调整的对应函数。
根据另一实施例，为每个分量，直接或区别地编码索引，该索引指示用于对应函数的双分量(例如限幅范围函数或分类)。
根据另一实施例，解码器可以仅将后处理参数用作重构画面上的后处理。在这种情况下，例如，可以在SEI消息、SPS、PPS或片头中编码对应函数。
根据另一实施例，可以在编码器和/或解码器中的全部或仅部分的后处理操作中使用后处理参数：运动补偿(预测)、帧内预测、循环后置滤波器处理等。
在先前的实施例中，后处理方法(例如限幅方法)使用一个分量(例如Y)来预测另一分量(例如U或V)的边界(最小和/或最大限幅值)。作为示例，U(或V)的限幅值的最小值m(分别的最大值M)可以定义为并置值Y的函数：m＝f(Y)，M＝f(Y)。
在使用原始YUV样本确定函数f(例如作为在编码帧之前的预处理步骤)并且在解码器侧使用函数f(Y)的情况下，可能存在漂移，因为在解码器侧，只有Yrec，即重构的Y是可用的。Y上的重构误差将会在U和V的边界上引入一些误差。
为了克服这个问题，可以使用原始样本来确定函数f()，同时考虑Y上的重构误差E(E＝Yrec–Y)：
-重构Y的下限和上限函数：m[Y]和M[Y]
-给定Y上的最大重构误差E(由帧的QP给出)，确定新的边界函数m2和M2：
在图11中，分别通过曲线m和M将V分量的原始下限和上限描述为Y的函数，并且分别通过曲线m2和M2描述新的界限函数。为了效率的目的，曲线Enc_m2和Enc_M2示出了使用Piece-Wise-Linear模型编码的边界函数的示例。
这种变型的一个优点是可以在解码器中的任何阶段(例如在RDO中)对U和V分量进行限幅，这通常提供更好的结果。
在具体实施例中，在比特流中编码f()和E，使用编码器处的原始信号来确定f()。
在Y上的界限定义为U或V的函数的情况下应用相同的原理。
在一个变型中，可以使用Yrec而不是原始样本Y来确定函数f()。在这种情况下，限幅将作为后处理完成，即在重构整个亮度帧之后(但仍然在该帧的编码过程中，使得在其它帧的预测期间可以使用该经限幅的帧)。事实上，只能在整个帧的编码之后才能确定函数f。
在U和V分量之前对Y进行编码的情况下，则可以在U或V的编码循环中应用U或V的限幅。
在具体实施例中，在比特流中编码f()，使用编码器处的原始信号来确定f()。
虽然没有明确地描述，但是本实施例和各变型可以采用任何组合或子组合的形式。
5.3设备
图9图示了根据本公开的实施例的用于对图片序列进行编码的设备的示例。仅示出编码设备的基本元件。
这样的编码设备至少包括：
-配置成访问所述图片序列的通信接口91，
-至少一个处理器92，用于执行存储在设备的非易失性存储器中的应用和程序，并且尤其配置成：
-获得图片序列的图片单元的第一颜色分量和第二颜色分量，
-响应于后处理的至少一个参数和所述第一颜色分量，将至少一个后处理应用于图片单元的第二颜色分量，所述至少一个参数定义为第一颜色分量的函数，
-编码所述至少一个参数，
-存储部件93，如易失性存储器，
-连接各种模块的内部总线B1以及本领域技术人员熟知的用于执行编码设备功能的所有部件。
图10图示了根据本公开的用于解码代表图片序列的视频流的设备的示例。仅示出了解码设备的基本元件。
这样的解码设备至少包括：
-配置成访问所述至少一个视频流的通信接口101，
-至少一个处理器102，用于执行存储在设备的非易失性存储器中的应用和程序，并且尤其配置成：
-获得图片单元的至少第一颜色分量和第二颜色分量，
-解码第二分量的后处理的至少一个参数，所述至少一个参数定义为所述第一颜色分量的函数，
-响应于所述至少一个解码的参数以及所述第一颜色分量，将所述至少一个后处理应用于图片单元的第二颜色分量，
-存储部件103，如易失性存储器，
-连接各种模块的内部总线B2以及本领域技术人员熟知的用于执行解码设备功能的所有部件。
这样的编码设备和/或解码设备的每一个可以根据纯粹的软件实现、纯粹的硬件实现(例如以专用组件的形式，例如在ASIC，FPGA，VLSI等中)或者集成到设备中的几个电子组件或者以硬件元素和软件元素的混合形式来实施。
附图中的流程图和/或框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的配置、操作和功能。就这一点而言，流程图或框图中的每个框可以代表包括用于实现指定的逻辑功能的一个或多个可执行指令的代码的模块、片段或部分。
例如，一个或多个处理器92可以配置为执行软件组件的各种软件程序和/或指令集以执行以下根据发明的实施例的相应功能：获得图片单元的至少第一颜色分量和第二颜色分量，响应于所述后处理的至少一个参数和所述第一颜色分量对图片单元的第二颜色分量应用至少一个后处理，并且编码所述至少一个参数。
一个或多个处理器102可以配置为执行各种软件程序和/或软件组件的指令集以执行以下根据发明的实施例的相应功能：获得图片单元的至少第一颜色分量和第二颜色分量，解码第二分量的至少一个后处理参数，并响应于所述至少一个解码参数和所述第一颜色分量对图片单元的第二颜色分量应用至少一个后处理。
还应该注意的是，在一些替代的实施方式中，方框中记录的功能可以不按照记录的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，或者这些框可以以替代的顺序执行。还将注意的是，框图和/或流程图的每个框以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，该系统执行指定的功能或动作或专用硬件和计算机指令的组合。
如本领域技术人员将理解的，本原理的各方面可以体现为系统、方法、计算机程序或计算机可读介质。因此，本原理的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等等)或者可以组合软件和硬件方面的实施例的形式，其通常在本文中被称为“电路”、“模块”或“系统”。此外，本原理的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。
一种计算机可读存储介质，可以以计算机可读程序产品的形式体现在一个或多个计算机可读介质中，并具有嵌入的计算机可读的程序代码，该程序代码可由计算机执行。本文中所使用的计算机可读存储介质被认为是非暂态的存储介质，其具有将信息存储在其中固有能力以及由此提供取回信息的固有能力。计算机可读存储介质可以是例如，但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或上述的任何适当组合。应当了解的是以下，在提供可以应用于本原理的计算机可读存储介质的更具体的示例的同时，仅仅是本领域普通技术人员很容易理解的说明性的和不详尽的列表：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或上述任何适用的组合。

Claims (14)

1.一种用于解码表示图片序列的视频流的方法，所述方法包括：
获得(22)图片单元的至少第一颜色分量和第二颜色分量，
解码(23)第二分量的后处理的至少一个参数(Pval)，所述至少一个参数定义为所述第一颜色分量的函数，
响应于所述至少一个解码的参数的值，将所述至少一个后处理的(f)应用于(24)图片单元的第二颜色分量，其中所述至少一个解码的参数的所述值响应于所述第一颜色分量。
2.根据权利要求1所述的方法，其中图片单元是预测单元或所解码的单元。
3.根据权利要求1或2所述的方法，其中所述至少一个后处理的(f)属于包括以下各项的组：
限幅函数，其中所述至少一个参数(Pval)定义图片单元的第二颜色分量的最小值或最大值的至少一个；
偏移函数，其中所述至少一个参数(Pval)定义将加到图片单元的第二颜色分量上的偏移量；
线性滤波函数，其中所述至少一个参数(Pval)定义将应用在图片单元的第二分量上的滤波器的系数。
4.根据权利要求1至3中任一所述的方法，其中解码定义为第一颜色分量的函数(p)的至少一个参数还包括解码表示所述函数(p)的一组点。
5.根据权利要求4所述的方法，其中解码定义为第一颜色分量的函数(p)的至少一个参数还包括在一组点的两个点之间进行插值。
6.一种用于将图片序列编码成视频流的方法，所述方法包括：
获得(13)图片单元的至少第一颜色分量和第二颜色分量，
响应于所述后处理的至少一个参数(Pval)的值，将至少一个后处理的(f)应用(14)于图片单元的第二颜色分量，其中所述后处理的所述至少一个参数的所述值响应于所述第一颜色分量，所述至少一个参数定义为第一颜色分量的函数；
编码(15)所述至少一个参数。
7.根据权利要求6所述的方法，其中图片单元是预测单元或所解码的单元。
8.根据权利要求6或7所述的方法，其中编码定义为第一颜色分量的函数(p)的所述至少一个参数包括编码所述函数(p)的一组点。
9.根据权利要求8所述的方法，其中编码所述函数(p)的一组点包括：
使用分段线性函数近似所述函数，以获得至少一个仿射函数片段，以及
编码仿射函数片段的点。
10.根据权利要求6至9任一所述的方法，其中所述至少一个后处理(f)属于包括以下各项的组：
限幅函数，其中所述至少一个参数定义图片单元的第二颜色分量的最小值和/或最大值；
偏移函数，其中所述至少一个参数定义将加到图片单元的第二颜色分量上的偏移量；
线性滤波函数，其中所述至少一个参数定义将应用在图片单元的第二分量上的滤波器的系数。
11.一种用于解码表示图片序列的视频流的解码设备，包括通信界面(101)，配置成访问所述至少一个视频流，以及至少一个处理器(102)，配置成：
获得图片单元的至少第一颜色分量和第二颜色分量，
解码第二分量的后处理的至少一个参数，所述至少一个参数定义为所述第一颜色分量的函数，
响应于所述至少一个解码的参数的值，将所述至少一个后处理应用于图片单元的第二颜色分量，其中所述至少一个解码的参数的所述值响应于所述第一颜色分量。
12.一种用于将图片序列编码成视频流的编码设备，包括通信界面(91)，配置成访问所述图片序列，以及至少一个处理器(92)，配置成：
获得图片单元的至少第一颜色分量和第二颜色分量，
响应于所述后处理的至少一个参数的值，将所述至少一个后处理应用于图片单元的第二颜色分量，其中所述后处理的所述至少一个参数的所述值响应于所述第一颜色分量，所述至少一个参数定义为第一颜色分量的函数；
编码所述至少一个参数。
13.一种计算机程序产品，包括软件代码，当通过处理器执行所述软件代码时，所述软件代码适于执行根据权利要求1至10任一项所述的方法。
14.一种非暂态的计算机可读介质，包括其上记录的并且可由处理器运行的计算机程序产品，包括用于实现根据权利要求1至10任一所述的方法的程序代码。
CN201680060923.3A 2015-09-08 2016-09-01 对图片序列进行编码和解码的方法、设备和可读介质 Active CN108141601B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306369.8 2015-09-08
EP15306369.8A EP3142363A1 (en) 2015-09-08 2015-09-08 Methods and devices for encoding and decoding a sequence of pictures, and corresponding computer program product and computer-readable medium
PCT/EP2016/070569 WO2017042079A1 (en) 2015-09-08 2016-09-01 Methods and devices for encoding and decoding a sequence of pictures, and corresponding computer program products and computer-readable medium

Publications (2)

Publication Number Publication Date
CN108141601A true CN108141601A (zh) 2018-06-08
CN108141601B CN108141601B (zh) 2022-05-24

Family

ID=54249411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680060923.3A Active CN108141601B (zh) 2015-09-08 2016-09-01 对图片序列进行编码和解码的方法、设备和可读介质

Country Status (6)

Country Link
US (1) US20180262765A1 (zh)
EP (2) EP3142363A1 (zh)
JP (1) JP6835847B2 (zh)
KR (1) KR102631837B1 (zh)
CN (1) CN108141601B (zh)
WO (1) WO2017042079A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
WO2020084470A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode
US10904550B2 (en) * 2019-01-12 2021-01-26 Tencent America LLC Method and apparatus for video coding
EP3993425A4 (en) * 2019-06-25 2023-01-25 SZ DJI Technology Co., Ltd. LOOP FILTRATION METHOD AND APPARATUS
CN115176474A (zh) * 2019-12-31 2022-10-11 抖音视界有限公司 多参数模型的跨分量预测

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140376608A1 (en) * 2013-06-19 2014-12-25 Apple Inc. Sample adaptive offset control

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456111B2 (en) * 2010-06-15 2016-09-27 Mediatek Inc. System and method for content adaptive clipping
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US10015491B2 (en) * 2015-04-06 2018-07-03 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding
US9736335B2 (en) * 2015-04-15 2017-08-15 Apple Inc. Techniques for advanced chroma processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140376608A1 (en) * 2013-06-19 2014-12-25 Apple Inc. Sample adaptive offset control

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHIH-MING FU等: "Sample Adaptive Offset in the HEVC Standard", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
GUILLAUME LAROCHE等: "Non-CE1: On SAO parameters reduction for Chroma（JCTVC-I0183）", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Also Published As

Publication number Publication date
EP3348056B1 (en) 2022-03-09
WO2017042079A1 (en) 2017-03-16
KR102631837B1 (ko) 2024-02-01
US20180262765A1 (en) 2018-09-13
EP3142363A1 (en) 2017-03-15
JP2018530278A (ja) 2018-10-11
EP3348056A1 (en) 2018-07-18
JP6835847B2 (ja) 2021-02-24
KR20180051567A (ko) 2018-05-16
CN108141601B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
US20240205404A1 (en) Chroma quantization in video coding
US11758135B2 (en) Adaptive color space transform coding
RU2683165C1 (ru) Внутреннее предсказание блочного копирования с асимметричными разделами и схемами поиска на стороне кодера, диапазоны поиска и подходы к разделению
CN105900420B (zh) 选择运动向量精度
CN108141601A (zh) 对图片序列进行编码和解码的方法和设备，以及对应的计算机程序产品和计算机可读介质
JP2022528051A (ja) ビデオ処理における非線形適応ループフィルタリング
CN105409218A (zh) 分量间预测
WO2021110116A1 (en) Prediction from multiple cross-components
WO2021115235A1 (en) Cross-component prediction using multiple components
US20220217341A1 (en) Adaptive resolution change and scalable coding for screen contents
Dalcin A deblocking filter architecture for high efficiency video coding standard (HEVC).

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190919

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holding Company

Address before: Icelemulino, France

Applicant before: Thomson Licensing Company

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant