CN105635735B - 感知图像和视频编码 - Google Patents

感知图像和视频编码 Download PDF

Info

Publication number
CN105635735B
CN105635735B CN201510821824.XA CN201510821824A CN105635735B CN 105635735 B CN105635735 B CN 105635735B CN 201510821824 A CN201510821824 A CN 201510821824A CN 105635735 B CN105635735 B CN 105635735B
Authority
CN
China
Prior art keywords
block
energy
quantization parameter
quantization
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510821824.XA
Other languages
English (en)
Other versions
CN105635735A (zh
Inventor
何大可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ot Patent Trusteeship Co ltd
Original Assignee
BlackBerry Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BlackBerry Ltd filed Critical BlackBerry Ltd
Publication of CN105635735A publication Critical patent/CN105635735A/zh
Application granted granted Critical
Publication of CN105635735B publication Critical patent/CN105635735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于感知图像和视频编码的方法和设备。一种用于重构用于当前块的量化参数的方法，包括：预测量化参数，其中，预测量化参数基于：用于所述图像中的相邻块的先前量化参数、所述相邻块的估计AC能量、以及所述当前块的估计AC能量；从比特流中解码出量化参数残差；以及根据预测的量化参数和所述量化参数残差推导出所述量化参数。所述方法可以包括：重构所述当前块的像素，包括基于所述量化参数对解码且量化后的变换域系数进行去量化。

Description

感知图像和视频编码
技术领域
本公开总体涉及数据压缩，具体地，涉及用于感知图像和视频编码的方法和设备。
背景技术
数据压缩被用于通信和计算机网络中以高效地存储、发送和再现信息。其尤其适用于图像、音频和视频的编码。普通图像压缩格式包括JPEG、TIFF和PNG。由GoogleTM提出的图像压缩标准是WebPage。流行的视频编码标准是ITU-T H.264/AVC视频编码标准。其定义用于不同应用的多个不同简档，包括Main profile、Baseline profile及其它。新开发的视频编码标准是ITU-T H.265/HEVC标准。其它标准包括VP-8、 VP-9、AVS和AVS-2。
所有这些图像和视频编码标准通过将图像/图片划分为块(在一些情况下，块和子块的分层，如HEVC的编码树块(CTB))来操作。预测块，之后对块的预测和实际像素数据之差(残差)进行变换、量化和熵编码。变换域系数的量化引入失真，其会降低解码器处的重构图像的质量。这些处理中的许多使用某种类型的速率失真优化例程，以基于传输速率与失真之间的折衷来选择编码参数。
人类视觉系统不会对所有的失真都具有相同的敏感度。例如，人对低频分量的失真比对高频分量的失真更敏感。最常用的失真的测量是峰值信噪比(PSNR)，其测量重构图片中的空间域像素相对于原始图片之间的均方误差(MSE)。然而，这并不一定精确表示了人类对失真的敏感度。
关于人类对图像和视频失真的感知的工作已经使得开发出对原始图片与其重构之间的“结构相似性”(SSIM)的各种测量，其可以比 PSNR更好地表示人类对误差的感知。结构相似性度量可以考虑两个图片(或者像素的窗口或块)的平均值、这些图片/块的每一个中的方差以及这两个图片/块的协方差。因此，SSIM可以有益于做出编码判决，包括用于应用于特定像素数据组的量化级别。然而，实际的结构相似性度量计算起来很复杂，并且在量化的情况下，可能需要多次传递来避免穷尽搜索，这是因为没有直接的方法来将SSIM计算分解为更简单的子问题。这可能会引入不可接受的延迟和/或计算负担。
附图说明
现在将通过示例的方式参照示出本发明示例实施例的附图，其中：
图1以框图形式示出用于编码视频的编码器；
图2以框图形式示出用于解码视频的解码器；
图3示出用于WebP编码中的上下文确定的有限状态机；
图4示出用于WebP中的软判决量化的示例格图(trellis)的部分的一个实施例；
图5以流程图形式示出用于重构用于对数据块进行解码的量化参数的方法；
图6示出编码器的示例实施例的简化框图；
图7示出解码器的示例实施例的简化框图。
在不同附图中可以使用相似附图标记来表示相似组件。
具体实施方式
本申请描述了用于对图像和/或视频进行编码和解码的方法以及编码器/解码器。
在第一方面，本申请描述了在评估失真并从而确定或选择特定编码参数时采用感知质量测量的编码和解码处理。在一个方面，感知质量测量全部或者部分地基于AC能量的确定。在一些实施方式中，可以在空间域中或者在变换域中确定AC能量。
在一个方面，本申请公开了基于AC能量确定的修改的失真加权因子。
在另一方面，本申请描述了基于对块组中的块的选择的AC能量来调整针对所述块组的平均或默认量化步长尺寸，以创建用于对块的选择的系数进行量化或去量化的修改的量化步长尺寸。在一个示例中，块的选择可以是块的百分比。在一个情况下，所选择的百分比的块是 AC能量高于阈值的那些块。
在另一方面，本申请描述了基于AC能量对图片或片进行分割，使得包含块(例如宏块)的片段具有相似的AC能量，其中，片段具有针对片段特定的量化参数。
在另一方面，本申请描述了一种用于选择图像或视频编码中的划分模式的处理，其中，通过部分基于考虑的块的AC能量的加权因子来修改速率失真表达式中的失真。
在另一方面，本申请描述了一种使用解码器从编码数据的比特流中解码图像的方法，其中，所述图像被划分为块。所述方法包括：针对所述图像中的当前块，确定要用于对所述当前块进行解码的量化参数的预测值，其中，所述预测值基于：用于所述图像中的相邻块的先前量化参数、所述相邻块的AC能量的估计值、以及所述当前块的AC 能量的估计值。所述方法还包括：从所述比特流中解码出量化参数残差，以及根据所述预测值和所述量化参数残差推导出所述量化参数；重构所述块的像素，包括基于所述量化参数对解码且量化后的变换域系数进行去量化。
在另一方面，本申请描述了被配置为实施这种编码和解码的方法的编码器和解码器。
在另一方面，本申请描述了一种非暂时性计算机可读介质，存储计算机可执行程序指令，其中，当所述程序指令被执行时，将处理器配置为执行所描述的编码和/或解码的方法。
从下文结合附图对示例的描述中，本领域普通技术人员将理解本申请的其它方面和特征。
将理解，本申请的方面不限于图像或者视频编码，而是在一些实施例中可应用于图像和视频编码。
在下文的描述中，参照用于视频编码的H.264/AVC标准和/或 H.265/HEVC标准来描述一些示例实施例。本领域普通技术人员将理解，本申请不限于H.264/AVC或H.265/HEVC，而是可应用于其它视频编码 /解码标准，包括未来可能的标准、多视图编码标准、可缩放视频编码标准、3D视频编码标准和可重配置的视频编码标准。类似地，到对特定图像编码标准(如JPEG或WebP)进行参考的程度，将理解，描述的处理和设备可以结合其它标准(包括未来标准)而被实施。
在以下描述中，当参考视频或图像时，在某种程度上可以互换地使用术语帧、图片、片、平铺块(tile)、量化组和矩形片组。本领域技术人员将认识到，图片或帧可以包含一个或多个片或者片段。在一些情况下，一系列的帧/图片可被称为“序列”。其它术语可用于其它视频或图像编码标准中。还将认识到，取决于适用的图像或视频编码标准的特定要求或术语学，某些编码/解码操作是逐帧执行的，一些编码 /解码操作是逐片执行的，一些编码/解码操作是逐图片执行的，一些编码/解码操作是逐平铺块执行的，以及一些编码/解码操作是逐矩形片组执行的，等等，视情况而定。在任何特定实施例中，适用的图像或视频编码标准可以确定是否关于帧和/或片和/或图片和/或平铺块和 /或矩形片组来执行以下描述的操作，等等。相应地，根据本公开，本领域技术人员将理解，这里描述的特定操作或过程以及对帧、片、图片、平铺块、矩形片组的特定引用对于给定实施例是否适用于帧、片、图片、平铺块、矩形片组、或者其中的一些或全部。这也可应用于编码树单元、编码单元、预测单元、变换单元、量化组等等，如根据以下描述将变得明显的那样。
现在参照图1，图1以框图形式示出了用于对视频进行编码的编码器10。还参照图2，图2示出了用于对视频进行解码的解码器50的框图。可以认识到，这里描述的编码器10和解码器50均可以在专用或通用计算设备(包含一个或多个处理单元和存储器)上实现。编码器10或解码器50执行的操作可以通过例如专用集成电路或通过通用处理器可执行的存储程序指令来实现，视情况而定。设备可以包括附加软件，包括例如用于控制基本设备功能的操作系统。关于以下描述，本领域技术人员可以认识到在其中可以实现编码器10或解码器50的设备和平台的范围。
编码器10接收视频源12，并产生编码比特流14。解码器50接收编码比特流14并输出解码视频帧16。编码器10和解码器50可以被配置为符合多个视频压缩标准来操作。
编码器10包括空间预测器21、编码模式选择器20、变换处理器22、量化器24和熵编码器24。本领域技术人员可以认识到，编码模式选择器20确定视频源的适合编码模式，例如对象帧/片是I、P还是B类型，帧/片内的特定编码单元是帧间还是帧内编码。变换处理器22对空间域数据执行变换。具体地，变换处理器22应用基于块的变换来将空间域数据转换为频谱分量。例如，在许多实施例中，使用离散余弦变换 (DCT)。在一些实施例中，可以使用其他变换，如离散正弦变换、小波变换或其它的其它变换。对变化单元执行基于块的变换。变换单元可以是编码单元的尺寸，或者编码单元可以被划分为多个变换单元。在一些情况下，变换单元可以是非方形的，例如非方形正交变换 (NSQT)。
将基于块的变换应用于像素数据块得到变换域系数的集合。在本上下文中，“集合”是有序集合，在该集合中系数具有系数位置。在一些实例中，变换域系数的集合可被认为是系数的“块”或矩阵。在本文的描述中，短语“变换域系数的集合”或“变换域系数的块”被互换地使用，并且用于指示变换域系数的有序集合。
量化器24对变换域系数的集合进行量化。然后，熵编码器26对量化后的系数和关联信息进行编码。
帧内编码的帧/片(即，类型I)不参照其他帧/片进行编码。换言之，它们不采用时间预测。然而，帧内编码的帧依赖于帧/片内的空间预测，如图1中通过空间预测器21进行说明。即，在对特定块编码时，可以将块中的数据与针对该帧/片已经编码的块内邻近像素的数据进行比较。使用预测操作，编码器基于邻近像素的数据创建预测块或单元。存在用于预测的各种模式或方向。在一些情况下，可以使用速率失真优化来选择模式/方向。在预测操作中使用的邻近像素是先前已被编码和解码并被存储在反馈环路内的线缓存器35中的重构像素。针对块的实际像素数据与预测块之间的差是残差块，即，误差信号。残差数据被变换、量化和编码，以在比特流14中传输。
帧间编码的帧/块依赖于时间预测，即，使用来自其它帧/图片的重构数据来预测。编码器10具有反馈环路，反馈环路包括：解量化器 28、反变换处理器30和解块处理器32。解块处理器32可以包括解块处理器和过滤处理器。这些单元反映了解码器50实现以再现帧/片的解码过程。帧存储器34用于存储再现帧。按照这种方式，运动预测基于在解码器50处重构帧是什么，而不基于原始帧，由于编码/解码中涉及的有损压缩，原始帧可能不同于重构帧。运动预测器36使用帧存储器34 中存储的帧/片作为源帧/片，来与当前帧进行比较，以识别相似块。换言之，执行运动矢量搜索来识别另一帧/图片内的块。该块是预测块或单元的源。预测块与原始块之间的差成为残差数据，之后对残差数据进行变换、量化和编码。
本领域技术人员将认识到用于实现视频编码器的细节和可能变型。
解码器50包括熵解码器52、去量化器54、逆变换处理器56和去块处理器60。去块处理器60可以包括去块和滤波处理器。线缓存器59存储在帧/图片被解码时重构的像素数据，以用于空间补偿器57在帧内编码时使用。帧缓存器58存储完全重构和去块的帧，以用于运动补偿器 62在施加运动补偿时使用。
熵解码器52接收并解码比特流14，以恢复量化后的系数。在熵解码过程中，还可以恢复括编码模式信息在内的辅助信息，一些辅助信息可以提供给反馈环路，以用于创建预测。例如，熵解码器52可以恢复运动矢量和/或针对帧间编码块的参考帧信息或者针对帧内编码块的帧内编码模式方向信息。
然后，解量化器54对量化后的系数进行解量化，以产生变换域系数，然后，反变换处理器56对变换域系数进行反变换，以重建/重构残差像素域数据。空间补偿器57根据残差数据和其使用空间预测所创建的预测块来产生视频数据。空间预测应用与编码器依据先前根据相同帧所重构的像素数据所使用的预测模式/方向相同的预测模式/方向。通过基于先前解码的帧/图片以及从比特流中解码出的运动矢量创建预测块来重构帧间编码的块。然后，将重构的残差数据添加到预测块以产生重构的像素数据。空间和运动补偿两者可被称为“预测操作”。
然后，可以对重构帧/片应用解块/过滤过程，如解块处理器60所示。在解块/过滤之后，输出帧/片作为解码视频帧16，例如以在显示设备上显示。可以理解，视频回放机(如计算机、机顶盒、DVD或蓝光播放器和/或移动手持设备)可以在输出设备上显示之前将解码帧缓冲在存储器中。
由于对变换后的残差的量化导致数据损失而产生失真。一般而言，失真是一数据值范围到缩小值范围的映射。在一些编码方案中，选择如量化参数QP的参数用于序列、图片、帧、片、量化组、块等，并且使用与该参数相对应的量化步长尺寸来量化所有值。在一些其它编码方案中，量化参数可以根据变化块中的系数位置(例如在频率相关的量化(FDQ)中)而不同。在FDQ中，量化步长尺寸取决于与变换域系数相关联的频率，即，基于其在变换域系数的块内的位置。可以使用在尺寸上与被量化的块相对应的量化步长尺寸的固定矩阵来实现 FDQ。
在许多情况下，通过将原始像素与重构像素进行比较来测量失真。例如，可以使用峰值信噪比(PSNR)来测量失真，PSNR基于原始像素和重构像素之间的均方误差。虽然PSNR直接进行计算，但是它不能对人类视觉系统对质量的感知进行精确建模。
已经开发出对人类视觉感知更精确地建模的备选失真测量，诸如结构相似性(SSIM)测量。在空间域中，在图像x与其重构y之间的SSIM 可以如下给出：
在该表达式中，μx是x的平均值，μy是y的平均值，||.||表示L2范数， C1和C2是用于避免在分母接近于0时的不稳定性的常数。为了简洁，我们使用(v-a)，其中，v＝(v0，v1，…，vk-1)是长度为k的矢量，k＞1，a是标量，以表示矢量(v0-a，v1-a，…，vk-1-a)。应注意，SSIM函数将矢量用作输入，并且不能因式分解为具有标量输入的简单函数，这意味着动态编程可能不能用于解决成本函数中的基于SSIM的问题(即，用于在图像或视频编码器或解码器中进行编码判决)。
为了在实际图像/视频编码中解决与使用以上针对SSIM的表达式相关联的计算复杂性，但是仍然包括反映感知质量的统计学测量，可以修改传统的均方误差(MSE)测量以创建加权均方误差(WMSE) 测量。例如，WMSE的一个表达式提出了分开地测量DC系数和AC系数的WMSE的一种二元度量(wdc，wac)。示例表达式为：
例如，可以在JPEG编码方案中使用这些量。在速率失真优化量化 (RDOQ)处理中，可以使用贪婪搜索来寻找用于在DCT之后的8×8 图像块x的量化输出u。在下文的标注中，y＝y0…y63是遵循之字形扫描顺序的DCT(x)的DCT系数的长度为64的序列。随后，RDOQ尝试解决以下最小化问题：
在以上表达式中，r(u)表示用于通过使用JPEG熵编码方法对u进行编码的比特的数量，λdc和λac是标准拉格朗日乘子，表示从u重构的DCT系数，表示空间域中的x的重构。此外，以上表达式中的C′1和C′2是用于避免分母接近于0时的不稳定性的常数。在 DCT的一些实施方式中，C′1＝64C1，并且C′2＝63C2。通过另一种方式表达，针对块i(其中，i＝1，...N)的速率失真成本方程可以被表示为：
Ji(ui)＝wi，acdi，ac(ui，xi)+wi，dcdi，dc(ui，xi)+λr(ui)
以上，xi表示块i，ui表示响应于xi的量化输出，di，ac(ui，xi)表示AC失真，di，dc(ui，xi)表示DC失真，
并且
其中，表示xi的相对于其尺寸被归一化的AC能量，表示的平均，即，
表示块i的DC能量，表示的平均，即，
注意，可以计算
并使用替代类似地，可以计算
并使用替代
假设由JPEG编码器选择的在DCT位置k(k＝0，...，63)的量化步长尺寸是qk。当wi，ac小于1时，其等同于允许(针对速率成本的相同量) 在位置k的更大的量化误差，这进而意味着比qk更大的有效量化步长尺寸。通过仅检查除了最小化在针对i的位置k处的失真的量化索引(为了简洁由ui，k表示)以外的量化索引，这在RDOQ中是可能的。然而，当wi，ac大于1时，其等同于要求位置k处的比由qk提供的量化误差更小的量化误差。由于qk定义k处的所有重构级别，因此不幸的是，不能找到比ui，k给出的量化误差更小的量化误差。换言之，如果(或相应地)小于(或者相应地)，则不能改善针对块i的视觉质量。
在下文的描述中，描述了各种方法和设备，与以上处理类似，它们采用AC能量的测量(或估计)作为编码判决中的因子。将AC能量包括在一些下文的编码方法中可以通过将感知测量合并到失真测量或其它编码判决中来帮助改善视觉质量。
修改的失真加权因子
在一个方面，本申请描述了用于在选择量化步长尺寸中使用感知加权的方法和设备。具体地，感知加权可以基于图像、图片、片中的块的一部分或者图像的其它多块部分。
使用图像编码作为示例，将回忆起JPEG使用针对图片中的所有 DCT块的相同量化矩阵。类似地，针对图片的整个片段，WebP使用相同的量化步长。
还应注意，SSIM测量同等地对待所有AC位置。为此，可以假设相同的量化步长尺寸q用于量化器中的所有AC位置。然而，如果使用不同的量化步长尺寸，则可以修改如下所述的处理以考虑该变化，例如如在2012年12月4日授权的Furbeck的美国专利No.8,326,067中的讨论，其通过引用合并于此。如上所述，可以根据选择量化步长尺寸 q。假设存在M个DCT块，即，i＝0，...，M-1。假设每个DCT块可以确定针对AC系数的其自身的量化步长尺寸qi，之后针对{0，...，M-1}中的任何i，i’，可以实现以下等式：
其中，c是与拉格朗日乘子相关的常数。换言之，找到量化步长尺寸qi (i＝0，...，M-1)，使得每个块的速率失真曲线的斜率基本相同。这进而导致：
如果则：
因此，如果想要选择量化步长尺寸作为则量化步长尺寸针对具有平均AC能量和平均视觉质量的块。然而，在一些实施例中，可能希望确保最坏情况下的图片的视觉质量分数(例如，局部区域中的 SSIM或一些类似感知测量)不会比给定量小，或者图片的视觉质量分数(例如特定百分比)不会比给定量小。
作为示例，假设M个块的百分之t(0≤t≤1)具有比高的AC能量，而百分之(1-t)具有比低的AC能量。在一个示例中，这可以通过根据块各自的AC能量对所述块进行排序并识别具有最高AC能量的百分之t来确定。随后，量化步长尺寸qt可以被选择为：
这将导致具有高于的AC能量的百分之t的块将被重构为具有比由所提供的感知质量更高的感知质量(例如，SSIM索引)。注意，指示被选择为实现平均质量的量化步长尺寸。可以使用预定查找表、经验公式、或者在质量分数(可选地，)于质量步长尺寸之间的其它预选择的关联来实现对的选择。
在一些其它应用中，可能由于所涉及的计算复杂度而使得SDQ (软判决量化)或其简化版本RDOQ(速率失真优化量化)不可行。在这种应用中，可以选择q，使得q2最小化以下和：
直接计算导致：
基于AC能量的分割
一些图像和视频编码处理将图像或图片分割或分离为具有自身的量化参数集的多个块组(与整个图像/图片具有相同量化参数的情况或者每个块具有其自身的量化参数组的情况相对)。这种处理的示例是WebP图像编码处理，其将图像分割为四个片段。目前的WebP实施方式使用宏块的被称为“alpha值”的参数作为推导宏块的片段ID的基础，从而其用作用于分割图像的基础。
具体地，划分处理是对宏块的alpha值进行操作的图片级别的简化的K均值算法。alpha值是0和255之间的整数，其粗略地指示对宏块编码的难度，并且通过以下表达式来计算：
alpha＝(max_value＞1)？ALPHA_SCALE*last_non_zero/ max_value：0。
在以上表达式中，ALPHA_SCALE＝2*255，last_non_zero表示宏块中的最大绝对的量化dct系数(使用固定量化步长尺寸8用于alpha推导)，并且max_value表示非零绝对量化dct系数出现的最大数量。 last_non_zero的范围是[0，31]。last_non_zero和max_value两者均从存储宏块中的绝对量化dct系数的经验分布的直方图中获得。注意，alpha 将最终被夹在[0，255]。
与alpha值方法相反，本申请提出使用宏块的AC能量作为推导片段ID的基础，从而用于划分图像/图片。例如，考虑宏块k中的16×16 亮度块。假设Ek，i(i＝0，...，15)表示宏块k中的第i个4×4亮度块的平均 AC能量。因此，宏块中的平均AC能量可被计算为：Ek与宏块k中的内容的复杂度/活性相关：Ek越大，通常表示内容越复杂，而Ek越小，通常表示内容越简单并且越平坦。
使用Ek替代alpha值，在一些实施例中，编码器可以使用相似K均值方法来推导出图片中的宏块k的片段id。产生的分割从而将具有相似 AC能量的宏块分组。由于使用相同量化参数(例如量化步长)对片段中的所有宏块进行量化，因此这种基于AC能量的分组使得通过在分段中进行量化而引入的结构相似性的变化更小。
在一个示例中，基于AC能量的分割可以被实施为对WebP的修改。作为说明的示例，可以使用这种实施方式来处理灰度级512×512 lena512。图像具有1024个宏块，并且Ek(k＝0，...，1023)的范围是整数循环的[0，7838]。使用K均值将图片划分为4个片段，在每个片段中具有范围减小的(整数循环的)Ek，如下：
[2，130]，[131，377]，[384，744]，[761，1407]
四个片段在宏块数量上的尺寸分别为708、197、89和30。
以上K均值方法尝试最小化到分段质心的总均方距离。在另一示例中，通过使用不同的距离测量来调整该方法。例如，如果距离测量是绝对距离(即，L1距离)，则产生的范围是：
[2，46]，[46，161]，[164，419]，[419，1407]
这产生分别具有尺寸526、219、175和104的范围。
为了在低端提供更多的分辨率，在另一示例中，该方法使用log(Ek) 替代K均值方法中的Ek。在相同的lena512灰度级图像中，使用log(Ek) 和L1距离的K均值方法导致Ek的范围为：
[2，14]，[14，49]，[49，176]，[178，1407]。
因此，范围分别具有尺寸307、231、223和263。
注意，在一些实际实施中，可以对Ek执行质心计算，并且可以对 log(Ek)执行距离计算，以更好地反映这些量如何用于后续的编码处理中。
基于AC能量的模式判决
经常使用软判决量化(SDQ)或速率失真优化量化(RDOQ)、通过最小化速率失真成本函数以及在一些情况下的成本的格图来在量化失真与比特率之间进行平衡的技术，来评估编码器中的模式判决。
当确定预测模式时，编码器通常一次关注一个块。在JPEG中，块尺寸是8×8，在WebP中，块尺寸是4×4或16×16。在(划分)模式判决中，编码器可以评估多个块的聚合质量分数。例如，在WebP中，为了确定是使用i16模式还是使用i4模式，需要检查16个4×4亮度块。在AVC 和HEVC中甚至有更多的候选划分模式，HEVC还具有范围从16×16到 64×64的编码树单元(CTU)尺寸的分层。
在本申请的一个方面，确定划分模式的失真测量可以用感知参数加权。感知参数可以基于划分块的AC能量。在一个示例中，感知参数可以基于涉及划分块的AC能量与图像、图片、片段、片等中的块的平均AC能量的比例。
对于具有J个宏块的图像或片段，用j表示当前宏块的索引(j＝0，...， J-1)，以需要针对WebP中的16×16宏块确定划分模式的情况作为示例。对于i16模式，可以计算重构的和原始的16×16块之间的空间域中的均方失真Dj，i16，并且记录在该模式中的用于对宏块编码的比特rj，i16的数量。量Dj，i16随后被因子wj，mode加权，因子wj，mode由宏块中的局部方差和针对所有16×16宏块的平均方差来确定，即：
与i4模式类似，编码器可以计算针对宏块的Dj，i4和rj，i4，其中，Dj，i4也被加权wj，mode。注意，在该示例实施例中，wj，mode是根据在宏块级别的空间域中收集的统计量来确定的，因此与在之前的示例中定义的示例参数wi，ac和wi，dc不同，参数wi，ac和wi，dc是根据在(变换)块级别的变换域中收集的统计量来确定的。在一些实施例中，编码器可以将wj，mode分为wmode，ac和wmode，dc，以考虑AC分量和DC分量对视觉质量分数的不同贡献。虽然(除非宏块是暗的)DC分量对视觉质量分数的贡献相比于 AC分量而言可以忽略，因此，在一些实施例中，可以使用单个参数 wj，mode，而不会显著损害处理。
与仅具有两个级别(4×4变换块和16×16宏块)的WebP相反，HEVC 以及之前的AVC具有更深的分层。在HEVC的情况下，块尺寸的范围可以从4×4(变换块)到64×64(最大的编码单元)。以上对HEVC的模式判决方案涉及在不同级别使用不同的加权因子(例如，wj，mode)，即，可以根据在相应块级别的空间域中收集的统计量来确定针对N×N块的 wj，mode。
SDQ/RDOQ
WMSE(或MSE或其它用于失真的可分解计算)的使用允许在软判决量化(SDQ)或速率失真优化量化(RDOQ)技术中的实施。将理解，SDQ和RDOQ的实施的细节取决于熵编码处理(尤其在上下文模型中)。
在一些实施例中，可以在SDQ的实施中使用格图，如在Yang等人的美国专利No.8,005,140中的描述，其内容通过引用合并于此。
在一个方面，本申请描述了可以有利地用于针对WebP的SDQ或 RDOQ的实施中的特定格图结构。由于WebP与视频编码处理VP8和 VP9密切相关，因此该相同格图结构可以应用于这种情况。
在一个实施例中，在WebP中，可以对变换域中的每个4×4块执行 SDQ。在一个实施例中，如果在WebP中，则可以对变换域中的每个4×4 块执行SDQ。如果按照扫描顺序表示DCT系数，按照扫描顺序的DCT 系数被表示为y＝y0...y15，则可以基于以下表达式的最小化使用格图来寻找优化量化输出u＝u0…u15：
在以上表达式中，表示y的重构，r(u)表示通过使用在 WebP中定义的熵编码方法对u进行编码的比特的数量。在用于求解该表达式的格图的阶段i，状态的数量等于ui的可能值的数量K。因此，计算复杂度随着K而成平方地增加。
在一个方面，本申请描述了一种基于格图的实施方式，其具有随着K而线性增加的计算复杂度。这种格图90的示例部分在图4中示出。同时参照图3，WebP中的上下文转移由有限状态机80示出。针对该示例上下文模型的有限状态机80包括三个状态：c0、c1、c2。
在WebP中，针对ui的上下文是扫描位置I和辅助信息(如块类型) 的函数。具体地，对ui-1的依赖性由图3中的有限状态机80示出，其中，从cj到ck(j，k＝0，1，2)的转移取决于ui-1的绝对值。
由于仅存在三个状态，我们可以构建在每个阶段i最高具有三个状态的格图。参照图4，格图90具有连接阶段i-1和i的两个状态的边沿，并对应于可能的ui-1。注意，允许存在从阶段i的ck(k＝0，1，2)到阶段i+1 的c2的多条边沿。在该实施例中，边沿的数量等于ui的可能值的数量K，但是每个阶段中的状态的数量始终是3。因此，可以通过使用动态编程，利用寻找随K线性增加的最佳路径的计算复杂度来求解该格图90设计。
量化参数预测
如上所述，在一些编码处理中，可能期望基于感知视觉质量测量 (诸如SSIM或WMSE等)选择和/或调整用于数据块(或块的集合) 的量化步长尺寸。类似地，可以调整对这些用于预测量化参数的机制的改变，以考虑对感知视觉质量测量的使用。
在HEVC中，作为示例，用于确定量化步长尺寸的现有机制涉及预测要用于量化组的量化参数(Qp)(量化组是编码树块内的要根据相同量化参数进行量化的编码单元的组)。该预测通常基于解码的参数 (例如，根据相邻块或者先前的量化组解码的系数或者标记)以及片级别或图片级别参数(例如，图片级别Qp值)。比特流包括编码的差值，该编码的差值被解码器结合预测来使用，以得到要用于对当前量化组进行解码的实际Qp值。
为了给出特定示例，HEVC规定了用于结合当前量化组推导QpY (用于亮度块的量化参数)的以下步骤：
1、从解码的相邻块(左侧和上侧的块)、正好在先前的量化组(不必须是邻近的)以及针对当前片或图片所设置的量化参数推导qPY_PRED。
2、从比特流解析量CuQpDeltaVal。
3、从下式推导QpY：
((qPY_PRED+CuQpDeltaVal+52+2*QpBdOffsetY)％(52+QpB dOffsetY))-QpBdOffsetY
在以上表达式中，QpBdOffsetY规定亮度量化参数范围偏差的值，并且是根据图片样本的比特深度(bit_depth_luma_minus8)推导出的。在HEVC中，bit_depth_luma_minus8的范围从0到8，其意味着比特深度范围为[8，16]，从而量可以由下式给出：
QpBdOffsetY＝6*bit_depth_luma_minus8
随后从QpY推导针对相同量化组中的色度块的量化参数。
由于当前量化组的相邻块(例如，左边和上侧的邻近块)可以具有实质上不同的AC能量，因此如果针对当前量化组的期望的量化步长尺寸基于诸如AC能量的感知参数，则其可能与在传统HEVC预测处理中推导的预测很不一样。这导致更显著的CuQpDeltaVal值以及在对这些值进行编码时必然的低效率。
因此，在一个方面，本申请提出对用于推导量化参数的预测处理的修改。在下文的描述中，术语块被用于统一表示编码块、编码块的组、量化组或者本技术可应用于的其它“块”。将理解，在被描述为应用于块的以下处理中，其还可以应用于一块组，如量化组，即使量化是不相交、非方形或者非矩形的块的集合。
量化参数不必须与量化步长尺寸相同。可以存在将量化参数Qp 映射到量化步长尺寸q的函数f。相反，函数g可以表示f的逆函数。在一个示例中，f可以是指数函数，如AVE和HEVC中的指数函数。
在一个示意性示例中，QpY_A表示位于图像/片/图片中的当前块的左侧的块(例如，量化组)的量化参数，QpY_B表示当前块上侧的块的量化参数。在一些实施方式中，如果QpY_A或QpY_B不可用，则其可被设置为默认值QpY_PREV，默认值QpY_PREV可以是按照解码顺序的前一量化组的Qp值、片的Qp值、图片的Qp值或者根据先前推导的量化参数推导出的一些其它Qp值。
如上所述，为了改善由SSIM测量的视觉质量，可以将以下等式视为目的或目标：
在以上表达式中，qA＝f(QpY_A)，qB＝f(QpY_B)，并且和分别表示左侧组的AC能量和顶侧组的AC能量。由于和表示预量化的系数的AC能量，因此它们在解码器侧没有被完全知晓，在解码器侧，仅它们的重构是可用的。因此，在本处理中，估计和
因此，可以根据以下等式来获得预测的Qp值，qPY_PRED：
在该表达式中，σX是当前组的AC能量。自然地，在解码器侧，σX是未知的。然而，可以与和一起估计σX。
在一个示例实施例中，基于邻近组/块的重构来估计它们的AC能量。也就是说，σA是左侧组/块的重构的AC能量，σB是顶侧组/块的重构的AC能量。当然，当前块的重构是不可用的，因此在解码器不知道当前块的重构的AC能量σX；然而，当前块的预测是可用的。在一个实施例中，基于当前块/组的预测的AC能量来估计σX。
在另一实施例中，σX基于当前块的预测的AC能量，并基于邻近组/块中的一个或两个的残差的AC能量来调整。在一个示例中，将邻近块的残差的AC能量作为邻近块的重构的AC能量和邻近块的预测的 AC能量之间的差来测量。例如，如果σP，A和σP，B分别表示左侧组/块和顶侧组/块的预测的AC能量，并且用σP，X表示当前组/块的预测的AC能量，则σX可被估计为σP，X+(σA-σP，A)*0.5+(σB-σP，B)*0.5。
将理解，在一个实施例中，如果邻近组/块由块组构成，则AC能量(例如，σA和σB)可以被计算为该组中的这些块的平均AC能量。
在使用来自先前量化组的QpY_PREV替代QpY_A或QpY_B的情况下，可以根据先前组的预测来估计相应的AC能量σA或σB。在QpY_PREV是片 (或图片)的量化参数，并被用于替代QpY_A或QpY_B的情况下，可以从与片量化参数一起的片头中解析相应的AC能量σA或σB(作为)。在另一实施例中，可以根据相同类型(I、B、P等)的先前片来估计相应的AC能量σA或σB。在需要避免对先前片/图片的依赖性的一些应用中，在片头中编码的前一个方案是优选的。在一些示例实施方式中，可以应用(使解码器知晓的)补偿来考虑预测和原始样本之间的差。
现在参照图5，图5示出重构用于对图像(静止图像或视频图像) 的块进行解码的量化参数的处理100的一个示例。在该示例中，取决于实施方式，块可以表示编码单元或编码单元的组，诸如量化组。虽然下面的示例被描述为被实施在解码器处，但是将理解，在一些实施例中，该处理可以实施在用于重构用于预测操作中的块的反馈环路内的编码器处。就此而言，对“解码器”的指代包括在编码器的反馈环路内实施的解码处理。
在操作102，解码器估计相邻块的AC能量。在一些实施例中，相邻块可以是在当前块左侧或上侧的块。如上所述，在一些实施例中，可以基于相邻块的重构的AC能量AC能量的估计值。在一些其它实施例中，可以基于相邻块的预测的AC能量进行所述估计。在一些情况下，这些技术的组合可用于推导对相邻块的AC能量的估计。
在操作104，在一些实施例中，解码器可以估计另一个相邻块的 AC能量。在一些情况下，如果第一相邻块是靠近当前块左侧的块，则另一个块可以是靠近当前块上侧的块。相反，在一些情况下，如果第一相邻块是靠近当前块左上侧的块，则另一个块可以是靠近当前块左侧的块。在其它情况下，另一个块可以在不同位置，这取决于图像/ 图片内的块到块扫描顺序。在另一实施例中，作为估计另一个相邻块的AC能量的替代，解码器可以使用另一个量化组、片、片段、图片或另一块组的AC能量的估计值。例如，在一些实施例中，可以从片/图片头获得图片或片的AC能量的估计值作为量在操作102，例如， AC能量的估计可以基于另一个块的重构的AC能量，或者基于另一个块的预测的AC能量。
在操作106，估计当前块的AC能量。如上所述，在一些实施例中，可以基于当前块的预测来估计当前块的AC能量。在其它实施例中， AC能量可以基于重构(还未被创建)的估计的AC能量，其中，通过从当前块的预测的AC能量以及相邻块和另一个相邻块(如果存在的话) 的残差的大致AC能量来AC能量的估计值。在其它实施例中，可以使用其它技术来估计当前块的AC能量。
使用这些估计的AC能量，在操作108，解码器预测用于当前块的量化参数。预测的量化参数可以基于相邻块的量化步长尺寸和另一个相邻块的量化步长尺寸，这两个量化步长尺寸都被当前块的AC能量与它们各自的AC能量的比例加权。在一个示例实施方式中，量化参数的预测可以被表达为：
在操作110，解码器对编码的差值(例如，CuQpDeltaVal)进行解码。随后在操作112，将差值与预测的量化参数一起用于重构针对当前块的量化参数。在重构了量化参数之后，解码器可以将量化参数用于当前块的解码和重构(未示出)。
在上述实施例中的一些中，量化组中的所有亮度块共享单个量化参数QpY。在一些实施方式中，例如，在组中的块显示出内容上的显著变化(在AC能量中表明)的情况下，可能希望针对每个亮度块进一步调整量化参数。
作为示例说明，假设σX是用于推导QpY的参数。例如，σX可以是组中其预测为已知的第一亮度块的AC能量。在另一示例中，可以从针对量化组的比特流中解析σX(作为以上)。使qX＝f(QpY)，并且使σc作为组中的当前块的AC能量的估计值。注意，可以根据当前块的预测来估计σc。之后，用于块的量化参数可以被选择为：
将理解，上述一些技术可以被分别用于AC和DC。也就是说，用于DC(和针对DC所预测的)的量化参数可以与用于AC(和针对AC 所预测的)的量化参数分开。在此情况下，以上技术可以用于产生对当前块的DC的量化参数的预测以及对当前块的AC的量化参数的预测，其中，对当前块的DC的量化参数的预测基于用于相邻块的DC的先前量化参数、相邻块的估计DC能量和当前块的估计DC能量，对当前块的AC的量化参数的预测基于用于相邻块的AC的先前量化参数、相邻块的AC能量的估计值和当前块的AC能量的估计值。此外，可以从比特流中解码出针对DC和AC的分离的量化参数残差，其与用于DC和 AC的预测的量化参数一起分别用于推导当前块的用于DC和AC的量化参数。最后，可以通过基于针对DC的推导出的量化参数对解码且量化后的DC变换域系数进行去量化，并通过基于针对AC的推导出的量化参数对解码且量化后的AC变换域系数进行去量化，来重构块的像素。注意，在一些实施例中，为了更高的灵活性和效率，用于DC的量化组可以与用于AC的量化组不同。
在一些编码方案中，图像/图片的划分是复杂的且涉及多个级别。例如，HEVC提供多个块尺寸以试图提高编码效率。具体地，HEVC 使用编码树结构，其允许较大的块被分解为较小的块，从速率失真的视角看这样是有利的。例如，32×32块可以被分解为四个16×16块，并被进一步分解为16个8×8块，等等。为了在编码量化参数中考虑块尺寸，在一个实施例中，根据块尺寸对量化参数进行分组。例如，对于每个不同的块尺寸，可以将参数插入到片/图片头。类似地，以上的量化组中的量化参数和qX的推导可以针对不同的块尺寸而分开进行。最后，在一起考虑不同尺寸的块的情况下，可以针对关联的块尺寸对σA、σB、σX和σc进行归一化。
现在参照图6，图6示出了编码器900的示例实施例的简化框图。编码器900包括：处理器902、存储器904和编码应用906。编码应用906 可以包括存储在存储器904中并包含指令的计算机程序或应用，所述指令用于将处理器902配置为执行这里描述的操作。例如，编码应用906 可以编码并输出根据这里描述的过程所编码的比特流。可以理解，编码应用906可以存储在计算机可读介质上，如致密光盘、闪存设备、随机存取存储器、硬盘等等。
现在还参照图7，图7示出了解码器1000的示例实施例的简化框图。解码器1000包括：处理器1002、存储器1004和解码应用1006。解码应用1006可以包括存储在存储器1004中并包含指令的计算机程序或应用，所述指令用于将处理器1002配置为执行这里描述的操作。可以理解，解码应用1006可以存储在计算机可读介质上，如致密光盘、闪存设备、随机存取存储器、硬盘等等。
可以认识到，根据本申请的解码器和/或编码器可以在多个计算设备中实现，包括但不限于服务器、合适编程的通用计算机、音频/视频编码和回放设备、电视机顶盒、电视广播设备和移动设备。可以通过包含指令的软件来实现解码器或编码器，所述指令用于将处理器或多个处理器配置为执行这里描述的功能。软件指令可以存储在任何合适的非瞬时计算机可读存储器上，包括CD、RAM、ROM、闪存等等。
可以理解，这里描述的编码器以及实现所描述的用于配置编码器的方法/过程的模块、例程、进程、线程或其他软件组件可以使用标准计算机编程技术和语言来实现。本申请不限于特定处理器、计算机语言、计算机编程惯例、数据结构、其他这种实现细节。本领域技术人员将认识到，可以将所描述的过程实现为存储在易失性或非易失性存储器中的计算机可执行代码的一部分、专用集成芯片(ASIC)的一部分等。
可以对所描述的实施例进行特定适配和修改。因此，上述实施例被认为是示意性而非限制性。

Claims (20)

1.一种使用解码器从编码数据的比特流中解码图像的方法，其中，所述图像被划分为块，所述方法包括：
针对所述图像中的当前块，
确定要用于对所述当前块进行解码的量化参数的预测值，其中，所述预测值基于：
用于所述图像中的相邻块的先前量化参数，
所述相邻块的AC能量的估计值，以及
所述当前块的AC能量的估计值；
从所述比特流中解码出量化参数残差，以及根据所述预测值和所述量化参数残差推导出所述量化参数；以及
重构所述块的像素，包括基于所述量化参数对解码且量化后的变换域系数进行去量化。
2.如权利要求1所述的方法，其中，所述预测值还基于用于所述图像中的另一个相邻块的第二先前量化参数。
3.如权利要求2所述的方法，其中，所述相邻块和所述另一个相邻块包括所述图像中的所述当前块左侧的块以及所述图像中的所述当前块上侧的块。
4.如权利要求1所述的方法，其中，所述预测值还基于用于按照解码顺序的先前量化组的第二先前量化参数或者从所述图像的头信息中获得。
5.如权利要求1所述的方法，其中，所述量化参数包括多个定义的QP值之一，其中，基于所述量化参数对解码且量化后的变换域系数进行去量化识别与所述QP值相对应的量化步长尺寸，并在去量化中使用所述量化步长尺寸。
6.如权利要求1所述的方法，其中，所述相邻块的AC能量的估计值包括所述相邻块的预测的AC能量，并且其中，所述当前块的AC能量的估计值包括所述当前块的预测的AC能量。
7.如权利要求1所述的方法，其中，所述相邻块的AC能量的估计值包括所述相邻块的重构的AC能量，并且其中，基于以下项来估计所述当前块的AC能量的估计值：
所述当前块的预测的AC能量，以及
所述相邻块的重构的AC能量与所述相邻块的预测的AC能量之间的差。
8.如权利要求1所述的方法，其中，每个块包括以下之一：编码单元、编码单元的组、以及包含多个编码单元的量化组。
9.一种用于从编码数据的比特流中解码图像的解码器，其中，所述图像被划分为块，所述解码器包括：
处理器；
存储器；以及
解码应用，存储在存储器中，并且包含能够由处理器执行以实现以下操作的指令：
针对所述图像中的当前块，
确定要用于对所述当前块进行解码的量化参数的预测值，其中，所述预测值基于：
用于所述图像中的相邻块的先前量化参数，
所述相邻块的AC能量的估计值，以及
所述当前块的AC能量的估计值；
从所述比特流中解码出量化参数残差，以及根据所述预测值和所述量化参数残差推导出所述量化参数；以及
通过基于所述量化参数对解码且量化后的变换域系数进行去量化，来重构所述块的像素。
10.如权利要求9所述的解码器，其中，所述预测值还基于用于所述图像中的另一个相邻块的第二先前量化参数。
11.如权利要求10所述的解码器，其中，所述相邻块和所述另一个相邻块包括所述图像中的所述当前块左侧的块以及所述图像中的所述当前块上侧的块。
12.如权利要求9所述的解码器，其中，所述预测值还基于用于按照解码顺序的先前量化组的第二先前量化参数或者从所述图像的头信息中获得。
13.如权利要求9所述的解码器，其中，所述量化参数包括多个定义的QP值之一，其中，所述处理器基于所述量化参数对解码且量化后的变换域系数进行去量化识别与所述QP值相对应的量化步长尺寸，并在去量化中使用所述量化步长尺寸。
14.如权利要求9所述的解码器，其中，所述相邻块的AC能量的估计值包括所述相邻块的预测的AC能量，并且其中，所述当前块的AC能量的估计值包括所述当前块的预测的AC能量。
15.如权利要求9所述的解码器，其中，所述相邻块的AC能量的估计值包括所述相邻块的重构的AC能量，并且其中，基于以下项来估计所述当前块的AC能量的估计值：
所述当前块的预测的AC能量，以及
所述相邻块的重构的AC能量与所述相邻块的预测的AC能量之间的差。
16.如权利要求9所述的解码器，其中，每个块包括以下之一：编码单元、编码单元的组和包含多个编码单元的量化组。
17.一种非暂时性处理器可读介质，存储处理器可执行指令，所述处理器可执行指令用于使用解码器从编码数据的比特流中解码图像，所述图像被划分为块，所述处理器可执行指令包括：
针对所述图像中的当前块，
用于确定要用于对所述当前块进行解码的量化参数的预测值的指令，其中，所述预测值基于：
用于所述图像中的相邻块的先前量化参数，
所述相邻块的AC能量的估计值，以及
所述当前块的AC能量的估计值；
用于从所述比特流中解码出量化参数残差，以及根据所述预测值和所述量化参数残差推导出所述量化参数的指令；
用于重构所述块的像素的指令，重构所述块的像素包括基于所述量化参数对解码且量化后的变换域系数进行去量化。
18.如权利要求17所述的非暂时性处理器可读介质，其中，所述预测值还基于用于所述图像中的另一个相邻块的第二先前量化参数。
19.如权利要求18所述的非暂时性处理器可读介质，其中，所述相邻块和所述另一个相邻块包括所述图像中的所述当前块左侧的块以及所述图像中的所述当前块上侧的块。
20.如权利要求17所述的非暂时性处理器可读介质，其中，所述相邻块的AC能量的估计值包括所述相邻块的预测的AC能量，以及其中，所述当前块的AC能量的估计值包括所述当前块的预测的AC能量。
CN201510821824.XA 2014-11-25 2015-11-24 感知图像和视频编码 Active CN105635735B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/552,590 US9628803B2 (en) 2014-11-25 2014-11-25 Perceptual image and video coding
US14/552,590 2014-11-25

Publications (2)

Publication Number Publication Date
CN105635735A CN105635735A (zh) 2016-06-01
CN105635735B true CN105635735B (zh) 2019-04-26

Family

ID=54608280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510821824.XA Active CN105635735B (zh) 2014-11-25 2015-11-24 感知图像和视频编码

Country Status (3)

Country Link
US (1) US9628803B2 (zh)
EP (1) EP3026910B1 (zh)
CN (1) CN105635735B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872539B (zh) 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
US10182244B2 (en) 2016-03-02 2019-01-15 MatrixView, Inc. Fast encoding loss metric
US10218976B2 (en) 2016-03-02 2019-02-26 MatrixView, Inc. Quantization matrices for compression of video
WO2018018486A1 (en) * 2016-07-28 2018-02-01 Mediatek Inc. Methods of reference quantization parameter derivation for signaling of quantization parameter in quad-tree plus binary tree structure
CN108429911B (zh) * 2017-02-15 2020-10-27 上海富瀚微电子股份有限公司 一种高效视频编码率失真优化量化方法
CN109246407B (zh) * 2017-04-28 2020-09-25 微软技术许可有限责任公司 图像编码
CN109543826A (zh) * 2017-09-21 2019-03-29 杭州海康威视数字技术股份有限公司 一种基于深度神经网络的激活量量化方法及装置
US11095895B2 (en) * 2018-02-01 2021-08-17 Intel Corporation Human visual system optimized transform coefficient shaping for video encoding
WO2019185769A1 (en) * 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dependent quantization
EP3618440A1 (en) * 2018-09-03 2020-03-04 InterDigital VC Holdings, Inc. Quantization parameter prediction for video encoding and decoding
CN112189341A (zh) * 2018-04-16 2021-01-05 交互数字Vc控股公司 用于视频编码和解码的量化参数预测
US10631009B2 (en) * 2018-07-17 2020-04-21 Tfi Digital Media Limited Method based on coding tree unit level rate-distortion optimization for rate control in video coding
CN108900842B (zh) * 2018-07-27 2021-08-31 郑州云海信息技术有限公司 Y数据压缩处理方法、装置、设备及WebP压缩系统
KR102661759B1 (ko) 2018-09-24 2024-04-30 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 종속 스칼라 양자화를 사용하거나 이와 조합하는 데에 적합한 변환 계수의 효율적인 코딩
CN113170106A (zh) * 2018-11-28 2021-07-23 北京字节跳动网络技术有限公司 帧内块复制模式中运动参考的扩展方法
CN113170195A (zh) 2018-12-22 2021-07-23 北京字节跳动网络技术有限公司 具有双树分割的帧内块复制模式
US11500841B2 (en) * 2019-01-04 2022-11-15 International Business Machines Corporation Encoding and decoding tree data structures as vector data structures
GB2597860B (en) * 2019-03-20 2023-07-26 V Nova Int Ltd Rate control for a video encoder
KR20200133185A (ko) * 2019-05-15 2020-11-26 현대자동차주식회사 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
CN110460842B (zh) * 2019-07-23 2022-02-08 天津大学 一种集成成像快速编码方法
WO2021066601A1 (ko) * 2019-10-04 2021-04-08 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US11375221B2 (en) * 2020-02-12 2022-06-28 Tencent America LLC Method and apparatus for cross-component filtering
US11503322B2 (en) 2020-08-07 2022-11-15 Samsung Display Co., Ltd. DPCM codec with higher reconstruction quality on important gray levels
US11509897B2 (en) 2020-08-07 2022-11-22 Samsung Display Co., Ltd. Compression with positive reconstruction error
CN114727108A (zh) * 2021-01-04 2022-07-08 北京金山云网络技术有限公司 量化因子调整方法、装置、电子设备及存储介质
CN113612999B (zh) * 2021-08-20 2024-03-22 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5113256A (en) * 1991-02-08 1992-05-12 Zenith Electronics Corporation Method of perceptually modeling a video image signal
CN1633181A (zh) * 2004-12-23 2005-06-29 中华电信股份有限公司 连续影像压缩方法
CN1809169A (zh) * 2005-01-19 2006-07-26 三星电子株式会社 对画面进行无损直流分量编码的方法和设备
CN1842164A (zh) * 2005-04-01 2006-10-04 美国博通公司 解码视频数据的解码器和系统
CN101527848A (zh) * 2008-03-07 2009-09-09 佳能株式会社 图像编码设备
CN103959786A (zh) * 2011-09-30 2014-07-30 黑莓有限公司 用于使用非均匀重构空间进行数据压缩的方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005140B2 (en) 2006-03-17 2011-08-23 Research In Motion Limited Soft decision and iterative video coding for MPEG and H.264
US8326067B2 (en) 2009-02-27 2012-12-04 Research In Motion Limited Optimization of image encoding using perceptual weighting
US10021383B2 (en) * 2011-06-01 2018-07-10 Ssimwave Inc. Method and system for structural similarity based perceptual video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5113256A (en) * 1991-02-08 1992-05-12 Zenith Electronics Corporation Method of perceptually modeling a video image signal
CN1633181A (zh) * 2004-12-23 2005-06-29 中华电信股份有限公司 连续影像压缩方法
CN1809169A (zh) * 2005-01-19 2006-07-26 三星电子株式会社 对画面进行无损直流分量编码的方法和设备
CN1842164A (zh) * 2005-04-01 2006-10-04 美国博通公司 解码视频数据的解码器和系统
CN101527848A (zh) * 2008-03-07 2009-09-09 佳能株式会社 图像编码设备
CN103959786A (zh) * 2011-09-30 2014-07-30 黑莓有限公司 用于使用非均匀重构空间进行数据压缩的方法和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Macroblock level QP adaptation using SSIM for H.264 Encoder;Kirti M. Sargar, Anita B. Wagh.;《International Journal of Advanced Research in Computer Engineering & Technology (IJARCET)》;20140531;第3卷(第5期);第1904-1907页，图1-5
Rate bounds on SSIM index of quantized image DCT coefficients;Sumohana Channappayya，et al.;《Proceedings of the Data Compression Conference · March 2008》;20080331;第17卷(第9期);全文

Also Published As

Publication number Publication date
EP3026910A1 (en) 2016-06-01
EP3026910B1 (en) 2022-08-31
US9628803B2 (en) 2017-04-18
CN105635735A (zh) 2016-06-01
US20160150230A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
CN105635735B (zh) 感知图像和视频编码
CN111819853B (zh) 图像块编码装置和图像块编码方法
US20140307781A1 (en) Methods and devices for data compression using offset-based adaptive reconstruction levels
US20110122942A1 (en) Techniques for perceptual encoding of video frames
US9787989B2 (en) Intra-coding mode-dependent quantization tuning
US10085028B2 (en) Method and device for reducing a computational load in high efficiency video coding
US10757428B2 (en) Luma and chroma reshaping of HDR video encoding
KR20090058954A (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US9699461B2 (en) Scaling in perceptual image and video coding
CN112204981A (zh) 用于选择用于填补的帧内预测模式的装置
KR20120084168A (ko) 비디오 인코딩 모드 선택 방법 및 이를 수행하는 비디오 인코딩 장치
US11949892B2 (en) Content-adaptive online training for DNN-based cross component prediction with low-bit precision
JP2024032017A (ja) 画像及びビデオコード化のための選択的成分間変換（ｉｃｔ）
CN103959786B (zh) 用于使用非均匀重构空间进行数据压缩的方法和设备
KR102513756B1 (ko) 이미지 인코딩 방법, 디코딩 방법, 인코더, 디코더 및 저장매체
US10645423B2 (en) Video image encoding device and video image encoding method
US11956453B2 (en) Content-adaptive online training for DNN-based cross component prediction with scaling factors
KR20220124802A (ko) 비디오 코딩을 위한 방법 및 장치
EP2830308B1 (en) Intra-coding mode-dependent quantization tuning
US9838713B1 (en) Method for fast transform coding based on perceptual quality and apparatus for the same
US20230128882A1 (en) Dc down-scaled weighted cost function for image/video coding
US20220279166A1 (en) Methods and Systems for Combined Lossless and Lossy Coding
Kuyucu Analysis of perceptual optimization in intra video coding
EP4385209A1 (en) Sign prediction for block-based video coding
WO2024097377A1 (en) Methods and apparatus for transform training and coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240529

Address after: Illinois

Patentee after: Ot patent trusteeship Co.,Ltd.

Country or region after: U.S.A.

Address before: Voight, Ontario, Canada

Patentee before: BlackBerry Ltd.

Country or region before: Canada