CN104885457A - 用于具有增强动态范围的超高清视频信号的向后兼容编码 - Google Patents

Abstract

具有超高清(UHD)分辨率和高或增强动态范围(EDR)两者的视频数据被编码在向后兼容的分层流中，这使得老式解码器可以提取HD标准动态范围(SDR)信号。响应于基本层HD SDR信号，使用单独的亮度和色度预测模型产生预测信号。在亮度预测器中，预测信号的亮度像素值仅基于基本层的亮度像素值计算，而在色度预测器中，预测信号的色度像素值基于基本层的亮度和色度像素值两者计算。基于输入的UHD EDR信号和预测信号计算残差信号。分别对基本层和残差信号进行编码以形成编码的位流。还呈现了兼容的双层解码器。

Description

用于具有增强动态范围的超高清视频信号的向后兼容编码

相关申请的交叉引用

本申请要求以下申请的优先权：2013年1月2日提交的第61/748,411号的美国临时申请、2013年5月8日提交的第61/821,173号的美国临时申请；以及2013年9月26日提交的第61/882,773号的美国临时专利申请，所有这些申请的全部内容都通过引用并入本文。

技术领域

本发明总体上涉及图像。更特别地，本发明的实施例涉及具有增强动态范围的高清信号的向后兼容的编码和解码。

背景技术

音频和视频压缩是多媒体内容的开发、存储、发布和消费中的关键组成部分。压缩方法的选择涉及编码效率、编码复杂度和延迟之间的权衡。随着处理能力对计算成本的比率增大，使得可以开发出允许更高效的压缩的更复杂的压缩技术。作为例子，在视频压缩中，来自国际标准组织(ISO)的运动图像专家组(MPEG)通过发布MPEG-2、MPEG-4(第2部分)和H.264/AVC(或MPEG-4，第10部分)编码标准来持续地改进最初的MPEG-1视频标准。

尽管H.264的压缩效率和成就，被称为高效率视频编码(HEVC)的新一代视频压缩技术现在正在开发之中。HEVC有望提供优于现有的H.264(也被称为AVC)标准的改进的压缩能力，关于HEVC的草稿可在B.Bross、W.-J.Han、G.J.Sullivan、J.-R.Ohm和T.Wiegand的“high efficiency video coding(HEVC)text specification draft 8”,ITU-T/ISO/IEC Joint Collaborative Team on Video Coding(JCT-VC)document JCTVC-J1003,July 2012中获得，该文献的全部内容通过引用并入本文，现有的H.264标准被发表为“Advanced Video Coding forgeneric audio-visual services”,ITU T Rec.H.264和ISO/IEC14496-10，该标准的全部内容通过引用并入本文。

视频信号可以用多个参数来表征，诸如位深、颜色空间、色域和分辨率。现代的电视和视频回放设备(例如，蓝光播放器)支持多种分辨率，包括标清(例如，720×480i)和高清(HD)(例如，1920×1080p)。超高清(UHD)是至少具有3,840×2,160分辨率(被称为4K UHD)并且具有高达7680×4320(被称为8K UHD)的选项的下一代分辨率格式。超高清还可以被称为Ultra HD、UHDTV或超高视觉。如本文中所使用的，UHD表示高于HD分辨率的任何分辨率。

视频信号的特性的另一方面是其动态范围。动态范围(DR)是图像中的强度(例如，亮度，luma)的范围(例如，从最黑暗的暗色到最明亮的亮色)。如本文中所使用的，术语“动态范围”(DR)可以与人类心理视觉系统(HVS)感知图像中的强度(例如，亮度，luma)的范围(例如，从最黑暗的暗色到最明亮的亮色)的能力相关。从这个意义上来说，DR与“参考场景的”强度相关。DR还可以与显示设备充分地或逼近地呈现具有特定广度的强度范围的能力相关。从这个意义上来说，DR与“参考显示器的”强度相关。除非特定意义在本文的描述中的任何地方被明确地指定具有特殊重要性，否则应推断该术语例如可互换地用于两者之中任何一种意义上。

如本文中所使用的，术语高动态范围(HDR)与跨越人类视觉系统(HVS)的14-15个数量级的DR广度相关。例如，(例如，从统计意义、生物计量意义或眼科意义中的一个或多个上来说)基本正常的适应性强的人具有跨越大约15个数量级的强度范围。具有适应性的人可以感知到少到仅少数几个光子的昏暗光源。然而，同样的这些人可以在沙漠中、在海中或者在雪中感知到正午的太阳的几乎令人痛苦地耀眼的强度(或者甚至望向太阳，但是短暂地望向太阳以防止伤害)。不过，该跨度可供“具有适应性的”人(例如，其HVS具有在其中进行重置和调整的时间段的那些人)使用。

相比之下，在其上人类可以同时感知到强度范围中的广泛广度的DR相对于HDR而言可能有所截断。如本文中所使用的，术语“增强动态范围”(EDR)、“视觉动态范围”或“可变动态范围”(VDR)可以单独地或者可互换地与HVS可同时感知的DR相关。如本文中所使用的，EDR可以与跨越5-6个数量级的DR相关。因此，虽然可能相对于真实的场景参考HDR而言有些窄，但是EDR却表示宽泛的DR广度。如本文中所使用的，术语“同时动态范围”可以与EDR相关。

为了支持与老式回放设备以及新式HDR或UHD显示技术的向后兼容性，可以使用多个层来将UHD和HDR(或EDR)视频数据从上游设备递送到下游设备。给定这样的多层流，老式解码器可以使用基本层来重构内容的HD SDR版本。高级解码器可以使用基本层和增强层两层来重构内容的UHD EDR版本以在更有能力的显示器上呈现它。如这里的发明人所意识到的，改进的UHD EDR视频编码技术是令人期望的。

本章节中所描述的方法是可以寻求的方法，但是不一定是以前已经设想过或寻求过的方法。因此，除非另有指示，否则不应仅因本章节中所描述的任一方法被包括在本章节中就假定该方法作为现有技术。类似地，对于一种或多种方法被标识的问题不应基于本章节就被假定已经在任何现有技术中被认识到，除非另有指示。

附图说明

本发明的实施例在附图的图中以举例的方式、而不是以限制的方式被例示，在附图中，相似的标号指代类似的元件，其中：

图1描绘根据本发明的实施例的UHD EDR编码系统的示例实现；

图2描绘根据本发明的实施例的UHD EDR解码系统的示例实现；

图3描绘根据本发明的实施例的图1中所描绘的系统的变型，其中，基本层包括隔行信号(interlaced signal)；

图4描绘根据本发明的实施例的图2的解码系统的变型，其中，基本层包括隔行视频信号；

图5描绘根据本发明的实施例的用于增强层中的残差信号的非线性量化器的示例实现；

图6A描绘根据本发明的实施例的残差像素的自适应预量化处理；和

图6B描绘根据本发明的实施例的设置用于残差信号的非线性量化器的下输入边界或上输入边界的自适应处理。

具体实施方式

本文描述了具有增强动态范围的超高清信号的向后兼容编码。给定可以用如下两个信号表示的输入视频信号：一个信号具有超高清(UHD)分辨率和高或增强动态范围(EDR)，另一个信号具有UHD(或较低)分辨率和标准动态范围(SDR)，这两个信号被编码在向后兼容的分层流中，这使得老式解码器可以提取HD标准动态范围(SDR)信号并且使得新式解码器可以提取UHD EDR信号。

在以下描述中，为了说明的目的，阐述了许多特定细节，以便提供本发明的透彻理解。然而，将显而易见的是，可以在没有这些特定细节的情况下实施本发明。在其它情况下，不对公知的结构和设备进行详尽的描述，以便避免不必要地模糊本发明。

概述

本文中所描述的示例实施例涉及具有增强动态范围的超高清信号的向后兼容的编码和解码。给定用如下两个信号表示的输入视频信号：一个信号具有超高清(UHD)分辨率和高或增强动态范围(EDR)，另一个信号具有UHD(或较低)分辨率和标准动态范围(SDR)，这两个信号被编码在向后兼容的分层流中，这使得老式解码器可以提取HD标准动态范围(SDR)信号并且使得新式解码器可以提取UHDEDR信号。响应于基本层HD SDR信号，使用单独的亮度预测模型和色度预测模型产生预测信号。在亮度预测器中，仅基于基本层的亮度像素值计算预测信号的亮度像素值，而在色度预测器中，基于基本层的亮度像素值和色度像素值两者计算预测信号的色度像素值。基于输入的UHD EDR信号和预测信号计算残差信号。分别对基本层信号和残差信号进行编码以形成编码的位流。

在另一实施例中，接收器对所接收的分层位流进行解复用以产生HD分辨率的、标准动态范围(SDR)的编码的基本层(BL)流和UHD分辨率的、增强动态范围(EDR)的编码的增强层流。使用BL解码器对编码的BL流进行解码以产生HD分辨率的、标准动态范围的解码的BL信号。响应于解码的BL信号，产生预测EDR信号，其中，该预测信号的亮度分量的像素值仅基于解码的BL信号的亮度像素值被预测，而该预测信号的至少一个色度分量的像素值基于解码的BL信号的亮度值和色度值两者被预测。使用EL解码器对编码的EL流进行解码以产生解码的残差信号。响应于解码的残差信号和预测信号，还可以产生输出UHD EDR信号。

在另一实施例中，增强层中的残差信号在用非线性量化器量化之前进行自适应预处理。在一个实施例中，如果残差像素值周围的像素的标准差低于阈值，则将这些残差像素值预量化为零。

在另一实施例中，根据具有非常大的或非常小的像素值的残差像素的像素连接性的度量，限制非线性量化器的输入范围。

在另一实施例中，基于场景中的连续帧序列上的残差像素的极值来设置非线性量化器的参数。

用于超高清EDR信号的编码器

现有的显示和回放设备，诸如HDTV、机顶盒或蓝光播放器，通常支持高达1080p HD分辨率(例如，以每秒60帧的1920×1080)的信号。对于消费者应用，现在通常以亮度-色度颜色格式使用每一颜色分量每一像素8位的位深对这样的信号进行压缩，在所述亮度-色度颜色格式中，通常，色度分量具有比亮度分量低的分辨率(例如，YCbCr或YUV 4:2:0颜色格式)。因为8位深度和相应的低动态范围，这样的信号通常被称为具有标准动态范围(SDR)的信号。

随着新的电视标准(诸如超高清(UHD))正被开发，可能可取的是，以老式HDTV解码器和新式UHD解码器都可以处理的格式对具有增强分辨率和/或增强动态范围的信号进行编码。

图1描绘了支持具有增强动态范围(EDR)的UHD信号的向后兼容的编码的系统的示例实现的实施例。编码器包括基本层(BL)编码器(130)和增强层(EL)编码器(160)。在实施例中，BL编码器130是老式编码器，诸如MPEG-2或H.264编码器，EL编码器160是新式标准编码器，诸如HEVC编码器。为了支持老式BL解码器，BL编码器130通常是8位编码器；然而，EL编码器160可以支持具有如H.264和HEVC标准所指定的更高位深(诸如10位)的输入流。然而，该系统可应用于已知的或未来的编码器的任何组合，而不管它们是基于标准的还是专有的。

如图1中所描绘的，输入信号，诸如电影或电视广播，可以用如下两个信号表示：UHD EDR输入(102)和UHD SDR输入(104)。例如，UHD EDR信号(102)可以是HDR照相机捕捉的并且针对EDR显示器进行颜色分级的4K(例如，3840×2160)分辨率信号。相同的信号还可以在4K SDR显示器上进行颜色分级以产生相应的4K SDR信号104。可替代地，可以通过将本领域中已知的色调映射或显示管理技术中的任何一个应用于EDR信号来产生SDR信号104。不失一般性，这两个输入信号通常都可以在RGB颜色空间中使用16位或等同(例如，浮点)位深表示来表示。如本文中所使用的，术语N位信号表示具有一个或多个颜色分量(例如，RGB或YCbCr)的图像或视频信号，其中，这些颜色分量中的任何一个(例如，Y)中的每个像素用N位像素值表示。给定N位表示，每个这样的像素可以取0和2^N-1之间的值。例如，在8位表示中，对于每个颜色分量，每个像素可以取0和255之间的值。

在实施例中，可以将UHD SDR信号104下采样为HD SDR信号(例如，1080p)，然后将该HD SDR信号颜色转换为适合于使用老式8位编码器编码的颜色格式(例如，8位YCbCr 4:2:0颜色格式)。这样的转换可以包括颜色变换(诸如RGB到YCbCr转换115-C)和色度二次采样(例如，4:4:4到4:2:0转换120-C)。因此，HD SDR信号128表示原始UHD EDR信号102的向后兼容的信号表示。信号128可以用BL编码器130编码以产生向后兼容的编码的位流132。BL编码器130可以使用已知的或未来的视频压缩算法(诸如MPEG-2、MPEG-4第2部分、H.264、HEVC、VP8等)中的任何一个来对HDSDR信号128进行压缩或编码。

给定UHD EDR信号102，下采样(110-A)和颜色转换处理(115-B和120-B)可以将UHD EDR信号102转换为参考预测HD EDR信号124。在优选实施例中，这个阶段中的下采样和颜色转换处理(110-A、115-B和120-B)(例如，选定的滤波器和颜色空间)应与用于在基本层中产生HD SDR信号128的下采样和颜色转换处理(110-B、115-C和120-C)相同或者尽可能地接近。

在UHD EDR变换为HD EDR之后，将HD EDR信号124的输出分离为亮度(Y 124-Y)和色度(CbCr 124-C)分量，这些分量被应用于确定用于亮度预测器145和色度预测器140的预测系数。

给定HD SDR信号128，BL编码器130不仅产生编码的BL位流132，而且还产生表示HD SDR信号128的BL信号126，因为它将被相应的BL解码器解码。在一些实施例中，信号126可以由BL编码器130后面的单独的BL解码器(未示出)产生。在一些其它的实施例中，信号126可以从用于在BL编码器130中执行运动补偿的反馈回路产生。如图1中所描绘的，还可以将HD EDR信号126的输出分离为其亮度(Y 126-Y)和色度分量(CbCr 126-C)，这些分量被应用于亮度预测器145和色度预测器140来预测HD EDR信号147。

在实施例中，亮度预测器145可以包括基于基本层HD SDR信号126-Y的亮度像素值预测HD EDR信号147的亮度分量的多项式预测器。在这样的预测器中，亮度像素分量可以在不考虑信号的其它任一颜色分量中的任何像素值的情况下被预测。例如，设g_i表示BL HDSDR信号的亮度像素值(126-Y)，于是，在不失一般性的情况下，三次多项式预测器可以被表达为：

${\hat{S}}_i={\mathrm{\Σ}}_{k=0}^3{a}_k{g}_{i-k}+{\mathrm{\Σ}}_{k=0}^3{b}_k{g}_{i-k}^2+{\mathrm{\Σ}}_{k=0}^3{c}_k{g}_{i-k}^3,$

其中，a_k、b_k和c_k是预测器系数。在实施例中，可以用本领域中任何已知的最小误差技术(诸如最小化预测值和参考HD EDR信号中的亮度像素值(124-Y)(s_i)之间的均方差(例如，))来确定预测器系数。

在实施例中，色度预测器140也可以是类似于前述多项式预测器的多项式预测器；然而，在优选实施例中，色度预测器140包括多色通道、多元回归(MMR)预测器，如G-M Su等人在2012年4月13日提交的、序号为PCT/US2012/033605的PCT申请(发表为WO2012/142471)“Multiple color channel multiple regressionpredictor”中所描述的预测器那样，该申请的全部内容通过引用并入本文。MMR预测器使用来自HD EDR参考信号124和基本层HD SDR信号126中的亮度和色度像素值两者的信息来预测HD EDR信号的色度分量。还可以使用均方差最小化技术通过最小化预测色度值与参考HD EDR信号124的亮度和色度像素值之间的MSE来确定MMR模型中的预测系数。

因为HD SDR信号126和参考HD HDR信号124都为YCbCr4:2:0格式(其中，亮度分量的空间分辨率是每个色度分量的空间分辨率的两倍)，所以在将这两个信号的亮度分量应用于色度预测器140之前，对这两个信号的亮度分量进行下采样(135-A和135-B)。在优选实施例中，亮度下采样135-A和135-B中所使用的滤波器与4:4:4到4:2:0处理(120)中所使用的色度下采样滤波器相同。可以以各种感兴趣的时间间隔更新亮度和色度预测系数，诸如每一场景、每一图片组或每一帧。可以用各种方法将预测滤波器系数传送给解码器，诸如将它们的值作为辅助数据或元数据嵌入在位流中。

给定预测的HD EDR信号147，上采样器150产生UHD EDR信号152，该信号用于产生残差信号167。因为UHD EDR信号为优选的编码格式(例如，YCbCr 4:2:0)，所以可能需要附加的颜色变换(115-A)和色度下采样(120A)步骤来将原始格式(例如，RGB)的原始UHD EDR信号102转换为优选编码格式的UHD EDR信号122。信号122和152相减以创建EL残差信号167。

在实施例中，颜色变换(115-A)和色度二次采样处理(120-A)与用于产生BL编码的信号128和预测信号124的颜色变换(115-B和115-C)以及色度二次采样处理(120B和120-C)相同或者尽可能地接近。

在实施例中，在EL编码器160对EL信号167进行编码之前，可以用非线性量化器(NLQ)155对该信号进行处理。合适的非线性量化器的例子可以在2012年4月24日提交的序号为PCT/US2012/034747(公布为WO/2012/148883)的PCT专利申请“Non-linear VDR Residual Quantizer”中找到，该申请的全部内容通过引用并入本文。可以使用EL编码器160对NLQ 155的输出进行压缩以产生可以发送到合适的解码器的编码的EL位流162。此外，在一些实施例中，残差(167)也可以用下采样模块(未示出)被空间下采样。这样的下采样(例如，在两个维度上，下采样因子为2或4)提高了编码效率，在非常低的位率下尤其如此。下采样可以在非线性量化器(155)之前或之后执行。

EL编码器160可以是任何合适的编码器，诸如MPEG-2、MPEG-4、H.264、HEVC规范等所描述的那些编码器。在实施例中，可以将BL编码的位流132、EL编码的位流162和与编码处理相关的元数据(例如，预测器参数或查找表)复用为单个位流(未示出)。

如图1中所描绘的，在优选实施例中，下采样(110-A或110-B)优选地在颜色格式变换(115-B和120-B或115-C和120-C)之前应用；然而，在一些实施例中，下采样可以在颜色变换之后执行。例如，在一个实施例中，110-A的输入可以直接从UHD EDR YCbCr信号122接收，因此消除了进行颜色变换处理115-B和120-B以产生HD EDR参考信号124的需要。类似地，下采样110-B可以在颜色转换步骤120-C之后执行。

在一些实施例中，基线HD SDR信号128可能已经为可供编码器100使用的正确的分辨率和颜色格式。在这样的情况下，可以绕过下采样(110-B)和颜色变换步骤(115-C和120-C)。

在一些实施例中，UHD EDR信号120可以以低于或高于16位的精度使用；然而，其精度预期高于8位(例如，10位或12位)。类似地，UHD SDR信号104可能已经可以以低于16位的精度使用(例如，8位或10位)。

用于超高清EDR信号的解码器

图2描绘了支持具有增强动态范围(EDR)的UHD信号的向后兼容的解码的系统的示例实现的实施例。响应于编码器(例如，100)发送的编码的信号，解码器200接收并解复用包括至少两个编码的子流的编码的位流：编码的BL流132和编码的EL流162。

编码的BL流132包括可以使用BL解码器215解码的HD SDR信号(217)。在实施例中，BL解码器215与BL编码器130匹配。例如，为了与现有的广播和蓝光标准向后兼容，BL解码器215可以遵循MPEG-2或H.264编码规范中的一个或多个。在BL解码215之后，HD SDR解码器可以将附加的颜色变换(270)应用于解码的HDSDR信号217以将传入的信号从适合于压缩的颜色格式(例如，YCbCr4:2:0)转化为适合于显示的颜色格式(例如，RGB 4:4:4)。具有增强分辨率和/或EDR显示能力的接收器可以组合来自BL和EL位流(132和162)两者的信息以产生如图2中所描绘的具有增强动态范围的UHD信号(例如，232)。

在BL解码215之后，将解码的信号217划分为其亮度(217-Y)和色度(217-C)分量。亮度分量(217-Y)被亮度预测器240处理以产生关于HD EDR信号255的亮度估计值。亮度和色度分量还被色度预测器250处理以产生关于HD EDR信号255的色度估计值。在实施例中，在色度预测器处理亮度信号217-Y之前，它被下采样器245二次采样，所以它与色度分量的分辨率匹配。亮度和色度预测器(240和250)与编码器100中的亮度和色度预测器(145和140)匹配。因此，亮度预测器240可以是多项式预测器，而色度预测器可以是MMR预测器。在实施例中，可以使用嵌入在所接收的编码的位流中的元数据来确定这些预测器的特性和滤波器参数。在亮度和色度预测步骤(240和250)之后，对预测的HD EDR信号255进行上采样(260)以产生UHD EDR信号265。

给定编码的位流162，EL解码器210对它进行解码以产生UHDEDR残差信号212。EL解码器210与EL编码器160匹配。如果编码器100将非线性量化器155应用于残差167，则通过应用非线性去量化器(NLDQ)220产生去量化的残差222，来反转非线性量化处理。如果编码器(100)将空间下采样应用于残差(167)，则NLDQ(220)之前或之后的空间上采样器(未示出)可以将解码的残差(例如，212或222)上采样为其适当的空间分辨率。通过将残差222添加(225)到UHD EDR的估计265，解码器200可以产生与编码器发送的UHDEDR信号122的分辨率和颜色格式(例如，4:2:0YCbCr)匹配的UHDEDR信号227。根据目标应用，一组颜色变换(230)可以将UHD EDR信号232变换为适合于显示或其它处理的格式。在实施例中，给定YCbCr 4:2:0信号227，颜色变换230可以包括4:2:0到4:4:4色度上采样步骤，之后为YCbCr到RGB颜色变换步骤。

混合逐行和隔行格式的编码和解码

尽管逐行视频信号(例如，720p或1080p)的采用增加，但是隔行视频信号(例如，1080i)的广播在视频广播中仍然相当普遍。在另一实施例中，图3描绘了支持使用逐行和隔行格式的混合的层编码的UHD EDR编码系统(300)的另一个例子。在例子中，BL信号(332)被以隔行格式(例如，1080i或2160i)编码，而EL信号(162)被以逐行格式(progressive format)(例如，2160p)编码。

编码系统(300)共享编码系统(100)的大部分功能，因此，在该部分中，将仅讨论这两个系统之间的关键差异。如图3中所描绘的，在基本层处理中，对SDR信号(104)进行颜色转换以转换为适合于使用BL编码器(130)编码的颜色格式(例如，4:2:0YCbCr)。在示例实施例中，BL编码器(130)的输出(332)可以包括隔行SDR信号。隔行器(320-A)可以应用本领域中已知的任何隔行和下采样技术来将逐行输入(128)转换为基本层信号(332)的期望的编码分辨率的隔行信号(例如，1080i)。

与系统(100)相比，在增强层中，系统(100)的处理组件(110-A)、(115-B)和(120-B)可以全都用隔行器(interlacer)(320-B)取代。隔行器(320-B)可以应用本领域中已知的任何隔行和下采样技术来将逐行输入(122)转换为与隔行信号(126)的分辨率匹配的隔行信号(124)。在优选实施例中，(320-A)和(320-B)的下采样和隔行功能应彼此相同或者尽可能地接近以减小颜色伪像并且改进总体图像编码质量。

系统(300)中的亮度和色度预测器(145和140)保持与系统(100)中的亮度和色度预测器相同；然而，它们现在对它们的输入的单独的字段进行操作，因为信号(124)和(126)现在是隔行信号。

去隔行器(350)也具有双重功能；它对预测的HD EDR信号(347)进行去隔行，并且将它上采样为与UHD EDR信号(122)的分辨率匹配，从而产生具有与信号(122)相同的分辨率和格式的预测的UHDEDR信号(152)。系统(300)中的残差(167)的处理保持与对于系统(100)描述的处理相同。

在一些实施例中，SDR信号(104)可能已经为隔行格式，那么隔行器(320-A)可以用下采样器取代。如果输入信号(104)已经是隔行的并且为适当的分辨率，则可以除去隔行器(320-A)。

在实施例中，输入信号(102)和(104)可以都是HD分辨率信号(例如，1080p)。那么，系统(300)的输出可以包括编码的隔行HD(例如，1080i)基本层信号(332)和编码的逐行HD(例如，1080p)残差(162)。

在实施例中，BL信号(332)和残差(162)两者可以为相同的分辨率，但是为混合格式。例如，BL信号(332)可以被以2160i编码，而EL信号(162)可以被以2160p编码。

图4描绘了用于对混合格式编码器(300)所产生的信号进行解码的解码器系统(400)的示例实现的实施例。系统(400)与解码器系统(200)几乎相同，除了以下差异之外：a)解码的BL信号(417)现在是隔行视频信号，(b)亮度和色度预测器(240和250)对隔行信号(417)和(247)的字段进行操作，以及c)预测的HD EDR信号(455)是隔行信号。

去隔行器(460)在功能上与系统(300)中的去隔行器(350)匹配；因此，它对隔行HD EDR信号(455)进行去隔行和上采样，以使得其输出(UHD EDR信号(465))具有与解码的误差残差信号(222)相同的分辨率和格式。

如前所指出的，系统(300)还可以将空间下采样模块(未示出)包括在EL路径中、非线性量化器(155)之前或之后。在这样的情况下，在解码器(400)中，NLDQ(220)之前或之后的空间上采样器可以用于将解码的残差(212)恢复到其适当的空间分辨率。

亮度范围驱动的自适应上采样

如图1中所描绘的，在亮度和色度预测步骤(140、145)之后，以因子2对预测的HD EDR信号(147)进行上采样(150)以产生预测的UHD EDR信号152。类似的处理也在解码器(200)中执行，在解码器(200)中，在亮度和色度预测步骤(240、250)之后，以因子2对预测的HD EDR信号(255)进行上采样(260)以产生预测的UHDEDR信号(265)。上采样器(150)和(260)可以包括本领域中已知的任何上采样技术；然而，可以通过利用如该部分中所描述的亮度范围驱动的自适应上采样技术来实现改进的图像质量。

已经观察到，原始EDR信号(122)及其预测值(152)之间的预测误差(167)可以根据相应的SDR信号(104)中的亮度值而变化。也就是说，图像中的明亮的或高亮的区域中的残差(167)表现出与暗色调或中间色调区域中的残差不同类型的特性。在实施例中，可以将SDR输入的亮度范围划分为两个或更多个亮度子范围。自适应上采样滤波方法可以将不同的上采样滤波器应用于EDR预测图像的不同像素，其中，每个滤波器是根据SDR图像中的相应像素的亮度子范围而选择的。识别这些亮度子范围中的每个的阈值和所使用的滤波器的标识和/或滤波器系数本身可以经由元数据或其它辅助数据从编码器(100)传送到解码器(200)，以使得编码器和解码器两者可以应用相同的上采样滤波器来改进图像质量。

设表示HD EDR信号(147)的亮度像素值，该亮度像素值基于BL编码器(130)的输出的亮度值(即，SDR信号s_ij(126-Y))而被预测。设th(i)(i＝0,N)表示将像素的亮度范围(0≤s_ij≤1)划分为感兴趣的N个亮度范围(N≥1)(例如，对于N＝3，划分为黑色、中间色调和高光)的一组阈值。设H_i表示在步骤(150)或(260)中用于感兴趣的第i亮度范围的第i(i＝1,N)上采样滤波器的一组滤波器系数，并且设表示s_ij或者其局部近邻的函数，那么在实施例中，可以根据以下用伪代码表达的算法1来执行上采样滤波(例如，150或260)：

算法1——亮度范围驱动的上采样处理

在一些实施例中，H_i可以表示2-D不可分离滤波器的滤波器系数。在一些其它的实施例中，H_i可以表示2-D可分离上采样滤波器的系数，包括但不限于用于水平和垂直上采样滤波器的系数。滤波器系数H_i可以被预先计算并且存储在存储器中，或者它们可以自适应地根据某一图像质量准则计算。例如，在实施例中，滤波器系数H_i可以被计算为使得扩展(up-scaling)滤波器的输出(预测的UHD EDR信号(152))和输入的UHD EDR信号(122)之间的均方差最小。

在一些实施例中，可以表示感兴趣的单个像素值(例如，s_ij或s_ij-1)，而在一些其它的实施例中，可以表示s_ij周围的一个或多个像素的局部平均值或某一其它函数(例如，中间值、最小值或最大值)。

在实施例中，可以基于输入信号的图像统计(例如，黑色、中间色调或高光的平均值)来确定th(i)阈值。可以基于每一像素区域、每一帧或每一场景(例如，具有类似亮度特性的一组顺序图片)来计算这些统计。在一些实施例中，可以作为滤波设计处理的一部分迭代地确定th(i)。例如，考虑基于某一优化准则(例如，最小化信号(167)的均方差(MSE))计算滤波器系数H_i的情况，那么，在实施例中，算法2用伪代码描述在给定两个边界阈值(t_low和t_high)和阈值搜索步长(step)的情况下确定新阈值(th*)的示例方法：

算法2——对于两个亮度子范围(N＝2)的阈值确定

在以上描述中，t_low和t_high表示可能搜索阈值的感兴趣的边界值。例如，在实施例中，t_low＝min(s_ij)＝0和t_high＝max(s_ij)＝1(其中，1表示被归一化的最大可能值)覆盖可能的亮度值的整个范围；然而，在其它实施例中，边界值的范围可能小得多。例如，时间t时计算用于输入帧的阈值可以考虑早先(比如说，在时间t-1时)计算的阈值，从而仅在以前一阈值为中心的较小范围(例如，th(i)-C、th(i)+C，其中，C是常数)内进行搜索。

给定算法2，在一些实施例中，类似的方法可以用于使用附加阈值将图片帧的亮度范围细分为亮度范围的附加分区。在示例实施例中，以下算法(算法3)可以用于将给定的亮度范围(A、B)细分为两个或三个亮度子范围。

算法3——对于三个亮度子范围(N＝3)的阈值确定

通过算法2和3计算的阈值可以在编码器(100)和解码器(200)两者中都应用于算法1。在实施例中，可以使用元数据将所计算的阈值从编码器(100)发送到解码器(200)。

如前所述，去隔行器(350)和(460)可以组合去隔行和上采样功能两者。图像处理领域中的技术人员将意识到，本文中所讨论的用于上采样器(150)和(126)的改进设计的亮度范围驱动的方法也可以应用于去隔行器(350)和(460)中的上采样器的设计中。

自适应残差处理

如图1和图3中所描绘的，在增强层(EL)中，在用EL编码器(160)压缩残差信号(167)以产生EL流(162)之前，可以用非线性量化器(NLQ)(155)对残差信号(167)进行处理。不失一般性，图5描绘了根据本发明的实施例的关于NLQ(155)的示例输入-输出关系。

如图5中所描绘的，设(-X_max,X_max)表示感兴趣的帧或帧区域中将被编码的残差像素x(167)的像素值的范围。设Level表示量化器的每侧的可用码字的数量(例如，对于x≥0，Level＝128)，那么，给定正阈值T，设

$SL=\frac{Level}{X_{\max }-T}$

那么，给定输入残差x，在将x裁剪在范围(-X_max,X_max)内之后，图5的量化运算可以被表达为：

其中，Q(x)表示量化的输出，SL表示Q(x)在(T,X_max)内的斜率，M表示偏移值，该偏移值表示当残差x＝0时的输出码字。阈值T是相对小的值，并且在一些实施例中，T＝0。

参数T、M、X_max和SL可以分别针对残差信号x的每个颜色分量定义，并且可以使用元数据传送到接收器。在一些实施例中，NLQ量化参数中的一个或多个还可以针对整个帧、帧的一个或多个分区或子区域、或者一组帧(例如，场景)定义。

给定这样的量化器，在接收器(例如，(200))上，去量化处理(例如，NLDQ(220))可以被表达为：

${\hat{R}}_{cmp}=\left\{\begin{array}{cc}0,& R_{cmp}=M\\ SL*\left(\right(R_{cmp}-M)-0.5*sign(R_{cmp}-M))+T*sign(R_{cmp}-M)& R_{cmp}\≠M\end{array}\right.$

其中

$sign\left(x\right)=\left\{\begin{array}{cc}-1& x<0\\ 1& x\&GreaterEqual;0\end{array}\right.,$

R_cmp表示接收的(解码的)残差(或EL信号(212))，表示去量化的输出(222)，该输出也可以被限定在例如范围内。

实验结果表明，与NLQ(155)的参数的自适应设置相组合的残差数据(167)的适当的预处理可以得到EL流的更高效的编码，从而导致编码伪像减小并且总体图像质量更好。在该部分中，接着描述三种残差预处理算法。

使用标准差度量的残差预量化

残差信号(167)的不适当的量化和编码，尤其是当以相对较低的位率(例如，0.5Mbits/s)对EL流进行编码时，可能在解码的信号(232)中导致块状伪像。在实施例中，可以通过自适应地预量化被感知为位于相对“平滑”区域中的某些残差值来减小这些伪像。图6A中描绘了根据本发明的实施例的这样的处理的例子，其中，在不作为限制的情况下，测量围绕每个残差像素的矩形像素区域的平滑度是基于计算该区域中的像素的标准差的。

设r_fi表示第f帧的第i残差像素。设该像素在被表示为n_fi的W_σ×W_σ像素区域(例如，W_σ＝15)的中心处。那么，在步骤(602)中，该像素的标准差σ_fi可以被确定为：

${\mathrm{\&sigma;}}_{fi}=\sqrt{\frac{1}{{W_{\mathrm{\&sigma;}}}^2}\underset{j\&Element;n_{fi}}{\&Sigma;}{(r_{fj}-{\mathrm{\&mu;}}_{fi})}^{{}_2}},$

其中

${\mathrm{\&mu;}}_{fi}=\frac{1}{{W_{\mathrm{\&sigma;}}}^2}\underset{j\&Element;n_{fi}}{\&Sigma;}{r}_{fj}.$

给定阈值T_σ，在步骤(606)中，如果σ_fi<T_σ，则可以将残差像素r_fi设置为预定值(例如，零)。阈值T_σ可以是固定的，或者在优选实施例中，可以根据残差帧特性和总体位率要求自适应地确定。例如，设P_f表示第f帧中的像素的总数。设σ_fi表示在步骤(602)中计算的标准差值。在步骤(604)中，可以如下确定T_σ：

(a)按降序对σ_fi进行排序以产生排序的的列表；

(b)然后，T_σ是排序列表中的k*P_f值，其中，k被定义在范围0.0至1.0内。例如，对于k＝0.25，给定1920×1080帧，T_σ对应于排序列表中的第518,400标准差值的值。

计算平滑度的替代方法还可以包括计算W_σ×W_σ像素的均值或方差，或者计算基于每个像素周围的区域的边缘图的度量，或者使用本领域中已知的任何其它的平滑度检测和确定算法。

残差尾端边界调整

设表示帧f中的最大正残差值，设表示帧f中的最小负残差值的绝对值。那么，

$X_f^{+}=\max \left\{r_{fi}\right|i=0,....,P_f-1\},$

并且

$X_f^{-}=\left|\min \right\{r_{fi}|i=0,....,P_f-1\}|.$

如图5中所描绘的，可以按照和来确定量化器的输入边界(例如，)；然而，实验结果表明，残差值具有钟形分布，并且在每个帧中通常存在非常少的接近于或的像素。如前所指出的，对于图5中所描绘的量化器，量化步长与成比例。对于固定数量的码字(例如，Level的值)，由于量化而导致的失真与X_max的值成正比；因此，较小的X_max值是优选的。在实施例中，不是根据或确定X_max，而是确定新的更小的范围[Th_f- Th_f+]。在应用NLQ(155)之前，限制(或裁剪)残差像素值以位于新范围[Th_f- Th_f+]内；其中，对于帧f，Th_f+表示正残差的边界，Th_f-表示负残差的边界。也就是说，

r_fi＝clip3(r_fi，Th_f-，Th_f+)，

其中，clip3()函数表示：大于Th_f+的残差像素值被裁剪为Th_f+，小于Th_f-的残差像素值被裁剪为Th_f-。

虽然用于NLQ处理的较小的输入范围由于量化得到较小的误差，但是残差信号的无限制的裁剪可能得到明显的伪像，因此需要根据残差信号的特性来改动新范围的选择。在实施例中，自适应地基于所观察的残差像素值的连接性(或稀疏性)来确定这两个阈值。也就是说，具有非常大的值的孤立残差像素可以被裁剪而对总体质量影响最小；然而，连接的残差像素的像素值应被适当地编码。图6B中用处理(650)描绘了根据本发明的实施例的这样的边界确定处理的示例实现。

处理(650)计算阈值Th，该阈值Th满足如下条件：等于或大于Th的残差像素值被认为是稀疏地连接，因此它们可以被裁剪。处理(650)可以用于根据输入的残差值计算Th_f-或Th_f+边界中的任何一个。例如，为了确定Th_f+＝Th，该处理仅考虑例如在范围(0，)内的正残差像素值：

为了确定Th_f-＝Th，该处理仅考虑例如在范围(0，)内的负残差像素值的绝对值：

在步骤(610)中，该处理通过将初始值设置为阈值Th而开始。所以，给定r_fi的原始边界(例如，Th_L＝0并且或)，在示例实施例中，初始阈值可以被设置为已知范围的中间值，例如：

Th＝(Th_H+Th_L)/2.

给定阈值Th，在步骤(612)中，产生二值图M_f，其中，该二值图的元素被计算为：

m_fi＝(R_fi≥Th)

M_f(i)＝m_fi.

给定M_f，在步骤(614)中，可以确定每个二值像素的连接性。例如，在MATLAB中，可以使用函数bwconncomp计算近邻连接性(例如，4像素或8像素连接的邻域)。设NC_f(i)表示二值图像M_f中的每个像素的近邻的数量。在步骤(618)中，阈值Th可以被调整为使得，如果像素的连接性超过预定的连接性阈值T_∝(例如，T_∝＝5个像素)，则这些像素都不被裁剪。例如，如果所有像素上的最大像素连接性超过预定的连接性阈值T∝，则可以增大阈值Th，否则，可以减小阈值Th。例如，使用二值搜索，

if(max{NC_f(i)}≥T_cc)//the maximal connectivity for each pixel exceeds Tcc

Th_L＝Th；

else

Th_H＝Th；

Th_old＝Th；

Th＝(Th_H+Th_L)/2；

为了降低计算复杂度，在实施例中，所述处理可以包括收敛测试步骤(620)。例如，收敛步骤(620)可以计算先前的(或旧的)阈值和新的阈值之间的差值。如果它们的差值大于预定的收敛阈值，则所述处理用该新阈值再次从步骤(612)继续进行。否则，它终止，并且输出将被使用的最终边界(例如，Th_f+＝Th)。

基于场景的非线性量化

如前所讨论的，在一些实施例中，可以按照以下参数来表达非线性量化器(155)：X_max、offset(偏差)(例如，M)和Level(也参见关于图5的讨论)。在一些实施例中，可能有益的是按照帧序列(例如，场景)中的残差像素特性来确定这些参数。

给定用于F个帧的序列的和设

$X^{+}=\max \left\{X_f^{+}\right|f=1,....,F\},$

$X^{-}=max\left\{X_f^{-}\right|f=1,....,F\}.$

那么，非线性量化器的参数可以针对整个场景被设置为：

$Offset=(2^{EL\_bitdepth}-1)\frac{X^{-}}{X^{-}+X^{+}},$

Level＝max{(2^EL_bitdepth-1)-Offset，Offset}，

并且

X_MAX＝(1+Δ)max{X^-，X⁺}，

其中，EL_bitdepth表示EL编码器(160)的位深(例如，EL_bitdepth＝8)，Δ表示小的正数值(例如，Δ＝0.1)。在实施例中，对于色度分量，可以使用下式来确定量化级的数量：

$Chroma\_Level=\min \{Luma\_level\frac{X_{MAX}\left(chroma\right)}{X_{MAX}\left(luma\right)},2^{EL\_bitdepth}-1\}.$

在另一实施例中，和值还可以用如前计算的相应的Th_f+和Th_f-值取代。

示例计算机系统实现

本发明的实施例可以用计算机系统、用电子电路和组件中配置的系统、集成电路(IC)器件(诸如微控制器)、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)、和/或包括这样的系统、器件或组件中的一个或多个的装置来实现。计算机和/或IC可以执行、控制或运行与对UHD EDR信号进行编码(诸如本文中所描述的那些)相关的指令。计算机和/或IC可以计算与如本文中所描述的UHD EDR信号的编码相关的各种参数或值中的任何一个。编码和解码实施例可以用硬件、软件、固件及其各种组合来实现。

本发明的某些实现包括如下计算机处理器，其运行使处理器执行本发明的方法的软件。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过运行可供这些处理器访问的程序存储器中的软件指令来实现如上所述的与对UHD EDR信号进行编码相关的方法。本发明还可以以程序产品的形式提供。程序产品可以包括承载一组计算机可读信号的任何介质，这些信号包括当被数据处理器运行时使数据处理器运行本发明的方法的指令。根据本发明的程序产品可以为多种形式中的任何一种。程序产品可以包括例如物理介质，诸如磁性数据存储介质(包括软盘、硬盘驱动器)、光学数据存储介质(包括CD ROM、DVD)、电子数据存储介质(包括ROM、闪存RAM等)。程序产品上的计算机可读信号可选地可以被压缩或加密。

在组件(例如，软件模块、处理器、组装件、器件、电路等)在上面被提及的情况下，除非另有指示，否则对于该组件的论述(包括对于“手段”的论述)应被解释为，作为该组件的等同物，包括执行所描述的组件的功能的任何组件(例如，在功能上等同)，包括在结构上不等同于所公开的结构的、执行本发明的所例示的示例实施例中的功能的组件。

等同、扩展、替代及其它

如此描述了与UHD EDR信号的向后兼容的编码和解码相关的示例实施例。在前述说明书中，已经参照可因实现而变化的许多特定细节描述了本发明的实施例。因此，什么是本发明、申请人意图什么是本发明的唯一的且排他的指示是本申请以特定形式发布的一组权利要求，在该特定形式中，这样的权利要求发布，包括任何后续校正。本文中针对这样的权利要求中所包含的术语明确阐述的任何定义应决定这样的术语在权利要求中使用的意义。因此，在权利要求中未被明确记载的任何限制、元素、性质、特征、优点或属性都不应以任何方式限制这样的权利要求的范围。说明书和附图因此要从例示性、而非限制性的意义上来看待。

Claims (28)

1.一种用于在向后兼容的分层流中对输入视频数据进行编码的方法，所述方法包括：

访问具有第一空间分辨率和第一动态范围的第一信号；

访问具有第二空间分辨率和第二动态范围的第二信号，其中，所述第二动态范围低于所述第一动态范围；

响应于所述第二信号，用处理器产生具有优选的编码颜色格式的基本层信号；

响应于所述第一信号，用所述处理器产生具有所述第二空间分辨率、所述第一动态范围和所述优选的编码颜色格式的参考预测信号；

响应于所述参考预测信号的亮度像素值和所述基本层信号的亮度像素值，计算用于亮度预测器的亮度预测系数；

响应于所述参考预测信号的亮度和色度像素值以及所述基本层信号的亮度和色度像素值两者，计算用于色度预测器的色度预测系数；

响应于所述基本层信号以及所述亮度和色度预测系数，使用所述亮度预测器和所述色度预测器产生具有所述第一动态范围的预测信号；

响应于所述第一信号和所述预测信号，产生残差信号；

响应于所述基本层信号，使用基本层编码器产生编码的基本层流；和

响应于所述残差信号，使用增强层编码器产生编码的增强层流。

2.根据权利要求1所述的方法，其中，所述第一空间分辨率是超高清(UHD)分辨率，并且所述第二空间分辨率是高清(HD)空间分辨率。

3.根据权利要求1所述的方法，其中，所述第一动态范围是高或增强动态范围，并且所述第二动态范围是标准动态范围。

4.根据权利要求1所述的方法，其中，优选颜色格式包括YCbCr4:2:0格式。

5.根据权利要求1所述的方法，其中，所述亮度预测器包括多项式预测器，其中，预测信号的亮度分量的像素值仅基于输入信号的亮度像素值被预测。

6.根据权利要求1所述的方法，其中，所述色度预测器包括多颜色通道多元回归(MMR)预测器，其中，预测信号的色度分量的像素值基于输入信号的亮度和色度像素值两者被预测。

7.根据权利要求1所述的方法，还包括在产生编码的增强层流之前用非线性量化器处理所述残差信号。

8.根据权利要求1所述的方法，还包括：响应于所述亮度预测系数和所述色度预测系数产生元数据，并且将所述元数据发送到解码器。

9.一种用于对分层流进行解码的方法，所述方法包括：

接收编码的比特流，所述编码的比特流包括具有第一空间分辨率和第一动态范围的编码的增强层(EL)流、以及具有第二空间分辨率和第二动态范围的编码的基本层(BL)流，其中，所述第一动态范围高于所述第二动态范围；

使用BL解码器对所述编码的BL流进行解码以产生解码的BL信号；

响应于所述解码的BL信号，产生具有所述第一动态范围的预测信号，其中，所述预测信号的亮度像素值仅基于所述解码的BL信号的亮度像素值被预测，并且所述预测信号的至少一个色度分量的色度像素值基于所述解码的BL信号的亮度和色度像素值两者被预测；

使用EL解码器对所述编码的EL流进行解码以产生解码的残差信号；和

响应于所述解码的残差信号和所述预测信号，产生具有所述第一分辨率和所述第一动态范围的输出信号。

10.根据权利要求9所述的方法，还包括在产生所述输出信号之前用非线性去量化器对所述解码的残差信号进行处理。

11.根据权利要求9所述的方法，其中，所述第一空间分辨率高于所述第二空间分辨率，并且在应用所述预测信号产生所述输出信号之前，对所述预测信号进行上采样以产生具有所述第一空间分辨率的上采样的预测信号。

12.根据权利要求11所述的方法，所述第一空间分辨率是超高清(UHD)分辨率，并且所述第二空间分辨率是高清(HD)分辨率。

13.根据权利要求9所述的方法，所述第一动态范围是高或增强动态范围，并且所述第二动态范围是标准动态范围。

14.根据权利要求1所述的方法，其中，产生残差信号的步骤还包括：

使用扩展处理对所述预测信号进行扩展以产生具有所述第一空间分辨率的扩展的预测信号；和

响应于所述第一信号和所述扩展的预测信号，产生所述残差信号。

15.根据权利要求14所述的方法，其中，产生扩展的预测信号的步骤包括：

对于所述预测信号中的一个或多个像素，应用亮度阈值和选择标准来选择所述第二信号中的相应像素的亮度子范围；和

将针对所述亮度子范围确定的扩展滤波器应用于所述预测信号中的所述一个或多个像素，以对于所述扩展的预测信号产生相应的像素值。

16.根据权利要求15所述的方法，还包括将用于所述亮度子范围的扩展滤波器相关的信息以及所述亮度阈值用信号发送给解码器。

17.根据权利要求11所述的方法，其中，产生上采样的预测信号的步骤还包括：

从编码器接收将亮度范围划分为亮度子范围的亮度阈值；

从所述编码器接收用于所述亮度子范围中的每一个的扩展滤波器信息；

对于所述预测信号中的一个或多个像素，应用所述亮度阈值和选择标准来对于所述解码的BL信号中的一个或多个相应的像素确定所述亮度子范围之中的一个亮度子范围；和

将与所述亮度子范围相应的扩展滤波器应用于所述预测信号中的所述一个或多个像素以对于所述上采样的预测信号产生相应的像素值。

18.根据权利要求9所述的方法，其中，所述解码的BL信号包括隔行信号，并且产生输出信号的步骤还包括：

对所述预测信号进行上采样和去隔行以产生具有所述第一空间分辨率的逐行的上采样的预测信号；和

响应于所述解码的残差信号和所述逐行的上采样的预测信号，产生具有所述第一分辨率和所述第一动态范围的输出信号。

19.根据权利要求1所述的方法，其中，所述第一分辨率与所述第二分辨率相同。

20.根据权利要求9所述的方法，所述第一分辨率与所述第二分辨率相同。

21.一种在分层视频编码器的增强层中对残差像素数据进行预处理的方法，所述方法包括：

访问残差图片帧中的残差像素值，所述残差像素值将被非线性量化器处理；

计算所述残差图片帧中的一个或多个残差像素的一个或多个平滑度度量值；和

将其相应的平滑度度量值小于阈值的一个或多个残差像素的像素值设置为预定值。

22.根据权利要求21所述的方法，还包括：

按降序对所计算的一个或多个平滑度度量值进行排序以产生排序的平滑度度量值的列表；和

选择所述平滑度度量值之一作为所述阈值。

23.根据权利要求21所述的方法，其中，残差像素的平滑度度量值基于所述残差像素周围的区域中的像素值的标准差而被计算。

24.一种在分层视频编码器的增强层中确定用于残差像素数据的非线性量化器中的输入范围参数的方法，所述方法包括：

访问残差图片帧中的残差像素值，所述残差像素值将被所述非线性量化器处理；

a)设置第一阈值；

b)根据所述第一阈值产生所述残差图片帧的二值图；

c)计算所述二值图中的像素的最大像素连接性；

d)基于所计算的最大像素连接性和连接性阈值标准，产生第二阈值；和

e)重复步骤b)、c)和d)，或者输出所述第二阈值或第一阈值作为所述非线性量化器的输入范围边界值。

25.根据权利要求23所述的方法，其中，步骤d)还包括：

通过在所计算的最大连接性大于所述连接性阈值标准的情况下增大所述第一阈值，或者在所计算的最大连接性小于所述连接性阈值标准的情况下减小所述第一阈值，产生所述第二阈值。

26.根据权利要求23所述的方法，其中，如果确定所述第一阈值和所述第二阈值之间的差值大于收敛阈值，则重复步骤b)、c)和d)。

27.一种包括处理器的装置，所述装置被配置为执行根据权利要求1、9或24中任一项所述的方法。

28.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有用于执行根据权利要求1、9或24中的任一项所述的方法的计算机可执行指令。