CN108055543A - 高位深度视频的可扩展编码中的高精度上采样 - Google Patents

高位深度视频的可扩展编码中的高精度上采样 Download PDF

Info

Publication number
CN108055543A
CN108055543A CN201810143518.9A CN201810143518A CN108055543A CN 108055543 A CN108055543 A CN 108055543A CN 201810143518 A CN201810143518 A CN 201810143518A CN 108055543 A CN108055543 A CN 108055543A
Authority
CN
China
Prior art keywords
bit depth
data
offset parameter
parameter
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810143518.9A
Other languages
English (en)
Other versions
CN108055543B (zh
Inventor
尹鹏
吕陶然
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN108055543A publication Critical patent/CN108055543A/zh
Application granted granted Critical
Publication of CN108055543B publication Critical patent/CN108055543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及高位深度视频的可扩展编码中的高精度上采样。当对具有高位深度的视频数据进行操作时，分层编码系统中的上采样操作的精度被保持。响应于视频编码或解码系统的位深度要求，针对可分离的向上扩展的滤波器，确定缩放和舍入参数。首先，使用第一舍入参数在第一空间方向上对输入数据进行滤波以生成第一上采样数据。通过使用第一偏移参数缩放第一上采样数据来生成第一中间数据。然后使用第二舍入参数在第二空间方向上对中间数据进行滤波以生成第二上采样数据。通过使用第二偏移参数缩放第二上采样数据来生成第二中间数据。通过修剪第二中间数据可以生成最终的上采样数据。

Description

高位深度视频的可扩展编码中的高精度上采样
本申请是申请号为201380066796.4、申请日为2013年12月4日、发明名称为“高位深度视频的可扩展编码中的高精度上采样”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2012年12月21日提交的美国临时专利申请No.61/745050的优先权，其全部内容通过引用并入于此。
技术领域
本发明总体上涉及图像。更特别地，本发明的实施例涉及用于高位深度视频的可扩展(scalable)视频编解码器中的高精度上采样。
背景技术
音频和视频压缩是多媒体内容的开发、存储、分发和消费的关键组成部分。对压缩方法的选择涉及编码效率、编码复杂度和延迟之间的权衡。当处理能力对计算成本的比率增加时，允许发展允许更高效的压缩的更复杂的压缩技术。例如，在视频压缩中，来自国际标准化组织(ISO)的运动图像专家组(MPEG)通过发布MPEG-2、MPEG-4(第2部分)和H.264/AVC(或MPEG-4，第10部分)编码标准来持续改进最初的MPEG-1视频标准。
尽管H.264的压缩效率和成功，被称为高效视频编码(HEVC)的新一代视频压缩技术目前正在开发当中。HEVC被期望提供相对于现有的H.264(也称为AVC)标准有所提升的压缩能力，HEVC的草案可获于“High efficiency video coding(HEVC)text specificationdraft 9”，ITU-T/ISO/IEC视频编码联合组(JCT-VC)文档JCTVC-K1003，2012年10月，作者B.Bros，W.-J.Han，G.J.Sullivan，J.-R.Ohm和T.Wiegand，其全部内容通过引用并入于此，而H.264标准被发布为“Advanced Video Coding for generic audio-visual services”，ITU T Rec.H.264和ISO/IEC14496-10，其全部内容通过引用并入于此。
视频信号可以由诸如位深度、色彩空间、色域和分辨率之类的多个参数表征。现代电视和视频回放设备(例如，蓝光播放器)支持各种分辨率，包括标准清晰度(例如，720×480i)和高清晰度(HD)(例如，1090×1080p)。超高清晰度(UHD)是具有至少3840×2160分辨率的下一代分辨率格式。超高清晰度也可以称为超HD、UHDTV或超高清。如在此所使用的，UHD表示高于HD分辨率的任何分辨率。
视频信号特性的另一方面是它的动态范围。动态范围(Dynamic range，DR)是指图像中的例如从最暗至最亮的强度(例如，亮度，luma)的范围。如在此所使用的，术语“动态范围”(DR)可以与人类精神性视觉系统(HVS)感知图像中的例如从最暗至最亮的强度(例如亮度，luma)的范围的能力有关。在这种意义上，DR与“涉及场景”(scene-referred)的强度有关。DR还可以与用于充分地或近似地呈现特定宽度的强度范围的显示设备的能力有关。在这种意义上，DR与“涉及显示器”的强度有关。除非在本描述中的任何点处明确地指定特定意义具有特定含义，否则，应当推断该术语可以例如可互换地在任一种意义上使用。
如在此所使用的，术语高动态范围(HDR)与横跨人类视觉系统(HVS)的某14至15个量级的DR宽度有关。例如，基本正常的适应性好的人(例如，在统计学、生物计量学和眼科学意义中的一个或更多个上)具有横跨大约15个量级的强度范围。适应的人可以感知到少至只有少量光子的微弱光源。然而，同样这些人可以感知到沙漠、大海或雪地的正午太阳的几乎引起痛感的耀眼的强度(或者甚至直视太阳，但要短暂以避免伤害)。但是这种跨度可用于“适应的”人，例如，那些其HVS具有重置和调整时间段的人。
相反，与HDR相比，在其上人可以同时感知强度范围的广阔宽度的DR在一定程度上被截断。如在此所使用的，术语“增强的动态范围”(EDR)、“可视的动态范围”或“可变的动态范围”(VDR)可以单独地或者可互换地与能由HVS同时感知的DR有关。如在此所使用的，EDR可以涉及横跨5至6个量级的DR。因此，尽管与涉及真实场景的HDR相比也许有些狭窄，但是EDR表示宽的DR宽度。如在此所使用的，术语“同时的动态范围”可以涉及EDR。
如在此所使用的，术语图像或视频“位深度”表示用于代表或存储图像或视频信号的色彩分量的像素值的位数。例如，术语N位视频(例如，N＝8)表示该视频信号中的色彩分量(例如R、G或B)的像素值可以取范围0至2N-1内的值。
如在此所使用的，术语“高位深度”表示任何大于8位(例如，N＝10位)的位深度值。注意，当HDR图像和视频信号典型地与高位深度相关联时，高位深度的图像不一定具有高动态范围。因此，如在此所使用的，高位深度成像可以与HDR和SDR这两者都有关联。
为了支持与传统回放设备和新显示技术的向后兼容，可以使用多个层来将UHD和HDR(或SDR)视频数据从上游设备传递到下游设备。给定这种多层的流，传统的解码器可以使用基本层来重构内容的HD SDR版本。先进的解码器可以使用基本层和增强层这两者来重构内容的UHD EDR版本以将其呈现在更有能力的显示器上。如发明人在此所领会的，用于使用可扩展编解码器来对高位深度的视频进行编解码的改进技术是所希望的。
在本部分中所述的方法是可获得的方法，但不一定是之前已设想或获得的方法。因此，除非另有表明，否则不应当仅仅因为在本部分中所述的任何方法被包括在本部分中而将它们认定为现有技术。类似地，除非另有表明，否则关于一种或更多种方法所识别的问题不应当基于本部分而认为已经在任何现有技术中已经发现。
附图说明
在附图的图中以举例的方式而非以限制的方式例示了本发明的实施例，在附图中相同的附图标记表示相似的元件，其中：
图1描述了根据本发明实施例的可扩展编码系统的示例性实现；
图2描绘了根据本发明实施例的可扩展解码系统的示例性实现；
图3描绘了根据本发明实施例的图像数据上采样的示例性过程。
具体实施方式
在此描述了具有高位深度的视频输入的可扩展编码中的高精度上采样。给定与中间结果的位深度、内部输入位深度以及滤波器精度位深度相关的参数，可确定缩放(scaling)和舍入(rounding)因子，以保持操作的精度并防止溢出。
在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。但是，显然本发明可以在没有这些具体细节的情况下实施。在其它实例中，没有详尽地描述熟知的结构和设备，以避免不必要地使本发明晦涩难懂。
综述
在此描述的示例性实施例涉及具有高位深度的视频信号的分层编码和解码中的高精度采样。响应于视频编码和解码系统的位深度需求，针对可分离的向上扩展(up-scaling)的滤波器，确定输入数据、滤波系数以及缩放和舍入参数。首先，使用第一舍入参数在第一空间方向上对输入数据进行滤波，以生成第一上采样数据。通过使用第一偏移参数对第一上采样数据进行缩放而生成第一中间数据。然后，使用第二舍入参数在第二空间方向上对中间数据进行滤波，以生成第二上采样数据。通过使用第二偏移参数对第二上采样数据进行缩放而生成第二中间数据。可以通过对第二中间数据进行修剪来生成最终的上采样数据。
高精度可分离上采样
现有的诸如HDTV、机顶盒或蓝光播放器之类的显示和回放设备典型地支持高达1080p HD分辨率(例如1920×1080，每秒60帧)的信号。对于消费者应用，现在典型地按照亮度-色度色彩格式中的每个色彩分量、每个像素使用8位的位深度来压缩这种信号，在该格式中典型地，色度分量具有比亮度分量更低的分辨率(例如，YCbCr或YUV 4:2:0的色彩格式)。由于8位深度和相应的低动态范围，这种信号典型地被称为具有标准动态范围(SDR)的信号。
随着诸如超高清晰度(UHD)之类的新电视标准正在开发，以可扩展的格式对具有提高的分辨率和/或更高的位深度的信号进行编码是可取的。
图1描绘了可扩展编码系统的示例性实现的实施例。在示例性实施例中，基本层(base layer，BL)输入信号104可以代表HD SDR信号，增强层(enhancement layer，EL)输入102可以代表高位深度的UHD HDR(或SDR)信号。使用BL编码器105来压缩(或编码)BL输入104，以生成编码的BL位流107。BL编码器105可以使用诸如MPEG-2、MPEG-4第2部分、H.264、HEVC、VP8等之类的已知或未来的视频压缩算法中的任何一种来对BL输入信号104进行压缩或编码。
假定BL输入104，编码系统100不仅生成编码的BL位流107，还生成BL信号112，其中BL信号112代表将由相应的接收器解码的BL信号107。在一些实施例中，可以通过BL编码器105之后的单独的BL解码器(110)来生成信号112。在一些其它的实施例中，可以从用于在BL编码器105中执行运动补偿的反馈回路生成信号112。如图1中所示，可以通过层间处理单元115来处理信号112，以生成适合由层间预测过程120使用的信号。在一些实施例中，层间处理单元115可以向上扩展信号112，以匹配EL输入102的空间分辨率(例如，从HD分辨率到UHD分辨率)。在层间预测120之后，残差127被计算，随后被EL编码器132编码以生成编码的EL位流132。BL位流107和EL位流132典型地被多路复用到单个编码的位流中，该单个编码的位流被发送给合适的接收器。
术语SHVC表示被称为高效视频编码(HEVC)[1]的新一代视频压缩技术的可扩展延伸，所述HEVC能实现显著高于现有的AVC(H.264)标准[2]的压缩能力。SHVC目前正在由ISO/IEC MPEG和ITU-T WP3/16组联合开发。SHVC的关键方面之一是空间可扩展性，其中层间纹理预测(例如，120或210)提供最重要的增益。在图2中示出了SHVC解码器的示例。作为层间预测的一部分，上采样过程(220)对来自基本层(215)的像素数据进行上采样或向上转换(up-convert)，以匹配在增强层(例如202或230)中接收到的数据的像素分辨率。在实施例中，可以通过应用上采样或内插滤波器来执行上采样过程。在H.264(SVC)的可扩展延伸或SHVC SMuC0.1.1软件[3]中，应用了可分离的多相上采样/内插滤波器。当这些滤波器对具有标准位深度的输入数据(例如，每个色彩分量每个像素使用8位的图像)执行良好时，对于具有高位深度的输入数据(例如，每个色彩分量每个像素使用10位或更多位的图像)，它们可能会溢出。
在2D上采样或内插处理过程中，普通惯例是应用可分离的滤波器以减少处理复杂度。这种滤波器首先在一个空间方向(例如，水平或垂直方向)上对图像进行上采样，然后是另一方向(例如，垂直或水平方向)。在不损失共性的情况下，在以下描述中，假设水平上采样之后是垂直上采样。然后，滤波过程可以被描述为：
水平上采样：
tempArray[x，y]＝∑i，j(eF[xPhase，
i]＊refSampleArray[xRef+j，y]) (1)
垂直上采样
predArray[x，y]＝Clip((Σi，j(eF[yPhase，i]*tempArray[x，yRef+j])+offset)＞＞nshift) (2)
其中，eF存储多相上采样滤波器系数，refSampleArray包含来自重构的基本层的参考采样值，tempArray存储第一次1D滤波后的中间值，predArray存储第二次1D滤波后的最终值，xRef和yRef对应于上采样的相对像素位置，nshift表示缩放或归一化参数，offset表示舍入参数，以及Clip()表示修剪函数。例如，假定数据x和阈值A和B，在示例性实施例中，函数y＝Clip(x，A，B)表示
例如，对于N位的图像数据，A和B的示例值可以包括A＝0和B＝2N-1。
在方程(2)中，运算a＝b>>c表示通过将b的二进制表示向右偏移c位而使b除以2c(例如，a＝b/2c)。注意，在方程(1)中，对于第一阶段滤波，没有应用修剪或偏移操作。还应注意，在本实现下，水平滤波和垂直滤波的顺序并不重要。先应用垂直滤波再应用水平滤波产生的结果和先应用水平滤波再应用垂直滤波的结果相同。
在SMuCO.01[3]中，eF的滤波精度(表示为US_FILTER_PREC)被设为6位。当refSampleArray的内部位深度是8位时，则tempArray可以保持在目标实现位深度(例如14或16位)以内。但是当refSampleArray的内部位深度超过8位时，则方程(1)的输出可能溢出。
在实施例中，这种溢出可以通过以下避免：(a)固定上采样过程中的操作顺序，以及(b)包含中间缩放操作。在实施例中，当在水平滤波之后垂直滤波时，上采样可以如下实现：
水平上采样：
tempArray[x，y]＝(∑i，j(eF[xPhase，i]＊refSampleArray[xRef+j，y]+iOffset1))＞＞nShift1(3)
垂直上采样
predArray[x，y]＝Clip((∑i，j(eF[yPhase，i]＊tempArray[x，yRef+j])+iOffset2)＞＞nShift2)， (4)
在不损失共性的情况下，令INTERM_BITDEPTH表示中间滤波处理的位深度(或位分辨率)要求；即，没有结果可以用多于INTERM_BITDEPTH的位来表示(例如INTERM_BITDEPTH＝16)。令INTERNAL_INPUT_BITDEPTH表示用于在处理器中代表输入视频信号的位深度。注意，INTERNAL_INPUT_BITDEPTH可以等于或者大于输入信号的原始位深度。例如，在一些实施例中，8位输入视频数据可以内部地用INTERN AL_INPUT_BITDEPTH＝10来表示。可替代地，在另一个示例中，可以用INTERNAL_INPUT_BITDEPTH＝14表示14位的输入视频。
在一个实施例中，方程(3)和(4)中的缩放参数可以计算为
nShift1＝(US_FILTER_PREC+INTERNAL_INPUT_BITDEPTH)-INTERM_BITDEPTH， (5)
nShift2＝2*US_FILTER_PREC-nShift1. (6)
在实施例中，nShiftl和nShift2的值不能为负数。例如，nShiftl的负值指示中间结果所允许的位分辨率比足以防止溢出更高；因此，当其为负数时，nShiftl可以设为0。
如果在(3)和(4)中都使用舍入(最高复杂度，最高精度)：
iOffset1＝1＜＜(nShift1-1)， (7)
iOffset2＝1＜＜(nShift2-1)， (8)
其中a＝1＜＜c表示“1”的二进制左偏移c位，即a＝2c。
可替代地，如果在(3)和(4)中都未使用舍入(最低复杂度，最低精度)：
iOffsetl＝0， (9)
iOffset2＝0。 (10)
可替代地，如果在(3)使用舍入而在(4)中未使用舍入：
iOffsetl＝1＜＜(nShiftl-1)， (11)
iOffset2＝0。 (12)
可替代地，如果在(4)使用舍入而在(3)中未使用舍入(这是常见的)：
iOffsetl＝0, (13)
iOffset2＝1<<(nShift2-1)； (14)
在示例性实施例中，令INTERM_BITDEPTH＝14，US_FILTER_PREC＝6，且INTERNAL_INPUT_BITDEPTH＝8，则通过方程(5)和(6)，nShiftl＝0且nShift2＝12。在另一个示例中，对于US_FILTER_PREC＝6，如果INTERNAL_INPUT_BITDEPTH＝10，并且INTERM_BITDEPTH＝14，则根据所选择的舍入模式，nShiftl＝2且iOffsetl＝0or 2。此外，根据所选择的舍入模式，nShift2＝10且iOffset2＝0或29。
注意，使用方程(3)和(4)中所示的实施，在垂直滤波之后水平滤波可能产生与在水平滤波之后垂直滤波不同的结果，因此，在解码器中，要么可以由所有解码器来固定和预先确定适当的滤波(例如，通过解码标准或规范)，要么在一些实施例中可以由编码器在元数据使用适当的标示来向解码器发信号告知适当的顺序。
图3描绘了根据本发明的实施例的用于图像数据上采样的示例性过程。首先(305)，分层编码系统中的编码器或解码器确定适当的滤波顺序(例如，在水平滤波之后垂直滤波)以及缩放和舍入参数。在实施例中，基于中间存储(例如，INTERM_BITDEPTH)、滤波器系数(例如，US_FILTER_PREC)和内部输入表示(例如，INTERN AL_INPUT_B ITDEPTH)所需的位深度，可以根据方程(5)-(14)来确定缩放和舍入参数。在步骤310中，在第一方向(例如，水平方向)上对图像数据进行上采样。在中间存储之前使用第一偏移参数(例如，nShiftl)和第一舍入参数(例如，iOffsetl)来对该阶段的输出结果进行舍入和缩放。接下来(315)，在第二方向(例如，垂直方向)上对中间结果进行上采样。使用第二偏移参数(例如，nShift2)和第二舍入参数(例如，iOffset2)来对该阶段的输出结果进行舍入和缩放。最后(320)，在最终输出或存储之前对第二阶段的输出数据进行修剪。
在此描述的方法也可应用于利用对高位深度的图像数据的可分离的滤波的其它成像应用，诸如向下扩展(down-scaling)、噪声滤波或频率变换。
示例性的计算机系统实现
本发明的实施例可以用计算机系统、在电子电路和部件中配置的系统、诸如微控制器、现场可编程门阵列(FPGA)或其它可配置的或可编程的逻辑器件(PLD)之类的集成电路(IC)器件、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这种系统、器件或部件中的一个或更多个的装置来实现。计算机和/或IC可以实行、控制或执行关于高精度上采样的指令，诸如在此所描述的那些。计算机和/或IC可以计算与在此所描述的高精度上采样有关的各种参数或值中的任何一个。编码和解码的实施例可以以硬件、软件、固件及其各种组合来实现。
本发明的某些实施包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或更多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现如上所述的关于高精度上采样的方法。本发明还可以以程序产品的形式提供。程序产品可以包括携带有一组包含指令的计算机可读信号的任何介质，当所述指令被数据处理器执行时，使数据处理器执行本发明的方法。根据本发明的程序产品可以具有各种形式中的任何一种。例如，程序产品可以包括诸如包括软盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪存RAM的电子数据存储介质等之类的物理介质。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(如软件模块、处理器、组件、器件、电路等)之处，除非另有表明，否则对该部件引用(包括对“装置”的引用)应当被解释为包括执行所述部件的功能的、作为该部件的等效物(如在功能上等效)的任何部件，包括与执行本发明的所例示的示例性实施例的功能的公开结构在构造上不等效的部件。
等效、扩展、替代和混合
如此描述了与高位深度视频的可扩展编码的高精度上采样有关的示例性实施例。在以上说明书中，已经参考可根据实现方式而不同的许多具体细节来描述本发明的实施例。因此，本发明是什么以及申请人意欲本发明是什么的唯一且独有的标志是如本申请发布的权利要求书中以该权利要求书发布的具体形式记载的集合，包括任何后续改正。针对该权利要求书中包含的术语，本文明确阐述的任何定义应当支配在权利要求书中所使用的该术语的意义。因此，未在权利要求中明确记载的限制、要素、性质、特征、优点或属性不应当以任何方式限制这该权利要求的范围。因此，说明书和附图应当认为是例示性的，而非限制性的。
参考文献
[1]B.Bross,W.-J.Han,G.J.Sullivan,J.-R.Ohm,and T.Wiegand,"Highefficiency video coding(HEVC)text specification draft 9,"ITU-T/ISO/IEC视频编码联合组(JCT-VC)文档JCTVC-K1003,2012年10月.
[2]ITU-T and ISO/IEC JTC 1,"Advanced Video Coding for generic audio-visual services,"ITU T Rec.H.264与ISO/IEC 14496-10(AVC)
[3]用于SHVCS(HEVC的可扩展延伸)的SMuCO.1.1软件:https:/hevc.hhi.fraunhofer.de/svn/svn_SMuCSoftware/tags/0.1.1/

Claims (11)

1.一种用于在可扩展视频系统中从第一层到第二层对图像数据进行上采样的方法，该方法包括：
响应于可扩展视频系统的位深度要求，用处理器确定缩放和舍入参数；
通过对来自第一层的图像数据进行滤波来生成第一上采样数据，其中在第一空间方向上执行对图像数据的滤波；
通过以第一偏移参数缩放第一上采样数据来生成第一中间数据；
通过对第一中间数据进行滤波来生成第二上采样数据，其中使用舍入参数在第二空间方向上执行对第一中间数据的滤波；
通过以第二偏移参数缩放第二上采样数据来生成第二中间数据；以及，
通过修剪第二中间数据来生成用于第二层的输出上采样数据,
其中，第二偏移参数至少部分基于图像数据的位深度值和第一偏移参数，
其中，第一偏移参数基于图像数据的位深度值、滤波精度位深度、和中间处理位深度，
其中，确定第二偏移参数包括从两倍的滤波系数精度位深度中减去第一偏移参数，
其中，确定第二偏移参数包括从滤波精度位深度和中间处理位深度之和中减去图像数据的位深度值，
其中，给定14位的中间处理位深度和6位的滤波精度位深度，
nShift2＝20-bitdepth，
其中，nShift2表示第二偏移参数，并且bitdepth表示图像数据的位深度值。
2.根据权利要求1所述的方法，其中所述可扩展视频系统包括视频编码器。
3.根据权利要求1所述的方法，其中所述可扩展视频系统包括视频解码器。
4.根据权利要求1所述的方法，其中确定第一偏移参数包括：使中间处理位深度与滤波精度位深度之差与图像数据的位深度值相加。
5.根据权利要求4所述的方法，其中给定14位的中间处理位深度和6位的滤波精度位深度，
nShift1＝bitdepth+(6-14)＝bitdepth–8，
其中，nShift1表示第一偏移参数，并且bitdepth表示图像数据的位深度值。
6.根据权利要求1所述的方法，其中确定舍入参数包括计算：
iOffset＝1<<(nShift2-1)，
其中iOffset为舍入参数，并且nShift2为第二偏移参数。
7.根据权利要求1所述的方法，其中舍入参数为零。
8.根据权利要求1所述的方法，其中第一空间方向是水平方向，并且第二空间方向是垂直方向。
9.根据权利要求1所述的方法，其中第一空间方向是垂直方向，并且第二空间方向是水平方向。
10.一种装置，包括处理器并被配置为执行权利要求1-9中任一项所述的方法。
11.一种非暂时性计算机可读存储介质，其上已存储有用于执行根据权利要求1-9中任一项所述的方法的计算机可执行指令。
CN201810143518.9A 2012-12-21 2013-12-04 高位深度视频的可扩展编码中的高精度上采样 Active CN108055543B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261745050P 2012-12-21 2012-12-21
US61/745,050 2012-12-21
CN201380066796.4A CN104871545B (zh) 2012-12-21 2013-12-04 高位深度视频的可扩展编码中的高精度上采样

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380066796.4A Division CN104871545B (zh) 2012-12-21 2013-12-04 高位深度视频的可扩展编码中的高精度上采样

Publications (2)

Publication Number Publication Date
CN108055543A true CN108055543A (zh) 2018-05-18
CN108055543B CN108055543B (zh) 2021-08-17

Family

ID=50031497

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380066796.4A Active CN104871545B (zh) 2012-12-21 2013-12-04 高位深度视频的可扩展编码中的高精度上采样
CN201810143517.4A Active CN108055542B (zh) 2012-12-21 2013-12-04 高位深度视频的可扩展编码中的高精度上采样
CN201810143518.9A Active CN108055543B (zh) 2012-12-21 2013-12-04 高位深度视频的可扩展编码中的高精度上采样

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201380066796.4A Active CN104871545B (zh) 2012-12-21 2013-12-04 高位深度视频的可扩展编码中的高精度上采样
CN201810143517.4A Active CN108055542B (zh) 2012-12-21 2013-12-04 高位深度视频的可扩展编码中的高精度上采样

Country Status (12)

Country Link
US (6) US10165288B2 (zh)
EP (2) EP3734975A1 (zh)
JP (2) JP6034983B2 (zh)
KR (4) KR20160110546A (zh)
CN (3) CN104871545B (zh)
BR (2) BR112015014277B1 (zh)
HK (1) HK1208577A1 (zh)
IN (1) IN2015MN01331A (zh)
MY (2) MY202235A (zh)
RU (4) RU2017102758A (zh)
TW (3) TWI597968B (zh)
WO (1) WO2014099370A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI631850B (zh) * 2012-08-06 2018-08-01 Ｖｉｄ衡器股份有限公司 在多層視訊編碼中空間層取樣格網資訊
EP3490256B1 (en) 2013-01-02 2021-07-21 Dolby Laboratories Licensing Corporation Backward-compatible coding for ultra high definition video signals with enhanced dynamic range
US9497473B2 (en) * 2013-10-03 2016-11-15 Qualcomm Incorporated High precision explicit weighted prediction for video coding
JP5906504B1 (ja) * 2014-06-26 2016-04-20 パナソニックＩｐマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
WO2016133865A1 (en) * 2015-02-17 2016-08-25 Dolby Laboratories Licensing Corporation Inter-layer prediction for signals with enhanced dynamic range
US10257524B2 (en) * 2015-07-01 2019-04-09 Mediatek Inc. Residual up-sampling apparatus for performing transform block up-sampling and residual down-sampling apparatus for performing transform block down-sampling
WO2017019704A2 (en) 2015-07-28 2017-02-02 Dolby Laboratories Licensing Corporation Sdr bit depth enhancement via codeword range amplification in a codec with inverse display management
WO2018212509A1 (en) 2017-05-15 2018-11-22 Samsung Electronics Co., Ltd. Method and apparatus for control resource set configuration and monitoring of downlink control channel in wireless communication system
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
US20200322656A1 (en) * 2019-04-02 2020-10-08 Nbcuniversal Media, Llc Systems and methods for fast channel changing
US11375219B2 (en) * 2019-09-24 2022-06-28 Tencent America LLC Coding method and system with improved dynamic internal bit depth
US11082473B1 (en) * 2020-03-15 2021-08-03 Tfi Digital Media Limited Method for complexity reduction in video coding by coding parameters reuse

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160153A1 (en) * 2006-01-06 2007-07-12 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101213590A (zh) * 2005-06-29 2008-07-02 松下电器产业株式会社 可扩展解码装置及丢失数据插值方法
CN101568036A (zh) * 2005-10-11 2009-10-28 华为技术有限公司 对空间分层编码视频图像的上采样方法及其系统
CN101827264A (zh) * 2009-03-06 2010-09-08 刘永 分层式自适应的视频帧采样方法
CN102075755A (zh) * 2005-03-18 2011-05-25 夏普株式会社 用于图像上采样的方法和系统
CN102084653A (zh) * 2007-06-29 2011-06-01 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
US20110310972A1 (en) * 2000-12-12 2011-12-22 Sony Electronics, Inc. System and method for generating decoded digital video image data
WO2012125532A1 (en) * 2011-03-11 2012-09-20 General Instrument Corporation Method and apparatus for spatial scalability for hevc
CN102714725A (zh) * 2010-01-06 2012-10-03 杜比实验室特许公司 用于多层视频编码应用的高性能码率控制
CN102740078A (zh) * 2012-07-12 2012-10-17 北方工业大学 基于hevc标准的自适应空间可伸缩编码

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7215831B2 (en) * 2001-04-26 2007-05-08 Georgia Tech Research Corp. Video enhancement using multiple frame techniques
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
NO319629B1 (no) * 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
US7379587B2 (en) * 2004-02-12 2008-05-27 Xerox Corporation Systems and methods for identifying regions within an image having similar continuity values
KR100679022B1 (ko) 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US7561478B2 (en) 2005-06-30 2009-07-14 Seiko Epson Corporation Integrated circuit device and electronic instrument
JP2007028393A (ja) * 2005-07-20 2007-02-01 Matsushita Electric Ind Co Ltd 双方向予測符号化ピクチャの直接モードブロックの動きベクトルを求める方法
KR100718135B1 (ko) * 2005-08-24 2007-05-14 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
WO2007080477A2 (en) 2006-01-10 2007-07-19 Nokia Corporation Switched filter up-sampling mechanism for scalable video coding
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
CN101507282B (zh) * 2006-07-10 2012-06-27 夏普株式会社 用于组合多层比特流中的层的方法和系统
EP2084913B1 (en) * 2006-10-25 2019-02-20 GE Video Compression, LLC Quality scalable coding
US20080101467A1 (en) * 2006-10-27 2008-05-01 Radiospire Networks, Inc. Method and system for secure and efficient wireless transmission of HDCP-encrypted HDMI/DVI signals
KR20080067922A (ko) * 2007-01-17 2008-07-22 삼성전자주식회사 영상 축소 기능을 갖는 영상 복호화 방법 및 장치
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
ES2527932T3 (es) * 2008-04-16 2015-02-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Escalabilidad de profundidad de bits
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
TWI383684B (zh) 2008-11-18 2013-01-21 Univ Nat Taiwan 多媒體串流之動態視訊編碼系統與方法
WO2010090630A1 (en) * 2009-02-03 2010-08-12 Thomson Licensing Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
US9112618B2 (en) 2009-07-02 2015-08-18 Qualcomm Incorporated Coding latency reductions during transmitter quieting
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
TW201119396A (en) 2009-11-24 2011-06-01 Hon Hai Prec Ind Co Ltd Multi-standard video decoding system and method
WO2011127964A2 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
US9185422B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Variable localized bit-depth increase for fixed-point transforms in video coding
MX2013003868A (es) 2010-10-05 2013-06-24 Gen Instrument Corp Metodo y aparatoo para codificacion de video basado en las caracteristicas.
US8880573B2 (en) * 2010-10-12 2014-11-04 Dolby Laboratories Licensing Corporation System and method of dynamic precision operations
EP2658260B1 (en) * 2010-12-22 2020-12-09 Panasonic Corporation Image encoding apparatus, image decoding apparatus, image encoding method, and image decoding method for bit-depth scalability
CN103621081B (zh) * 2011-06-10 2016-12-21 寰发股份有限公司 可伸缩视频编码方法及装置
KR101756843B1 (ko) * 2011-06-28 2017-07-11 삼성전자주식회사 휘도 성분 영상을 이용한 색차 성분 영상의 예측 방법 및 예측 장치
US9055304B2 (en) * 2011-07-01 2015-06-09 Qualcomm Incorporated Reduced resolution pixel interpolation
US10616581B2 (en) * 2012-01-19 2020-04-07 Huawei Technologies Co., Ltd. Modified coding for a transform skipped block for CABAC in HEVC
EP2853096A4 (en) * 2012-05-21 2016-07-06 Mediatek Singapore Pte Ltd METHOD AND APPARATUS FOR FILTERING BETWEEN LAYERS FOR SCALABLE VIDEO CODING
US9420280B2 (en) * 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
CN104661517B (zh) 2012-07-16 2017-04-05 富默乐契克斯有限公司 流体输送系统及其相关装置和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110310972A1 (en) * 2000-12-12 2011-12-22 Sony Electronics, Inc. System and method for generating decoded digital video image data
CN102075755A (zh) * 2005-03-18 2011-05-25 夏普株式会社 用于图像上采样的方法和系统
CN101213590A (zh) * 2005-06-29 2008-07-02 松下电器产业株式会社 可扩展解码装置及丢失数据插值方法
CN101568036A (zh) * 2005-10-11 2009-10-28 华为技术有限公司 对空间分层编码视频图像的上采样方法及其系统
US20070160153A1 (en) * 2006-01-06 2007-07-12 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN102084653A (zh) * 2007-06-29 2011-06-01 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
CN101827264A (zh) * 2009-03-06 2010-09-08 刘永 分层式自适应的视频帧采样方法
CN102714725A (zh) * 2010-01-06 2012-10-03 杜比实验室特许公司 用于多层视频编码应用的高性能码率控制
WO2012125532A1 (en) * 2011-03-11 2012-09-20 General Instrument Corporation Method and apparatus for spatial scalability for hevc
CN102740078A (zh) * 2012-07-12 2012-10-17 北方工业大学 基于hevc标准的自适应空间可伸缩编码

Also Published As

Publication number Publication date
CN104871545A (zh) 2015-08-26
CN108055542B (zh) 2021-08-13
CN108055542A (zh) 2018-05-18
US20190058892A1 (en) 2019-02-21
US10165288B2 (en) 2018-12-25
RU2718159C1 (ru) 2020-03-30
KR102052876B1 (ko) 2019-12-09
US11570455B2 (en) 2023-01-31
US20230164335A1 (en) 2023-05-25
BR112015014277B1 (pt) 2022-12-13
BR122017002044B1 (pt) 2022-12-20
US11792416B2 (en) 2023-10-17
US20210281866A1 (en) 2021-09-09
US10958922B2 (en) 2021-03-23
KR101985647B1 (ko) 2019-06-04
TWI597968B (zh) 2017-09-01
EP2936820B1 (en) 2020-07-15
TW201608873A (zh) 2016-03-01
BR112015014277A2 (pt) 2017-07-11
CN108055543B (zh) 2021-08-17
US20150350661A1 (en) 2015-12-03
US10516889B2 (en) 2019-12-24
WO2014099370A1 (en) 2014-06-26
US11284095B2 (en) 2022-03-22
HK1208577A1 (zh) 2016-03-04
MY202235A (en) 2024-04-18
TWI521946B (zh) 2016-02-11
IN2015MN01331A (zh) 2015-08-14
JP6034983B2 (ja) 2016-11-30
US20200021825A1 (en) 2020-01-16
RU2017102758A (ru) 2018-12-20
RU2610589C2 (ru) 2017-02-13
RU2728738C1 (ru) 2020-07-30
BR122017002044A2 (pt) 2019-09-03
US20220174297A1 (en) 2022-06-02
KR20190052165A (ko) 2019-05-15
RU2015123238A (ru) 2017-01-10
KR101694139B1 (ko) 2017-01-10
JP2017028713A (ja) 2017-02-02
TW201731291A (zh) 2017-09-01
JP2016507947A (ja) 2016-03-10
TWI618397B (zh) 2018-03-11
CN104871545B (zh) 2018-02-23
EP3734975A1 (en) 2020-11-04
MY181150A (en) 2020-12-19
KR20150090148A (ko) 2015-08-05
KR20170060185A (ko) 2017-05-31
EP2936820A1 (en) 2015-10-28
JP6272419B2 (ja) 2018-01-31
TW201433148A (zh) 2014-08-16
KR20160110546A (ko) 2016-09-21

Similar Documents

Publication Publication Date Title
CN104871545B (zh) 高位深度视频的可扩展编码中的高精度上采样
CN104885457B (zh) 用于视频信号的向后兼容编码和解码的方法和装置
EP2524505B1 (en) Edge enhancement for temporal scaling with metadata
US20160065975A1 (en) Layered Decomposition of Chroma Components in EDR Video Coding
CN104685879A (zh) 针对编码标准可扩展性的层间参考图片处理
GB2601362A (en) Video encoding using pre-processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant