CN110460846A - 针对编码标准可扩展性的层间参考图片处理 - Google Patents

针对编码标准可扩展性的层间参考图片处理 Download PDF

Info

Publication number
CN110460846A
CN110460846A CN201910825051.0A CN201910825051A CN110460846A CN 110460846 A CN110460846 A CN 110460846A CN 201910825051 A CN201910825051 A CN 201910825051A CN 110460846 A CN110460846 A CN 110460846A
Authority
CN
China
Prior art keywords
picture
signal
rpu
reference picture
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910825051.0A
Other languages
English (en)
Other versions
CN110460846B (zh
Inventor
尹鹏
T·鲁
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN110460846A publication Critical patent/CN110460846A/zh
Application granted granted Critical
Publication of CN110460846B publication Critical patent/CN110460846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开涉及针对编码标准可扩展性的层间参考图片处理。视频数据被编码为编码标准分层比特流。给定基本层(BL)以及一个或更多个增强层(EL)信号，使用符合第一编码标准的BL编码器把BL信号编码为经编码的BL流。响应于BL信号和EL信号，参考处理单元(RPU)确定RPU处理参数。响应于RPU处理参数和BL信号，RPU产生层间参考信号。使用符合第二编码标准的EL编码器，EL信号被编码为经编码的EL流，其中EL信号的编码至少部分地基于层间参考信号。具有RPU以及对于第一和第二编码标准都符合的视频解码器的接收器对经编码的BL和EL流都可以进行解码。

Description

针对编码标准可扩展性的层间参考图片处理
本申请是申请号为201380050522.6、申请日为2013年9月24日、发明名称为“针对编码标准可扩展性的层间参考图片处理”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2012年9月27日提交的美国临时专利申请No.61/706,480的优先权，其全文内容通过引用并入于此。
技术领域
本发明总体上涉及图像。更特别地，本发明实施例涉及针对编码标准可扩展性(coding-standard scalability)的层间参考图片处理。
背景技术
在多媒体内容的开发、存储、分发和消费中，音频和视频压缩是关键要素。压缩方法的选择涉及编码效率、编码复杂度和延时当中的权衡。随着处理能力对计算成本的比率增大，允许开发考虑到了更高效的压缩的更复杂的压缩技术。例如，在视频压缩中，国际标准化组织(ISO)的运动图像专家组(MPEG)通过发布MPEG-2、MPEG-4(第2部分)以及H.264/AVC(或MPEG-4，第10部分)编码标准来持续改进原始的MPEG-1视频标准。
尽管H.264的压缩效率和成功，现在仍在开发被称为高效率视频编码(HEVC)的新一代的视频压缩技术。期望HEVC提供比现有的H.264(也称为AVC)标准有所提高的压缩能力，HEVC的草案可见于“High efficiency video coding(HEVC)text specificationdraft 8”,ITU-T/ISO/IEC视频编码联合组(JCT-VC)文件JCTVC-J1003，2012年7月，B.Bross、W.-J.Han、G.J.Sullivan、J.-R.Ohm和T.Wiegand，其全文内容通过引用并入于此，H.264公布为“Advanced Video Coding for neneric audio-visual services”,ITU TRec.H.264 and ISO/IEC 14496-10，其全文内容通过引用并入于此。在此如本发明人所认识到的，预计在今后几年H.264将仍然是全世界用于分发数字视频的主流视频编码标准。还认识到，较新的标准比如HEVC应当允许后向兼容现有的标准。
如在此所使用的，术语“编码标准”表示可都为基于标准的、开源的或专有的压缩(编码)和解压(解码)算法，诸如MPEG标准、windows媒体视频(WMV)、flash视频、VP8等。
在这部分中描述的方法是可以实行的方法，但是不一定是先前已经构思或实行的方法。所以，除非另有表明，否则不应当认为在这部分中描述的任何方法仅仅由于包括在这个部分中就被当作现有技术。类似地，关于一种或多种方法而发现的问题也不应当认为根据该部分而已在任何现有技术认识到，除非另有表明。
附图说明
在附图中，以示例的方式而非限制的方式来例示本发明的实施例，并且其中相同的附图标记指代相同的要素，其中：
图1描绘了根据本发明实施例的支持编码标准可扩展性的编码系统的示例性实现；
图2A和图2B描绘了根据本发明实施例的支持AVC/H.264和HEVC编解码器可扩展性的编码系统的示例性实现；
图3描绘了根据本发明实施例的带有裁切窗口的分层编码的示例；
图4描绘了根据本发明实施例的针对隔行图片的层间处理的示例；
图5A和图5B描绘了根据本发明实施例的支持编码标准可扩展性的层间处理的示例；
图6描绘了根据本发明实施例的针对信号编码模型可扩展性的RPU处理的示例；
图7描绘了根据本发明实施例的示例性编码过程；
图8描绘了根据本发明实施例的示例性解码过程；并且
图9描绘了根据本发明实施例的示例性解码RPU过程。
具体实施方式
在此描述针对编码标准可扩展性的层间参考图片处理。给定了由符合第一编码标准(如H.264)的基本层(base layer，BL)编码器编码的基本层信号，参考处理单元(RPU)过程根据基本层以及一个或多个增强层(enhancement layer，EL)中的输入信号的特性来产生参考图片和RPU参数。这些层间参考帧可以由符合第二编码标准(如HEVC)的增强层编码器使用，以压缩(编码)一个或多个增强层的信号，并且将其与基本层结合以形成可扩展的比特流。在接收器中，在用符合第一编码标准的BL解码器对BL流进行解码后，解码器RPU可以应用收到的RPU参数从解码后的BL流产生层间参考帧。这些参考帧可以由符合第二编码标准的EL解码器用来对编码的EL流进行解码。
在以下描述中，出于讲解的目的，阐述了众多具体细节以便提供对本发明的全面理解。不过显而易见，可以在没有这些具体细节的情况下实践本发明。在其他示例中，没有详尽地描述熟知的结构和设备，以免不必要地使本发明模糊不清。
综述
在此描述的示例性实施例涉及针对编码标准可扩展性的层间参考图片处理。在一个实施例中，视频数据被编码成编码标准分层比特流。给定了基本层(BL)和增强层(EL)信号，使用符合第一编码标准的BL编码器把BL信号编码为BL流。响应于BL信号和EL信号，参考处理单元(RPU)确定RPU处理参数。响应于RPU处理参数和BL信号，RPU产生层间参考信号。通过使用符合第二编码标准的EL编码器，EL信号被编码成经编码的EL流，其中对EL信号的编码至少部分地基于层间参考信号。
在另一个实施例中，接收器对收到的可扩展比特流进行解复用(demultiplex)以产生经编码的BL流、经编码的EL流和RPU数据流。符合第一编码标准的BL解码器对经编码的BL流进行解码以产生经解码的BL信号。具有RPU的接收器也可以对RPU数据流进行解码以确定RPU处理参数。响应于RPU处理参数和BL信号，RPU可以产生层间参考信号。符合第二编码标准的EL解码器可以对经编码的EL流进行解码以产生经解码的EL信号，其中对经编码的EL流的解码至少部分地基于层间参考信号。
基于分层的编码标准可扩展性
诸如MPEG-2、MPEG-4(第2部分)、H.264、flash等之类的压缩标准正在全世界范围内使用，用于通过诸如DVD盘或蓝光盘之类的各种介质传递数字内容，或者用于在空中、电缆或宽带上进行广播。由于开发出了诸如HEVC之类的新视频编码标准，如果它们支持与现有标准的某种向后兼容，则新标准的采用可能增加。
图1描绘了支持编码标准可扩展性的系统的示例性实现的实施例。编码器包括基本层(BL)编码器(110)和增强层(EL)编码器(120)。在实施例中，BL编码器110是传统编码器，诸如MPEG-2或H.264编码器，而EL编码器120是新标准编码器，诸如HEVC编码器。但是，本系统可应用于已知或未来编码器的任何组合，无论它们是基于标准的还是专有的。本系统还可以扩展为支持两种以上的编码标准或算法。
根据图1，输入信号可以包括两个或更多个信号，例如基本层(BL)信号102以及一个或更多个增强层(EL)信号(如EL 104)。用BL编码器110压缩(或编码)信号BL 102以产生经编码的BL流112。由EL编码器120压缩信号EL 104以产生经编码的EL流122。对这两种流进行多路复用(如通过MUX 125)以产生经编码的可扩展比特流127。在接收器中，解复用器(DEMUX 130)可以分离这两种经编码的比特流。传统解码器(例如BL解码器140)只能对基本层132进行解码以产生BL输出信号142。但是，支持新编码方法的解码器(EL解码器120)还可以对由经编码的EL流134提供的附加信息进行解码，以产生EL输出信号144。BL解码器140(如MPEG-2或H.264解码器)对应于BL编码器110。EL解码器150(如HEVC解码器)对应于EL编码器120。
与同时联播系统相比，这种可扩展系统可以通过适当地探索层间预测，即通过考虑来自更低层(如102)的可用信息来对增强层信号(如104)进行编码，来提高编码效率。由于BL编码器和EL编码器符合不同的编码标准，所以在实施例中，可以通过单独的处理单元，即编码参考处理单元(RPU)115，来实现编码标准可扩展性。
RPU 115可以被认为是A.Tourapis等人在2010年6月30日提交并且公布为WO2011/005624的PCT申请PCT/US2010/040545"Encoding and decoding architecture forformat compatible 3D video delivery"中描述的RPC设计的扩展，其全文内容通过引入并入于此。除非另有相反的指定，否则以下对RPU的描述对编码器的RPU和解码器的RPU都适用。涉及视频编码的领域中的普通技术人员在阅读了本公开后将理解差异，并且将能够在编码专用、解码专用以及一般的RPU描述、功能和过程之间进行区分。在图1中所描绘的视频编码系统的背景内，(RPU)115根据对不同的RPU滤波器和过程进行选择的一组规则，基于来自BL编码器110的解码图像来产生层间参考帧。
RPU 115使处理能够在区域级别上自适应，其中根据图片/序列的每个区域的特性来处理该区域。RPU 115可以使用水平、垂直或二维(2D)的滤波器、边缘自适应或基于频率的依赖区域的滤波器，以及/或者像素复制滤波器或者其他方法或装置来进行隔行、去隔行、滤波、上采样和其他图像处理。
编码器可以选择RPU过程并输出区域处理信号，所述区域处理信号作为输入数据被提供给解码器RPU(如135)。信令(如117)可以逐区域地指定处理方法。例如，与诸如数量、尺寸、形状和其他特性之类的区域属性有关的参数可以在RPU数据有关的数据头中指定。某些滤波器可以包括固定的滤波器系数，在这种情况下滤波器系数不需要由RPU显式地发信号告知。其他处理模式可以包括显式模式，其中诸如系数值之类的处理参数被显式地发信号告知。也可以按照每个颜色分量来指定RPU过程。
RPU数据信令117可以嵌入在经编码的比特流中(如127)，或者分开地传送到解码器。RPU数据可以连同执行RPU处理的层一起用信号告知。作为补充或替代，所有层的RPU数据可以在一个RPU数据包内用信号告知，所述RPU数据包在EL编码数据嵌入之前或者之后嵌入在比特流中。对给定层提供RPU数据可以是可选的。在RPU数据不可用的情况中，默认方案从而可以用于该层的向上变换。类似地，提供增强层经编码的比特流也是可选的。
实施例允许存在对RPU内的处理步骤进行选择的多种可能的方法。在确定RPU处理时可以分开地或联合地使用许多准则。RPU选择准则可以包括基本层比特流的解码质量、增强层比特流的解码质量、对包括RPU数据的每层进行编码所需的比特速率以及/或者数据的解码和RPU处理的复杂度。
RPU 115可以用作预处理平台，在EL编码器120中利用来自BL编码器110的信息作为用于增强层的潜在预测因子(potential predictor)之前对所述信息进行处理。与RPU处理有关的信息可以使用RPU层流136如图1中所示传送(如作为元数据)到解码器。RPU处理可以包括诸如颜色空间变换、非线性量化、亮度和色度上采样以及滤波之类的各种图像处理操作。在典型的实现中，EL 122、BL 112和RPU数据117的信号被多路复用到单个经编码的比特流(127)中。
解码器RPU 135对应于编码器RPU 115，并且利用RPU数据输入136的引导，可以通过执行与由编码器RPU 115执行的操作对应的操作来帮助EL层134的解码。
图1中描绘的实施例可以容易地扩展为支持两个以上的层。另外，还可以将其扩展为支持附加的可扩展性特征，包括：时间、空间、SNR、色度、位深度和多视点可扩展性。
H.264和HEVC编码标准的可扩展性
在示例性实施例中，图2A和图2B描绘可应用于HEVC和H.264标准的针对基于层的编码标准可扩展性的示例性实施例。在不失一般性的情况下，图2A和图2B只描绘了两层；但是，所述方法可以容易地扩展为支持多个增强层的系统。
如图2A中所描绘的，H.264编码器110和HEVC编码器120都包括帧内预测、帧间预测、正变换和量化(FT)、反变换和量化(IFT)、熵编码(EC)、解块滤波器(DF)以及解码图片缓冲区(Decoded Picture Buffers，DPB)。另外，HEVC编码器还包括采样自适应偏移(SAO)块。在实施例中，如稍后将说明的，RPU 115可以在解块滤波器(DF)之前访问BL数据或者从DPB访问BL数据。类似地，在多标准解码器(见图2B)中，解码器RPU 135也可以在解块滤波器(DF)之前访问BL数据或者从DPB访问BL数据。
在可扩展的视频编码中，术语“多环路解决方案”表示这样的分层解码器，其中基于由同一层和其他子层这两者提取的参考图片来解码增强层中的图片。基本层/参考层的图片被重构并存储在解码图片缓冲区(DPB)中。这些基本层图片被称为层间参考图片，可以在对增强层进行解码时用作附加参考图片。然后增强层具有使用时间参考图片或者层间参考图片的选项。一般来说，层间预测有助于提高可扩展系统中的EL编码效率。由于AVC和HEVC是两种不同的编码标准并且它们使用不同的编码过程，所以可能需要附加的层间处理以保证AVC编码的图片被认为是有效的HEVC参考图片。在实施例中，这种处理可以由RPU115执行，如接下来将针对关注的各种情况所说明的。针对编码标准可扩展性，使用RPU 115的目的在于在高级语法级别和编码工具级别这两者上解决由使用两种不同标准所引起的差异或冲突。
图片序列号(POC)
HEVC和AVC在高级别语法上具有若干差异。另外，同一语法在每个标准中可能具有不同含义。RPU可以用作基本层与增强层之间的高级别语法“翻译器”。一个这样的示例是与图片序列号(POC)有关的语法。在层间预测中，重要的是使来自基本层的层间参考图片与正在增强层中编码的图片同步。这种同步在基本层和增强层使用不同的图片编码结构时甚至更为重要。对于AVC和HEVC标准，术语图片序列号(POC)都用于表明经编码的图片的显示顺序。但是，在AVC中，有三种方法发信号告知POC信息(由变量pic_order_cnt_type表明)，而在HEVC中只允许一种方法，其与AVC情况下的pic_order_cnt_type＝＝0相同。在实施例中，当在AVC比特流中pic_order_cnt_type不等于0时，那么RPU(135)将需要把其翻译为符合HEVC语法的POC值。在实施例中，编码器RPU(115)可以通过使用新的pic_order_cnt_lsb变量发信号告知附加的POC相关的数据，如表1中所示。在另一个实施例中，编码器RPU可以简单地迫使基本层AVC编码器只使用pic_order_cnt_type＝＝0。
表1POC语法
POC{ 描述符
pic_order_cnt_lsb u(1)
}
在表1中，pic_order_cnt_lsb指定了用于当前层间参考图片的取MaxPicOrderCntLsb的模的图片序列号。pic_order_cnt_lsb语法元素的长度是log2_max_pic_order_cnt_lsb_minus4+4比特。pic_order_cnt_lsb的值应当在0到MaxPicOrderCntLsb-1的范围内，包括边界值。当pic_order_cnt_lsb不存在时，推断pic_order_cnt_lsb等于0。
修剪窗口
在AVC编码中，图片分辨率必须是16的倍数。在HEVC中，分辨率必须是8的倍数。当在RPU中处理层间参考图片时，有可能使用修剪窗口来除去AVC中的填充像素。如果基本层和增强层具有不同的空间分辨率(例如，基本层是1920×1080而增强层是4k)，或者如果图片宽高比(PAR)不同(比如说，增强层的PAR为16:9而基本层的PAR为4:3)，则图像必须进行修剪并且可以相应地调整大小。表2中示出了与修剪窗口相关的RPU语法的示例。
表2：图片修剪语法
在表2中，pic_cropping_flag等于1表明接下来是图片修剪偏移参数。如果pic_cropping_flag＝0，那么不存在图片修剪偏移参数并且不需要修剪。
按照用于RPU输入的图片坐标中指定的矩形区域，pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset和pic_crop_bottom_offset指定了输入到RPU解码过程的编码视频序列图片中的样本数。
注意，由于RPU过程是对每个层间参考执行的，所以修剪窗口参数可以在逐帧的基础上改变。因此使用平移(缩放)扫描方法支持自适应的基于关注区域的视频重定向。
图3描绘了分层编码的示例，其中HD(如1920×1080)基本层是使用H.264来编码的，并且提供了可以由所有传统HD解码器解码的图片。更低分辨率(如640×480)的增强层可以用于提供针对“缩放”特征的可选支持。EL层具有小于BL的分辨率，但是可以用HEVC编码以降低整体比特速率。如在此所描述的，层间编码可以进一步提高该EL层的编码效率。
环内解块滤波器
AVC和HEVC都在编码和解码过程中使用了解块滤波器(DF)。解块滤波器旨在减少由于基于块的编码所引起的块效应。但是在每个标准中其设计非常不同。在AVC中，解块滤波器在4×4的采样网格的基础上应用，但是在HEVC中，解块滤波器只应用于在8×8的采样网格上对齐的边缘。在HEVC中，类似于AVC，解块滤波器的强度由若干语法元素的值控制，但是AVC支持五种强度而HEVC只支持三种强度。与AVC相比，在HEVC中，滤波的情况更少。例如，对于亮度，选择三种情况之一：不滤波、强滤波和弱滤波。对于色度，只有两种情况：不滤波和正常滤波。为了配准基本层参考图片与来自增强层的时间参考图片之间的解块滤波器操作，有若干方法可以应用。
在一个实施例中，没有AVC解块的参考图片可以在不进行进一步的后处理的情况下由RPU直接访问。在另一个实施例中，RPU可以对层间参考图片应用HEVC解块滤波器。HEVC中的滤波器决策基于若干语法元素的值，诸如变换系数、参考指数和运动向量。如果RPU需要分析所有信息以做出滤波器决策，可能真的较复杂。作为替代，可以显式地发信号告知滤波器指数在8×8块级别、CU(编码单元)级别、LCU/CTU(最大编码单元或编码树单元)级别、多个LCU级别、像条(slice)级别或图片级别上。亮度和色度滤波器指数可以分开地发信号告知，也可以共享同一语法。表3示出了解块滤波器决策如何可以表明作为RPU数据流的一部分的示例。
表3：解块滤波器语法
deblocking(rx,ry){ 描述符
filter_idx ue(v)
}
在表3中，filter_idx指定亮度和色度分量的滤波器指数。对于亮度，filter_idx等于0指定不滤波。filter_idx等于1指定弱滤波，而filter_idx等于2指定强滤波。对于色度，filter_idx等于0或1指定不滤波，而filter_idx等于2指定正常滤波。
采样自适应偏移(SAO)
SAO是在解块滤波器(DF)之后通过查找表来修改样本的过程。如图2A和图2B中所描绘的，其只是HEVC标准的一部分。SAO的目标是通过使用查找表来更好地重构原始信号幅度，所述查找表由可以在编码器侧通过直方图分析而确定的几个附加参数描述。在一个实施例中，RPU可以使用如HEVC中所述的精确SAO过程来处理来自AVC基本层的解块/非解块层间参考图片。信令可以是基于区域的，适应于CTU(LCU)级别、多个LCU级别、像条级别或图片级别。表4示出了用于传送SAO参数的示例性语法。在表4中，标记语法与HEVC规范中所描述的相同。
表4：采样自适应偏移语法
自适应环路滤波器(Adaptive Loop Filter，ALF)
在HEVC的开发期间，自适应环路滤波器(ALF)也作为跟随SAO的处理块被评估；不过，ALF不是第一版HEVC的一部分。由于ALF处理可以改善层间编码，所以如果由未来的编码器实现，则它是也可由RPU实现的另一个处理步骤。ALF的自适应性可以是基于区域的，适应CTU(LCU)级别、多个LCU级别、像条级别或图片级别。ALF参数的示例由alf_picture_info()描述，见“High efficiency video coding(HEVC)text specification draft 7",作者B.Bross、W.-J.Ha、G.J.Sullivan、J.-R.Ohm和T.Wiegand,ITU-T/ISO/IEC视频编码联合组(JCT-VC)文件JCTVC-I1003,2012年5月，其全文内容通过引用并入于此。
隔行扫描和逐行扫描
AVC对用于逐行和隔行内容这两者的编码工具都支持。对于隔行序列，它对于帧编码和场编码都允许。在HEVC中，不存在支持使用隔行扫描的显式编码工具。HEVC只提供了元数据语法(场指示SEI消息语法和VUI)以允许编码器指出隔行内容是如何编码的。考虑了下列情形。
情形1：基本层和增强层都为隔行
对于这种情形，可以考虑几种方法。在第一实施例中，可以约束编码器只在每个序列的基础上在帧或场模式中改变基本层编码。增强层将遵循来自基本层的编码决策。也就是，如果AVC基本层在一个序列中使用场编码，则HEVC增强层在对应的序列中也将使用场编码。同样，如果AVC基本层在一个序列中使用帧编码，则HEVC增强层在对应的序列中也将使用帧编码。应当注意，对于场编码，在AVC语法中以信号告知的垂直分辨率是帧高度；但是，在HEVC中，在语法中以信号告知的垂直分辨率是场高度。在比特流中传送该信息时必须特别当心，尤其在使用了修剪窗口时。
在另一个实施例中，AVC编码器可以使用图片级别的自适应的帧或场编码，而HEVC编码器执行序列级别的自适应的帧或场编码。在这两种情况下，RPU都可以以下列方式之一处理层间参考图片：a)RPU可以把层间参考图片作为场处理，而不管AVC基本层中的帧或场编码决策如何，或者b)RPU可以基于AVC基本层中的帧/场编码决策来改变层间参考图片的处理。也就是，如果AVC基本层是帧编码的，则RPU将把层间参考图片作为帧处理，否则它将把层间参考图片作为场处理。
图4描绘了情形1的示例。符号Di或Dp表示帧速率以及格式是隔行还是逐行。因此，Di表示每秒D个隔行帧(即每秒2D个场)而Dp表示每秒D个逐行帧。在本示例中，基本层包括使用AVC编码的标清(SD)720×480 30i序列。增强层是使用HEVC编码的高清(HD)1920×1080 60i序列。本示例包含编码可扩展性、时间可扩展性以及空间可扩展性。时间可扩展性由增强层HEVC解码器使用只带有时间预测的层次结构(这种模式在单层中由HEVC支持)来处理。空间可扩展性由RPU处理，RPU对层间参考场/帧的像条进行调整并使其与增强层中对应的场/帧像条同步。
情形2：基本层为隔行而增强层为逐行
在这种情形中，AVC基本层是隔行序列而HEVC增强层是逐行序列。图5A描绘了这样的示例性实施例，其中输入4k 120p信号(502)被编码为三个层：1080 30i BL流(532)、编码为1080 60p的第一增强层(EL0)流(537)以及编码为4k 120p的第二增强层(EL1)流(517)。BL和EL0信号使用H.264/AVC编码器编码，而EL1信号可以使用HEVC编码。在编码器上，以高分辨率、高速帧4k 120p信号(502)开始，编码器应用时间和空间的下采样(510)以产生逐行1080 60p信号512。使用互补的逐行至去隔行技术(520)，编码器也可以产生两个互补的1080 30i隔行信号BL 522-1和EL0 522-2。如在此所使用的，术语“互补的逐行至去隔行技术”表示根据同一逐行输入产生两个隔行信号的模式，其中两个隔行信号具有同一分辨率，但是一个隔行信号包括的来自逐行信号的不是第二个隔行信号的一部分的场。例如，如果Ti(i＝0,1，…n)时刻的输入信号被划分为顶部和底部隔行场(Top-Ti、Bottom-Ti)，那么第一隔行信号可以使用(Top-T0、Bottom-T1)、(Top-T2、Bottom-T3)等构成，而第二隔行信号可以使用剩余的场构成，即(Top-T1、Bottom-T0)、(Top-T3、Bottom-T2)等。
在本示例中，BL信号522-1是可以由传统解码器解码的向后兼容的隔行信号，而EL0信号522-2表示来自原始逐行信号的互补样本。对于全帧速率的最终图片合成，来自BL信号的每个重构场图片必须与同一访问单元内的却具有相反的场奇偶性(field parity)的场图片结合。编码器530可以是包括两个AVC编码器(530-1和530-2)以及RPU处理器530-3的AVC编码器。编码器530可以通过使用来自BL和EL0信号这两者的参考帧，来用层间处理对信号EL0进行压缩。RPU 530-3可以用来准备由530-2编码器使用的BL参考帧。它也可以用来创建逐行信号537，所述逐行信号537将用于通过EL1编码器515对EL1信号502进行的编码。
在实施例中，RPU(535)中的上采样过程用于把来自RPU 530-3的1080 60p输出(537)转换为将由HEVC编码器515在层间预测期间使用的4k 60p的信号。可以使用时间和空间的可扩展性来对EL1信号502进行编码以产生经压缩的4k 120p流517。解码器可以应用类似的过程，来解码1080 30i信号、1080 60p信号或者4k 120p信号。
图5B描绘了根据实施例的隔行/逐行系统的另一个示例性实现。这是两层的系统，其中1080 30i基本层信号(522)使用AVC编码器(540)编码以产生经编码的BL流542，并且4k120p增强层信号(502)使用HEVC编码器(515)编码以产生经编码的EL流552。这两种流可以被多路复用以形成经编码的可扩展比特流572。
如图5B中所描绘的，RPU 560可以包括两个过程：去隔行过程和上采样过程，其中去隔行过程把BL 522转换为1080 60p信号，上采样过程把1080 60p信号转换回4k 60p信号，因此在编码器515中的层间预测期间RPU的输出可以用作参考信号。
情形3：基本层为逐行而增强层为隔行
在这种情形下，在一个实施例中，RPU可以把逐行层间参考图片转换为隔行图片。这些隔行图片可以由RPU处理，作为：a)总是场，不管HEVC编码器是使用基于序列的帧编码还是场编码，或者作为b)场或帧，取决于HEVC编码器所使用的模式。表5描绘了关于编码器过程的可用来引导解码器RPU的示例性语法。
表5：隔行处理语法
在表5中，base_field_seq_flag等于1表明基本层经编码的视频序列输送的是表示场的图片。base_field_seq_flag等于0表明基本层经编码的视频序列输送的是表示帧的图片。
enh_field_seq_flag等于1表明增强层经编码的视频序列输送的是表示场的图片。enh_field_seq_flag等于0表明增强层经编码的视频序列输送的是表示帧的图片。
表6示出了RPU可以如何基于base_field_seq_flag或enh_field_seq_flag标记来处理参考图片。
表6：用于逐行/隔行扫描序列的RPU处理
base_field_seq_flag enh_field_seq_flag RPU处理
1 1 场
1 0 去隔行+帧
0 1 隔行+场
0 0 帧
信号编码模型可扩展性
由于其表现标准动态范围(SDR)图像的效率，伽马编码可以说是最为广泛使用的信号编码模型。在针对高动态范围(HDR)成像的最新研究中，发现对于若干类型的图像，诸如感知量化器(PQ)之类的其他信号编码模型可以更高效地表现数据，所述感知量化器(PQ)在Craig Todd提交给SG6 WP 6C、WP6C/USA002的“Parameter values for UHDTV”或者JonS.Miller等人在2012年7月23日提交的标题为“Perceptual luminance nonlinearity-based image data exchange across different display capabilities”的美国临时专利申请序列号61/674,503中有描述，两者的全文内容通过引用并入于此。所以，有可能可扩展系统可以具有经伽马编码的SDR内容的一层，以及使用其他信号编码模型编码的高动态范围内容的另一层。
在图6描绘了可以设置RPU 610(如图1中的RPU 115)以调整基本层的信号量化器的实施例。给定BL信号102(例如，8位SDR视频信号、以4：2：0Rec.709伽马编码)以及EL信号104(例如，12位HDR视频信号、在P3颜色空间中以4：4：4PQ编码)，RPU610中的处理可以包括：伽马解码、其他反向映射(例如，颜色空间转换、位深度转换、色度采样等)以及SDR至HDR的感知量化(PQ)。信号解码和编码方法(如伽马和PQ)以及相关参数可以是与经编码的比特流一起传输的元数据的一部分，或者它们可以是未来HEVC语法的一部分。这种RPU处理可以和与诸如位深度、色度格式以及颜色空间可扩展性之类的其他类型的可扩展性有关的其他RPU处理结合。如图1中所描绘的，在可扩展比特流127的解码期间可以由解码器RPU执行类似的RPU处理。
可扩展性的扩展可以包括几个其他范畴，诸如：空间或SNR可扩展性、时间可扩展性、位深度可扩展性以及色度分辨率可扩展性。因此，RPU可以被配置为在各种编码情形下处理层间参考图片。为了更好的编码器-解码器兼容性，编码器可以包含专用的RPU相关的比特流语法以引导对应的RPU解码器。可以在各种编码级别更新语法，包括：像条级别、图片级别、GOP级别、场景级别或者在序列级别。它也可以被包括在各种辅助数据中，诸如：NAL单元头、序列参数集(SPS)及其扩展、SubSPS、图片参数集(PPS)、像条器头、SEI消息或新NAL单元头。由于可能存在着许多RPU相关的处理工具，所以在一个实施例中，为了最大的灵活性和易于实现，我们提出预留用于RPU的新NAL单元类型，以使其成为单独的比特流。在这种实现下，单独的RPU模块被添加到编码器和解码器模块以与基本层以及一个或更多个增强层互动。表7示出了新NAL单元中的包括rpu_header_data()(表8中所示)以及rpu_payload_data()(表9中所示)的RPU数据语法的示例。在本示例中，启用多个分区以允许基于区域的解块和SAO决策。
表7：RPU数据语法
表8：RPU头数据语法
表9：RPU有效载荷数据语法
在表8中，rpu_type指定打算用于RPU信号的预测类型。它可以用于指定不同种类的可扩展性。例如，rpu_type等于0可以指定空间可扩展性，而rpu_type等于1可以指定位深度可扩展性。为了结合不同的可扩展性模式，也可以使用诸如rpu_mask之类的掩码变量。例如，rpu_mask＝0x01(二进制00000001)可以表示只启用空间可扩展性，rpu_mask＝0x02(二进制00000010)可以表示只启用位深度可扩展性，rpu_mask＝0x03(二进制00000011)可以表示空间和位深度可扩展性都启用。
deblocking_present_flag等于1表明在RPU数据中存在与解块滤波器相关的语法。
sao_present_flag等于1表明在RPU数据中存在与SAO相关的语法。
alf_present_flag等于1表明在RPU数据中存在与ALF滤波器相关的语法。
num_x_partitions_minus1以信号告知用于在RPU中在水平维度上细分经处理的图片的分区数量。
num_y_partitions_minus1以信号告知用于在RPU中在垂直维度上细分经处理的图片的分区数量。
在另一个实施例中，不是使用POC来使基本层和增强层同步，而是在图片级别以信号告知RPU语法，因此多幅图片可以重用同一RPU语法，这导致更低的比特开销并且在某些实现中可能降低处理开销。在这种实现中，rpu_id将被添加到RPU语法中。在slice_header()中，它将总是引用rpu_id以使RPU语法与当前像条同步，其中rpu_id变量标识在像条头中被引用的rpu_data()。
图7描绘了根据实施例的示例性编码过程。给定一系列图片(或帧)，编码器通过使用第一压缩标准(如AVC)的BL编码器来对基本层进行编码(715)。接下来(720，725)，如图2A和图2B中所描绘的，RPU过程115可以在解块滤波器(DF)之前或之后访问基本层图片。可以基于RD(速率-失真)最优化或RPU执行的处理来做出决策。例如，如果RPU执行也可以在对块边界进行解块时使用的上采样，那么RPU可以只在解块滤波器之前使用经解码的基本层，并且上采样过程可以保持更多细节。RPU 115可以根据BL和EL编码参数来确定RPU处理参数。如果需要，RPU过程还可以访问来自EL输入的数据。然后，在步骤730，RPU根据所确定的RPU处理参数来处理层间参考图片。所产生的层间图片(735)现在可以由使用第二压缩标准的EL编码器(如HEVC编码器)用来压缩增强层信号。
图8描绘了根据实施例的示例性解码过程。首先(810)，解码器分析输入比特流的高级别语法以提取序列参数和与RPU相关的信息。接下来(820)，它用根据第一压缩标准的BL解码器(如AVC解码器)来对基本层进行解码。在对RPU过程的相关参数进行解码(825)后，RPU过程根据这些参数产生层间参考图片(步骤830和835)。最后，解码器使用符合第二压缩标准的EL解码器(如HEVC解码器)来对增强层进行解码(840)。
给定表1至9中所定义的示例性RPU参数，图9描绘了根据实施例的示例性解码RPU过程。首先(910)，解码器从比特流语法提取了高级别RPU相关的数据，诸如RPU类型(如表8中的rpu_type)、POC()以及pic_cropping()。术语“RPU类型”是指需要考虑的与RPU相关的子过程，诸如：编码标准可扩展性、空间可扩展性、位深度可扩展性等，如早先所讨论的。给定BL帧，首先可以进行修剪和与ALF相关的操作(如915、925)。接下来，在提取了所需要的隔行或去隔行模式(930)后，针对每个分区，RPU执行解块和与SAO相关的操作(如935、940)。如果需要执行附加的RPU处理(945)，那么RPU对适当的参数进行解码(950)，并然后根据这些参数来执行操作。在该过程结束时，层间帧序列对于EL解码器可用，以便对EL流进行解码。
示例性计算机系统实现
本发明的实施例可以用计算机系统、配置在电子电路和部件中的系统、诸如微控制器之类的集成电路(IC)器件、现场可编程门阵列(FPGA)或另一种可配置或可编程的逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用集成电路(ASIC)以及/或者包括这种系统、器件或部件中的一种或更多种的装置实现。计算机和/或IC可以实行、控制或执行与RPU处理相关的指令，诸如在此描述的指令。计算机和/或IC可以计算如在此描述的与RPU处理相关的各种参数或数值中的任何一个。与RPU相关的实施例可以用硬件、软件、固件及其各种组合实现。
本发明的某些实现包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、代码转换器等中的一个或更多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现上述RPU处理的方法。本发明还可以以程序产品的形式提供。程序产品可以包括携带一组计算机可读信号的任何介质，所述一组计算机可读信号包括当由数据处理器执行时使数据处理器执行本发明的方法的指令。根据本发明的程序产品可以是各种形式中的任何一种。程序产品例如可以包括物理介质，诸如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质或者包括ROM、闪存RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选性地被压缩或加密。
在上面提到部件(如软件模块、处理器、组件、器件、电路等)之处，除非另有表明，否则对该部件引用(包括对“装置”的引用)应当被解释为包括执行所述部件的功能的、作为该部件的等效物(如在功能上等效)的任何部件，包括与执行本发明的所例示的示例性实施例的功能的公开结构在构造上不等效的部件。
等效、扩展、替代和混合
就像这样描述了与RPU处理和基于标准的编解码器可扩展性有关的示例性实施例。在以上说明书中，已经参考可根据实现方式而不同的许多具体细节来描述本发明的实施例。因此，本发明是什么以及申请人意欲本发明是什么的唯一且独有的标志是如本申请发布的权利要求书中以该权利要求书发布的具体形式记载的集合，包括任何后续校正。针对该权利要求书中包含的术语，本文明确阐述的任何定义应当支配在权利要求书中所使用的该术语的意义。因此，未在权利要求中明确记载的限制、要素、性质、特征、优点或属性不应当以任何方式限制这该权利要求的范围。因此，说明书和附图应当认为是例示性的，而非限制性的。

Claims (19)

1.一种用于通过解码器来解码视频流的方法，该方法包括：
接收在第一信号编码模型中编码的包括增强层的第一编码视频流；
访问第二编码视频流中的基本层图片，其中，所述第二编码视频流在第二信号编码模型中被单独编码，并且其中第一信号编码模型不同于第二信号编码模型；
接收第一编码视频流中的指示存在偏移修剪参数的图片修剪标记；以及
响应于接收到指示存在偏移修剪参数的图片修剪标记：
获取偏移修剪参数；
根据所获取的偏移修剪参数来对基本层图片的一个或更多个区域进行修剪，以生成经修剪的参考图片；并且
根据经修剪的参考图片来生成用于增强层的参考图片，
其中生成用于增强层的参考图片进一步包括执行以下中的一个或多个：
根据所接收的用于层间预测的补充参数，
(i)选择符合所述第一信号编码模型的数个滤波器强度中的解块滤波器强度，并且应用具有所选择的滤波器强度的环内解块滤波器；
(ii)根据所接收的采样自适应偏移(SAO)参数应用第一信号编码模型的采样自适应偏移(SAO)过程；以及
(iii)应用第二信号编码模型的逆，然后应用第一信号编码模型。
2.如权利要求1所述的方法，
其中基本层图片具有第一空间分辨率，并且
其中生成参考图片包括把经修剪的参考图片从第一空间分辨率调整到第二空间分辨率，使得用于增强层的参考图片具有第二空间分辨率。
3.如权利要求1所述的方法，其中，偏移修剪参数在视频流中在逐帧的基础上被更新。
4.如权利要求1所述的方法，还包括对图片修剪标记被设为预定值进行检测。
5.如权利要求4所述的方法，其中预定值为1。
6.如权利要求1所述的方法，其中偏移修剪参数包括左偏移、右偏移、顶偏移和底偏移。
7.一种用于解码视频流的解码器，包括：
一个或更多个处理器，被配置为：
接收在第一信号编码模型中编码的包括增强层的第一编码视频流；
访问第二编码视频流中的基本层图片，其中，所述第二编码视频流在第二信号编码模型中被单独编码，并且其中第一信号编码模型不同于第二信号编码模型；
接收视频流中的指示存在偏移修剪参数的图片修剪标记；以及
响应于接收到指示存在偏移修剪参数的图片修剪标记：
获取偏移修剪参数；
根据所获取的偏移修剪参数来对基本层图片的一个或更多个区域进行修剪，以生成经修剪的参考图片；并且
根据经修剪的参考图片来生成用于增强层的参考图片，
其中生成用于增强层的参考图片进一步包括执行以下中的一个或多个：
根据所接收的用于层间预测的补充参数，
(i)选择符合所述第一信号编码模型的数个滤波器强度中的解块滤波器强度，并且应用具有所选择的滤波器强度的环内解块滤波器；
(ii)根据所接收的采样自适应偏移(SAO)参数应用第一信号编码模型的采样自适应偏移(SAO)过程；以及
(iii)应用第二信号编码模型的逆，然后应用第一信号编码模型。
8.如权利要求7所述的解码器，
其中基本层图片具有第一空间分辨率，并且
其中生成参考图片包括把经修剪的参考图片从第一空间分辨率调整到第二空间分辨率，使得用于增强层的参考图片具有第二空间分辨率。
9.如权利要求7所述的解码器，其中偏移修剪参数在视频流中在逐帧的基础上被更新。
10.如权利要求7所述的解码器，进一步包括对图片修剪标记被设为预定值进行检测。
11.如权利要求10所述的解码器，其中预定值为1。
12.如权利要求7所述的解码器，其中偏移修剪参数包括左偏移、右偏移、顶偏移和底偏移。
13.一种存储有指令的计算机可读记录介质，耦合到一个或更多个处理器，所述指令当由所述一个或更多个处理器执行时使所述一个或更多个处理器执行包括以下的操作：
接收在第一信号编码模型中编码的包括增强层的第一编码视频流；
访问第二编码视频流中的基本层图片，其中，所述第二编码视频流在第二信号编码模型中被单独编码，并且其中第一信号编码模型不同于第二信号编码模型；
接收视频流中的指示存在偏移修剪参数的图片修剪标记；以及
响应于接收到指示存在偏移修剪参数的图片修剪标记：
获取偏移修剪参数；
根据所获取的偏移修剪参数来对基本层图片的一个或更多个区域进行修剪，以生成经修剪的参考图片；并且
根据经修剪的参考图片来生成用于增强层的参考图片，其中生成用于增强层的参考图片进一步包括执行以下中的一个或多个：
根据所接收的用于层间预测的补充参数，
(i)选择符合所述第一信号编码模型的数个滤波器强度中的解块滤波器强度，并且应用具有所选择的滤波器强度的环内解块滤波器；
(ii)根据所接收的采样自适应偏移(SAO)参数应用第一信号编码模型的采样自适应偏移(SAO)过程；以及
(iii)应用第二信号编码模型的逆，然后应用第一信号编码模型。
14.如权利要求13所述的计算机可读记录介质，
其中基本层图片具有第一空间分辨率，并且
其中生成参考图片包括把经修剪的参考图片从第一空间分辨率调整到第二空间分辨率，使得用于增强层的参考图片具有第二空间分辨率。
15.如权利要求13所述的计算机可读记录介质，其中偏移修剪参数在视频流中在逐帧的基础上被更新。
16.如权利要求13所述的计算机可读记录介质，还包括对图片修剪标记被设为预定值进行检测。
17.如权利要求16所述的计算机可读记录介质，其中预定值为1。
18.如权利要求13所述的计算机可读记录介质，其中偏移修剪参数包括左偏移、右偏移、顶偏移和底偏移。
19.如权利要求1所述的方法，其中，第一信号编码模型包括PQ编码，第二信号编码模型包括伽马编码。
CN201910825051.0A 2012-09-27 2013-09-24 针对编码标准可扩展性的层间参考图片处理 Active CN110460846B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261706480P 2012-09-27 2012-09-27
US61/706,480 2012-09-27
CN201380050522.6A CN104685879A (zh) 2012-09-27 2013-09-24 针对编码标准可扩展性的层间参考图片处理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380050522.6A Division CN104685879A (zh) 2012-09-27 2013-09-24 针对编码标准可扩展性的层间参考图片处理

Publications (2)

Publication Number Publication Date
CN110460846A true CN110460846A (zh) 2019-11-15
CN110460846B CN110460846B (zh) 2021-12-31

Family

ID=49305195

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380050522.6A Pending CN104685879A (zh) 2012-09-27 2013-09-24 针对编码标准可扩展性的层间参考图片处理
CN201910825051.0A Active CN110460846B (zh) 2012-09-27 2013-09-24 针对编码标准可扩展性的层间参考图片处理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380050522.6A Pending CN104685879A (zh) 2012-09-27 2013-09-24 针对编码标准可扩展性的层间参考图片处理

Country Status (18)

Country Link
US (3) US20150326865A1 (zh)
EP (3) EP3255890B1 (zh)
JP (1) JP6152421B2 (zh)
KR (1) KR101806101B1 (zh)
CN (2) CN104685879A (zh)
AU (1) AU2013323836B2 (zh)
BR (1) BR112015006551B1 (zh)
CA (1) CA2884500C (zh)
HK (1) HK1205838A1 (zh)
IL (1) IL237562A (zh)
IN (1) IN2015DN02130A (zh)
MX (1) MX346164B (zh)
MY (2) MY201898A (zh)
RU (1) RU2595966C1 (zh)
SG (1) SG11201502435XA (zh)
TW (1) TWI581613B (zh)
UA (1) UA111797C2 (zh)
WO (1) WO2014052292A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702604A (zh) * 2021-03-25 2021-04-23 北京达佳互联信息技术有限公司 用于分层视频的编码方法和装置以及解码方法和装置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
KR20210129266A (ko) * 2012-07-09 2021-10-27 브이아이디 스케일, 인크. 멀티 레이어 비디오 코딩용 코덱 아키텍처
CN110087091B (zh) 2012-08-06 2021-11-12 Vid拓展公司 多层视频编码中用于空间层的采样栅格信息
EP2904804A1 (en) * 2012-10-04 2015-08-12 VID SCALE, Inc. Reference picture set mapping for standard scalable video coding
EP2928198A4 (en) * 2012-11-27 2016-06-22 Lg Electronics Inc SIGNAL TRANSMISSION DEVICE AND SIGNAL TRANSMISSION METHOD
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
JP6560230B2 (ja) * 2014-01-02 2019-08-14 ヴィド スケール インコーポレイテッド インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
US10244242B2 (en) 2014-06-25 2019-03-26 Qualcomm Incorporated Multi-layer video coding
EP3010231A1 (en) 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
WO2017019704A2 (en) 2015-07-28 2017-02-02 Dolby Laboratories Licensing Corporation Sdr bit depth enhancement via codeword range amplification in a codec with inverse display management
US11405611B2 (en) 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US10178394B2 (en) * 2016-06-10 2019-01-08 Apple Inc. Transcoding techniques for alternate displays
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
GB2570324A (en) * 2018-01-19 2019-07-24 V Nova Int Ltd Multi-codec processing and rate control
US11284075B2 (en) * 2018-09-12 2022-03-22 Qualcomm Incorporated Prediction of adaptive loop filter parameters with reduced memory consumption for video coding
JP7374137B2 (ja) * 2019-03-01 2023-11-06 アリババ・グループ・ホールディング・リミテッド 適応解像度ビデオコーディング
EP3942818A1 (en) * 2019-03-20 2022-01-26 V-Nova International Ltd Residual filtering in signal enhancement coding
US11336894B2 (en) 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
US11140402B2 (en) * 2019-09-20 2021-10-05 Tencent America LLC Signaling of reference picture resampling with constant window size indication in video bitstream
US10848166B1 (en) 2019-12-06 2020-11-24 Analog Devices International Unlimited Company Dual mode data converter
EP4062319A4 (en) 2019-12-26 2023-01-11 ByteDance Inc. REPORTING DECODED FRAME BUFFER PARAMETERS IN LAYERED VIDEO
WO2021134015A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Profile, tier and layer indication in video coding
EP4066499A4 (en) 2019-12-27 2023-01-11 ByteDance Inc. SYNTAX FOR SIGNALING VIDEO IMAGES
CN115004669A (zh) 2020-01-09 2022-09-02 字节跳动有限公司 不同sei消息的解码顺序
RU2742871C1 (ru) * 2020-02-19 2021-02-11 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ двумерной дискретной фильтрации объектов заданного размера
EP4324198A1 (en) * 2021-04-14 2024-02-21 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset
CN116939218A (zh) * 2022-04-08 2023-10-24 华为技术有限公司 区域增强层的编解码方法和装置
GB2619096A (en) * 2022-05-27 2023-11-29 V Nova Int Ltd Enhancement interlacing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006109986A1 (en) * 2005-04-13 2006-10-19 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal using reference pictures
CN101047860A (zh) * 2006-03-27 2007-10-03 华为技术有限公司 交织模式下的视频分层编码方法
CN101617538A (zh) * 2007-01-08 2009-12-30 诺基亚公司 用于视频编码中扩展空间可分级性的改进层间预测
CN101888555A (zh) * 2006-11-17 2010-11-17 Lg电子株式会社 用于解码/编码视频信号的方法及装置
CN101911712A (zh) * 2008-01-16 2010-12-08 索尼公司 可扩展编码框架中使用纹理分析和合成的视频编码系统
WO2012056148A1 (fr) * 2010-10-25 2012-05-03 France Telecom Codage video echelonnable a partir d'un epitome hierarchique

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005507590A (ja) * 2001-10-26 2005-03-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
ES2536680T3 (es) * 2003-04-28 2015-05-27 Panasonic Corporation Aparato de reproducción, método de reproducción, medio de grabación, aparato de grabación, método de grabación para grabar un flujo de vídeo y gráficos que tienen indicación de tiempo de descodificación con información de ventana sobre visualización de gráficos
KR101117586B1 (ko) * 2003-12-03 2012-02-27 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US7777812B2 (en) * 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
KR20070074452A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 영상신호의 엔코딩/디코딩시의 레이어간 예측 방법
US8451899B2 (en) * 2006-01-09 2013-05-28 Lg Electronics Inc. Inter-layer prediction method for video signal
KR100896291B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2011005624A1 (en) * 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
BR112012005588A2 (pt) * 2009-09-16 2019-09-24 Koninl Philips Electronics Nv dispositivo para processar dados de imagem tridimensional (3d) para exibição em um monitor 3d para um espectador em uma configuração de visualização espacial alvo, método para processar dados de imagem tridimensional (3d) para exibição em um monitor 3d para um espectador em uma configuração de visualização espacial alvo, sinal de imagem 3d para trnsferir dados de magem tridimensional (3d) para exibição em um monitor 3d para um espectador em uma configuração de visualização espacial alvo, portadora de registro e produto de programa de computador para processar dados de imagem tridimensional (3d) para exibição em um monitor 3d para um espectador
JP2011217272A (ja) * 2010-04-01 2011-10-27 Canon Inc 映像処理装置及びその制御方法
US20130016776A1 (en) * 2011-07-12 2013-01-17 Vidyo Inc. Scalable Video Coding Using Multiple Coding Technologies

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006109986A1 (en) * 2005-04-13 2006-10-19 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal using reference pictures
CN101047860A (zh) * 2006-03-27 2007-10-03 华为技术有限公司 交织模式下的视频分层编码方法
CN101888555A (zh) * 2006-11-17 2010-11-17 Lg电子株式会社 用于解码/编码视频信号的方法及装置
CN101617538A (zh) * 2007-01-08 2009-12-30 诺基亚公司 用于视频编码中扩展空间可分级性的改进层间预测
CN101911712A (zh) * 2008-01-16 2010-12-08 索尼公司 可扩展编码框架中使用纹理分析和合成的视频编码系统
WO2012056148A1 (fr) * 2010-10-25 2012-05-03 France Telecom Codage video echelonnable a partir d'un epitome hierarchique

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HISAO KUMAI ET AL: "Proposals for HEVC scalability Extension", 《MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11，NO.M25749》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702604A (zh) * 2021-03-25 2021-04-23 北京达佳互联信息技术有限公司 用于分层视频的编码方法和装置以及解码方法和装置
CN112702604B (zh) * 2021-03-25 2021-06-29 北京达佳互联信息技术有限公司 用于分层视频的编码方法和装置以及解码方法和装置

Also Published As

Publication number Publication date
AU2013323836A1 (en) 2015-03-19
TW201419871A (zh) 2014-05-16
US20170264905A1 (en) 2017-09-14
US20160286225A1 (en) 2016-09-29
RU2595966C1 (ru) 2016-08-27
SG11201502435XA (en) 2015-05-28
EP3255890A2 (en) 2017-12-13
BR112015006551A2 (pt) 2017-07-04
HK1205838A1 (zh) 2015-12-24
KR20150060736A (ko) 2015-06-03
CN104685879A (zh) 2015-06-03
US20150326865A1 (en) 2015-11-12
CN110460846B (zh) 2021-12-31
MX2015003865A (es) 2015-07-17
MY172388A (en) 2019-11-22
IN2015DN02130A (zh) 2015-08-14
BR112015006551B1 (pt) 2022-12-06
CA2884500C (en) 2017-09-05
MX346164B (es) 2017-03-08
EP3748969A1 (en) 2020-12-09
EP3255890B1 (en) 2020-08-19
JP2015537409A (ja) 2015-12-24
JP6152421B2 (ja) 2017-06-21
EP3255890A3 (en) 2018-02-28
IL237562A0 (en) 2015-04-30
CA2884500A1 (en) 2014-04-03
EP3748969B1 (en) 2024-01-03
UA111797C2 (uk) 2016-06-10
AU2013323836B2 (en) 2017-12-07
TWI581613B (zh) 2017-05-01
EP2901689A1 (en) 2015-08-05
KR101806101B1 (ko) 2017-12-07
MY201898A (en) 2024-03-22
WO2014052292A1 (en) 2014-04-03
IL237562A (en) 2017-12-31

Similar Documents

Publication Publication Date Title
CN110460846A (zh) 针对编码标准可扩展性的层间参考图片处理
JP5869126B2 (ja) ビデオコーディングにおける様々な次元に対するコーディングパラメータセット
CA2724872C (en) Image signal decoding apparatus, image signal decoding method, image signal encoding apparatus, image signal encoding method, and program
US11689733B2 (en) Signaling scalability information in a parameter set
EP3304903A1 (en) Derivation of color gamut scalability parameters and tables in scalable video coding
KR20220141794A (ko) 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220147668A (ko) 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
WO2014080630A1 (en) Signaling scalability information in a parameter set
KR20220162747A (ko) 레이어간 참조 여부에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20230002715A (ko) 서브 레이어 요구 개수에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20230024341A (ko) 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
KR20220050968A (ko) 변환 스킵 및 팔레트 코딩 관련 정보 기반 영상 또는 비디오 코딩
CN117203968A (zh) 基于包括层标识符信息的sei消息的图像编码/解码方法和装置及发送比特流的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant