CN103597827B - 可伸缩视频编码方法及其装置 - Google Patents

可伸缩视频编码方法及其装置 Download PDF

Info

Publication number
CN103597827B
CN103597827B CN201280022920.2A CN201280022920A CN103597827B CN 103597827 B CN103597827 B CN 103597827B CN 201280022920 A CN201280022920 A CN 201280022920A CN 103597827 B CN103597827 B CN 103597827B
Authority
CN
China
Prior art keywords
base layer
residual
enhancement layer
texture
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280022920.2A
Other languages
English (en)
Other versions
CN103597827A (zh
Inventor
庄子德
陈庆晔
黄毓文
雷少民
傅智铭
蔡家扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN103597827A publication Critical patent/CN103597827A/zh
Application granted granted Critical
Publication of CN103597827B publication Critical patent/CN103597827B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭露一种可伸缩视频编码方法及其装置，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质。根据本发明实施例，为编码该增强层使用该基础层的信息。用于该增强层的信息包含CU结构、运动信息、运动信息、MVP/合并候选、帧内预测模式、残差四叉树信息、纹理信息、残差信息、上下文自适应熵编码、自适应环路滤波(ALF)、样本自适应偏移(SAO)与去块滤波。

Description

可伸缩视频编码方法及其装置
交叉引用
本发明要求如下优先权：编号为61/495,740，申请日为2011年6月10日，名称为“Scalable Coding of High Efficiency Video Coding”的美国临时专利申请。上述美国临时专利申请在此作为参考。
技术领域
本发明有关于视频编码。特别地，本发明有关于使用基础层(base layer)的信息用于增强层(enhancement layer)编码的可伸缩视频编码(scalable video coding)。
背景技术
压缩数字视频已经广泛用于各种应用中，例如数字网络上的视频流以及数字信道中的视频传输。通常地，单一视频内容可通过具有不同特征的网络进行传送。例如，实况体育赛事可变为宽带网上的高带宽流格式(high-bandwidth streaming format)用于高级视频服务。在上述应用中，压缩视频经常保持高分辨率与高品质，从而使得视频内容适合于例如HDTV或高分辨率LCD显示器的高画质设备。相同内容也可通过蜂窝数据网络进行传送从而使得在例如智能手机或联网便携式媒体装置的便携设备上可观看上述内容。在上述应用中，因为存在网络带宽问题以及智能手机或便携装置上的典型低分辨率显示，所以经常将视频内容压缩至较低分辨率与较低比特率。因此，对于不同网络环境以及不同应用，对视频分辨率与视频品质的需求是非常不同的。即使对于相同类型的网络，由于不同的网络架构与网络交通状况，用户也会体验到不同的可用带宽。因此，当可用带宽较高时，用户可接收高品质的视频，但是当网络拥塞发生时，用户将接收低品质但还算流畅的视频。在另一情况中，高端媒体播放器可处理高分辨率及高比特率的压缩视频，与此同时由于有限的计算资源，廉价媒体播放器仅能处理低分辨率及低比特率的压缩视频。因此，以可伸缩方式构建压缩视频从而使得可从同一压缩比特流中得到不同时域/空域分辨率(spatial-temporal)及/或品质的视频是合适的解决方法。
在当前H.264/AVC视频标准中，存在对H.264/AVC标准的扩展，称为可伸缩视频编码(Scalable Video Coding,SVC)。SVC基于单一比特流提供时域、空域以及品质的可伸缩性。SVC比特流分别包含从低帧率(frame-rate)、低分辨率、低品质到高帧率、高清晰度、高品质的可伸缩视频信息。相应地，SVC适用于多种视频应用，例如视频广播、视频流、视频监控，以适应网络架构、网络交通状况、用户偏好等。
在SVC中，提供了三种可伸缩类型，即时域可伸缩性、空域可伸缩性以及品质可伸缩性。SVC使用多层编码结构以实现三维可伸缩性。SVC的主要目标是产生一可伸缩比特流，其中该可伸缩比特流可在无反式编码或重编码的情况下简单快速地适用于与多种传输信道、各种显示能力以及不同计算资源相关联的比特率需求。SVC设计的重要特点是在比特流层(bitstream level)提供上述可伸缩性。换句话说，可通过从可伸缩比特流中提取网络提取层(Network Abstraction Layer,NAL)单元(或网络数据包)简单取得用于推导具有缩减空域及/或时域分辨率的比特流，其中需要上述比特流用于解码预期视频。可另外减小用于品质精化的NAL单元从而减小比特率以及降低相应视频品质。
例如，可根据H.264/AVC标准从基于B图像(B-picture)的分层编码结构中取得时域可伸缩性。图1描述具有4层时域层的分层B图像结构与具有8幅图像的图像组(Group ofPictures,GOP)。将图1中的图像0与图像8称为关键图像(key picture)。关键图像的帧间预测(inter prediction)仅使用先前关键图像作为参考。分层预测两幅关键图像之间的其他图像。仅具有关键图像的视频形成可伸缩系统的粗糙时域分辨率。通过增加与可伸缩系统的增强层相关的更多B图像逐步改善低级别(较粗糙)视频从而取得时域可伸缩性。在图1的示例中，在编码两个关键图像后，首先使用关键图像(即图像0与图像8)双向预测图像4。在处理完图像4后，处理图像2与图像6。使用图像0与图像4双向预测图像2，并且使用图像4与图像8双向预测图像6。在编码完图像2与图像6后，如图1所示，使用各自的两个相邻图像双向处理剩余的图像，即图像1、3、5、7。相应地，GOP的处理顺序是0、8、4、2、6、1、3、5、7。根据图1中的分层处理后的图像形成分层的四级图像，其中图像0与图像8属于第一时序，图像4属于第二时序，图像2与图像6属于第三时序并且图像1、3、5、7属于第四时序。通过解码基础层图像以及增加更高时序图像将能够提供更高水平视频。例如，基础层图像0与8可结合第二时序图像4形成第二层图像。通过将第三时序图像进一步加入第二层视频可形成第三层视频。相似地，通过将第四时序图像加入第三层视频可形成第四层视频。因此，可取得时域可伸缩性。如果初始视频具有每秒30帧的帧率，则基础层视频具有每秒3.75帧的帧率(30/8=3.75)。第二层、第三层与第四层视频对应每秒7.5帧、每秒15帧、每秒30帧。也可将第一时序图像称为基础层视频或基础层图像。也可将第二时序图像至第四时序图像称为增强层视频或增强层图像。除了启动时域可伸缩性，分层B图像的编码结构也可以增加编解码延迟为代价通过典型的IBBP GOP结构改善编码效率。
在SVC中，如图2所示，基于金字塔编码方案支持空域可伸缩性。图2描述提供空域可伸缩性与品质可伸缩性的具有三个空域层的综合可伸缩视频编码示例。在具有空域可伸缩性的SVC系统中，首先降采样(down-sample)视频序列以取得不同空域分辨率（层）的较小图像。例如，由空域采样(spatial decimation)220处理具有初始分辨率的图像210以取得降低分辨率的图像211。如图2所示，可由空域采样221进一步处理降低分辨率的图像211以取得进一步降低分辨率的图像212。除了二分空域分辨率(dyadic spatial resolution)，其中每层的空域分辨率减小一半，SVC也支持任意分辨率，其称为扩展空域可伸缩性(Extended Spatial Scalability,ESS)。图2中的SVC系统描述了具有三层的空域可伸缩系统示例，其中层0对应具有最低空域分辨率的图像以及层2对应具有最高分辨率的图像。在不参考其他层情况下编码层0图像，即单层编码。例如，使用运动补偿与帧内预测230编码最低层的图像212。
运动补偿与帧内预测230将不但为进一步的基础层熵编码240生成语法元素还生成例如运动信息的编码相关信息。图2实际上描述了提供空域可伸缩性与品质可伸缩性(也称为SNR可伸缩性)的综合SVC系统。上述系统也提供了时域可伸缩性，其并未明确示出。对于每一单层编码，可使用SNR增强层编码250改善残留的编码误差。图2中的SNR增强层可提供多种品质水平(品质可伸缩性)。如非可伸缩编码系统，分别由单层运动补偿与帧内预测编码每个支持分辨率层。也可使用基于一个或多个较低空域层的层间编码(inter-layercoding)来编码每个较高空域层。例如，可使用基于层0视频的层间预测、以宏块为基础的单层编码或其他区块单元来自适应地编码层1视频。相似地，可使用基于重建层1视频的层间预测或单层编码来自适应编码层2视频。如图2所示，运动补偿与帧内预测231、基础层熵编码241与SNR增强层编码251可编码层1的图像211。相似地，运动补偿与帧内预测232、基础层熵编码242与SNR增强层编码252可编码层2的图像210。由于层间编码，所以可提高编码效率。如图2所示，还包含多工器260用于输出可伸缩比特流。此外，编码空域层1所需的信息可取决于重建层0(层间预测)。层间偏差在学术上称为增强层(enhancement layer)。H.264SVC提供三种类型的层间预测工具：层间运动预测、层间帧内预测以及层间残差预测(inter-layer residual prediction)。
在SVC中，增强层(enhancement layer,EL)可重用(reuse)基础层(base layer,BL)的运动信息以减小层间运动数据冗余。例如，在确定mb_type指示是否直接从BL中取得EL运动信息之前，EL宏块编码可使用例如base_mode_flag的旗标。如果base_mode_flag等于1，则从BL的同位8×8区块的对应数据中取得EL宏块的分割数据以及相关参考指数与运动矢量。在EL中直接使用BL的参考图像指数。可从与BL相关的数据中按比例决定(scale)EL的运动矢量。此外，可使用按比例决定的BL(scaled BL)运动矢量作为EL的附加运动矢量预测子。
层间残差预测使用升采样BL残差信息(up-sampled BL residual information)以减少EL残差信息。可使用双线性滤波器以区块顺序升采样BL的同位残差并且可将BL的同位残差用于EL中当前宏块的残差预测。以变换区块(transform block)为基础完成参考层残差的升采样从而确保不在穿过变换区块边界处使用滤波。
与层间残差预测类似，层间帧内预测减少EL的多余纹理信息(textureinformation)。由按区块顺序升采样同位BL重建信号生成EL中的预测子。在层间帧内预测升采样进程中，分别为亮度与色度组分应用4抽头与2抽头FIR滤波器。不同于层间残差预测，总是在子区块边界处执行用于层间帧内预测的滤波。为了简化解码，可将层间帧内预测仅限定于BL的帧内编码宏块。
在SVC中，编码多品质EL实现品质可伸缩性，其中多品质EL是由改善系数(refinement coefficient)组成。可容易地截断或提取可伸缩视频比特流以提供具有不同视频品质或比特流尺寸的不同视频比特流。在SVC中，可通过两种策略，粗粒度可伸缩性(coarse grain scalability,CGS)、中粒度可伸缩性(medium grain scalability,MGS)提供品质可伸缩性(也称为SNR可伸缩性)。可将CGS视为空域可伸缩性的特定情况，其中BL与EL的空域分辨率是相同的。然而，EL的品质比BL的品质更好（EL的QP小于BL的QP）。可使用与空域可伸缩编码相同的层间预测机制。然而，不执行相应的升采样或去块操作。此外，在变换域(transform domain)直接执行层间帧内预测与残差预测。对于CGS中的层间预测，通常通过重新量化EL中的残差信号取得纹理信息改善，其中采用比前期CGS层使用的小的量化步长实施重新量化。CGS可提供多个预定品质点(quality point)。
在维持合理复杂度的同时提供更精细比特率粒度用于品质可伸缩性，H.264SVC使用MGS。MGS可被看作CGS的扩展，其中可将一个CGS条带中的量化系数分为几个MGS条带。可将CGS中的量化系数基于其在之字形扫描顺序中的扫描位置归类为16种类别。可将16种类别的系数分配至不同条带以提供比CGS更多的品质提取点。
在当前的HEVC中，基于不具有任何空域可伸缩性与品质可伸缩性的分层B编码结构仅提供单层编码。为当前HEVC提供空域可伸缩性与品质可伸缩性的能力是令人满意的。此外，通过H.264SVC提供改进SVC以实现更高效率及/或更大灵活性是令人满意的。
发明内容
本发明揭露一种为增强层(EL)使用基础层(BL)信息的可伸缩视频编码方法及其装置，其中EL具有比BL更高的分辨率及/或更好的品质。本发明实施例使用各种BL信息改善EL的编码效率。在本发明一实施例中，上述方法与装置使用BL的CU结构信息、模式信息或运动信息以分别取得EL的信息。也可使用CU结构、模式与运动信息的结合以分别取得EL的信息。在本发明另一实施例中，上述方法与装置基于BL的MVP候选或合并候选取得EL的运动矢量预测子(MVP)候选或合并候选。在本发明另一实施例中，上述方法与装置基于BL的帧内预测模式取得EL的帧内预测模式。
本发明实施例使用BL的残差四叉树结构信息取得EL的残差四叉树结构。本发明的另一实施例通过重采样BL的纹理取得EL的纹理。本发明另一实施例通过重采样BL的残差取得EL的残差预测子。
本发明另一方面指向EL的基于上下文自适应熵编码的编码效率。本发明实施例使用BL的信息决定处理EL语法元素的上下文信息。本发明另一方面指向环内处理的编码效率。本发明实施例使用BL的ALF信息、SAO信息、DF信息分别得到EL的ALF信息、SAO信息、DF信息。
本发明的可伸缩视频编码方法及其装置可实现更高编码效率及/或提供更大的编码灵活性。
附图说明
图1描述使用分层B图像的时域可伸缩视频编码示例。
图2描述提供空域可伸缩性与品质可伸缩性的具有三个空域层的综合可伸缩视频编码示例。
图3描述用于可伸缩视频编码重用的CU结构示例，其中可按比例决定基础层的CU结构并且将其作为增强层的初始CU结构。
图4是根据本发明实施例描述的用于可伸缩视频编码的CU结构编码或运动信息编码的示例流程图。
图5是根据本发明实施例描述的用于可伸缩视频编码的MVP获取或合并候选获取的示例流程图。
图6是根据本发明实施例描述的用于可伸缩视频编码的帧内预测模式获取的示例流程图。
图7是根据本发明实施例描述的用于可伸缩视频编码的残差四叉树结构编码的示例流程图。
图8是根据本发明实施例描述的用于可伸缩视频编码的纹理预测与重采样的示例流程图。
图9是根据本发明实施例描述的用于可伸缩视频编码的残差预测与重采样的示例流程图。
图10是根据本发明实施例描述的用于可伸缩视频编码的上下文自适应熵编码的示例流程图。
图11是根据本发明实施例描述的用于可伸缩视频编码的ALF信息编码、SAO信息编码、DF信息编码的示例流程图。
具体实施方式
在HEVC中，为编码进程引入编码单元(coding unit,CU)结构作为新的区块结构。将图像分割为最大编码单元(largest CU,LCU)并且自适应地将每个LCU分割为CU直到取得叶CU或达到最小CU尺寸为止。必须将CU结构信息转达至解码器侧从而使得在解码器侧可恢复相同的CU结构。为了提高用于可伸缩HEVC的与CU结构相关联的编码效率，本发明实施例允许EL重用BL的CU结构。在EL LCU或CU层，发送一个旗标以指示是否重用来自BL的对应CU的CU结构。如果重用BL CU结构，可按比例决定BL CU结构以匹配EL的分辨率并且EL重用上述按比例决定的BLCU结构。此外，可将按比例决定的CU结构的叶CU进一步分割为子CU。图3描述CU分割重用的示例。分区310对应BL的CU结构。EL的视频分辨率在水平方向与垂直方向上两倍于BL的视频分辨率。将BL的对应CU分区315的CU结构按比例放大至2倍。然后使用按比例决定的CU结构320作为EL LCU的初始CU结构。可进一步将EL中按比例决定CU的叶CU分割为子CU，图3中CU结构330指示上述分割结果。可使用旗标指示是否进一步将叶CU分割为子CU。虽然图3描述重用CU结构的示例，但也可重用其他信息。例如，预测类型、预测尺寸、合并指数、帧间参考方向、参考图像指数、运动矢量、运动矢量预测子指数(MVP index)与帧内模式。当在EL中重用信息/数据之前如果需要可按比例决定信息/数据。
在本发明另一实施例中，重用叶CU的模式信息。上述模式信息包含跳过旗标(skipflag)、预测类型、预测尺寸、帧间参考方向、参考图像指数、运动矢量、运动矢量指数、合并旗标、合并指数与帧内模式。EL中叶CU的模式信息可共享BL中对应CU的相同模式信息或按比例决定的模式信息。可使用一个旗标指示EL是否将重用BL中的模式信息。对于一部分或多部分模式信息，可使用一个旗标指示EL是否将重用BL中的所述模式信息。
在本发明另一实施例中，重用BL中的对应预测单元(Prediction Unit,PU)或编码单元(CU)的运动信息以取得EL中PU或CU的运动信息。运动信息可包含帧间预测方向、参考图像指数、运动矢量(Motion Vector,MV)、运动矢量预测子(MVP)、MVP指数、合并指数、合并候选与帧内模式。可使用BL的运动信息作为EL中运动信息的预测子或候选。例如，可将BLMV与BL MVP加入至用于EL MVP导出的MVP列表及/或合并列表。上述BL的MV可为BL中对应PU的MV、BL中对应PU的相邻PU的MV、BL中对应PU的合并候选的MV、BL中对应PU的MVP或BL中对应PU的同位MV。
在另一示例中，EL的合并候选导出可使用BL的运动信息。例如，可将BL中对应PU的合并候选加入合并候选列表及/或MVP列表。上述BL的运动信息可为BL中对应PU的运动信息、BL中对应PU的相邻PU的关联运动信息、BL中对应PU的合并候选、BL中对应PU的MVP或BL中对应PU的同位PU。在这种情况下，运动信息包含帧间预测方向、参考图像指数与运动矢量。
在另一示例中，可为EL重用BL中对应PU或CU的帧内模式。例如，可将BL中对应PU或CU的帧内模式加入至帧内最可能模式列表(intra most probable mode list)。根据本发明实施例使用BL的运动信息来预测EL的帧内模式。可根据BL中帧内预测模式信息自适应地改变EL中最可能模式列表的顺序。相应地，可根据BL中帧内模式信息自适应地改变EL中最可能模式列表的码字的字长(codeword length)。例如，将具有接近已编码BL帧内模式的预测方向的帧内残留模式的码字配置为更短的长度。如另一示例，也可将BL帧内模式的相邻方向模式加入至EL帧内模式编码的帧内最可能模式(Most Probable Mode,MPM)列表中。BL的帧内预测模式信息可为BL中对应PU的帧内预测模式、BL帧内模式的相邻方向模式或BL中对应PU的相邻PU的帧内预测模式。
可利用BL运动信息的已选择的MVP指数、合并指数与帧内模式指数自适应地改变EL MVP列表、合并指数列表与帧内最可能模式列表中的索引顺序。例如，在HEVC测试模型版本3.0(HEVC Test Model Version3.0,HM-3.0)，MVP列表的顺序为{左MVP、上MVP、同位MVP}。如果对应BL PU选择上MVP，则EL中上MVP的顺序将提前。相应地，EL中MVP列表将变为{上MVP、左MVP、同位MVP}。此外，BL已编码MV、按比例决定的已编码MV、MVP候选、按比例决定的MVP候选、合并候选与按比例决定的合并候选可替换部分的EL MVP候选及/或合并候选。当EL中PU或CU的MVP候选或合并候选需要编解码时，调用基于BL中对应PU或CU的运动信息以得到EL中PU或CU的运动信息的进程。
如前所述，可使用BL的CU结构信息决定EL的CU结构信息。此外，可结合使用BL的CU结构信息、模式信息与运动信息以决定EL的CU结构信息、模式信息与运动信息。也可使用BL的模式信息或运动信息来决定EL的模式信息或运动信息。当EL的CU结构信息、模式信息、运动信息或上述信息结合需要编解码时，可调用基于BL的对应信息得到EL的CU结构信息、模式信息、运动信息或上述信息结合的进程。
在HM-3.0中，使用四叉树分割(quadtree partitioning)进一步处理预测残差(prediction residual)并且为残差四叉树分割结果的每个区块选择编码类型。残差四叉树分割信息与编码区块类型(Coding Block Pattern,CBP)信息必须合并入比特流从而使得解码器可恢复残差四叉树信息。根据本发明的实施例为EL重用BL中对应CU的残差四叉树分区与CBP。可按比例决定残差四叉树分区与CBP并且将其用作EL的残差四叉树分区与CBP编码的预测子。在HEVC中，用于区块变换的单元在学术上称为变换单元(Transform Unit,TU)并且可将TU分割为更小的TU。在本发明实施例中，发送用于EL的根TU层(root TUlevel)或TU层的一个旗标以指示是否应用BL中对应TU的残差四叉树编码(ResidualQuadtree Coding,RQT)结构以预测EL中当前TU的RQT结构。如果应用BL中对应TU的RQT结构预测EL中当前TU的RQT结构，则按比例决定BL中对应TU的RQT结构并且将其作为EL中当前TU的初始RQT结构。在用于EL的初始RQT结构的叶TU中，可发送一个分裂旗标(split flag)以指示是否将TU分为子TU。当编码器需要编码EL的RQT结构或解码器需要解码EL的RQT结构时，执行基于BL的RQT结构信息导出EL的RQT结构的进程。
在H.264/AVC可伸缩扩展中，可分别采用4抽头与2抽头FIR滤波器用于亮度与色度组分纹理信号的升采样操作。根据本发明的实施例重采样(re-sample)BL纹理作为EL纹理的预测子，其中上述重采样使用改进的升采样方法以替换在H.264/AVC可伸缩扩展中的4抽头与2抽头FIR滤波器。根据本发明的滤波器使用下列滤波器中的一个或者下列滤波器的结合：离散余弦变换内插滤波器(Discrete Cosine Transform Interpolation Filter,DCTIF)、离散正弦变换内插滤波器(Discrete Sine Transform Interpolation Filter,DSTIF)、维纳滤波器(Wiener filter)、非局部均值滤波器(non-local mean filter)、平滑滤波器(smoothing filter)与双边滤波器(bilateral filter)。根据本发明的滤波可跨越TU边界或限定在TU边界内。根据本发明的实施例在层间帧内预测中可跳过填充(padding)与去块进程以缓解计算复杂度与数据依赖问题。也可跳过BL中的样本自适应偏移(SampleAdaptive Offset,SAO)、自适应环路滤波(Adaptive Loop Filter,ALF)、非局部均值滤波及/或平滑滤波。可将上述跳过填充、去块、SAO、ALF、非局部均值滤波与平滑滤波应用于整个LCU、叶CU、PU、TU、预定区域、LCU边界、叶CU边界、PU边界、TU边界或预定区域的边界。在另一实施例中，使用滤波器处理BL纹理以产生已滤波BL纹理，以及上述BL纹理具有与EL纹理相同的分辨率并且使用上述BL纹理作为EL纹理的预测子。在使用BL纹理作为EL纹理的预测子之前，可将维纳滤波、ALF(自适应环路滤波)、非局部均值滤波、平滑滤波或SAO(样本自适应偏移)应用于BL纹理。
为了改善图像品质，在重采样BL纹理之前，本发明实施例对BL纹理应用维纳滤波或自适应滤波。可替换地，可在重采样BL纹理之后对BL纹理应用维纳滤波或自适应滤波。此外，在重采样BL纹理之前，本发明实施例将SAO或ALF应用于BL纹理。
根据本发明的另一实施例为层间帧内预测应用基于LCU或基于CU维纳滤波及/或自适应偏移。可对BL纹理数据或已升采样的BL纹理数据采用上述滤波。
在H.264SVC中，为亮度与色度组分残差信号的升采样操作使用2抽头FIR滤波器。根据本发明的实施例使用改进的升采样方法以替换H.264SVC的2抽头FIR滤波器。上述滤波器可为下列滤波器中的一个或者下列滤波器的结合：离散余弦变换内插滤波器(DCTIF)、离散正弦变换内插滤波器(DSTIF)、维纳滤波器、非局部均值滤波器、平滑滤波器与双边滤波器。当EL具有比BL更高的空域分辨率时，可将上述滤波器应用于重采样BL残差。可将上述所有滤波限定于跨越或不跨越TU边界。此外，如果BL与EL具有相同分辨率或EL具有比BL更高的分辨率，则可在空域或频域执行上述残差预测。当EL具有比BL更高的空域分辨率时，在频域重采样BL的残差以形成EL残差的预测子。当编码器或解码器需要基于BL的已重采样残差取得EL残差的预测子时，可执行通过重采样BL残差取得EL残差的预测子的进程。
根据本发明的实施例可为EL中的基于上下文自适应熵编码(context-basedadaptive entropy coding)使用BL信息。例如，基于上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmetic Coding,CABAC)的上下文信息或二值化(binarization)可利用BL的信息。EL可基于BL中的对应信息使用不同的上下文模型、不同的上下文构造方法或不同的上下文集合。例如，EL PU可根据是否在跳过模式中编码BL的对应PU使用不同的上下文模型。在本发明另一实施例中，可重用BL中用于CABAC的部分上下文模型的概率或最可能符号(Most Probable Symbol,MPS)以取得EL中用于CABAC的部分上下文模型的初始概率与MPS。语法元素可为分裂旗标、跳过旗标、合并旗标、合并指数、色度帧内模式、色度帧内模式、分割尺寸、预测模式、帧间预测方向、运动矢量差值、运动矢量预测子指数、参考指数、量化参数差值(delta quantization parameter)、有值旗标(significant flag)、末位有值位置(last significant position)、大于1系数(coefficient-greater-than-one)、减1系数(coefficient-magnitude-minus-one)、ALF(自适应环路滤波)控制旗标、ALF旗标、ALF轨迹尺寸、ALF合并旗标、ALF ON/OFF决策、ALF系数、样本自适应偏移(SAO)旗标、SAO类型、SAO偏移、SAO合并旗标、SAO行程、SAO ON/OFF决策、变换细分旗标、残差四叉树CBF(编码区块旗标)或残差四叉树根CBF。可根据BL信息自适应地改变对应语法元素的码字并且也可根据BL信息自适应地改变查看码字列表(look-upcodeword table)中对应EL语法元素的码字顺序。当EL语法元素需要编解码时，执行使用BL信息处理EL语法元素的决定上下文信息进程。
本发明实施例使用BL中的某些ALF信息取得EL的ALF信息。ALF信息可包含滤波自适应模式、滤波系数、滤波轨迹、区域分割、ON/OFF决策、启动旗标与合并结果。例如，EL可使用BL中的部分ALF参数作为EL中的ALF参数或ALF参数的预测子。当直接从BL的ALF信息中重用ALF信息时，无需为EL传输相关ALF参数。可使用旗标指示是否从BL的ALF信息中预测EL的ALF信息。如果旗标指示从BL的ALF信息中预测EL的ALF信息，则可按比例决定BL的ALF信息并且使用上述按比例决定的ALF信息作为EL的ALF信息预测子。可使用一数值表示ALF信息预测子与EL的ALF信息之间的差值。当编码器或解码器需要得到EL的ALF信息时，执行使用BL的ALF信息导出EL的ALF信息的进程。
本发明实施例使用BL的某些SAO信息得到EL的SAO信息。SAO信息可包含偏移类型、偏移量、区域分割、ON/OFF决策、启动旗标与合并结果。例如，EL可使用BL的部分SAO参数作为EL的SAO参数。当直接从BL的SAO信息中重用SAO信息时，无需为EL传输相关SAO参数。可使用旗标指示是否从BL的SAO信息中预测EL的SAO信息。如果旗标指示从BL的SAO信息中预测EL的SAO信息，则可按比例决定BL的SAO信息并且使用上述按比例决定的SAO信息作为EL的SAO信息预测子。可使用一数值表示SAO信息预测子与EL的SAO信息之间的差值。当编码器或解码器需要得到EL的SAO信息时，执行使用BL的SAO信息导出EL的SAO信息的进程。
本发明实施例使用BL的某些去块滤波(DF)信息得到EL的DF信息。DF信息可包含阈值，例如用于决定边界强度(Boundary Strength,BS)的阈值α、β、tc。DF也可包含滤波参数、ON/OFF滤波决策、强/弱滤波选择或滤波强度。当直接从BL的DF信息中重用DF信息时，无需为EL传输相关DF参数。可使用旗标指示是否从BL的DF信息中预测EL的DF信息。如果旗标指示从BL的DF信息中预测EL的DF信息，则可按比例决定BL的DF信息并且使用上述按比例决定的DF信息作为EL的DF信息预测子。可使用一数值表示DF信息预测子与EL的DF信息之间的差值。当编码器或解码器需要得到EL的DF信息时，执行使用BL的DF信息导出EL的DF信息的进程。
图4至图11是根据本发明各种实施例描述的可伸缩视频编码的示例流程图。图4是根据本发明实施例描述的用于可伸缩视频编码的CU结构编码或运动信息编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤410决定用于BL中CU(编码单元)的CU结构(编码单元结构)、运动信息或CU结构与运动信息的结合。在步骤420分别决定用于EL中对应CU的CU结构、运动矢量预测子(MVP)信息或CU结构与MVP信息的结合，其中上述EL中的CU结构、MVP信息或CU结构与MVP信息的结合以BL中CU的CU结构、运动信息或CU结构与运动信息的结合为基础。图5是根据本发明实施例描述的用于可伸缩视频编码的MVP获取或合并候选获取的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤510决定BL的运动信息。在步骤520基于BL运动信息取得EL中的运动矢量预测子(MVP)候选或合并候选。图6是根据本发明实施例描述的用于可伸缩视频编码的帧内预测模式获取的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤610决定BL的帧内预测模式信息。在步骤620基于BL的帧内预测模式信息取得EL的帧内预测模式。
图7是根据本发明实施例描述的用于可伸缩视频编码的残差四叉树结构编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤710决定BL的RQT结构(残差四叉树编码结构)信息。在步骤720基于BL的RQT结构信息取得EL的RQT结构。图8是根据本发明实施例描述的用于可伸缩视频编码的纹理预测与重采样的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤810决定BL的纹理信息。在步骤820基于BL纹理信息取得EL纹理的预测子。图9是根据本发明实施例描述的用于可伸缩视频编码的残差预测与重采样的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤910决定BL的残差信息。在步骤920通过重采样BL残差取得EL的残差预测子。
图10是根据本发明实施例描述的用于可伸缩视频编码的上下文自适应熵编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤1010决定BL信息。在步骤1020使用BL信息决定处理EL语法元素的上下文信息。图11是根据本发明实施例描述的用于可伸缩视频编码的ALF信息编码、SAO信息编码与DF信息编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤1110决定BL的ALF信息、SAO信息或DF信息。在步骤1120使用BL的ALF信息、SAO信息或DF信息分别取得EL的ALF信息、SAO信息或DF信息。
上述根据本发明的可伸缩视频编码实施例可在各种硬件、软件编码或两者组合中进行实施，其中增强层编码使用基础层信息。例如，本发明实施例可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(Digital Signal Processor,DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FieldProgrammable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。

Claims (24)

1.一种可伸缩视频编码方法，其中将视频数据配置于基础层与增强层并且其中该增强层具有比该基础层更高的空域分辨率或更好的视频品质，该可伸缩视频编码方法包含：
决定该基础层的残差四叉树编码结构的信息；以及
基于该基础层的该残差四叉树编码结构的该信息取得该增强层的该残差四叉树编码结构；
其中，使用按比例决定的基础层中的变换单元的残差四叉树编码结构作为增强层中的对应变换单元的初始残差四叉树编码结构；以及对于该增强层中该对应变换单元的该初始残差四叉树编码结构的叶变换单元，使用分裂旗标指示是否将该增强层的该对应变换单元分割为子变换单元。
2.如权利要求1所述的可伸缩视频编码方法，其特征在于，当编码器需要编码该增强层的该残差四叉树编码结构或解码器需要解码该增强层的该残差四叉树编码结构时，执行上述基于该基础层的该残差四叉树编码结构的该信息取得该增强层的该残差四叉树编码结构。
3.如权利要求1所述的可伸缩视频编码方法，其特征在于，将第一旗标用于该增强层的根变换单元或变换单元，其中该第一旗标指示是否使用该基础层的该变换单元的该残差四叉树编码结构以取得该增强层的对应变换单元的该残差四叉树编码结构。
4.如权利要求3所述的可伸缩视频编码方法，其特征在于，如果使用该基础层中的该变换单元的该残差四叉树编码结构以取得该增强层中该对应变换单元的该残差四叉树编码结构，则按比例决定该基础层中的该变换单元的该残差四叉树编码结构并且使用该按比例决定的该基础层中的该变换单元的该残差四叉树编码结构作为该增强层中的该对应变换单元的初始残差四叉树编码结构。
5.一种可伸缩视频编码装置，其中将视频数据配置于基础层与增强层并且其中该增强层具有比该基础层更高的空域分辨率或更好的视频品质，该可伸缩视频编码装置包含：
用于决定该基础层的残差四叉树编码结构的信息的装置；以及
用于基于该基础层的该残差四叉树编码结构的该信息取得该增强层的该残差四叉树编码结构的装置；
其中，使用按比例决定的基础层中的变换单元的残差四叉树编码结构作为增强层中的对应变换单元的初始残差四叉树编码结构；以及对于该增强层中该对应变换单元的该初始残差四叉树编码结构的叶变换单元，使用分裂旗标指示是否将该增强层的该对应变换单元分割为子变换单元。
6.如权利要求5所述的可伸缩视频编码装置，其特征在于，将第一旗标用于该增强层的根变换单元或变换单元，其中该第一旗标指示是否使用该基础层的该变换单元的该残差四叉树编码结构以取得该增强层的对应变换单元的该残差四叉树编码结构。
7.一种可伸缩视频编码方法，其中将视频数据配置于基础层与增强层并且其中该增强层具有比该基础层更高的空域分辨率或更好的视频品质，该可伸缩视频编码方法包含：
决定该基础层的纹理信息；以及
基于该基础层的该纹理信息取得该增强层的纹理预测子；其中，
该决定该基础层的纹理信息的步骤进一步包括：
使用滤波器重采样该基础层的纹理以产生重采样基础层纹理，其中，该重采样基础层纹理与增强层纹理具有相同分辨率并且用作该增强层的该纹理预测子。
8.如权利要求7所述的可伸缩视频编码方法，其特征在于，当编码器或解码器需要取得该增强层的该纹理预测子时，执行上述基于该基础层的该纹理信息取得该增强层的该纹理预测子。
9.如权利要求7所述的可伸缩视频编码方法，其特征在于，该滤波器是离散余弦变换内插滤波器、离散正弦变换内插滤波器、维纳滤波器、非局部均值滤波器、平滑滤波器与双边滤波器中的一个或结合。
10.如权利要求7所述的可伸缩视频编码方法，其特征在于，跨越变换区块边界使用该滤波器或将该滤波器限定于该变换区块边界内。
11.如权利要求7所述的可伸缩视频编码方法，其特征在于，在重采样该基础层的该纹理之前或之后，将填充、去块、自适应环路滤波、样本自适应偏移、非局部均值滤波、平滑滤波操作应用于该基础层的该纹理。
12.如权利要求11所述的可伸缩视频编码方法，其特征在于，为整个最大编码单元、叶编码单元、预测单元、变换单元、预定区域、最大编码单元边界、叶编码单元边界、预测单元边界、变换单元边界或该预定区域的边界跳过该填充、该去块、该样本自适应偏移、该非局部均值滤波、该平滑滤波或该自适应环路滤波。
13.如权利要求7所述的可伸缩视频编码方法，其特征在于，使用滤波器处理该基础层的该纹理以产生滤波基础层纹理，其中该滤波基础层纹理具有与该增强层的该纹理相同的分辨率并且将该基础层纹理用作该增强层的该纹理预测子。
14.如权利要求13所述的可伸缩视频编码方法，其特征在于，在使用该基础层的该纹理作为该增强层的该纹理预测子之前，对该基础层的该纹理应用维纳滤波、自适应环路滤波、非局部均值滤波、平滑滤波或样本自适应偏移。
15.一种可伸缩视频编码装置，其中将视频数据配置于基础层与增强层并且其中该增强层具有比该基础层更高的空域分辨率或更好的视频品质，该可伸缩视频编码装置包含：
用于决定该基础层的纹理信息的装置；以及
用于基于该基础层的该纹理信息取得该增强层的纹理预测子的装置；其中，
该用于决定该基础层的纹理信息的装置进一步使用插滤波器重采样该基础层的纹理以产生重采样基础层纹理，其中，该重采样基础层纹理具有与增强层纹理相同的分辨率并且用作该增强层的该纹理预测子。
16.一种可伸缩视频编码方法，其中将视频数据配置于基础层与增强层并且其中该增强层具有比该基础层更高的空域分辨率或更好的视频品质，该可伸缩视频编码方法包含：
决定该基础层的残差信息；以及
通过使用滤波器重采样该基础层的该残差以产生重采样基础层残差来取得该增强层的残差预测子，其中，该重采样基础层残差具有与增强层残差相同的分辨率并且用作该增强层的该残差预测子。
17.如权利要求16所述的可伸缩视频编码方法，其特征在于，当编码器或解码器需要取得该增强层的该残差预测子时，执行上述通过重采样该基础层的该残差取得该增强层的该残差预测子。
18.如权利要求16所述的可伸缩视频编码方法，其特征在于，该滤波器是离散余弦变换内插滤波器、离散正弦变换内插滤波器、维纳滤波器、非局部均值滤波器、平滑滤波器或双边滤波器中的一个或结合。
19.如权利要求16所述的可伸缩视频编码方法，其特征在于，跨越变换区块边界使用该滤波器或将该滤波器限定于该变换区块边界内。
20.如权利要求16所述的可伸缩视频编码方法，其特征在于，该增强层具有比该基础层更高的空域分辨率；以及其中在频域重采样该基础层的该残差。
21.如权利要求16所述的可伸缩视频编码方法，其特征在于，在频域执行上述通过重采样该基础层的该残差取得该增强层的该残差预测子。
22.一种可伸缩视频编码装置，其中将视频数据配置于基础层与增强层并且其中该增强层具有比该基础层更高的空域分辨率或更好的视频品质，该可伸缩视频编码装置包含：
用于决定该基础层的残差信息的装置；以及
用于通过重采样该基础层的该残差以产生重采样基础层残差来取得该增强层的残差预测子的装置，其中，该重采样基础层残差具有与增强层残差相同的分辨率并且用作该增强层的该残差预测子。
23.如权利要求22所述的可伸缩视频编码装置，其特征在于，该增强层具有比该基础层更高的空域分辨率；以及其中在频域重采样该基础层的该残差。
24.如权利要求22所述的可伸缩视频编码装置，其特征在于，在频域执行上述通过重采样该基础层的该残差取得该增强层的该残差预测子。
CN201280022920.2A 2011-06-10 2012-05-31 可伸缩视频编码方法及其装置 Expired - Fee Related CN103597827B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161495740P 2011-06-10 2011-06-10
US61/495,740 2011-06-10
PCT/CN2012/076318 WO2012167712A1 (en) 2011-06-10 2012-05-31 Method and apparatus of scalable video coding

Publications (2)

Publication Number Publication Date
CN103597827A CN103597827A (zh) 2014-02-19
CN103597827B true CN103597827B (zh) 2018-08-07

Family

ID=47295476

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280022920.2A Expired - Fee Related CN103597827B (zh) 2011-06-10 2012-05-31 可伸缩视频编码方法及其装置
CN201610226991.4A Expired - Fee Related CN105791875B (zh) 2011-06-10 2012-05-31 可伸缩视频编码方法及其装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610226991.4A Expired - Fee Related CN105791875B (zh) 2011-06-10 2012-05-31 可伸缩视频编码方法及其装置

Country Status (7)

Country Link
US (3) US20140072033A1 (zh)
EP (3) EP3057326A1 (zh)
JP (2) JP2014514833A (zh)
KR (1) KR20140005296A (zh)
CN (2) CN103597827B (zh)
AU (3) AU2012267006B8 (zh)
WO (2) WO2012167713A1 (zh)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US9288500B2 (en) 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9693070B2 (en) 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
JP2013012846A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置及び画像処理方法
EP2728865A4 (en) * 2011-06-28 2016-03-16 Samsung Electronics Co Ltd VIDEO CODING METHOD WITH ADJUSTED ADJUSTMENTS ACCORDING TO PIXEL CLASSIFICATION AND DEVICE THEREFOR, VIDEO CODING METHOD AND DEVICE THEREFOR
US20130163660A1 (en) * 2011-07-01 2013-06-27 Vidyo Inc. Loop Filter Techniques for Cross-Layer prediction
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
JP2013110518A (ja) * 2011-11-18 2013-06-06 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150043639A1 (en) * 2012-03-20 2015-02-12 Samsung Electronics Co., Ltd. Method and device for coding scalable video on basis of coding unit of tree structure, and method and device for decoding scalable video on basis of coding unit of tree structure
WO2013174254A1 (en) 2012-05-21 2013-11-28 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
CN107911699B (zh) 2012-07-02 2021-08-10 三星电子株式会社 视频的编码方法和设备以及非暂时性计算机可读介质
CN104335587B (zh) * 2012-07-04 2018-06-19 英特尔公司 对于三维视频译码的视图间滤波器参数重复使用
FR2993084A1 (fr) * 2012-07-09 2014-01-10 France Telecom Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants
MY171481A (en) 2012-07-16 2019-10-15 Samsung Electronics Co Ltd Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus for signaling sao parameters
US9319684B2 (en) 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
WO2014047776A1 (en) 2012-09-25 2014-04-03 Intel Corporation Inter-layer sample adaptive filter parameters re-use for scalable video coding
US9491459B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
JPWO2014050732A1 (ja) * 2012-09-28 2016-08-22 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
JP6301932B2 (ja) 2012-10-01 2018-03-28 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層の中の変換係数ブロックの副ブロックに基づいた符号化を使用するスケーラブルビデオ符号化
KR20140079661A (ko) * 2012-12-18 2014-06-27 주식회사 팬택 Mpm을 이용한 계층적 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US9912942B2 (en) * 2012-12-28 2018-03-06 Qualcomm Incorporated High-frequency-pass sample adaptive offset in video coding
US9596465B2 (en) * 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
GB2509703B (en) * 2013-01-04 2016-09-14 Canon Kk Method and apparatus for encoding an image into a video bitstream and decoding corresponding video bitstream using enhanced inter layer residual prediction
KR20230080500A (ko) * 2013-01-04 2023-06-07 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
US9900609B2 (en) 2013-01-04 2018-02-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US9826244B2 (en) * 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
US10129550B2 (en) 2013-02-01 2018-11-13 Qualcomm Incorporated Inter-layer syntax prediction control
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
CN105075271A (zh) * 2013-04-08 2015-11-18 索尼公司 利用shvc的关注区域可伸缩性
CN117956141A (zh) 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
US20140341302A1 (en) * 2013-05-15 2014-11-20 Ce Wang Slice level bit rate control for video coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
CN103731670B (zh) * 2013-12-25 2017-02-01 同观科技（深圳）有限公司 一种图像的帧内预测算法
EP2908524A1 (en) * 2014-02-14 2015-08-19 France Brevets An apparatus for encoding an ultra-high definition video sequence
US10057599B2 (en) 2014-02-19 2018-08-21 Mediatek Inc. Method for performing image processing control with aid of predetermined tile packing, associated apparatus and associated non-transitory computer readable medium
HUE043182T2 (hu) * 2014-03-13 2019-08-28 Qualcomm Inc Egyszerûsített fejlett maradékpredikció 3d-hevc-hez
CN104010196B (zh) * 2014-03-14 2017-02-15 北方工业大学 基于hevc的3d质量可伸缩视频编码
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
JP6145069B2 (ja) * 2014-04-30 2017-06-07 日本電信電話株式会社 主観画質推定装置及び主観画質推定プログラム
CN104023241B (zh) * 2014-05-29 2017-08-04 华为技术有限公司 帧内预测编码的视频编码方法及视频编码装置
CN104243997B (zh) * 2014-09-05 2017-05-03 南京邮电大学 一种质量可分级hevc视频编码方法
US9489720B2 (en) * 2014-09-23 2016-11-08 Intel Corporation Non-local means image denoising with detail preservation using self-similarity driven blending
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US10681371B2 (en) * 2015-06-07 2020-06-09 Lg Electronics Inc. Method and device for performing deblocking filtering
US9872026B2 (en) 2015-06-12 2018-01-16 Intel Corporation Sample adaptive offset coding
CN108028924B (zh) * 2015-09-08 2020-12-01 Lg 电子株式会社 用于编码/解码图像的方法及其装置
JP6048564B2 (ja) * 2015-10-29 2016-12-21 ソニー株式会社 画像処理装置及び画像処理方法
CN108605143A (zh) * 2016-02-04 2018-09-28 联发科技股份有限公司 视频编码中的非局部自适应环内滤波器的方法和装置
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
JP6184558B2 (ja) * 2016-06-08 2017-08-23 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
JP6265249B2 (ja) * 2016-11-22 2018-01-24 ソニー株式会社 画像処理装置及び画像処理方法
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
CN110870309B (zh) * 2017-07-06 2023-02-03 三星电子株式会社 图像编码方法和设备以及图像解码方法和设备
JP6387159B2 (ja) * 2017-07-25 2018-09-05 キヤノン株式会社 復号装置、復号方法及びプログラム
WO2019047763A1 (en) * 2017-09-08 2019-03-14 Mediatek Inc. METHODS AND APPARATUSES FOR PROCESSING IMAGES IN AN IMAGE OR VIDEO ENCODING SYSTEM
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
CN111742554B (zh) * 2018-02-01 2021-08-06 联发科技股份有限公司 具有视频数据自适应量化的视频编码或解码方法和装置
CN118101966A (zh) 2018-02-23 2024-05-28 华为技术有限公司 用于视频编解码的位置相关空间变化变换
KR102656221B1 (ko) 2018-05-31 2024-04-08 후아웨이 테크놀러지 컴퍼니 리미티드 적응적 변환 타입의 공간 가변 변환
CN116962710A (zh) * 2018-12-15 2023-10-27 华为技术有限公司 图像重建方法和装置
KR20240010542A (ko) * 2018-12-17 2024-01-23 삼성전자주식회사 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
WO2020141910A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020156540A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
WO2020177662A1 (en) 2019-03-01 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
KR102688366B1 (ko) 2019-03-01 2024-07-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 방향 기반 예측
KR20210125506A (ko) 2019-03-04 2021-10-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
WO2020184918A1 (ko) * 2019-03-08 2020-09-17 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113711604B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 视频编解码中色度和亮度语法元素的信令
KR102550503B1 (ko) * 2019-06-25 2023-06-30 닛폰 호소 교카이 부호화 장치, 복호 장치, 및 프로그램
CN117294841A (zh) 2019-07-06 2023-12-26 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的虚拟预测缓冲
WO2021006633A1 (ko) * 2019-07-08 2021-01-14 엘지전자 주식회사 인루프 필터링 기반 비디오 또는 영상 코딩
JP7359934B2 (ja) 2019-07-10 2023-10-11 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのサンプル識別
CN114095726B (zh) * 2020-08-24 2022-12-23 杭州海康威视数字技术股份有限公司 滤波方法、装置及设备
CN114339262B (zh) 2020-09-30 2023-02-14 华为技术有限公司 熵编/解码方法及装置
CN114615500A (zh) * 2020-12-08 2022-06-10 华为技术有限公司 增强层编解码方法和装置
US12058310B2 (en) 2021-02-26 2024-08-06 Lemon Inc. Methods of coding images/videos with alpha channels
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels
WO2023091290A1 (en) * 2021-11-17 2023-05-25 Tencent America LLC Adaptive application of generalized sample offset
WO2023097095A1 (en) * 2021-11-29 2023-06-01 Beijing Dajia Internet Information Technology Co., Ltd. Invertible filtering for video coding
CN114051140B (zh) * 2022-01-07 2022-04-08 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
US20240040151A1 (en) * 2022-07-28 2024-02-01 Apple Inc. Coefficient-based transform and mode signaling

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US8204109B2 (en) * 2003-03-28 2012-06-19 Etiip Holdings Inc. Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression
KR100679011B1 (ko) * 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
EP1878253A1 (en) * 2005-04-19 2008-01-16 Samsung Electronics Co., Ltd. Context-based adaptive arithmetic coding and decoding methods and apparatuses with improved coding efficiency and video coding and decoding methods and apparatuses using the same
EP1913778A4 (en) * 2005-07-08 2010-04-28 Lg Electronics Inc METHOD FOR MODELING THE CODING OF INFORMATION OF A VIDEO SIGNAL FOR COMPRESSING / DECOMPRESSING THE INFORMATION
KR100725407B1 (ko) * 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
WO2007081139A1 (en) * 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
WO2007128706A2 (en) * 2006-05-05 2007-11-15 Thomson Licensing Simplified inter-layer motion prediction for scalable video coding
JP4844456B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
CN101401430B (zh) * 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
WO2008083296A2 (en) * 2006-12-28 2008-07-10 Vidyo, Inc. System and method for in-loop deblocking in scalable video coding
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
PT2123052E (pt) * 2007-01-18 2011-03-02 Fraunhofer Ges Forschung Corrente de dados de vídeo de qualidade escalonável
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
BRPI0817767A2 (pt) * 2007-10-16 2020-01-28 Thomson Licensing métodos e aparelhos para remoção de artefato para capacidade de escalonamento de profundidade de bit
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8995525B2 (en) * 2008-04-16 2015-03-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Bit-depth scalability
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
EP2192786A1 (en) * 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US10244239B2 (en) * 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
CN102857746B (zh) * 2011-06-28 2017-03-29 中兴通讯股份有限公司 环路滤波编解码方法及装置

Also Published As

Publication number Publication date
US20160234499A1 (en) 2016-08-11
WO2012167713A1 (en) 2012-12-13
AU2012267007A1 (en) 2013-10-17
AU2015230740A1 (en) 2015-10-15
EP2719183A4 (en) 2015-04-15
EP2719183B1 (en) 2019-01-16
EP2719184A1 (en) 2014-04-16
EP3057326A1 (en) 2016-08-17
CN105791875B (zh) 2018-12-11
AU2012267006A1 (en) 2013-10-17
AU2012267006A8 (en) 2015-10-29
JP2015065688A (ja) 2015-04-09
AU2012267006B2 (en) 2015-10-15
CN105791875A (zh) 2016-07-20
CN103597827A (zh) 2014-02-19
WO2012167712A1 (en) 2012-12-13
AU2012267006B8 (en) 2015-10-29
US20140146891A1 (en) 2014-05-29
JP2014514833A (ja) 2014-06-19
CN103518374A (zh) 2014-01-15
EP2719183A1 (en) 2014-04-16
AU2012267007B2 (en) 2016-03-17
US20140072033A1 (en) 2014-03-13
EP2719184B1 (en) 2018-09-12
KR20140005296A (ko) 2014-01-14
AU2015230740B2 (en) 2017-02-16
EP2719184A4 (en) 2016-03-02

Similar Documents

Publication Publication Date Title
CN103597827B (zh) 可伸缩视频编码方法及其装置
CN106851319B (zh) 推导方法及推导装置
US10334261B2 (en) Method and arrangement for transcoding a video bitstream
EP2813079B1 (en) Method and apparatus of inter-layer prediction for scalable video coding
EP2829066B1 (en) Method and apparatus of scalable video coding
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
US10091515B2 (en) Method and apparatus for intra mode derivation and coding in scalable video coding
CN108540806B (zh) 用于编码/解码图像的方法、设备以及计算机可读取介质
RU2575411C2 (ru) Способ и устройство масштабируемого кодирования видео

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160913

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180807

Termination date: 20200531