CN101755458B - 可缩放视频编码方法和装置以及可缩放视频解码方法和装置 - Google Patents

可缩放视频编码方法和装置以及可缩放视频解码方法和装置 Download PDF

Info

Publication number
CN101755458B
CN101755458B CN200780031559.9A CN200780031559A CN101755458B CN 101755458 B CN101755458 B CN 101755458B CN 200780031559 A CN200780031559 A CN 200780031559A CN 101755458 B CN101755458 B CN 101755458B
Authority
CN
China
Prior art keywords
macro block
enhancement layer
predicted value
framing
base layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780031559.9A
Other languages
English (en)
Other versions
CN101755458A (zh
Inventor
王祥林
J·里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN101755458A publication Critical patent/CN101755458A/zh
Application granted granted Critical
Publication of CN101755458B publication Critical patent/CN101755458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于预测增强层宏块的系统和方法。基本层帧划分成帧内编码区域和帧间编码区域。如果增强层宏块的任何部分由帧内编码基本层宏块和帧间编码基本层宏块二者覆盖，则独立地建立利用帧内编码宏块和帧间编码宏块的预测以生成至少两个预测值。然后组合至少两个预测值以给出用来对增强层块进行编码的预测。各种实施例用以在针对扩展的空间可缩放性的层间预测内平滑在帧内编码区域与帧间编码区域之间的边界效应。

Description

可缩放视频编码方法和装置以及可缩放视频解码方法和装置
技术领域
本发明涉及视频编码领域。更具体地，本发明涉及一种将基本层划分成帧内编码区域和帧间编码区域、独立地建立层间预测以及组合预测以给出用来对增强层宏块进行编码的相对预测的系统和方法。
背景技术
这一节旨在于提供在权利要求书中记载的本发明的背景或者上下文。这里的描述可以包括能够探求的概念，但是并非必然是先前已经构思或者探求的概念。因此，除非这里另有指明，在这一节中描述的内容不是本申请中的说明书和权利要求书的现有技术，也不因为包含于这一节中而被承认是现有技术。
视频编码标准包括ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或者ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual和ITU-TH.264(也称为ISO/IECMPEG-4AVC)。此外，关于新视频编码标准的开发目前正在付之努力。在开发中的一个此类标准是作为附录G(先前为附录F)而有望成为对H.264/AVC标准的可缩放扩展的可缩放视频编码(SVC)标准。(也应当理解SVC可以最终出现在最后标准的不同附录中。)另一此类的努力涉及到开发中国视频编码标准。
附录G引入包括如下情况的称为扩展的空间可缩放性的特征，在这些情况中没有维持基本层宏块和增强宏块的边缘对准。跨不同层的对准的宏块边缘的空间缩放比1或者2被认为是空间可缩放性的一种特殊情况。
如这里所用的那样，术语“增强层”是指与一些较低质量的重建相比进行不同编码的层。增强层的目的在于当添加到较低质量的重建时，信号质量应当提高或者“增强”。另外，术语“基本层”既适用于使用现有视频编码算法而编码的非可缩放基本层也适用于相对于其对后续增强层进行编码的重建增强层。
在SVC中，可以在多层中对视频序列进行编码，而各层是按某一空间分辨率或者时间分辨率或者按某一质量级或者三者的某种组合对视频序列的一个表示。可以按预期空间分辨率、时间分辨率、某一质量级或者这些分辨率的某种组合对可缩放视频位流的一部分进行提取和解码。可缩放视频位流包含不可缩放基本层和一个或者多个增强层。
在SVC编码中，由于编解码器是基于层方式以实现空间可缩放性，所以编码器提供为各空间层生成较低分辨率的信号的下采样滤波器级。在它的基础版本中，下采样比等于2(基本层分辨率是它的空间增强层的空间分辨率的一半)。扩展的空间可缩放性(ESS)通过用不同于1或者2的下采样比使基本层成为它的增强层的修剪版本、由此实现相继空间层之间的广义关系来概括这一概念。较低空间层的画面可以代表较高分辨率的画面的修剪区域，而在相继空间层之间的关系无需为二元的(dyadic)。限定修剪窗口的几何参数以及下采样比可以在序列级加以限定或者在画面级演变。
ESS可能造成如下情形，在该情形中，在上采样过程之后没有维持基本层宏块(MB)和增强层MB的边缘对准。当用采样比1或者2执行空间缩放并且跨不同层对准MB边缘时，视之为空间可缩放性的一种特殊情况。
例如，当利用二元分辨率缩放(即，按2的幂缩放分辨率)时，可以维持MB的边缘对准。在图1中图示了这一例子，其中半分辨率的帧(即，基本层帧100)与上采样的全分辨率版本(即，增强层帧104)关联。示出了包括基本层帧100的至少一部分的MB102。“维持”在基本层帧100中所见的MB102的边界，从而即使在进行上采样以给出增强层104之后，边界仍然准确地包围四个全分辨率MB，即，MB106、MB108、MB110和MB112。换而言之，四个增强层MB106、108、110和112的边缘准确地对应于MB102的上采样边界。重要的是，覆盖各增强层MB(即，MB106、MB108、MB110和MB112)的仅有基本层MB是MB102。因此，其他基本层MB对于为MB106、MB108、MB110和MB112形成预测不是必需的。
图2图示了缩放因子为1.5的非二元可缩放性场景。在这一场景中，基本层200的基本层MB(即，MB202和MB204)在较高分辨率的增强层206中所示将从16×16上采样成24×24。示出了(由虚线勾勒的)增强层MB208将由两个不同上采样MB(即，MB202和MB204)覆盖。因此，需要两个基本层MB(即，MB202和MB204)以便为增强层MB208形成预测。应当注意，视缩放因子而定，单个增强层MB可以由多达四个基本层MB覆盖。在H.264/AVC标准的附录G的当前草案中，即使可能需要数个基本层宏块以形成预测，仍然可以相对于基本层对增强层宏块进行编码。
在附录G的当前草案中，有可能的是即使可能需要数个基本层MB以形成预测，仍然相对于关联的基本层帧对增强层MB进行编码。由于编码效率与预测准确率密切相关，所以希望形成增强层MB的准确预测以提高编码效率。
发明内容
本发明的各种实施例包括一种用于在增强层宏块由至少一个帧内编码基本层宏块和至少一个帧间编码基本层宏块覆盖时，预测增强层宏块的系统和方法。在本发明的一个实施例中，基本层帧划分成帧内编码区域和帧间编码区域，此后独立地建立预测，然后组合预测以给出用来在可缩放位流中对增强层块进行编码的预测。在本发明的一个可选实施例中，解码器对包括增强层宏块的可缩放位流进行解码，其中增强层宏块包括根据帧内编码基本层宏块和帧间编码基本层宏块导出的独立建立的预测。在本发明的又一实施例中，根据虚拟基本层宏块创建用于增强层宏块的预测值。执行进一步检验以查看可能已经用来导出虚拟基本层宏块的任何帧内编码基本层宏块是否覆盖增强层宏块的至少一部分。如果存在帧内编码基本层宏块，则来自帧内编码基本层宏块的重建和上采样值用来替换针对增强层宏块由帧内编码基本层宏块覆盖的部分的虚拟基本层宏块预测。
通过允许通过增强层宏块的两个不同部分的关联的帧内编码基本层宏块和帧间编码基本层宏块来预测该两个不同部分，可以获得更准确预测。此外，还提高编码效率。
各种实施例也提供一种进一步提高针对ESS视频编码的预测效率的系统和方法，从而提高视觉质量和编码效率。当将虚拟基本层宏块划分成帧内编码区域和帧间编码区域时，独立地建立预测，并且组合预测以给出当前增强层宏块的预测。在这一情况下，在当前增强层宏块的预测中，在帧内编码区域与帧间编码区域之间可能存在清晰边界(或者像素值的不连续)。这样的边界可能不仅影响编码视频的视觉质量，而且由于边界(即图像边缘区域)一般包含对于压缩而言欠友好的更多高频成分的事实而不利于编码效率。在本发明的各种实施例中，提供用于平滑边界效应的方法。在一个实施例中，跨帧内编码区域与帧间编码区域之间的边界执行滤波操作。
在另一实施例中，对于由来自基本层的帧内MB和帧间MB覆盖的增强层宏块，先将整个宏块视为仅由来自基本层的帧间MB覆盖，并且可以相应地获得第一层间预测。对于帧内编码区域，然后可以使用来自基本层的重建和上采样帧内MB来导出第二预测。然后在第一预测与第二预测之间在帧内编码区域中执行混合(blending)操作，从而可以平滑在帧内编码区域与帧间编码区域之间的边界效应。在又一实施例中，将帧内编码区域的边界舍入(round)成最近编码块(例如4×4块)边界。然后单独地为帧内编码区域和帧间编码区域获得层间预测。在这一情况下，由于事实上在帧内编码区域与帧间编码区域之间的边界与编码块边界对准，所以可以通过对各编码块边界执行的环路滤波操作来平滑掉边界效应。
本发明的这些和其他优点及特征及其操作的组织和方式将从结合附图进行的以下具体描述中变得清楚，在附图中相似元件在下文描述的若干附图中通篇地具有相似标号。
附图说明
图1是能够在本发明的各种实施例中执行的二元分辨率缩放的示意图；
图2是能够在本发明的各种实施例中执行的非二元分辨率的示意图；
图3是本发明可以实施于其中的系统的概况图；
图4是可以在本发明的实施中使用的移动设备的透视图；
图5是图4的移动设备的电路的示意图；
图6是示出了在常规上采样与本发明的各种实施例利用的残差预测之间的区别的示意图；以及
图7是示出了具有帧内编码区域和帧间编码区域二者的示例增强层宏块的表示图。
具体实施方式
根据本发明，当增强层MB由至少包括帧内编码MB和帧间编码MB的多个基本层MB覆盖时，增强层MB由来自基本层帧的帧内编码MB覆盖的区域使用重建和上采样的基本层帧用于预测。此外，残差预测(下文描述)用来为增强层MB的由来自基本层帧的帧间编码MB覆盖的剩余区域形成预测。应当注意术语MB是指由所选宏块模式指定的块数目并且该数目可以是一或者更多。
图3示出了用于与本发明一起使用的通用多媒体通信系统。如图3中所示，数据源300在模拟、未压缩数字或者压缩数字格式或者这些格式的任何组合中提供源信号。编码器310将源信号编码成编码的媒体位流。编码器310可以能够对多个媒体类型如音频和视频进行编码，或者可能需要多个编码器310以对不同媒体类型的源信号进行编码。编码器310也可以获得合成产生的输入如图形和文字，或者它可以能够产生合成媒体的编码位流。在下文中仅考虑一个媒体类型的一个编码的媒体位流的处理以简化描述。然而，应当注意，实时广播服务通常包括数个流(通常为至少一个音频、视频和文字字幕流)。也应当注意，该系统可以包括多个编码器，但是在下文中考虑仅一个编码器310以简化描述而不失一般性。
编码的媒体位流传送到储存器320。储存器320可以包括用以存储编码的媒体位流的任何类型的海量存储器。储存器320中的编码的媒体位流的格式可以是初等独立(self-contained)位流格式，或者一个或者多个编码的媒体位流可以封装到容器文件中。一些系统“实况”操作，即省略储存器并且将编码的媒体位流从编码器310直接地传送到发送器330。编码的媒体位流然后按需传送到也称为服务器的发送器330。在发送中使用的格式可以是初等独立位流格式、分组流格式，或者一个或者多个编码的媒体位流可以封装到容器文件中。编码器310、储存器320和发送器330可以驻留于同一物理设备中或者它们可以包含于单独设备中。编码器310和发送器330可以操作实况实时内容，在该情况下，编码的媒体位流通常不是持久存储的而是在内容编码器310中和/或在发送器330中缓存短暂时间段，以平滑掉处理延迟、传送延迟和编码媒体位速率的变化。
发送器330使用通信协议栈来发送编码的媒体位流。该栈可以包括但不限于实时传送协议(RTP)、用户数据报协议(UDP)和网际协议(IP)。当通信协议栈面向分组时，发送器330将编码的媒体位流封装成分组。例如，当使用RTP时，发送器330根据RTP净荷格式将编码的媒体位流封装成RTP分组。通常，各媒体类型具有专用RTP净荷格式。同样应当注意，系统可以包含多个发送器330，但是为求简明，以下描述仅考虑一个发送器330。
发送器330可以或者可以不通过通信网络连接到网关340。网关340可以执行不同类型的功能，比如根据一个通信协议栈的分组流向另一通信协议栈的转译、数据流的合并和拆分以及根据下行链路和/或接收器能力的数据流操控(比如根据主导的下行链路网络条件来控制转发的流的位速率)。网关340的例子包括多点会议控制单元(MCU)、在电路交换与分组交换视频电话之间的网关、蜂窝一键通(PoC)服务器、数字视频广播-手持(DVB-H)系统中的IP封装器或者将广播发送本地转发到归属无线网络的机顶盒。当使用RTP时，网关340称为RTP混合器并且充当RTP连接的端点。
该系统包括通常能够接收、解调发送的信号并且将该信号解封装成编码的媒体位流的一个或者多个接收器350。编码的媒体位流通常由解码器360进一步处理，该解码器的输出是一个或者多个未压缩媒体流。最后，表现器370可以例如用扬声器或者显示器再现未压缩媒体流。接收器350、解码器360和表现器370可以驻留于同一物理设备中或者它们可以包含于单独设备中。
应当理解，虽然这里包含的文字和例子可能具体地描述一种编码过程，但是本领域技术人员将容易理解，相同概念和原理也适用于对应解码过程并且反之亦然。应当注意，可以从位于实质上任何类型的网络内的远程设备接收将要解码的位流。此外，可以从本地硬件或软件接收位流。
就位速率、解码复杂性和画面尺寸而言的可缩放性对于异构和易出错的环境而言是合乎需要的性质。希望具有这一性质以便应对如下限制，这些限制比如是对位速率、显示分辨率、网络吞吐量和接收设备中的计算能力的约束。
本发明的通信设备可以使用各种传输技术来通信，包括但不限于码分多址(CDMA)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/网际协议(TCP/IP)、短消息接发服务(SMS)、多媒体消息接发服务(MMS)、电子邮件、即时消息接发服务(IMS)、蓝牙、IEEE802.11等。通信设备可以使用包括但不限于无线电、红外线、激光、线缆连接等的各种介质来通信。应当注意，可以使用任何常用编程语言如C/C++或者汇编语言直接用软件实施本发明的各种实施例。
图4和图5示出了本发明可以实施于其中的一个有代表性的移动电话12。然而应当理解，本发明并不限于一个特定类型的移动设备12或者其他电子设备。图4和图5中所示一些或者所有特征可以并入图3中所示系统中可以利用的任何或者所有设备中。
图4和图5的移动电话12包括外壳30、液晶显示器形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外线端口42、天线44、根据本发明一个实施例的UICC形式的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56和存储器58。独立电路和元件都是在本领域中、例如在诺基亚移动电话范围中众所周知的类型。
如上文讨论的那样，根据H.264/AVC的附录G的当前草案，对来自基本层的帧内编码MB完全地进行解码和重建，从而它们可以常规地加以上采样并且用来直接地预测关联的增强层MB。然而，对于层间预测，没有对来自基本层的帧间编码MB完全地进行解码和重建。代之以仅对各基本层帧间编码MB的预测残差进行解码，并且该预测残差可以用来预测增强层预测残差。对基本层帧间编码MB没有进行运动补偿以预测增强层。这一过程成为“残差预测”。对于帧间编码MB，基本层运动矢量也被上采样并且用来预测增强层运动矢量。
在图6中图示了在常规上采样与残差预测之间的区别。各增强层MB(即，MBE、MBF、MBG和MBH)分别具有仅一个基本层MB(即MBA、MBB、MBC和MBD)。假设基本层MBD是帧内编码的，增强层MBH可以采用MBD的完全重建和上采样版本作为预测，并且它被编码为在记作O(H)的原始MBH与根据基本层MBD的预测之间的残差。使用“U”表明上采样功能而“R”表明解码和重建功能，可以用O(H)-U(R(D))代表残差。
对照而言，假设MBC是帧间编码的。如果相对于用PAC代表的根据A的预测对MBC进行编码，则根据残差预测，用PEG代表基于E对G的预测。因此，MBG可以编码为O(G)-PEG-U(O(C)-PAC)。这里，U(O(C)-PAC)简单地是根据从位流解码的MBC的上采样残差。应当注意，减法器(图3中未示出)可以通过从输入信号路径上的输入MB减去预测信号路径上的预测MB来生成残差信号或者残差MB。
这一编码结构补充单环解码，即，希望无论将要解码哪一层都仅针对一层执行复杂的运动补偿运算。换而言之，为了针对增强层形成层间预测，无需在关联的基本层进行运动补偿。这意味着没有完全地重建基本层中的帧间编码MB，因此对于层间预测没有完全重建的值可用。再次参照图6，R(C)在对G进行解码时不可用。因此，编码O(G)-U(R(C))不是一种选择。
在实践中，可以用自适应方式执行上文提到的残差预测。当基本层残差无助于对某一MB进行解码时，可以用传统方式进行预测。以图6中的MBG为例，不使用基本层残差，可以将MBG编码为O(G)-PEG。在这一情况下，上采样的基本层运动矢量仍然可以用来预测增强层运动矢量。在以下描述中，术语残差预测是指这一自适应方式。
如上文讨论的那样，对于扩展的空间可缩放性(ESS)，单个增强层MB可以由多达四个基本层MB覆盖。此外，并非所有基本层MB必然是同一类型。例如，回到图2，MB202可以是帧间预测的(即，“帧间编码MB”)而MB204可以是帧内预测的(即，“帧内编码MB”)。在这一例子中，层间预测实现如下：在H.264/AVC视频编码标准的附录G的当前草案中，当增强层MB与基本层MB没有边缘对准时，对于各增强层MB，基于覆盖增强层MB的基本层MB来导出虚拟基本层MB。虚拟基本层MB的类型、MB模式和运动矢量都基于覆盖当前增强层MB的基本层MB来确定。根据上述过程，基于虚拟基本层MB为当前增强层MB形成层间预测，就如同虚拟基本层MB是用于当前增强层MB的仅有基本层MB。
应当注意，在这一情况下，如何形成虚拟基本层MB(即，确定它的类型、模式、运动矢量等)可能极大地影响为给定的增强层MB而形成的层间预测的质量。结果，虚拟基本层MB的形成也影响编码效率。
根据H.264/AVC视频编码标准的附录G的当前草案，假设覆盖给定增强层MB的至少一个基本层MB是帧间编码的，将指定虚拟基本层MB类型为帧间编码。在这一情况下，在形成层间预测时仅执行残差预测。当覆盖给定增强层MB的所有基本层MB是帧内编码时，将虚拟基本层MB的类型指定为帧内编码。
这一方式的实际结果是一些帧内编码MB将被视为帧间编码。在参照图2的上例中，如果MB202是帧间编码MB而MB204是帧内编码MB，则当为MB208形成预测时，MB202和MB204二者均将被视为帧间编码MB。这一方式的基本问题在于：对于MB由基本层帧内编码MB覆盖的区域，忽略替代预测，即，重建的基本层的上采样版本。在图2的例子中，在形成MB208的预测时即使MB204的上采样版本可用也仍然将忽略它。
同时，由于MB204没有运动矢量，所以必须为MB208的由MB204覆盖的区域导出运动矢量，然后获得针对该区域的残差预测。这样的运动矢量的导出是基于MB204在基本层200的邻近运动矢量。问题在于：如果MB204是帧内编码的，则这样的导出运动矢量常常没有很好地适合于MB204。因此，当使用这样的运动矢量时，为增强层206形成的预测也是质量欠佳。
由于根据帧内编码基本层MB的重建和上采样值有可能是比对应残差预测更好的预测，所以排除上采样基本层在统计上恶化增强层的预测，这导致编码效率下降。
为了在增强层MB和基本层MB没有边缘对准时为增强层MB形成层间预测，可以利用的一种更准确方法是执行基于像素的预测。具体而言，增强层MB中的各像素具有来自基本层的覆盖它的一个MB。如果基本层MB是帧内编码MB，则当前像素的预测是来自基本层的对应重建和上采样像素值。如果基本层MB是帧间编码MB，则MB的覆盖给定像素的运动矢量被认为是用于该给定像素的基本层运动矢量，并且可以执行残差预测以获得用于该给定像素的预测值。然而，此类方法的问题在于它具有高的复杂度，因此并不实用。
如上文说明的那样，在H.264/AVC视频编码标准的附录G的当前草案中，当增强层MB和基本层MB没有边缘对准时，基于覆盖增强层MB的基本层MB来导出虚拟基本层MB。虚拟基本层MB的类型、MB模式和运动矢量全部基于这些基本层MB来确定。然后，可以基于虚拟基本层MB为增强层MB获得预测。
具有此类虚拟基本层MB的一个动机在于能够使用基于一些限定MB模式的标准运动补偿过程。MB模式指定如何将MB进一步划分成其大小范围从16×16降至4×4像素的块。各块中的像素共享共有运动矢量。由于虚拟基本层MB的定义与常规MB没有不同，所以标准运动补偿过程可以应用于获得预测。这样的方法具有相对低的复杂度。然而，它由于各块中的像素必须共享共有运动矢量的事实而没有基于像素的预测那么准确。更重要的是，它推断虚拟基本层MB内的像素必须共享同一预测类型，即，全部是帧间预测或者全部是帧内预测。
根据本发明的各种实施例，仍然维持虚拟基本层MB的概念。因此，预测是基于如下虚拟基本层MB，其用于增强层MB的由来自基本层的帧间编码MB覆盖的区域。对于增强层MB的由来自基本层的帧内编码MB覆盖的区域，该预测是基于来自基本层的对应重建和上采样值。
回到图2，假定MB202是帧间编码的，MB204是帧内编码的，而MB208由MB202和MB204二者覆盖。根据本发明的各种实施例，用帧间编码MB类型形成虚拟基本层MB。然后执行残差预测以获得如上所述预测。然而，由于MB208的右部分由来自基本层200的帧内编码MB204覆盖，所以根据本发明的各种实施例，用于MB208的这一部分的预测值是来自MB204的对应重建和上采样值。
因此在实践中，可以先基于导出的虚拟基本层MB执行常规预测。然后，执行进一步检验以查看给定增强层MB的任何一个或者多个区域是否由来自基本层的帧内编码MB覆盖。如果存在任何这样的一个或者多个区域，则用来自基本层的对应重建和上采样值取代区域中的预测值。然后使用这一修改的预测作为针对给定增强层MB的预测。
应当注意在实践中，本发明的替代实施例是可能的。参照上例，可以针对MB208的左部分而不是针对整个MB208实现基于虚拟基本层MB的第一预测。在这一情况下，省略针对MB208的右部分的运动补偿。以这一方式实施本发明的一个实施例可以节省计算复杂度。
本发明的一个特定实施例涉及到使用滤波操作以减轻在帧内编码区域与帧间编码区域之间的任何边界效应。
为了减轻任何这样的边界效应，沿着与边界垂直的方向在边界周围执行滤波操作。具体而言，使用低通滤波器，并且在边界的各侧上的多个像素位置处执行操作。在图7中示出这个过程的例子。如这一附图中所示，水平地定位并且用虚线来表示在“帧内区域”610与“帧间区域”620之间的边界600。在这一情况下，在边缘附近的像素位置沿着竖直方向执行低通滤波。例如，如果数目选择为2，则在与边界600的距离在两个像素内的各像素位置，沿着与边界600垂直的方向执行低通滤波操作。滤波器可以包括一维或者二维滤波器。只要滤波操作具备跨边界的低通滤波特征，就可以平滑边界600。此类滤波器的一个例子是具有三个滤波器抽头-{0.25，0.50，0.25}-的一维FIR(有限冲激响应)滤波器。
给定沿着滤波方向的三个连续样本In-1、In和In+1，滤波操作可以表达为：
I’n＝f(In-1，In，In+1)＝0.25*In-1+0.5*In+0.25*In+1
在这一表达式中，I’n是在滤波操作之后的样本值。
应当注意，也可以针对上述滤波操作以自适应方式执行滤波器选择。例如，可以根据像素相对于边界的位置来选择不同滤波器。对于接近边界的像素位置可以使用较短的滤波器，而对于离边界较远的像素位置可以使用相对较长的滤波器。除此之外，也可以基于诸如为帧间编码区域导出的运动矢量、在帧内编码区域与帧间编码区域之间的像素值梯度等的其他因素选择不同滤波器。
在本发明的另一实施例中，利用在为帧内编码区域610和帧间编码区域620获得的预测之间的混合操作来平滑掉边界效应。根据这一实施例，先将整个宏块视为仅由来自基本层的帧间MB覆盖，并且可以相应地获得第一层间预测P1。对于帧内编码区域610，然后使用来自基本层的重建和上采样帧内MB来导出第二预测P2。最后，在第一预测与第二预测之间在帧内编码区域610中执行混合操作。可以将混合操作解释成表达如下的加权平均操作：
P(i，j)＝w(i，j)*P1(i，j)+(1-w(i，j))*P2(i，j)
在上述方程中，(i，j)代表像素在宏块内的位置坐标。可以针对在不同位置的像素，在混合操作中应用不同加权因子。例如，对于在帧内区域内部、但是与在帧内编码区域与帧间编码区域620之间的边界600接近的像素位置，可以使用相对高的加权因子w，从而将混合结果朝向P1加权更多。另一方面，对于在帧内区域内部、但是远离这一边界600的像素位置，可以使用低加权因子w，从而将混合结果朝向为帧内编码区域导出的P2加权更多。作为这一混合操作的结果，在帧内编码区域610与帧间编码区域620之间的边界600将被展开，从而有效地平滑边界600。
在本发明的又一实施例中，将帧内编码区域610的边界600舍入成最近编码块边界600(例如4×4块)边界600。然后单独地为帧内编码区域610和帧间编码区域620获得层间预测。在这一情况下，由于在帧内编码区域610与帧间编码区域620之间的边界600与编码块边界600对准的事实，所以可以经由对各编码块边界执行的环路滤波操作来平滑掉边界效应。
以关于上述第二实施例描述的方式相似的方式，先将整个宏块视为仅由来自基本层的帧间MB覆盖，并且可以相应地获得第一层间预测P1。对于帧内编码区域610，然后可以使用来自基本层的重建和上采样帧内MB来导出第二预测P2。
作为将帧内编码区域610舍入成最近编码块边界600的操作结果，帧内编码区域610根据编码块内由帧内编码区域覆盖的面积百分比可以收缩或者扩展。例如，在舍入操作之前，如果帧内编码区域610覆盖编码块面积的多于50％，则扩展该编码块内的帧内编码区域610，从而它覆盖整个编码块。在这一情况下，针对编码块的层间预测来自P2的扩展版本。否则，将在该编码块内收缩帧内编码区域610，从而在帧间编码区域620中覆盖整个编码块。在这一情况下，针对编码块的层间预测来自P1。为了扩展帧内编码区域610，可以使用本领域中已知的各种外推方法。这些外推方法可以包括线性或者非线性方法。应当注意，在确定帧内编码区域是应当收缩还是扩展时，50％仅用作为例子。在实践中，可以改变这一百分比的值。例如，也可以使用值0。在这一情况下，只要帧内编码区域覆盖某一编码块，它将被扩展以覆盖整个编码块，并且将使用P2作为针对这一编码块的层间预测。
在方法步骤的一般背景下描述本发明，在一个实施例中可以通过程序产品来实施这些方法步骤，该程序产品包括在联网环境中由计算机执行的计算机可执行指令如程序代码。一般而言，程序模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、关联数据结构和程序模块代表用于执行这里公开的方法步骤的程序代码的例子。这样的可执行指令或者关联数据结构的特定序列代表用于实施在这样的步骤中描述的功能的对应动作的例子。
可以用标准编程技术实现本发明的软件和网络实施，这些编程技术具有用以实现各种数据库搜索步骤、相关步骤、比较步骤和判决步骤的基于规则的逻辑和其他逻辑。也应当注意，如这里和在权利要求书中使用的用语“模块”旨在于涵盖使用一行或者多行软件代码的实施和/或硬件实施和/或用于接收人工输入的设备。
已经出于图示和描述的目的而呈现本发明实施例的前文描述。本意并非穷举本发明或者将本发明限制于公开的精确形式，并且修改和变化根据上述教导是可能的或者可以从本发明的实践中加以获悉。选择和描述实施例是为了说明本发明的原理及其实际应用以使本领域技术人员能够在各种实施例中以及通过与构思的特定用途相适应的各种修改来利用本发明。

Claims (18)

1.一种对代表可缩放位流内视频帧的至少一部分的增强层宏块进行编码的方法，所述方法包括：
基于覆盖所述增强层宏块的基本层宏块，导出虚拟基本层宏块；
通过根据第一组帧间编码基本层宏块基于所述虚拟基本层宏块执行残差预测，为所述增强层宏块的第一部分形成第一预测值；
通过根据第二组帧内编码基本层宏块导出重建和上采样值，为所述增强层宏块的第二部分形成第二预测值；以及
利用所述第一预测值和第二预测值的组合对所述增强层宏块进行编码，
其中至少所述第一组帧间编码基本层宏块覆盖所述增强层宏块的所述第一部分，至少所述第二组帧内编码基本层宏块覆盖所述增强层宏块的所述第二部分。
2.根据权利要求1所述的方法，其中根据所述第一组帧间编码基本层宏块和所述第二组帧内编码基本层宏块二者执行所述残差预测，从而为所述增强层宏块的所述第一部分和第二部分二者形成所述第一预测值。
3.根据权利要求2所述的方法，其中在为所述第一组帧间编码基本层宏块和所述第二组帧内编码基本层宏块二者执行所述残差预测之后，根据所述第二组帧内编码基本层宏块来导出所述重建和上采样值作为所述第二预测值，所述第二预测值仅针对所述增强层宏块的所述第二部分取代所述第一预测值。
4.根据权利要求1所述的方法，还包括：对在所述增强层宏块的所述第一部分与所述第二部分之间的边界执行滤波操作。
5.根据权利要求4所述的方法，其中将所有基本层宏块视为用于导出所述重建和上采样值的帧间编码基本层宏块以形成用于整个增强层宏块的第一预测值，以及所述滤波操作包括在所述第一预测值与所述第二预测值之间的混合操作。
6.根据权利要求5所述的方法，其中所述混合操作包括加权平均操作。
7.根据权利要求4所述的方法，还包括：在导出所述重建和上采样值之前，将所述第二组帧内编码基本层宏块的边界调整到在所述增强层的最近4×4编码块边界，从而所述导出的第二预测值覆盖这样的区域，即所述区域的边界与在所述增强层的最近4×4编码块边界对准。
8.一种编码装置，包括：
用于基于覆盖增强层宏块的基本层宏块，导出虚拟基本层宏块的装置；
用于通过根据第一组帧间编码基本层宏块基于所述虚拟基本层宏块执行残差预测，为增强层宏块的第一部分形成第一预测值的装置；
用于通过根据第二组帧内编码基本层宏块导出重建和上采样值，为所述增强层宏块的第二部分形成第二预测值的装置；以及
用于利用所述第一预测值和第二预测值的组合对所述增强层宏块进行编码的装置，
其中至少所述第一组帧间编码基本层宏块覆盖所述增强层宏块的所述第一部分，至少所述第二组帧内编码基本层宏块覆盖所述增强层宏块的所述第二部分。
9.根据权利要求8所述的编码装置，其中根据所述第一组帧间编码基本层宏块和第二组帧内编码基本层宏块二者执行所述残差预测，从而为所述增强层宏块的所述第一部分和第二部分二者形成所述第一预测值。
10.根据权利要求9所述的编码装置，其中在为所述第一组帧间编码基本层宏块和第二组帧内编码基本层宏块二者执行所述残差预测之后，根据所述第二组帧内编码基本层宏块来导出所述重建和上采样值作为所述第二预测值，所述第二预测值仅针对所述增强层宏块的所述第二部分取代所述第一预测值。
11.根据权利要求8所述的编码装置，其中所述编码装置还包括用于对在所述增强层宏块的所述第一部分与所述第二部分之间的边界执行滤波操作的装置。
12.根据权利要求11所述的编码装置，其中将所有基本层宏块视为用于导出所述重建和上采样值的帧间编码基本层宏块以形成用于整个增强层宏块的第一预测值，以及所述滤波操作包括在所述第一预测值与所述第二预测值之间的混合操作。
13.根据权利要求12所述的编码装置，其中所述混合操作包括加权平均操作。
14.根据权利要求11所述的编码装置，还包括：在导出所述重建和上采样值之前，将所述第二组帧内编码基本层宏块的边界调整到在所述增强层的最近4×4编码块边界，从而所述导出的第二预测值覆盖这样的区域，即所述区域的边界与在所述增强层的最近4×4编码块边界对准。
15.一种对视频内容进行解码的方法，包括：
接收可缩放位流，所述可缩放位流包括代表视频帧的至少一部分的增强层宏块；
基于覆盖所述增强层宏块的基本层宏块，导出虚拟基本层宏块；
通过根据第一组帧间编码基本层宏块基于所述虚拟基本层宏块执行残差预测，为所述增强层宏块的第一部分导出第一预测值；
为所述增强层宏块的第二部分导出根据第二组帧内编码基本层宏块的重建和上采样值而形成的第二预测值；以及
利用所述第一预测值和第二预测值的组合对所述增强层宏块进行解码，
其中至少所述第一组帧间编码基本层宏块覆盖所述增强层宏块的所述第一部分，而至少所述第二组帧内编码基本层宏块覆盖所述增强层宏块的所述第二部分。
16.根据权利要求15所述的方法，还包括：对在所述增强层宏块的所述第一部分和第二部分之间的边界执行滤波操作。
17.一种解码装置，包括：
用于接收可缩放位流的装置，所述可缩放位流包括代表视频帧的至少一部分的增强层宏块；
用于基于覆盖所述增强层宏块的基本层宏块，导出虚拟基本层宏块的装置；
用于通过根据第一组帧间编码基本层宏块基于所述虚拟基本层宏块执行残差预测为所述增强层宏块的第一部分导出第一预测值的装置；
用于为所述增强层宏块的第二部分导出根据第二组帧内编码基本层宏块的重建和上采样值而形成的第二预测值的装置；以及
用于利用所述第一预测值和第二预测值的组合对所述增强层宏块进行解码的装置，
其中至少所述第一组帧间编码基本层宏块覆盖所述增强层宏块的所述第一部分，至少所述第二组帧内编码基本层宏块覆盖所述增强层宏块的所述第二部分。
18.根据权利要求17所述的解码装置，其中在所述帧间编码基本层宏块与所述帧内编码基本层宏块之间的边界已经经过滤波操作。
CN200780031559.9A 2006-07-11 2007-07-10 可缩放视频编码方法和装置以及可缩放视频解码方法和装置 Active CN101755458B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US83036106P 2006-07-11 2006-07-11
US60/830,361 2006-07-11
US85204306P 2006-10-16 2006-10-16
US60/852,043 2006-10-16
PCT/IB2007/052757 WO2008007342A2 (en) 2006-07-11 2007-07-10 Scalable video coding

Publications (2)

Publication Number Publication Date
CN101755458A CN101755458A (zh) 2010-06-23
CN101755458B true CN101755458B (zh) 2016-02-10

Family

ID=38923656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780031559.9A Active CN101755458B (zh) 2006-07-11 2007-07-10 可缩放视频编码方法和装置以及可缩放视频解码方法和装置

Country Status (6)

Country Link
US (1) US8422555B2 (zh)
EP (1) EP2041979B1 (zh)
KR (1) KR101054460B1 (zh)
CN (1) CN101755458B (zh)
TW (1) TWI415469B (zh)
WO (1) WO2008007342A2 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US9532001B2 (en) * 2008-07-10 2016-12-27 Avaya Inc. Systems, methods, and media for providing selectable video using scalable video coding
KR101012980B1 (ko) * 2009-03-16 2011-02-10 한국방송공사 계층적 방송 장치 및 방법
CA2767617C (en) * 2009-07-10 2018-03-20 British Broadcasting Corporation Hybrid open-loop/closed-loop compression of pictures
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
JP5667364B2 (ja) * 2010-02-10 2015-02-12 株式会社メガチップス 画像符号化装置
EP2654305A2 (en) * 2010-12-13 2013-10-23 Electronics And Telecommunications Research Institute Signaling method for a stereoscopic video service and apparatus using the method
EP2723079A4 (en) * 2011-06-15 2015-03-04 Korea Electronics Telecomm MODULABLE VIDEO ENCODING AND DECODING METHOD AND DEVICE APPLYING THE SAME
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
WO2013137701A1 (ko) * 2012-03-16 2013-09-19 한국전자통신연구원 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치
US20150092844A1 (en) * 2012-03-16 2015-04-02 Electronics And Telecommunications Research Institute Intra-prediction method for multi-layer images and apparatus using same
US9392274B2 (en) 2012-03-22 2016-07-12 Qualcomm Incorporated Inter layer texture prediction for video coding
WO2013189205A1 (en) * 2012-06-22 2013-12-27 Mediatek Inc. Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
WO2014010943A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
US9843801B2 (en) 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
US20140072048A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
KR20150038249A (ko) * 2012-09-28 2015-04-08 인텔 코포레이션 계층간 화소 샘플 예측
SG11201500314WA (en) * 2012-09-28 2015-02-27 Intel Corp Inter-layer residual prediction
CN104813662A (zh) * 2012-09-28 2015-07-29 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
CN103716629B (zh) * 2012-09-29 2017-02-22 华为技术有限公司 用于图像处理的方法、装置、编码器和解码器
JP6763664B2 (ja) * 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US9357211B2 (en) * 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
WO2014107650A1 (en) * 2013-01-04 2014-07-10 Vidyo, Inc. Techniques for prediction of unavailable samples in inter-layer predicted video coding
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
US9743097B2 (en) 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
US9294776B2 (en) 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US9589363B2 (en) * 2014-03-25 2017-03-07 Intel Corporation Object tracking in encoded video streams
EP3371975B1 (en) * 2015-11-02 2021-01-06 Dolby Laboratories Licensing Corporation Piecewise-linear inter-layer predictor for high-dynamic range video coding
CN109996075B (zh) * 2017-12-29 2022-07-12 华为技术有限公司 一种图像解码方法及解码器
US11051010B2 (en) * 2018-07-18 2021-06-29 Mediatek Inc. Merge candidates with multiple hypothesis
EP3824631A4 (en) 2018-07-18 2022-07-06 HFI Innovation Inc. METHOD AND APPARATUS FOR MOTION COMPENSATION BANDWIDTH REDUCTION FOR VIDEO CODING SYSTEM USING MULTIHYPOTHEC
MX2021003854A (es) * 2018-10-01 2021-05-27 Op Solutions Llc Métodos y sistemas de partición exponencial.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
CN1764280A (zh) * 2004-10-21 2006-04-26 三星电子株式会社 基于多层在视频编码器中有效压缩运动矢量的方法和装置
WO2006044370A1 (en) * 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
US20060133485A1 (en) * 2004-12-06 2006-06-22 Park Seung W Method for encoding and decoding video signal

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
CN100459715C (zh) * 1997-07-31 2009-02-04 日本胜利株式会社 数字视频信号块间预测编码/解码装置及编码/解码方法
AU1928999A (en) * 1997-12-19 1999-07-12 Kenneth Rose Scalable predictive coding method and apparatus
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6999627B2 (en) * 2001-12-19 2006-02-14 Freescale Semiconductor, Inc. Deterministic prediction in an image processing system
WO2004012459A1 (ja) * 2002-07-26 2004-02-05 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法、動画像復号化方法および記録媒体
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
EP1735778A1 (en) * 2004-04-05 2006-12-27 Koninklijke Philips Electronics N.V. Stereo coding and decoding methods and apparatuses thereof
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
US7894530B2 (en) * 2004-05-07 2011-02-22 Broadcom Corporation Method and system for dynamic selection of transform size in a video decoder based on signal content
KR100703734B1 (ko) 2004-12-03 2007-04-05 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
AU2006201490B2 (en) * 2005-04-19 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for adaptively selecting context model for entropy coding
KR100891663B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR100772868B1 (ko) 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
WO2008004940A1 (en) 2006-07-07 2008-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Video data management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
WO2006044370A1 (en) * 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
CN1764280A (zh) * 2004-10-21 2006-04-26 三星电子株式会社 基于多层在视频编码器中有效压缩运动矢量的方法和装置
US20060133485A1 (en) * 2004-12-06 2006-06-22 Park Seung W Method for encoding and decoding video signal

Also Published As

Publication number Publication date
US8422555B2 (en) 2013-04-16
KR101054460B1 (ko) 2011-08-04
EP2041979B1 (en) 2015-12-09
WO2008007342A3 (en) 2008-06-19
TWI415469B (zh) 2013-11-11
CN101755458A (zh) 2010-06-23
KR20090037918A (ko) 2009-04-16
TW200820785A (en) 2008-05-01
EP2041979A4 (en) 2011-09-07
WO2008007342A2 (en) 2008-01-17
US20080056356A1 (en) 2008-03-06
EP2041979A2 (en) 2009-04-01

Similar Documents

Publication Publication Date Title
CN101755458B (zh) 可缩放视频编码方法和装置以及可缩放视频解码方法和装置
US11503318B2 (en) System and method for video coding
EP2106666B1 (en) Improved inter-layer prediction for extended spatial scalability in video coding
RU2409006C1 (ru) Маркировка виртуальных декодированных опорных изображений и список опорных изображений
RU2414092C2 (ru) Адаптация отбрасываемого низкого уровня при масштабируемом кодировании видеосигнала
US20070217502A1 (en) Switched filter up-sampling mechanism for scalable video coding
US20070160137A1 (en) Error resilient mode decision in scalable video coding
CN101702963A (zh) 用于为视频编码中的空间可伸缩性提供改进的残差预测的系统和方法
CN105027567A (zh) 用于视频编码和解码的方法和装置
JP2021517423A (ja) 双方向イントラ予測のシグナリング
KR101165212B1 (ko) 비디오 코딩에서 확장된 공간 스케일러빌러티를 위한 개선된 계층 예측

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
C41 Transfer of patent application or patent right or utility model
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20160118

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj