CN101356820A - 层间运动预测方法 - Google Patents

层间运动预测方法 Download PDF

Info

Publication number
CN101356820A
CN101356820A CNA2006800504543A CN200680050454A CN101356820A CN 101356820 A CN101356820 A CN 101356820A CN A2006800504543 A CNA2006800504543 A CN A2006800504543A CN 200680050454 A CN200680050454 A CN 200680050454A CN 101356820 A CN101356820 A CN 101356820A
Authority
CN
China
Prior art keywords
macro block
exercise data
macroblock
low
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800504543A
Other languages
English (en)
Other versions
CN101356820B (zh
Inventor
爱德华·弗朗索瓦
文森特·博特罗
帕特里克·洛佩兹
热罗姆·维耶龙
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101356820A publication Critical patent/CN101356820A/zh
Application granted granted Critical
Publication of CN101356820B publication Critical patent/CN101356820B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种方法，用于从与低分辨率图像的宏块相关联的运动数据中，产生用于至少一个高分辨率图像的宏块的至少一个运动预测值。所述方法包括以下步骤：定义由非交叠宏块组成的虚拟结构，称为虚拟基础层宏块；基于高分辨率宏块在高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在虚拟图像中识别用于高分辨率宏块的对应的虚拟基础层宏块；基于对应的低分辨率宏块对的场/帧模式，以及基于高分辨率宏块的帧/场模式，从与对应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据；对与对应的虚拟基础层宏块相关联的运动数据进行重采样，以产生至少一个运动预测值。

Description

层间运动预测方法
技术领域
本发明涉及用于从与低分辨率图像序列的像素块相关联的运动数据中，产生用于高分辨率图像序列的像素块的至少一个运动预测值的方法。
背景技术
现有的可缩放分级编码方法允许对信息进行分级编码，以便于其能够以不同的分辨率和/或质量等级而解码。因此，可缩放编码设备产生的数据流被分为多个层，基础层和一个或更多个增强层。这些设备允许唯一的数据流适用于可变的传送条件(带宽、误码率......)和接收设备的能力(CPU、再现设备特性......)。空间可缩放分级编码(或解码)方法对数据的称为基础层的第一部分进行编码(或解码)，基础层与低分辨率图像，也称为基础层图像(BL图像)相关；根据这个基础层对至少另一个称为增强层的数据部分进行编码(或解码)，增强层与高分辨率的图像，也称为增强层图像(EL图像)相关。与增强层相关的编码信息或编码数据可以通过称为层间预测或层间继承的方法从与基础层相关的编码信息中继承(即导出)。因此，高分辨率图像的每个宏块根据经典预测模式(例如，双向预测模式、直接预测模式、前向/后向预测......)进行时间预测，或根据层间预测模式进行预测。在前者中，与高分辨率宏块相关联的运动信息/数据(例如，与高分辨率图像的像素宏块/块相关联的分区模式(用于将所述宏块/块分离为多个子块)、与所述块相关联的编码模式、可能的运动矢量和与某些块相关联的允许参考用于预测所述块的图像的一个或更多个图像参考索引)必须被从与低分辨率图像的宏块相关联的运动数据中导出或继承，不论低或高分辨率图像的格式是例如逐行的还是隔行的。
发明内容
本发明涉及一种作为视频编码或解码处理过程的一部分的方法，所述方法用于从与低分辨率图像的宏块相关联的运动数据中产生用于至少一个高分辨率图像的宏块的至少一个运动预测值，所述低分辨率图像的宏块被称为低分辨率宏块，所述高分辨率图像的宏块被称为高分辨率宏块。所述方法包括以下步骤：
-定义由非交叠宏块组成的虚拟结构，称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；
-基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别用于所述高分辨率宏块的相应的虚拟基础层宏块；
-基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据；
-对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值。
若高分辨率宏块具有帧模式，且若相应的低分辨率宏块对具有场模式，则导出步骤包括以下步骤：
-以比例2对由顶宏块和底宏块组成的所述低分辨率宏块对进行垂直上采样，每个上采样后的宏块由上部分和下部分组成；以及
-将上采样后的顶宏块的上部分的运动数据和上采样后的底宏块的上部分的运动数据进行合并，并将上采样后的顶宏块的下部分的运动数据和上采样后的底宏块的下部分的运动数据进行合并。
若高分辨率宏块具有场模式，且若所述相应的低分辨率宏块对具有帧模式，则导出步骤包括如下步骤：以比例2对与所述相应的低分辨率宏块对相关联的运动数据进行垂直下采样。
本发明还涉及一种设备，用于对由宏块组成的高分辨率图像的序列以及低分辨率图像的序列进行编码，所述组成高分辨率图像的宏块被称为高分辨率宏块，所述低分辨率图像被称为低分辨率宏块。所述设备包括：
-第一编码装置，用于编码所述低分辨率图像，所述第一编码装置产生用于所述低分辨率图像的宏块的运动数据和基础层数据流；
-继承装置，用于从被称为低分辨率宏块的低分辨率图像的宏块的运动数据中导出用于被称为高分辨率宏块的至少一个高分辨率图像的宏块的运动数据；以及
-第二编码装置，用于使用所述导出的运动数据对所述高分辨率图像进行编码，所述第二编码装置产生增强层数据流。
所述继承装置包括：
-用于定义由非交叠宏块组成的虚拟结构的装置，所述非交叠宏块被称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；
-用于基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别用于所述高分辨率宏块的相应的虚拟基础层宏块的装置；
-用于基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据的装置；以及
-用于对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值的装置。
根据具体实施例，第一编码装置是MPEG-4AVC视频编码器。
本发明还涉及一种解码设备，用于至少对编码的高分辨率图像序列进行解码，所述编码的图像以数据流的形式出现，每个图像被分为非交叠的宏块。所述设备包括：
-第一解码装置，用于至少对所述数据流的第一部分进行解码，以产生低分辨率图像和用于所述低分辨率图像的宏块的运动数据；
-继承装置，用于从低分辨率图像的宏块的运动数据中导出用于至少一个高分辨率图像的宏块的运动数据；以及
-第二解码装置，用于使用所述导出的运动数据至少对所述数据流的第二部分进行解码，以产生高分辨率图像。
所述继承装置包括：
-用于定义由非交叠宏块组成的虚拟结构的装置，所述非交叠宏块被称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；
-用于基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别用于所述高分辨率宏块的相应的虚拟基础层宏块的装置；
-用于基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据的装置；以及
-用于对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值的装置。
根据具体实施例，第一解码装置是MPEG-4AVC视频解码器。
附图说明
通过以下一些实施例的描述，本发明的其他特征和优点是显而易见的，以下的描述结合附图进行，其中：
-图1描述了一对垂直放置的宏块，以帧模式(图的左侧部分)或场模式(图的右侧部分)进行编码；
-图2描述了根据本发明的方法的流程图；
-图3示出了从基础层TOP和BOTTOM宏块的隔行对中产生虚拟基础层TOP和BOTTOM场宏块的处理过程；
-图4示出了UP和DOWN逐行宏块垂直下采样的处理过程；
-图5示出了TOP和BOTTOM宏块合并的处理过程；
-图6示出了隔行宏块对合并的处理过程；
-图7示出了逐行BL宏块(垂直)下采样的处理过程；
-图8描述了BL逐行宏块清除过程的框图；
-图9示出了4×4和8×4子分区合并的处理过程；
-图10描述了下采样宏块导出处理过程的框图；
-图11示出了不同的垂直下采样的情况；
-图12示出了隔行BL TOP和BOTTOM宏块合并的处理过程；
-图13示出了在场图像中的TOP和BOTTOM宏块；
-图14示出了在帧图像(MBAFF)中的TOP和BOTTOM宏块；
-图15示出了隔行TOP和BOTTOM宏块合并过程的两个步骤；
-图16描述了上采样宏块内容合并处理过程的框图；
-图17描述了虚拟基础层结构；
-图18描述了根据本发明的给定的EL MB的层间预测处理过程；
-图19描述了根据本发明的编码设备；以及
-图20描述了根据本发明的解码设备。
具体实施方式
当前由JVT(MPEG&ITU)在ISO/IEC MPEG&ITU-T VCEG中题为《Scalable Video Coding-Joint Draft 4》的文档JVT-Q202中定义的SVC标准(以下称为JSVM4)中，只考虑了针对逐行素材的空间可缩放性。在两个(或更多)连续空间层(基础层和增强层)之间的运动层间预测只处理了逐行视频序列的情况。本发明提出扩展层间预测处理过程，以支持隔行/逐行可缩放性的任意组合。
根据许多视频编码标准，隔行图像包括与在不同时刻捕捉的底场进行隔行交织的顶场，隔行图像可以用两个场图像(场图像模式)进行编码，即对图像的两个场分别编码，或用帧图像(帧图像模式)进行编码，即图像可以被编码为单个帧。在题为《Text of 14496-2ThirdEdition》的文档ISO/IEC JTC 1/SC 29/WG 11N5546中描述的MPEG-4AVC允许独立地对整个图像或独立地对每两个垂直宏块对做出决定。当决定在图像级做出时，称为PAFF编码(PAFF代表Image AdaptativeFrame/Field(图像自适应帧/场))，当决定在宏块对级做出时，称为MBAFF(代表Macroblock Adaptative Frame/Field(宏块自适应帧/场))。更准确地，根据MPEG-4AVC，当隔行图像被编码为帧图像且允许MBAFF时，每一对垂直宏块MB可以隔行，即场模式(图1的右侧部分)，或逐行，即帧模式(图1的左侧部分)进行编码。在图1中，灰色线表示图像的偶数线，与奇数线，即图像的白色线隔行交织。当垂直宏块对处于场模式时，对中的每个MB被称为场宏块。当垂直宏块对处于帧模式时，对中的每个MB被称为帧宏块。
根据本发明的方法允许从与低分辨率图像的一些宏块(也称为基础层宏块，标记为BL MB)相关联的运动数据中，产生用于高分辨率图像的宏块(也称为增强层宏块，标记为EL MB)的至少一个层间运动预测值，不论高和低分辨率序列的格式如何(隔行或逐行)。与高分辨率图像的宏块相关联的层间运动预测值，更简单地称为运动预测值，是运动数据(例如分区/子分区类型、可能存在的允许识别参考图像的参考索引、运动矢量......)与之相关联的宏块。根据MPEG-4AVC，对图像序列中的每个图像，参考索引从两个参考列表(列表0以及列表1)中选择，定义如下：
-每个参考索引与给定的参考图像编号相关联；
-对每个列表，一些参考索引被标记为无效；以及
-每个8×8块，即8乘以8像素大小的块，可以用于每个列表作为单个参考索引。
无效的参考索引对应于在解码处理过程中还不可用(未解码)的参考场或帧。
使用如JSVM4文档中描述的ESS(代表Extended Spatial Scalability(扩展空间可缩放性))方法之类的运动下采样方法产生运动预测值。若所考虑的高分辨率图像是隔行的，则两个层间预测模式可潜在地用于编码或解码每个EL宏块：
1.层间隔行(IL_I)模式：对应于TOP或BOTTOM场数据的宏块，即场宏块；
2.层间逐行(IL_P)模式：对应于FRAME数据的宏块，即帧宏块。
本发明提出了用于产生这样的层间宏块预测值的方法。为了这个目的，本发明在于，在步骤190根据BL MB定义“虚拟基础层”(VBL)宏块，而不是深入修改JSVM4中描述的方法。“虚拟基础层”(VBL)宏块是运动数据与之相关联的结构。由于多数与隔行相关的问题在VBL数据导出过程中报告，使用VBL结构避免或至少明显限制了JSVM4上采样处理过程的修改。事实上，“虚拟基础层”(VBL)宏块确保了BL和EL宏块之间的兼容性，有利于JSVM4中定义的层间预测直接再用于逐行图像。BL宏块首先被转换为全部具有与EL宏块场/帧模式兼容的场/帧模式的VBL宏块，而不是直接对BL宏块实施重采样处理过程。实际中，这种方法要求使用以下结构：VBL帧(具有与BL图像相同的尺寸)、形成与BL图像相同尺寸的VBL场的VBL TOP场和VBL BOTTOM场(具有与BL图像相同的宽度，和BL图像一半的高度)，如图17所示。每个VBL结构被分为运动数据与其相关联的称为VBL帧MB、VBL TOP场MB和VBL BOTTOM场MB的宏块。接着，使用VBLMB替代原始BL MB，应用JSVM4中描述的经典ESS下采样方法，用于从BL MB中导出用于高分辨率图像MB的运动信息。层间运动预测方法可以是用于编码图像序列的处理过程的部分和用于解码图像序列的处理过程的部分。在编码处理过程中，计算所有潜在的层间运动预测值。接着，编码处理过程使用层间预测模式或经典预测模式选择编码当前的EL MB。若编码处理过程选择了层间预测模式，则解码处理过程只计算相应的层间预测值。参照图2，用于当前EL MB(其层间模式IL_mode是IL_P，即帧模式，或IL_I，即场模式)的层间运动预测处理过程实现以下步骤：
-识别200相应的VBL宏块{c0，c1，...cN}；
-对每个相应的位于(xi，yi)的VBL宏块ci，i＝0...N，根据层间预测模式，从与BL宏块相关联的运动数据中导出210相关联的运动数据；以及
-使用JSVM4中描述的ESS处理过程，从各个VBL MB导出220层间运动预测值，其中在垂直方向比例等于henh/hbase，在水平方向比例等于wenh/wbase，其中henh和wenh是HL图片的高度和宽度，hbase和wbase是BL图片的高度和宽度。
在解码侧，层间模式IL_mode从比特流中导出。在编码侧，该模式通过编码模式决定方法导出。该方法例如基于后验准则，即它选择使失真和编码成本的线性组合最小化的模式。
图18作为示例，示出在低分辨率图像为隔行并在MBAFF模式下编码为帧图像，以及在高分辨率图像为隔行并在MBAFF模式下编码为帧图像的情况下，层间运动预测处理过程。给定EL宏块(填以黑色，本示例中视为帧宏块)，首先识别其对应的VBL宏块。相应的BL宏块可以具有与EL宏块不同的帧/场模式。例如，在图18中，右侧的BL宏块对由两个场宏块组成，而EL宏块处于帧模式。在这种情况下，转换与BL宏块相关联的运动数据。因此，被转换的运动信息与具有和EL宏块相同的场/帧模式的VBL宏块相关联。最终，使用JSVM4中描述的‘标准’逐行重采样处理过程，从VBL宏块向EL宏块进行层间预测。
以下情况需要帧-场宏块转换。
情况1.BL和EL帧使用MBAFF模式编码，EL MB是场编码而相应的BL MB是帧编码。这需要帧至场的转换。
情况2.EL MB是帧编码，BL是帧图像且相应的BL MB是场编码。在这种情况下，需要场至帧的转换。
情况3.BL图像是逐行帧；EL MB是在帧图像中场编码或属于场图像；而EL场高度He/2低于BL帧高度Hb。在这种情况下，需要帧至场的转换。
步骤200在于识别相应的VBL宏块{c0，c1，...cN}。若EL MB模式是IL_P，即使用VBL帧MB，则相应的VBL MB将使用以下处理过程来确定：
xs＝[x*wbase/wenh]/16
ys＝[y*hbase/henh]/16
xe＝[(x+15)*wbase/wenh]/16
ye＝[(y+15)*hbase/henh]/16
其中(x，y)是所考虑的EL MB的左上采样位置，(wbase，hbase)是基础图像尺寸，(wenh，henh)是增强图像尺寸。相应的VBL宏块{c0，c1，...cN}位于由左上位置(xs，ys)和右下位置(xe，ye)所界定的窗口之内。
若EL MB模式是IL_I，即使用VBL TOP或BOTTOM场MB，则相应的VBL MB将使用以下处理过程来确定：
xs＝[(x-x0)*wbase/wenh]/16
ys＝[(y-y0)*(hbase/2)/henh]/16
xe＝[(x+15-x0)*wbase/wenh]/16
ye＝[(y+15-y0)*(hbase/2)/henh]/16
相应的VBL宏块{c0，c1，...cN}位于由左上位置(xs，ys)和右下位置(xe，ye)所界定的窗口之内。
步骤210在于产生产生VBL MB，更具体地，在于导出与VBL MB相关联的运动数据。根据BL图像编码模式，VBL TOP MB的产生如下：
-若BL图像被编码为帧图像，则若位于(xi，2*yi)的BL MB是逐行的，VBL TOP MB ci是包括位于(xi，2*yi+1)的BL MB和位于(xi，2*yi)的BL MB的MB对的垂直下采样版本。随后定义新的下采样处理过程，用于导出如图3所示的逐行宏块对的垂直下采样宏块版本，否则，若位于(xi，2*yi)的BL MB是隔行的，与VBL TOP MB ci相关联的运动数据是与位于(xi，2*yi)的TOP BL MB相关联的运动数据的拷贝。
-若BL图像被编码为场图像，与VBL TOP MB ci相关联的运动数据是与位于(xi，yi)的TOP BL MB相关联的运动数据的拷贝。
根据BL图像编码模式，VBL BOTTOM MB的产生如下：
-若BL图像被编码为帧图像，则若位于(xi，2*yi+1)的BL MB是逐行的，VBL BOTTOM MB ci是包括位于(xi，2*yi+1)的BL MB和位于(xi，2*yi)的BL MB的MB对的垂直下采样版本。使用如图4所示的新的下采样处理过程产生，否则，若位于(xi，2*yi+1)的BL MB是隔行的，与VBL BOTTOM MB ci相关联的运动数据是与位于(xi，2*yi+1)的BOTTOM BL MB相关联的运动数据的拷贝。
-若BL图像被编码为场图像，与VBL BOTTOM MB ci相关联的运动数据是与位于(xi，yi)的BOTTOM BL MB相关联的运动数据的拷贝。
根据BL图像编码模式，VBL帧MB的产生如下：
-若BL图像被编码为帧图像，如图5所不，若位于(xi，yi)的BL MB是逐行的，则与VBL帧MB ci相关联的运动数据是与位于(xi，yi)的BLMB相关联的运动数据的直接拷贝，否则，若位于(xi，yi)的BL MB是隔行的，VBL帧MB ci是包括位于(xi，yi)的BL MB和位于(xi，yi+1-2*(yi％2))的BL MB的MB对的合并版本。随后定义新的合并处理过程，其允许把2个宏块合并为逐行宏块。
在这种情况下，MB对中的VBL帧MB UP和DOWN是相同的，因为它们是从相同的TOP和BOTTOM BL MB中产生的。
-若BL图像被编码为场图像，如图6所示，VBL帧MB ci是位于(xi，yi/2)的BL TOP场MB和位于(xi，yi/2)的BL BOTTOM场MB的合并版本。这个VBL帧MB使用新的合并处理过程而产生。
用于导出逐行宏块对的垂直下采样宏块版本的新的下采样处理过程应用于位于(mbX，2*mbY)和(mbX，2*mbY+1)的、以逐行格式编码的BL宏块对(UP和DOWN)。其在于比例为2的垂直下采样(图7中描述了一个示例)。该处理过程输出位于(mbX，mbY)的下采样宏块。
如图7所示，两个BL UP和DOWN宏块中的每一个在垂直下采样后产生16×8分区。因此，基本上，垂直下采样宏块被分为两个16×8分区。垂直下采样处理过程可产生MPEG-4AVC标准所禁止的配置，如：
-8×8子分区内不同的参考索引(例如，若一个BL宏块被分为4个8×8块且两个相邻的上和下8×8块具有不同的参考索引，则它一旦被下采样，将产生被分为两个具有不同参考索引的8×4块的8×8块)；或
-高为2个像素的子分区(例如，若输入的8×8块被子分区为8×4，则它一旦被下采样，将产生8×2大小的子分区)。
因此，首先对BL UP和DOWN MB应用清除处理过程，以避免这样的配置。首先清除逐行BL宏块对的每一个宏块，以避免具有无效运动矢量的分区。图8所示的用于一个标记为MBBL的BL宏块的处理过程连续地应用于该宏块对的UP和DOWN MB。它基本实现了以下三个步骤：
-移除800无效分区；
-参考索引均化(homogenization)810；以及
-合并8204×4和4×8子分区。
步骤800在于移除无效分区，即使用无效参考索引的分区，对应于在解码处理过程中还不可用的参考场和帧的分区。
若MBBL的模式不是INTRA，则执行以下处理过程：
对每个列表(0和1)执行以下处理过程：
-首先，把具有无效参考索引的分区归类为INVALID，并把其他分区归类为VALID。
-接着，若至少一个分区是VALID，则对于每个被归类为INVALD的分区，执行无效分区的移除。例如，把未归类为INVALD的宏块的相邻分区的子分区、运动矢量和参考索引拷贝给INVALD分区。相邻分区可以按以下顺序扫描：水平、垂直、对角。接着把该分区归类为VALID。
若对于两个列表，所有的分区都为INVALD，则把MBBL的模式设为INVALD。
若MBBL的模式是INTRA，则不做任何处理。
步骤810在于对MBBL的分区内的参考索引进行均化。它只在MBBL的模式未被设为INVALD时实施。
-若BL宏块分区等于16×8或8×8，对宏块的每个上分区实施以下处理过程：
-若至少对于一个列表(0或1)，宏块的下分区具有与其上分区不同的参考索引，则对每个列表(0和1)实施以下处理过程：
-识别使用最小参考索引rl的上或下分区(标记为refPart)。
-另一分区被强制具有与refPart相同的参考索引rl、子分区(若适用)和运动矢量。
可能地，在步骤815，实施分区合并处理过程。若分区没有被子分区，且若对于每个列表其参考索引和运动矢量是相同的，则把分区合并为单个分区。宏块模式修改如下：
-16×8和8×16转化为16×16。
-8×8按以下转化：
-若左8×8块被合并在一起且右8×8块被合并在一起，则转化为8×16；
-若上8×8块被合并在一起且下8×8块被合并在一起，则转化为16×8；
-若4个8×8块被合并在一起，则转化为16×16。
步骤815是可选的。
步骤820在于合并4×4和8×4子分区。它只在MBBL的模式未被设为INVALD时实施。若MBBL的模式不为INVALD也不为INTRA且宏块分区等于8×8，则对宏块中具有等于8×4或4×4的子分区的每个8×8分区实施子分区合并。8×4子分区合并为8×8子分区，4×4子分区合并为4×8子分区，如图9所示。对每个合并区域，对每个列表(0和1)，合并区域运动矢量被设为两个待合并的部分的平均运动矢量。
在清除处理过程之后，产生名为MBD的下采样宏块。它具有两个相应的BL清除宏块，BMbUp和BMbDown。图10描述了被实施用于产生下采样宏块MBD的处理过程的流程图。
若BMbUp和BmbDown为INTRA，则MBD的模式被设为INTRA。
否则，若BMbUp和BMbDown是INTRA或INVALID(这里考虑三种情况，BMbUp是INTRA，BMbDown是INVALID；或BMbUp是INVALID，BMbDown是INTRA；或两个宏块BMbUp和BMbDown都是INVALID)，MBD的模式被设为INVALID。
否则，实施以下处理过程：
在步骤1000，MBD被分为两个16×8部分(以下标记为16×8PartUp和16×8PartDown)。每个16×8部分具有一个相应的BL帧宏块(16×8PartUp对应于BMbUp，16×8PartDown对应于BMbDown)。
在步骤1200，使用以下处理过程(如图11所示)建立每个16×8部分16×8PartZ(Z由Up或Down替代)：
-若BMbZ是INVALID或INTRA，把16×8PartZ归类为NEUTRAL。
-否则，若BMbZ分区是16×16，则16×8PartZ分区是16×8(图11a)。对于每个列表，16×8PartZ的参考索引是BMbZ的参考索引。
-否则，16×8PartZ分区是8×8。16×8PartZ的两个8×8块接着被子分区如下：
-若BMbZ分区是16×8，对两个块，则针对两个块的子分区是8×4(图11b)。
-否则，若BMbZ分区是8×16，则对两个块的子分区是8×8(图11c)。
-否则，若BMbZ分区是8×8，用左和右替代W，实施以下处理过程(图11d中的示例)：
-若至少一个W BMbZ 8×8块被分为4×8，则W 8×8块子分区是4×4。
-否则，W 8×8块子分区是8×4。
-每个导出的16×8PartZ的分区/子分区，继承其参考索引和运动矢量如下：
-识别所考虑的分区/子分区的左上块坐标(b4X，b4Y)。
-把坐标为(b4X，b4Y/2)的BMbZ的4×4块的参考索引和运动矢量拷贝给所考虑的分区/子分区。
步骤1200在于若存在NEUTRAL分区则将其移除。若两个16×8部分中的一个被归类为NEUTRAL，其内容(分区/子分区、参考索引和运动矢量)从另一16×8部分的内容拷贝得到。
步骤1300在于导出MBD分区如下：
-若16×8PartUp和16×8PartDown分区是16×8，则MBD分区是16×8。
-否则，MBD分区被设为8×8。
可能地，在步骤1400，实施步骤815的分区合并处理过程。步骤1400是可选的。
对两个以隔行格式编码的BL宏块实施用于将TOP宏块(即来自BLTOP场)和BOTTOM宏块(即来自BL BOTTOM场)合并为逐行宏块对(UP和DOWN)的新的合并处理过程。所考虑的第一个宏块是TOP宏块BMbTop。第二个宏块是BOTTOM宏块BMbBot。如图12所示，该处理过程的输出是一对逐行宏块UP和DOWN。BMbTop和BMbBot定义如下：
-若BL图像被编码为场图像，BMbTop是位于(mbX，mbY)的BLTOP场宏块，BMbBot是位于(mbX，mbY)的BL BOTTOM场宏块，如图13所示；
-否则(BL图像被编码为帧图像)，BMbTop和BMbBot是位于(mbX，2*mbY)和(mbX，2*mbY+1)的BL帧宏块——这只适用于BL帧宏块对以隔行模式编码的情况，如图14所示。
参照图15，该处理过程包括以下两个步骤：
-步骤1500，用于以比例2垂直上采样BMbTop和BMbBot，该步骤产生两个上采样TOP宏块，即MbTopUp和MbTopDown，和两个上采样BOTTOM宏块，即MbBottomUp和MbBottomDown。
-步骤1510，用于将上采样宏块MbTopUp和MbBottomUp合并为一个宏块MbUp，将上采样宏块MbTopDown和MbBottomDown合并为一个宏块MbDown。
步骤1500在于在垂直方向上以比例2进行宏块上采样。该步骤在于在水平方向上以比例1和在垂直方向上以比例2直接应用JSVM4(JointVideo Team(JVT)of ISO/IEC MPEG&ITU-T VCEG JVT-Q202，“Scalable Video Coding-Joint Draft 4”，J.Reichel，H.Schwarz，M.Wien)中所定义的ESS上采样处理过程。
步骤1510应用于两个宏块MbIn1和MbIn2并产生一个合并的宏块MbOut。参照图15，若宏块MbIn1和MbIn2分别与MbTopUp和MbBotUp相关，则MbOut与MbUp相关，若宏块MbIn1和MbIn2分别与MbTopDown和MbBotDown相关，则MbOut与MbDown相关。
根据第一实施例，MbIn1所关联的运动数据与MbOut相关联。
-若MbOut不是INTRA，通过先前所述的无效分区移除处理过程移除无效分区；
-若MbOut被归类为INVALID，MbIn2所关联的运动数据与MbOut相关联。然后，应用以下处理过程：
-若MbOut不是INTRA，通过先前所述的无效分区移除处理过程移除无效分区；
根据优选实施例，参照图16，步骤1510在于实施以下子步骤：
在子步骤1600，MbIn1所关联的运动数据与MbOut相关联。
接着，若MbOut不是INTRA，实施以下处理过程：
-对每个列表(0和1)实施以下处理过程：
-在子步骤1610，把具有无效参考索引的分区归类为INVALID，并把其他分区归类为VALID。INVALID分区处理如下：
-在子步骤1620，MbOut分区被强制为8×8。INVALID分区被分为8×8分区。MbOut模式被强制为8×8。对每个8×8分区，实施以下处理过程：
-在子步骤1630，若MbIn2中相应的8×8块使用有效参考索引，该MbIn28×8块的子分区(若存在)、参考索引和运动矢量被拷贝到所考虑的MbOut 8×8分区。这个分区被归类为VALID。否则，MbOut 8×8分区被归类为INVALID。
-若至少一个MbOut 8×8分区是VALID，则在子步骤1640，对每个被归类为INVALID的分区，实现无效分区的移除。例如，把未被归类为INVALID的宏块的相邻分区的子分区、运动矢量和参考索引拷贝给INVALID分区。相邻分区可以按以下顺序扫描：水平、垂直、对角。接着把该分区归类为VALID。
若对于两个列表，所有的分区都是INVALID，则把模式设为INVALID。
在子步骤1650，可通过实施步骤815的分区合并处理过程来合并MbOut分区。子步骤1650是可选的。
在图2、8、10和16中，所表现的框是纯功能实体，不必对应于物理分离实体。即它们可以用软件的形式开发，或在一个或多个集成电路中实现。
用于产生层间运动预测值的方法可以用于编码视频信号的处理过程和JSVM4中描述的编码视频信号的处理过程。
本发明还涉及图19所示的编码设备8。编码设备8包括用于编码低分辨率图像的第一编码模块80。模块80产生用于所述低分辨率图像的基础层数据流和运动数据。优选地，模块80适于产生与MPEG4 AVC标准兼容的基础层数据流。编码设备8包括继承装置82，用于从第一编码模块80产生的低分辨率图像的运动数据中导出高分辨率图像的运动数据。继承装置82适于执行根据本发明的方法的步骤200至220。编码设备8包括用于编码高分辨率图像的第二编码模块81。第二编码模块81使用继承装置82导出的运动数据以编码高分辨率图像。这样，第二编码模块81产生增强层数据流。优选地，编码设备8还包括模块83(例如复用器)，用于将第一编码模块80和第二编码模块81分别提供的基础层数据流和增强层数据流进行合并，以产生单个数据流。因此，若EL MB由第二编码模块81使用层间预测模式进行编码，由于与所述EL MB相关的运动数据是从与模块80提供的BL MB相关的运动数据中导出的，因此与所述EL MB相关的运动数据不被编码到数据流中(或只是部分编码，由于可能编码四分之一像素运动细化)。这可以节省一些比特。另一方面，若使用经典模式(例如双向模式)编码EL MB，则与所述EL MB相关的运动数据被编码到数据流中。
本发明还涉及图20所示的解码设备9，用于从例如编码设备8产生的数据流解码高分辨率图像。解码设备9包括第一解码模块91，用于解码数据流的第一部分，称为基础层数据流，以便导出低分辨率图像和用于所述低分辨率图像的运动数据。优选地，模块91适于解码与MPEG4AVC标准兼容的数据流。解码设备9包括继承装置82，用于从第一解码模块91产生的低分辨率图像的运动数据导出高分辨率图像的运动数据。继承装置82适于执行根据本发明的方法的步骤200至220。解码设备9包括第二解码模块92，用于解码数据流的第二部分，称为增强层数据流。第二解码模块92使用继承装置82导出的运动数据以解码数据流的第二部分。这样，第二解码模块92产生高分辨率图像。有利地，解码设备9还包括提取模块90(例如解复用器)，用于从所接收的数据流中提取基础层数据流和增强层数据流。
根据另一实施例，解码设备接收两个数据流：基础层数据流和增强层数据流。在这种情况下，设备9不包括提取模块90。

Claims (7)

1.一种作为可缩放视频编码或解码处理过程的一部分的方法，所述方法用于从与低分辨率图像的宏块相关联的运动数据中产生用于至少一个高分辨率图像的宏块的至少一个运动预测值，所述低分辨率图像的宏块被称为低分辨率宏块，所述高分辨率图像的宏块被称为高分辨率宏块，所述方法的特征在于包括以下步骤：
-定义(190)由非交叠宏块组成的虚拟结构，称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；
-基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别(200)用于所述高分辨率宏块的相应的虚拟基础层宏块；
-向每个识别的虚拟基础层宏块关联(210)运动数据，所述运动数据基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出；
-对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样(220)，以产生所述至少一个运动预测值。
2.如权利要求1所述的方法，其中，若所述高分辨率宏块具有帧模式，且若所述相应的低分辨率宏块对具有场模式，则导出步骤(210)包括以下步骤：
-以比例2对由顶宏块和底宏块组成的所述低分辨率宏块对进行垂直上采样(1500)，每个上采样后的宏块由上部分和下部分组成；以及
-将上采样后的顶宏块的上部分的运动数据和上采样后的底宏块的上部分的运动数据进行合并(1510)，并将上采样后的顶宏块的下部分的运动数据和上采样后的底宏块的下部分的运动数据进行合并(1510)。
3.如权利要求1或2所述的方法，其中，若所述高分辨率宏块具有场模式，且若所述相应的低分辨率宏块对具有帧模式，则导出步骤(210)包括如下步骤：以比例2对与所述相应的低分辨率宏块对相关联的运动数据进行垂直下采样。
4.一种编码设备(8)，用于对由宏块组成的高分辨率图像的序列以及低分辨率图像的序列进行编码，所述组成高分辨率图像的宏块被称为高分辨率宏块，所述低分辨率图像被称为低分辨率宏块，所述设备包括：
-第一编码装置(80)，用于编码所述低分辨率图像，所述第一编码装置产生用于所述低分辨率图像的宏块的运动数据和基础层数据流；
-继承装置(82)，用于从被称为低分辨率宏块的低分辨率图像的宏块的运动数据中导出用于被称为高分辨率宏块的至少一个高分辨率图像的宏块的运动数据；以及
-第二编码装置(81)，用于使用所述导出的运动数据对所述高分辨率图像进行编码，所述第二编码装置产生增强层数据流；
其特征在于，所述继承装置(82)包括：
-用于定义由非交叠宏块组成的虚拟结构的装置，所述非交叠宏块被称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；
-用于基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别用于所述高分辨率宏块的相应的虚拟基础层宏块的装置；
-用于基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据的装置；以及
-用于对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值的装置。
5.如权利要求4所述的设备，其中，所述第一编码装置是MPEG-4AVC视频编码器。
6.一种解码设备(9)，用于至少对编码的高分辨率图像序列进行解码，所述编码的图像以数据流的形式出现，每个图像被分为非交叠的宏块，所述设备包括：
-第一解码装置(91)，用于至少对所述数据流的第一部分进行解码，以产生低分辨率图像和用于所述低分辨率图像的宏块的运动数据；
-继承装置(82)，用于从低分辨率图像的宏块的运动数据中导出用于至少一个高分辨率图像的宏块的运动数据；以及
-第二解码装置(92)，用于使用所述导出的运动数据至少对所述数据流的第二部分进行解码，以产生高分辨率图像；
其特征在于，所述继承装置(82)包括：
-用于定义由非交叠宏块组成的虚拟结构的装置，所述非交叠宏块被称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；
-用于基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别用于所述高分辨率宏块的相应的虚拟基础层宏块的装置；
-用于基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据的装置；以及
-用于对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值的装置。
7.如权利要求6所述的设备，其中，所述第一解码装置是MPEG-4AVC视频解码器。
CN2006800504543A 2006-01-05 2006-12-18 层间运动预测方法 Expired - Fee Related CN101356820B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06290049.3 2006-01-05
EP06290049 2006-01-05
PCT/EP2006/069852 WO2007077116A1 (en) 2006-01-05 2006-12-18 Inter-layer motion prediction method

Publications (2)

Publication Number Publication Date
CN101356820A true CN101356820A (zh) 2009-01-28
CN101356820B CN101356820B (zh) 2011-01-26

Family

ID=37772824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800504543A Expired - Fee Related CN101356820B (zh) 2006-01-05 2006-12-18 层间运动预测方法

Country Status (5)

Country Link
US (1) US8446956B2 (zh)
EP (1) EP1969853A1 (zh)
JP (1) JP5112332B2 (zh)
CN (1) CN101356820B (zh)
WO (1) WO2007077116A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977315A (zh) * 2010-10-18 2011-02-16 无锡中星微电子有限公司 一种跨层预测编码方法
CN102088605A (zh) * 2011-02-23 2011-06-08 浙江大学 可伸缩视频编码快速层间预测选择方法
CN104412593A (zh) * 2012-07-03 2015-03-11 夏普株式会社 图像解码装置以及图像编码装置
CN105340276A (zh) * 2013-07-02 2016-02-17 高通股份有限公司 对多层视频译码的层间预测信令的优化
CN103716631B (zh) * 2012-09-29 2017-04-05 华为技术有限公司 用于图像处理的方法、装置、编码器和解码器
CN107632710A (zh) * 2013-03-15 2018-01-26 奇跃公司 显示系统和方法
CN108605140A (zh) * 2016-05-16 2018-09-28 谷歌有限责任公司 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
US11545185B1 (en) 2016-05-10 2023-01-03 Google Llc Method and apparatus for frame accurate high resolution video editing in cloud using live video streams
US11589085B2 (en) 2016-05-10 2023-02-21 Google Llc Method and apparatus for a virtual online video channel
US11647237B1 (en) 2016-05-09 2023-05-09 Google Llc Method and apparatus for secure video manifest/playlist generation and playback
US11785268B1 (en) 2016-05-10 2023-10-10 Google Llc System for managing video playback using a server generated manifest/playlist
US11877017B2 (en) 2016-05-10 2024-01-16 Google Llc System for measuring video playback events using a server generated manifest/playlist

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007100187A1 (en) 2006-01-09 2007-09-07 Lg Electronics Inc. Inter-layer prediction method for video signal
CN100584026C (zh) * 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
US20120063695A1 (en) * 2008-10-15 2012-03-15 Dajun Wu Methods for encoding a digital picture, encoders, and computer program products
US20100316129A1 (en) * 2009-03-27 2010-12-16 Vixs Systems, Inc. Scaled motion search section with downscaling filter and method for use therewith
US20110150074A1 (en) * 2009-12-23 2011-06-23 General Instrument Corporation Two-pass encoder
JP5856143B2 (ja) 2010-04-13 2016-02-09 ジーイー ビデオ コンプレッション エルエルシー 細分割を使用した２次元情報信号の空間的なサンプリングの符号化
KR101447796B1 (ko) 2010-04-13 2014-10-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 평면 간 예측
DK2559246T3 (en) 2010-04-13 2016-09-19 Ge Video Compression Llc Fusion of sample areas
PT3301648T (pt) 2010-04-13 2020-04-20 Ge Video Compression Llc Herança em matriz de amostras em subdivisão multitree
SI2924995T1 (sl) * 2010-07-09 2018-10-30 Samsung Electronics Co., Ltd. Postopek za dekodiranje videa z uporabo združevanja blokov
SG187094A1 (en) * 2010-07-20 2013-03-28 Ntt Docomo Inc Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
DE112011103496T5 (de) * 2010-11-15 2013-08-29 Lg Electronics Inc. Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
TWI523497B (zh) * 2011-11-10 2016-02-21 Sony Corp Image processing apparatus and method
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
US10863170B2 (en) * 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
EP2966866A4 (en) 2013-04-05 2016-10-26 Samsung Electronics Co Ltd VIDEO CODING METHOD AND DEVICE THEREFOR, AND VIDEO CODING METHOD AND DEVICE THEREFOR
US9509999B2 (en) * 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
US20170105006A1 (en) * 2015-10-13 2017-04-13 Mediatek Inc. Method and Apparatus for Video Coding Using Master-Slave Prediction Structure
EP3364655A4 (en) * 2015-11-11 2018-10-10 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270813A (en) 1992-07-02 1993-12-14 At&T Bell Laboratories Spatially scalable video coding facilitating the derivation of variable-resolution images
JP3189258B2 (ja) * 1993-01-11 2001-07-16 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US5831678A (en) * 1996-08-09 1998-11-03 U.S. Robotics Access Corp. Video encoder/decoder system
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US5978509A (en) * 1996-10-23 1999-11-02 Texas Instruments Incorporated Low power video decoder system with block-based motion compensation
KR100341079B1 (ko) * 1997-01-10 2002-06-20 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법 및 화상 처리 장치, 및 데이터 기록 매체
US6728775B1 (en) * 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6741748B1 (en) * 1997-06-19 2004-05-25 Samsung Electronics Co. Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6233283B1 (en) * 1998-06-23 2001-05-15 Lucent Technologies Inc. Layered video coding using perceptual coding criteria for error resilience in packet networks
US6603883B1 (en) * 1998-09-08 2003-08-05 Canon Kabushiki Kaisha Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6931060B1 (en) * 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
JP2001223665A (ja) * 2000-02-08 2001-08-17 Matsushita Electric Ind Co Ltd 信号符号化伝送装置、信号復号化受信装置、およびプログラム記録媒体
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
EP1279111A4 (en) 2000-04-07 2005-03-23 Dolby Lab Licensing Corp IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US6898313B2 (en) * 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
JPWO2003079692A1 (ja) * 2002-03-19 2005-07-21 富士通株式会社 階層符号化装置および復号装置
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
EP3203741B1 (en) * 2003-01-30 2018-03-14 Koninklijke Philips N.V. Video coding
US20060133475A1 (en) * 2003-02-17 2006-06-22 Bruls Wilhelmus H A Video coding
EP1455534A1 (en) 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
JP2005033336A (ja) * 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR100994768B1 (ko) * 2003-12-08 2010-11-16 삼성전자주식회사 동영상 부호화를 위한 움직임 추정 방법 및 이를 구현하기위한 프로그램이 기록된 기록 매체
US7362809B2 (en) * 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
US8503542B2 (en) * 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
KR100586882B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
US7817723B2 (en) * 2004-12-14 2010-10-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus and method of optimizing motion estimation parameters for encoding a video signal
US8363730B2 (en) * 2004-12-16 2013-01-29 Intel Corporation Local macroblock information buffer
US20060176955A1 (en) * 2005-02-07 2006-08-10 Lu Paul Y Method and system for video compression and decompression (codec) in a microprocessor
KR100763179B1 (ko) * 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US7777812B2 (en) * 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977315A (zh) * 2010-10-18 2011-02-16 无锡中星微电子有限公司 一种跨层预测编码方法
CN102088605A (zh) * 2011-02-23 2011-06-08 浙江大学 可伸缩视频编码快速层间预测选择方法
CN102088605B (zh) * 2011-02-23 2012-12-05 浙江大学 可伸缩视频编码快速层间预测选择方法
CN104412593B (zh) * 2012-07-03 2018-11-06 夏普株式会社 图像解码装置以及图像编码装置
CN104412593A (zh) * 2012-07-03 2015-03-11 夏普株式会社 图像解码装置以及图像编码装置
CN103716631B (zh) * 2012-09-29 2017-04-05 华为技术有限公司 用于图像处理的方法、装置、编码器和解码器
CN107632710A (zh) * 2013-03-15 2018-01-26 奇跃公司 显示系统和方法
CN107632710B (zh) * 2013-03-15 2021-04-30 奇跃公司 显示系统和方法
CN105340276A (zh) * 2013-07-02 2016-02-17 高通股份有限公司 对多层视频译码的层间预测信令的优化
US11647237B1 (en) 2016-05-09 2023-05-09 Google Llc Method and apparatus for secure video manifest/playlist generation and playback
US11545185B1 (en) 2016-05-10 2023-01-03 Google Llc Method and apparatus for frame accurate high resolution video editing in cloud using live video streams
US11589085B2 (en) 2016-05-10 2023-02-21 Google Llc Method and apparatus for a virtual online video channel
US11785268B1 (en) 2016-05-10 2023-10-10 Google Llc System for managing video playback using a server generated manifest/playlist
US11877017B2 (en) 2016-05-10 2024-01-16 Google Llc System for measuring video playback events using a server generated manifest/playlist
CN108605140A (zh) * 2016-05-16 2018-09-28 谷歌有限责任公司 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
US11683540B2 (en) 2016-05-16 2023-06-20 Google Llc Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback

Also Published As

Publication number Publication date
JP5112332B2 (ja) 2013-01-09
US8446956B2 (en) 2013-05-21
EP1969853A1 (en) 2008-09-17
CN101356820B (zh) 2011-01-26
US20090225846A1 (en) 2009-09-10
JP2009522890A (ja) 2009-06-11
WO2007077116A1 (en) 2007-07-12

Similar Documents

Publication Publication Date Title
CN101356820B (zh) 层间运动预测方法
JP5065051B2 (ja) 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
CN101073265B (zh) 可缩放视频编码方法
JP5213456B2 (ja) 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
KR101311656B1 (ko) 스케일러블 비디오 코딩을 위한 간략화된 레이어간 모션 예측
CN101385354B (zh) 用于视频信号的层间预测方法
WO2014199634A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置及び画像復号方法
JP3518733B2 (ja) 物体単位映像信号符号化／復号化装置及び方法
CN101491100B (zh) 从低分辨率画面的运动数据导出高分辨率画面的运动数据的方法和设备
JP5037517B2 (ja) 動き及びテクスチャデータを予測する方法
CN101189880B (zh) 带有混合参考纹理的视频解码器
JP5031763B2 (ja) 動き及びテクスチャデータを予測する方法
EP1848218A1 (en) Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
JPH11196415A (ja) 適応的にボーダーリングする形状情報符号化／復号化装置および方法
TW506222B (en) Image compression
KR101336104B1 (ko) 모션과 텍스처 데이터를 예측하는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110126

Termination date: 20161218

CF01 Termination of patent right due to non-payment of annual fee