CN101213840A - 从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备 - Google Patents

从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备 Download PDF

Info

Publication number
CN101213840A
CN101213840A CNA2006800039503A CN200680003950A CN101213840A CN 101213840 A CN101213840 A CN 101213840A CN A2006800039503 A CNA2006800039503 A CN A2006800039503A CN 200680003950 A CN200680003950 A CN 200680003950A CN 101213840 A CN101213840 A CN 101213840A
Authority
CN
China
Prior art keywords
layer macroblock
macroblock
definition picture
partition
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800039503A
Other languages
English (en)
Other versions
CN101213840B (zh
Inventor
热罗姆·维耶龙
爱德华·弗朗索瓦
尼古拉斯·比尔丹
纪尧姆·布瓦松
帕特里克·洛佩兹
格温艾利·马康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP05101224A external-priority patent/EP1694074A1/en
Priority claimed from EP05102465A external-priority patent/EP1694075A1/fr
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101213840A publication Critical patent/CN101213840A/zh
Application granted granted Critical
Publication of CN101213840B publication Critical patent/CN101213840B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明涉及使用一种用于导出编码信息的方法来进行空间可缩放编码和解码处理。更具体地,涉及一种用于从低分辨率图像的编码信息导出高分辨率图像的编码信息的方法。该方法主要包括以下步骤:计算(110)特征在于高层宏块相对于对应底层宏块的位置的几何参数,并且从这些参数中导出(120)宏块类别;根据几何参数和HL MB类别,从对应底层宏块分区和子分区导出(20)针对所述高层宏块的每个分区的分区和可能的子分区;和从对应底层宏块的运动信息导出(30)所述高层宏块的运动信息。

Description

从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备
技术领域
本发明涉及使用一种用于导出编码信息的方法的空间可缩放编码和解码处理。更具体地,涉及一种也被称作层间预测方法的方法,用于从低分辨率图像的编码信息中导出高分辨率图像的编码信息。
背景技术
现有技术中的可缩放分级(hierarchical)编码方法允许分级地编码信息,以便能够以不同分辨率和/或品质层来进行解码。由可缩放的编码设备生成的数据流因此被分为几个层:底层(base layer)和一个或多个增强层(也称作高层)。这些设备允许唯一的数据流适应变化的传输条件(带宽,误差率…),并且适应接收设备的能力(CPU,再现设备特性…)。空间可缩放分级编码方法编码(或解码)与低分辨率图像相关的、称作底层数据的第一部分,以及从该底层编码(或解码)与高分辨率图像相关的、称作增强层的至少另一数据部分。采用被称作层间预测方法的方法,从涉及底层的编码信息中继承(即,导出)涉及增强层的编码信息。导出的编码信息可以包括:与高分辨率图像像素块相关联的分区模式(用于将所述块分成几个子块)、与所述块相关联的编码模式、与能够参考用于预测所述块的图像的某些块相关联的可能的运动矢量以及一个或多个图像参考索引。参考图像是序列中用于预测序列中另一个图像的图像。因此,如果在数据流中没有显式编码,不得不从涉及低分辨率图像的编码信息中导出涉及增强层的编码信息。现有技术中,用于导出编码信息的方法不能被用于没有通过二进转换将格式链接到低分辨率图像格式的高分辨率图像。
发明内容
本发明涉及一种用于从低分辨率图像的至少一个图像部分的编码信息导出高分辨率图像的至少一个图像部分的编码信息的方法,每个图像被划分为非交迭宏块,编码信息至少包括分区信息。根据本发明,被称为底层宏块的低分辨率图像部分的至少一个宏块,与被称为高层宏块的高分辨率图像部分的每个宏块相关联,从而当高分辨率图像部分叠加在与沿水平方向以第一预定义比率和沿垂直方向以第二预定义比率上采样的低分辨率图像部分上时,相关联的低分辨率宏块至少部分地与高分辨率宏块交迭。所述方法包括以下步骤:
-根据高层宏块相对于与高层宏块相关联的、被称为对应底层宏块的底层宏块的位置,计算高分辨率图像部分中每个高层宏块的几何参数;
-根据几何参数,导出高分辨图像部分中每个高层宏块的宏块类别;
-根据几何参数和高层宏块类别,从对应底层宏块的分区(partition)信息中导出高分辨图像部分的每个高层宏块的分区信息。
优选地,坐标系统与每个高分辨率图像相关联,以及在高分辨率图像坐标系统中,针对被划分为非交迭块的每个高层宏块,计算如下四个几何参数:
-第一几何参数是高层宏块中心和对应底层宏块的最近垂直边界之间的代数距离MbBorderX,该距离是根据第一方向定义的;
-第二几何参数是高层宏块中心和对应底层宏块的最近水平边界之间的代数距离,该距离是根据第二方向定义的;
-第三几何参数是高层宏块中心和对应底层宏块的块的最近垂直边界之间的代数距离,根据第一方向定义该距离;
-第四几何参数是高层宏块中心和对应底层宏块的块的最近水平边界之间的代数距离,该距离是根据第二方向定义的。
有利地,编码信息还包括子分区信息,以及该方法还包括步骤:根据几何参数和高层宏块类别,从对应底层宏块的分区信息和子分区信息中导出高分辨率图像部分中高层宏块的子分区信息。
有利地,编码信息还包括运动信息,以及该方法还包括步骤:从对应底层宏块的运动信息中导出高分辨率图像部分中每个高层宏块的运动信息。
优选地,导出高分辨率图像部分中每个高层宏块的运动信息的步骤包括:导出高层宏块的每个分区的运动信息以及每个分区的每个子分区的运动信息。
优选地,一个宏块、一个分区或一个子分区的运动信息包括:具有第一和第二分量的至少一个运动矢量以及从第一或第二参考索引列表中选择的、与运动矢量相关联的至少一个参考索引,索引识别参考图像。
根据典型实施方式,用于导出运动信息的步骤包括步骤:针对高分辨率图像部分中的每个高层宏块,均化相同分区的子分区之间的运动信息,该步骤包括:对于参考索引的每个列表:
-针对高层宏块的每个分区,识别参考索引列表的参考索引中子分区的最低索引;
-将最低参考索引与当前参考索引不等于最低参考索引的每个子分区相关联,该当前参考索引成为在前参考索引;和
-将在前参考索引与最低参考索引不同的每个子分区,与在前参考索引与最低参考索引相同的相邻子分区的运动向量相关联。
优选地,当首先检查水平相邻子分区、然后检查垂直相邻子分区、再检查对角相邻子分区时,关联运动矢量是遇到的第一相邻子分区的运动矢量。
优选地,利用以下公式缩放每个宏块、分区和子分区的运动向量的运动向量分量:
d sx = ( dx * scaled _ base _ width + base _ width / 2 * sign [ d x ] ) / base _ width d sy = ( dy * scaled _ base _ height + base _ height / 2 * sign [ d y ] ) / base _ height
其中:
-dx和dy表示导出的运动向量的坐标;
-dsx和dsy表示缩放的运动向量的坐标;
-在x为正数时,sign[x]等于1,在x为负数时,sign[x]等于-1;
-scaled_base_width和scaled_base_height分别是高分辨率图像部分的宽和高;
-base_width和base_height分别是低分辨率图像部分的宽和高。
根据典型实施方式,宏块尺寸为16×16像素,块尺寸为8×8像素,第一预定义比率等于第二预定义比率。
优选地,所述方法是用于编码视频信号的处理的一部分和/或用于解码视频信号的处理的一部分。
本发明还涉及一种用于编码至少高分辨率图像序列和低分辨率图像序列的设备,每个图像被划分为宏块,所述设备包括:
-第一编码装置,用于编码低分辨率图像,该第一编码装置生成低分辨率图像的编码信息和底层数据流;
-继承装置,用于从低分辨率图像的至少一个图像部分的编码信息中导出高分辨率图像的至少一个图像部分的编码信息;和
-第二编码装置,用于使用导出的编码信息来编码高分辨率图像,第二编码装置生成增强层数据流。
此外,本发明还涉及一种用于解码由前述编码设备编码的至少高分辨率图像序列和低分辨率图像序列的设备,由数据流表示这些编码的图像,所述解码设备包括:
-第一解码装置,用于解码解码数据流中的至少第一部分,以生成低分辨率图像和低分辨率图像的编码信息;
-继承装置,用于从低分辨率图像的至少一个图像部分的编码信息中导出高分辨率图像的至少一个图像部分的编码信息;和
-第二解码装置,用于使用导出的编码信息来解码数据流的至少第二部分,以生成高分辨率图像;
其特征在于,编码信息至少包括分区信息,继承装置包括:
-关联装置,用于将被称为底层宏块的低分辨率图像部分的至少一个宏块,与被称为高层宏块的高分辨率图像部分的每个宏块相关联,从而高分辨率图像部分叠加在当沿水平方向以第一预定义比率和沿垂直方向以第二预定义比率上采样的低分辨率图像部分上时,相关联的低分辨率宏块至少部分地与高分辨率宏块交迭;
-计算装置,用于根据高层宏块相对于与高层宏块相关联的、被称为对应底层宏块的底层宏块的位置,计算高分辨率图像部分中每个高层宏块的几何参数;
-第一导出装置,用于根据几何参数,导出高分辨图像部分中每个高层宏块的宏块类别;
-第二导出装置,用于根据几何参数和高层宏块类别,从对应底层宏块的分区信息中导出高分辨图像部分的每个高层宏块的分区信息。
有利地,编码设备还包括用于将底层数据流和增强层数据流结合为单个数据流的结合模块。
有利地,解码设备还包括提取装置,用于从数据流中提取数据流第一部分和数据流第二部分,并且第一解码装置是MPEG-4 AVC视频解码器。
附图说明
本发明的其他特征和优点将在其某些具体实施方式的以下描述中体现,这描述与将结合以下附图来进行所示描述,图中:
-图1示出了关于底层对应宏块(BL MBs)并识别其MB类别的高层(HL MB)宏块的位置;
-图2示出了HL MB和其对应的BL MB;
-图3示出了底层坐标系统中的MB HL的中心位置(XC,YC);
-图4示出了高层坐标系统中8×8底层块的左边界相对于重缩放的MB HL的中心位置(XC,YC)的位置dX1,以及高层坐标系统中8×8底层块的右边界相对于重缩放的MB HL的中心位置(XC,YC)的位置dX2;
-图5示出了被垂直划分为8像素大小两个分区的HL MB;
-图6示出了被垂直划分为8像素大小两个分区的HL MB,其中一个分区被垂直划分为4像素大小的两个子分区;
-图7示出了被垂直划分为8像素大小两个分区的HL MB;
-图8示出了被垂直划分为8像素大小两个分区的HL MB,其中一个分区被垂直划分为4像素大小的两个子分区;
-图9示出了被底层子分区边界垂直划分的HL MB;
-图10示出了中性分区/子分区;
-图11示出了根据本发明的编码设备;
-图12示出了根据本发明的解码设备;
-图13示出了根据MPEG4 AVC的分区和子分区模式;
-图14示出了根据本发明的方法的流程图。
具体实施方式
本发明涉及一种被称为层间预测的方法,用于当高分辨率图像部分尺寸(也就是宽和高)和低分辨率图像部分尺寸(也就是宽和高)之间的比率与处于1和2之间、被称为层间比率或上采样比率的特定比率相联系时,从低分辨率图像的至少一个图像部分的编码信息中导出高分辨率图像的至少一个图像部分的编码信息。可以沿水平和垂直方向使用两个不同层间比率。每个图像都被划分为宏块。可以通过其像素(例如所述宏块左上方的像素)或通过以宏块为单位的坐标识别图像中的宏块位置。例如,按照光栅扫描顺序的图像的第二宏块具有以像素为单位的坐标(16,0),即,左上方的像素,并且具有以宏块为单位的坐标(1,0)。低分辨率图像的宏块被称作低分辨率宏块或底层宏块,并被表示为BL MB。高分辨率图像的宏块被称作高分辨率宏块或高层宏块,并被表示为HL MB。优选实施方式以空间可缩放编码和解码的上下文来描述本发明,具体地,依照在文献ISO/IEC 14496-10题为《Information technology--Coding of audio-visual objects--Part 10:Advanced Video Coding》中描述的标准MPEG4 AVC,来进行空间可缩放编码和解码。在这种情况下,低分辨率图像根据在所述文献中描述的编码/解码过程被编码及解码。当编码低分辨率图像时,其编码信息与所述低分辨率图像中的每个宏块相关联。例如,该编码信息包括:宏块的分区和可能的子分区、编码模式(例如,帧间(inter)编码模式、帧内(intra)编码模式…)、可能的运动矢量和参考索引。与当前像素块相关联的参考索引允许识别被用于预测当前块的块所处的图像。依据MPEG4-AVC,采用两个参考索引表L0和L1。图13示出了根据MPEG4 AVC的以块为单位的宏块的分区。在第一行,如MPEG4 AVC所建议的,由不同的可能宏块分区来表示宏块(如16×8像素块大小,称为16×8块,8×16像素块大小,称为8×16块,和8×8像素块大小,称为8×8块)。如MPEG4 AVC所建议的,图13中的第二行表示具有不同可能的8×8块分区,也被称为子分区的8×8像素块大小(8×8块)。实际上根据MPEG4 AVC,当宏块被划分为4个8×8的块时,每个所述块可能进一步被划分为8×4子块、8×4子块或4×4子块。
随后,考虑两个空间层,与低分辨率图像相对应的低层(称为底层)和与高分辨率图像像对应的高层(称为增强层)。增强层图像(也就是高分辨率图像)的宽和高分别由enh_width和enh_height所定义。底层图像(也就是低分辨率图像)的尺寸由base_width和base_height所定义。低分辨率图像可能是增强层图像的子图像的下采样形式,其尺寸为scaled_base_width和scaled_base_height,并位于增强层图像坐标系统中的坐标(scaled_base_X,scaled_base_Y)。低和高分辨率图像还可由不同摄像机提供。在这种情况下,低分辨率图像不能通过下采样高分辨率图像而得到,可通过外部装置(例如由摄像机本身)来提供几何参数。无需在高层图像的宏块结构中对准scaled_base_X和scaled_base_Y的值。相应于缩放底层的窗口被称为剪辑窗口。如果当沿两个方向被以层间比率上采样的重叠的低分辨率图像部分与高分辨率图像部分相重叠时,低分辨率宏块与高分辨率宏块相关联。与HLMB相关联的BL MB被称作对应宏块。在高分辨率图像的边界处,宏块可能没有底层对应宏块,而仅由缩放的底层宏块部分地覆盖。结果,必需进行与ISO/IEC MPEG & ITU-T VCEG JVT-N021的联合视频组(JVT),题为“Joint Scalable Video Model JSVM 1”,J.Reichel,H.Schwarz,M.Wien的文献所述不同的层间预测的管理。这个文献下文中被称作[JSVM 1]。
在诸如[JSVM 1]中描述的空间可缩放编码处理的上下文中,可以采用被用作编码低分辨率图像的传统编码模式(即帧内预测和帧间预测)来编码高分辨率宏块。此外,高分辨率图像的某些特定宏块还可采用被称作层间预测模式(即层间运动和纹理预测)的新模式。这种新模式仅适用于被缩放底层完全覆盖的高层宏块,即,以宏块为单位的坐标(MBx,MBy)验证以下条件:
MBx>=scaled_base_column_in_mbs和
MBx<scaled_base_column_in_mbs+scaled_base_width/16
以及
MBy>=scaled_base_line_in_mbs和
MBy<scaled_base_line_in mbs+scaled_base_height/16
其中:-scaled_base_column_in_mbs=scaled_based_X/16;
-scaled_base_line_in_mbs=scaled_based_Y/16;
不满足这些条件的宏块仅可使用典型的模式,也就是帧内预测和帧间预测模式,而符合这些条件的宏块可以使用帧内预测、帧间预测或层间预测模式。与在JSVM1中所述的二进空间可缩放对准的宏块相同,这些高层宏块可以使用缩放的底层运动信息、使用”BASE_LAYER_MODE”或”QPEL_REFINEMENT_MODE”来进行层间预测。当使用“QPEL_REFINEMENT_MODE”模式时,可达到四分之一采样运动向量精度。之后,编码处理必须针对完全包含在剪辑窗口中的每个宏块来决定其编码模式,以在帧内预测、帧间预测或层间之间进行选择。在最终决定选择某一模式之前,如果编码处理最终选择层间编码模式,需要针对验证上述条件的每一个宏块,导出用于预测该宏块的编码信息。类似地,在解码侧,如果针对给定宏块解码“BASE_LAYER_MODE”或“QPEL_REFINEMENT_MODE”,必须首先导出这些层间编码信息。根据优选实施例,编码处理使用一种被称为预测宏块并被表示为Mbi_pred的中间结构来选择之后的对应宏块MBi的编码模式。
将描述题为《Information technology--Coding of audio-visualobjects--Part 10:Advanced Video Coding》的ISO/IEC 14496-10文献中下文使用的位运算符、算术运算符和关系运算符。位运算符‘>>’是运算符‘带符号扩展的右移’,算术运算符‘%’是模数运算符,关系运算符‘==’表示‘等于’,关系运算符‘!=’表示‘不等于’,‘||’表示逻辑运算符OR。
下面,还考虑以下情况:
-一般情况:上采样率和剪辑窗口不受限(唯一的限制是被称为层间比率的上采样率必须在1和2之间)。垂直和水平上采样率可以是不同值。这种配置对应于ESS_generic方案,在文献JSVM2(Joint ScalableVideo Model JSVM-2 Annex S,JVT-O202 from ISO/IECJTC1/SC29/WG11 and ITU-T SG16 Q.6)中也被表示为SpatialScalabilityType=3。
-比率3/2情况:上采样率(两个方向上相同)等于3/2,并且剪辑窗口基于宏块结构对准。这种配置对应于ESS_3_2方案,在JSVM2中也被表示为SpatialScalabilityType=2。这是实际是一般情况的一种子情况。
●scaled_based_X%16=0且scaled_based_Y%16=0
●scaled_based_width=3/2*based_width且
scaled_based_height=3/2*based_height
-比率1情况:上采样率等于1并且剪辑窗口基于宏块结构对准。这种配置在文献JSVM2中被表示为SpatialScalabilityType=0。
-比率2情况:上采样率等于2并且剪辑窗口基于宏块结构对准。这种配置在文献JSVM2中被表示SpatialScalabilityType=1。
通常情况下,由其原点定义以像素为单位的高层图像坐标系统,该原点是高层图像的第一个像素,水平轴从左延伸到右,垂直轴从上延伸到下。由其原点定义以MB为单位的高层图像坐标系统,该原点是高层图像的第一个MB,水平轴从左延伸到右,垂直轴从上延伸到下。类似地,定义以像素为单位的底层图像坐标系统和以MB为单位的底层图像坐标系统。也可以使用其它的定向或原点。
针对以宏块为单位定义的位置(MbldxX,MbldxY)处并且授权使用层间预测模式的当前高层宏块HL MB,继承运动信息处理包括以下步骤:
-计算110几何参数,所述几何参数的特征在于所述高层宏块相对于对应底层宏块的位置,并且从这些参数中导出120所述MB HL的宏块类别,称为MB类别;
-根据几何参数和HL MB类别,从对应底层宏块分区和子分区中导出20所述HL MB的每个分区的分区(例如16×16,16×8…)和可能的子分区(例如8×8,8×4…);和
-从对应底层宏块的运动信息中导出30所述HL MB(即HL MB的每个分区/子分区)的运动信息(例如运动向量和参考索引)。
针对一个HL MB来描述该方法,并且该方法可以应用于授权使用层间预测模式的所有HL MB。
步骤10包括计算110几何参数,以便从由根据图1定义的四个类别中导出120当前HL MB的宏块类别。在此图中,HL BM由虚线标识,,沿两个方向使用层间比率上采样的四个缩放BL宏块由不同灰度的颜色填充。参考图1,类别为Comer的MB HL有单个对应BL MB,类别为Vert的HL MB有两个对应BL MB,一个左一个右MB,类别为Hori的HL MB有两个对应BL MB,一个上一个下MB,类别为Center的HL MB有四个对应BL MB。利用图1中所示的它们对应BLMB的边界,水平地划分类别为Hori的HL MB,垂直地划分类别为Vert的HL MB。垂直和水平地划分类别为Center的HL MB,而CornerMB没有被任何对应BL MB边界划分。
如图2如示,在以像素为单位高层图像坐标系统中计算110以下几何参数:
-高层MB中心和最近的垂直底层MB边界之间的水平代数距离MbBorderX,该距离是根据第一方向定义的,也就是,例如将经过高层MB中心并且垂直于最近的底层垂直MB边界的直线定向为高层图像坐标系统的水平轴;
-高层MB中心和最近的水平底层MB边界之间的垂直代数距离MbBorderY,该距离是根据第二方向定义的,也就是,例如将经过高层MB中心并且垂直于最近的底层水平MB边界的直线定向为高层图像坐标系统的垂直轴;
-高层MB中心和最近的垂直底层8×8块边界之间的水平代数距离B8×8BorderX,该距离是根据第一方向定义的,以及;
-高层MB中心和最近的水平底层8×8块边界之间的水平代数距离B8×8BorderX,该距离是根据第二方向定义的。
几何参数计算110需要首先在如图3所示的底层坐标系统中一维地计算HL MB中心位置(XC,YC)。在高层坐标系统中,设(XP,YP)为HL宏块的左上方采样(也就是像素)的位置。在底层坐标系统中的对应位置(XB,YB)由以下公式计算:
-XB=(XP0*base_width+base_width/2)/scaled_base_width    (公式1)
-YB=(YP0*base_height+base_height/2)/scaled_base_height
其中(XP0,YP0)由以下公式定义:
-XP0=XP-scaled_base_X    (公式2)
-YP0=YP-scaled_base_Y
此外,(XC,YC)被定义为底层坐标系统中高层MB中心的位置,由以下公式计算:
-XC=((XP0+8)*base_width+base_width/2)/scaled_base_width(公式3)
-YC=((YP0+8)*base_height+base_height/2)/scaled_base_height
根据第一个实施例,在一般情况下,如下文所属,从(XC,YC)计算110几何参数。设b维包括坐标点(XC,YC)的8×8 BL块。参考图4,分别计算在HL坐标系统中重缩放后的坐标点(XC,YC)和b的左边界及上边界之间的代数距离dX1和dY1。以同样的方式,计算在HL坐标系统中重缩放后的坐标点(XC,YC)和b的右边界及下边界之间的代数距离dX2和dY2。具体公式如下:
dX1=(8*(XC>>3)*scaled_base_width+base_width/2)/base_width-(XP0+8)     (eq.4a)
dX2=(8*(XC>>3+1)*scaled_base_width+base_width/2)/base_width-(XP0+8)   (eq.4b)
dY1=(8*(YC>>3)*scaled_base_height+base_height/2)/base_height-(YP0+8)  (eq.5a)
dY2=(8*(YC>>3+1)*scaled_base_height+base_height/2)/base_height-(YP0+8)(eq.5b)
然后,将这些参数舍入到最近的第四个值,如下:
dZi=sign(dZi)*(|dZi|/4+((|dZi|%4)>2))*4,其中i=1,2(公式6)
其中Z被X和Y连续的替代。
如果XC在BL MB的左8×8块内,将几何参数MbBorderX和B8×8BorderX分别设为dX1和dX2;或者如果XC在BL MB的右8×8块内,将它们分别设为dX2和dX1。对于Y尺寸,也应用相同的处理。
-如果((8*(ZC>>3))%16==0)
MbBorderZ=dZ1且B8×8BorderZ=dZ2    (公式7a)
-否则
MbBorderZ=dZ2且B8×8BorderZ=dZ1    (公式7b)
该一般情况处理还可应用于比率1、2和3/2。
根据优选的实施例,在一般情况下,通过以下公式进行计算110几何参数:
设dX1和dX2被定义如下:
-dX1=((8*(Xc>>3)-XC)*scaled_base_width+base_width/2)/base_width
-dX2=((8*(Xc>>3+1)-XC)*scaled_base_width+base_width/2)/base_width
设dY1和dY2被定义如下:
-dY1=((8*(Yc>>3)-YC)*scaled_base_height+base_height/2)/base_height
-dY2=((8*(Yc>>3+1)-YC)*scaled_base_height+base_height/2)/base_height
如下述应用,用X和Y替代Z。
-如果((8*(ZC>>3))%16==0),则应用:
-mbBorderZ=dZ1
-b8×8BorderZ=dZ2
-否则,应用:
-mbBorderZ=dZ2
-b8×8BorderZ=dZ1
通过以下公式导出在当前HL MB的对应BL MB中左上方的BLMB坐标(也被称为宏块地址)(mbAddrBaseX,mbAddrBaseY):
如果((8*(ZC>>3))%16==0),则应用:
-mbAddrBaseX=XC/16
-mbAddrBaseY=YC/16;
如果mbBorderX大于-6并且小于等于0,则mbAddrBaseX=mbAddrBaseX-1
如果mbBorderY大于-6并且小于等于0,则mbAddrBaseY=mbAddrBaseY-1
然后,通过以下公式将几何参数舍入到最近的第四个值:
-mbBorderZ=sign(mbBorderZ)*((|mbBorderZ|+2)/4)*4;以及
-b8×8BorderZ=sign(b8×8BorderZ)*((|b8×8BorderZ|+2)/4)*4
其中使用X和Y连续的替代Z。
然后,如下从计算的几何参数中导出120HL MB类别:
如果((|MbBorderX|>=8)则应用
-如果(|MbBorderY|>=8)) MbClass=corner
-否则                  MbClass=horiz
-否则,应用
-如果(|MbBorderY|>=8))    MbClass=vert
-否则    MbClass=center
需要注意的是,对于层间比率1、2、3/2,通过以下关系链接几何参数:
-层间比率1:(|MbBorderX|+|B8×8BorderX|)和(|MbBorderY|+|B8×8BorderY|)都等于8;
-层间比率2:(|MbBorderX|+|B8×8BorderX|)和(|MbBorderY|+|B8×8BorderY|)都等于16;以及
-层间比率3/2:(|MbBorderX|+|B8×8BorderX|)和(|MbBorderY|+|B8×8BorderY|)都等于12。
根据特定实施例,如果SpatialScalabilityType等于0、1或2,几何参数和MB类别可由下文所述直接导出。因此可以避免详细的计算。
如果SpatialScalabilityType等于0,即,如果层间比率=1且MB对准剪辑(即,剪辑窗口基于宏块结构对准:scaled_base_X%16==0和scaled_base_Y%16==0),则Mbclass有系统地(systematically)等于角部(corner)。此外,在此情况下,MbBorderX=MbBorderY=-8,且B8×8BorderX=B8×8BorderY=0。
如果SpatialScalabilityType等于1,即,层间比率=2且MB对准剪辑,Mbclass有系统地等于角部。如表1所述,可以从宏块位置直接导出几何参数,其中(modX,modY)定义如下:
-modX=(MbldxX-(scaled_base_X/16))%2
-modY=(MbldxY-(scaled_base_Y/16))%2
modY modX 0 1
0 MbClass(MbBorderX,MbBorderY)(B8×8BorderX,B8×8BorderY) Corner(-8,-8)(8,8) Corner(8,-8)(-8,8)
1 MbClass(MbBorderX,MbBorderY)(B8×8BorderX,B8×8BorderY) Corner(-8,8)(8,-8) Corner(8,8)(-8,-8)
表1在SpatialScalabilityType1情况下mb类别参数的导出
如果SpatialScalabilityType等于2,即,层间比率=3/2且MB对准剪辑,如表2所述,从宏块位置直接导出不同的参数,其中(modX,modY)定义如下:
-modX=(MbldxX-(scaled_base_X/16))%3
-modY=(MbldxY-(scaled_base_Y/16))%3
modY modX 0 1 2
0 MbClass(MbBorderX,MbBorderY)(B8×8BorderX,B8×8BorderY) Corner(-8,-8)(4,4) Vert(0,-8)(12,4) Corner(8,-8)(-4,4)
1 MbClass(MbBorderX,MbBorderY)(B8×8BorderX,B8×8BorderY) Hori(-8,0)(4,12) center(0,0)(12,12) Hori(8,0)(-4,12)
2 MbClass(MbBorderX,MbBorderY)(B8×8BorderX,B8×8BorderY) Corner(-8,8)(4,-4) Vert(0,8)(12,-4) Corner(8,8)(-4,-4)
表2 SpatialScalabilityType2情况下mb类别和几何参数的导出
步骤20包括:对于当前HL MB
-导出210分区(例如16×16,16×8...);并且如果需要(也就是如果划分为8×8),则:
-导出220子分区(例如8×8,8×4...)。
更准确地,步骤20包括:对于当前HL MB,基于被表示为Mbclass的HL MB类别及其几何参数(MbBorderX,MbBorderY)和(B8×8BorderX,B8×8BorderY),从对应底层宏块中导出宏块分区和可能的子分区。该几何参数用于识别是否可能划分高层宏块。考虑在一维的处理,例如在水平方向X上。该处理以相同方式被应用到两个方向上,MbBorderX和M8×8BorderX分别被用于识别垂直的分区/子分区,MbBorderY和M8×8BorderY被用于识别水平的分区/子分区。
-如果BL宏块边界包括在HL MB中,HL MB按照以下方式被划分:
●如果|MbBorderX|等于0,HL MB被垂直的划分为大小为8像素的2个分区。图5示出了这种情况;
●如果|MbBorderX|等于4,HL MB被垂直的划分为大小为8
像素的2个分区,并且其中一个分区被进一步划分为大小为4像素的2个子分区。图6示出了这种情况;
-如果属于被划分为大小为8像素的两个分区的BL MB的BL8×8块边界包含在HL MB中,则HL MB按照以下方式被划分:
●如果|B8×8BorderX|等于0,则HL MB被垂直地划分为大小为8像素的2个分区。图7示出了这种情况;
●如果|B8×8BorderX|等于4,则HL MB被垂直地划分为大小为8像素的2个分区,并且其中一个分区被进一步划分为大小为4像素的2个子分区。图8示出了这种情况;
-如果BL子分区边界包含在HL MB中,划分HL 8×8块;这对应于以下情况:
●|MbBorderX+B8×8BorderX|/2=4。图9示出了这种情况。
通过使用伪码函数在附录中描述了步骤20的优选实施方式。
子步骤210包括:针对当前HL MB导出被标记为mbLabel的宏块分区模式(也被称为宏块分区)的。根据MbClass、(MbBorderX,MbBorderY)和(B8×8BorderX,B8×8BorderY)导出MbLabel。根据MbClass,可以以MB为单位如下计算对应BL MB坐标:
-如果MbClass为Corner,仅有N=1个位于mbAddrBase[0]=(mbAddrBaseX,mbAddrBaseY)的对应BL MB;
-如果MbClass为Horiz,有N=2个位于mbAddrBase[0]=(mbAddrBaseX,mbAddrBaseY)和mbAddrBase[1]=(mbAddrBaseX,mbAddrBaseY+1)的对应BL MB;
-如果MbClass为Vert,有N=2个位于mbAddrBase[0]=(mbAddrBaseX,mbAddrBaseY)和mbAddrBase[1]=(mbAddrBaseX+1,mbAddrBaseY)的对应BL MB;
-如果MbClass为Corner,有N=4个位于mbAddrBase[0]=(mbAddrBaseX,mbAddrBaseY),mbAddrBase[1]=(mbAddrBaseX+1,mbAddrBaseY),mbAddrBase[2]=(mbAddrBaseX,mbAddrBaseY+1)和mbAddrBase[3]=(mbAddrBaseX+1,mbAddrBaseY+1)的对应BL MB。
将MbTypeBase[j]定义为对应BL MB j(j的值从0到N-1)的MB分区模式。例如,如果对应BL MB 1的模式为B_L0_L0_16×8(如MPEG4 AVC中定义的),则MbTypeBase[1]等于16×8。
MbTypeBase[j]和mbLabel在集合{16×16,16×8,8×16,8×8,INTRA}中取值。
-如果(|MbBorderX|等于4)或(|MbBorderY|等于4),则mbLabel被设为8×8。
-否则
-如果MbClass等于Center,则应用:
-设cptrIntra为计数器,以识别考虑的宏块是否将被分类为INTRA。cptrIntra被初始化为0并按如下导出:
-对于由值从0到3之间的B8×8Idx做索引(左上方的索引为0,右上方的索引为1,左下方的索引为2,右下方的索引为3)的当前HL MB的每个8×8块,应用:
-如果(MbTypeBase[B8×8Idx]等于INTRA)cptrIntra递增2
-如果索引B8×8Idx的8×8块被BL 8×8块边界分区(如果B8×8IdX等于-4,则划分索引为0和2的左边8×8块;如果B8×8IdX等于4,则划分索引为1和3的右边8×8块;如果B8×8IdY等于-4,则划分索引为0和1的上边8×8块;如果B8×8IdY等于4,则划分索引为2和3的右边8×8块),然后,cptrIntra递增1。
-如果cptrIntra大于等于4,则mbLabel被设为INTRA;
-否则mbLabel被设为8×8;
-否则,如下导出三个新参数mbTypeBaseSuffixX、mbTypeBaseSuffixY和is8×8Base被:
-如果MbClass等于Corner,则应用:
-设mbTypeBaseSuffixX是索引j=0的BL MB的水平分区模式(例如,如果BL MB分区模式为16×8,水平分区模式等于16;如果BL MB分区模式为8×16,水平分区模式等于8)。如果BL MB模式为INTRA,则mbTypeBaseSuffixX被设为INTRA;
-设mbTypeBaseSuffixY是索引j=0的BL MB的垂直分区模式(例如,如果BL MB分区模式为16×8,垂直分区模式等于8;如果BL MB分区模式为8×16,垂直分区模式等于16)。如果BL MB模式为INTRA,则mbTypeBaseSuffixX被设为INTRA;
-设is8×8Base是指示某个BL MB分区模式为8×8的标志。如果索引j=0的BL MB的分区模式为8×8,将is8×8Base设为TRUE,否则将其设为FALSE。
-否则,如果MbClass等于Vert,则应用:
-mbTypeBaseSuffixX被设为8
-mbTypeBaseSuffixY被设为索引j=0的BL MB的垂直分区模式和索引j=1的BL MB的垂直划分模式中的最小值。如果索引j=0或j=1的BL MB都是INTRA,则将mbTypeBaseSuffixY设为INTRA;
-如果索引j=0的BL MB的划分模式或索引j=1的BL MB的划分模式是8×8,则is8×8Base设为TRUE,否则将其设为FALSE;
-否则(也就是MbClass等于Hori)
-mbTypeBaseSuffixX被设为索引j=0的BL MB的水平划分模式和索引j=1的BL MB的水平划分模式中的最小值。如果索引j=0或j=1的BL MB都是INTRA,则将mbTypeBaseSuffixX设为INTRA;
-mbTypeBaseSuffixY被设为8
-如果索引j=0的BL MB的划分模式或索引j=1的BL MB的划分模式是8×8,则is8×8Base设为TRUE,否则将其设为FALSE。
-如果mbTypeBaseSuffixX等于INTRA或mbTypeBaseSuffixY等于INTRA,则将mbLabel设为INTRA。
-否则,如下导出两个新参数mbLabelX和mbLabelY:
-mbLabelX被设为16和(mbTypeBaseSuffixX+|B8×8BorderX|)中的最小值;
-mbLabelY被设为16和(mbTypeBaseSuffixY+|B8×8BorderY|)中的最小值;
-如果mbLabelX等于12或mbLabelY等于12,这意味着一些8×8块被底层分区边界划分,并且因此mbLabel被设为8×8;
-否则,执行附加分析以检查一些8×8块是否被底层子分区边界划分。
-如果is8×8Base为TRUE并且mbLabelX不同于8并且mbLabelY不同于8,则应用:
-块索引参数B8×8Idx由以下导出:
B8×8Idx=(1-sign(B8×8BorderX))+(1-sign(B8×8BorderY))/2
其中如果x<0,sign(x)返回-1,如果x>0,sign(x)返回1,且如果x==0,sign(x)返回0。
-如果|B8×8BorderX|等于8,应用以下处理来导出mbLabelX(事实上其检查是否垂直底层子分区边界划分了索引为B8×8Idx的8×8块):
-设BL4×4B0是所考虑的索引B8×8Idx的8×8块中左上4×4块的对应BL 4×4块;
-设subMbTypeBase0是包含BL4×4B0的子分区或划分的子分区或划分类型(使用“4×4识别”处理的识别,B8×8Idx和0作为输入参数);
-设BL4×4B1是所考虑的索引B8×8Idx的8×8块中右下4×4块的对应BL 4×4块;
-设subMbTypeBase1是包含BL4×4B1的子分区或划分的子分区或划分类型(使用“4×4识别”处理的识别,B8×8Idx和3作为输入参数);
-设mbLabelX是subMbTypeB ase0和subMbTypeBase1的水平值中的最小值(例如,如果subMbTypeBase0为4×8,水平值等于4)。如果它们都为INTRA,则mbLabelX被设为INTRA。
-如果|B8×8BorderY|等于8,应用以下处理以导出mbLabelY(事实上其检查是否水平底层子分区边界划分了索引为B8×8Idx的8×8块):
-如上所述定义subMbTypeBase0和subMbTypeBase1;
-mbLabelY被设为subMbTypeBase0和subMbTypeBase1的垂直值之间的最小值(例如,如果subMbTypeBase0为4×8,垂直值等于8)。如果它们都为INTRA,则mbLabelX被设为INTRA。
-将mbLabel设置为mbLabelX和mbLabelY的值的级联(concatenation)(例如,如果mbLabelX等于8并且mbLabelY等于16,则mbLabel被设为8×16)。
子步骤210,220和步骤30使用被称为“4×4识别”处理的共同处理,以便对于当前HL MB中索引b8×8Idx的8×8块的索引b4×4Idx的给定4×4块,识别包含所考虑的HL 4×4块的对应BL 4×4块的BL宏块、BL分区和可能存在的BL子分区,(等同于附录中的函数‘getBaseldx()’)。该子步骤的输出是BL宏块地址(BLMBIdxX,BLMBIdxY)、BL分区索引BLpartIdx和BL子分区索引BLSubPartIdx。对于一维情况,如X方向,使用直接映射表(参考表3),输入是高层4×4块(b4×4X,导出为b4×4Idx%4)的水平索引、MbBorderX、B8×8BorderX,并且输出是对应BL 4×4块的水平索引outB4×4X。
outB4×4X=MapTab[b4×4X,MbBorderX,B8×8BorderX]
对于Y方向,按照以下导出outB4×4Y,其中b4×4Y=b4×4Idx/4:
outB4×4Y=MapTab[b4×4Y,MbBorderY,B8×8BorderY]
将mbIdx定义为包括位于(outB4×4X,outB4×4Y)的BL 4×4块的BL MB的数目。如下导出mbIdx:
-如果MbClass等于Corner,则mbIdx=0;
-否则,如果(MbClass==Vert),mbIdx=outB4×4X/4;
-否则,如果(MbClass==Hori),mbIdx=outB4×4Y/4;
-否则(即,MbClass==Center),mbIdx=2*(outB4×4Y/4)+outB4×4X/4。
(BLMBIdxX,BLMBIdxY)被设为mbAddrBase[mbIdx]。
b4×4 index  0  1  2  3
MbBorderZ B8×8BorderZ
-12 4  0  1  1  2
-8 4  0  0  1  2
-8 8  0  0  1  1
-4 4  3  4  5  6
-4 8  3  4  5  5
-4 12  3  4  4  5
0 8  2  3  4  5
0 12  3  3  4  4
0 16  3  3  4  4
4 -12  2  3  3  4
4 -8  2  2  3  4
4 -4  1  2  3  4
8 -8  2  2  3  3
8 -4  1  2  3  3
8 0  0  1  2  3
12 -4  1  2  2  3
12 0  1  1  2  2
16 0  1  1  2  2
表3当前和底层4×4块映射表(MapTab[])
如果需要,步骤220包括导出每个HL MB分区的子分区模式或标记,即,如果mbLabel等于8×8。对于具有索引b8×8Idx的8×8块,子分区模式mbPartLabel被如下导出:
-如果BL MB边界垂直划分该8×8块,则mbPartLabelX被设为等于4。
-否则,如果BL MB边界垂直划分该8×8块,则应用:
-如果所考虑的8×8块的对应BL MB利用INTRA编码,mbPartLabelX被设为等于-1。
-否则,mbPartLabelX被如下导出(事实上其检查是否垂直底层子分割边界划分了该8×8块)。
-设BL4×4B0是所考虑的索引B8×8Idx的8×8块左上4×4块的对应BL 4×4块。
-设subMbTypeBase0是包含BL4×4B0的子分区或分区的子分区或分区的类型(使用“4×4识别”处理进行识别,B8×8Idx和0作为输入参数)。
-设BL4×4B1是所考虑的索引B8×8Idx的8×8块右下4×4块的对应BL 4×4块。
-设subMbTypeBase1是包含BL4×4B1的子分区或分区的子分区或分区的类型(使用“4×4识别”处理进行识别,B8×8Idx和3作为输入参数)。
-将mbLabelX设为subMbTypeBase0和subMbTypeBase1水平值中的最小值(例如,如果subMbTypeBase0为4×8,则其水平值等于4)。如果这两个都是INTRA,则mbLabelX被设为INTRA。
-否则,mbPartLabelX被设为等于8。
-mbPartLabelY被如下导出。
-如果BL MB边界水平划分该8×8块,则mbPartLabelY被设为等于4。
-否则,如果BL 8×8块边界水平划分该8×8块,则应用:
-如果所考虑的8×8块的对应BL MB利用INTRA编码,mbPartLabelY被设为等于-1。
-否则,mbPartLabelX被如下导出(事实上其检查是否水平底层子分区边界划分了该8×8块)。
-设BL4×4B0是所考虑的索引B8×8Idx的8×8块的左上4×4块的对应BL 4×4块。
-设subMbTypeBase0是包含BL4×4B0的子分区或分区的子分区或分区的类型(使用“4×4识别”处理进行识别,B8×8Idx和0作为输入参数)。
-设BL4×4B1是所考虑的索引B8×81dx的8×8块右下4×4块的对应BL 4×4块。
-设subMbTypeBase1是包含BL4×4B1的子分区或分区的子分区或分区的类型(使用“4×4识别”处理进行识别,B8×8Idx和3作为输入参数)。
-将mbLabelY设为subMbTypeBase0和subMbTypeBase1垂直值中的最小值(例如,如果subMbTypeBase0为4×8,则其垂直值等于8)。如果这两个都是INTRA,则mbLabelX被设为INTRA。
-否则,mbPartLabelY被设为等于8。
-如果mbPartLabelX等于-1或者mbPartLabelY等于-1,mbPartLabel被设为等于INTRA。
-否则,将mbPartLabel设置为mbPartLabelX和mbPartLabelY的值的级联(例如,如果mbPartLabelX等于8并且mbPartLabelY等于4,则mbPartLabel被设为8×4)。
步骤30包括导出当前HL MB的每个分区/子分区的运动信息。运动信息被如下导出:
-识别所考虑的分区/子分区的左上HL 4×4块;
-使用表3,识别其对应BL 4×4块;
-从包含识别出的BL 4×4块的BL分区/子分区中继承分区/子分区运动信息;如果BL分区/子分区是在INTRA BL MB中,则从相邻的分区/子分区复制运动信息而不从INTRA BL MB继承。
索引为mbPartIdx的分区的运动信息被如下导出:
-设NotIntraFlag为初始化为1的参数。
-如果mbLabel不等于8×8,则应用:
-调用“4×4识别”处理以识别与所考虑的分区(索引mbPartIdx)的左上BL宏块相对应的BL宏块、分区和可能的子分区。
-如果该BL宏块是INTRA模式,NotIntraFlag被设为等于0。
-否则,来自识别出的BL分区或可能的子分区的运动向量和参考索引被复制到所考虑的索引mbPartIdx的分区。
-否则,应用:
-设mbPartLabel是使用mbPartIdx为输入的子步骤220所得到的子分区模式。
-如果mbPartLabel等于INTRA,NotIntraFlag被设为等于0。
-否则,则应用:
-针对所考虑的分区的每个子分区,从对应BL分区或可能的子分区继承运动向量和参考索引。如果该BL分区或任何子分区属于INTRA BL MB,则从相邻的子分区之一复制运动向量和参考索引(首先检查水平相邻、然后是垂直、和对角线)。
-实现运动信息均化子步骤,用于使所考虑的分区每个子分区具有相同的参考索引。对于每个列表(0和1),识别子分区中的最小参考索引。从具有等于该最小参考索引的参考索引的相邻子分区中,复制运动向量和参考索引不等于该最小参考索引的子分区的参考索引(首先检查水平邻居、然后是垂直和对角线)。
将第三步骤30应用于所考虑的HL MB的每个分区。对于NotIntraFlag等于0的分区,从NotIntraFlag等于1的相邻子分区处复制其子分区模式、运动向量和参考索引(首先检查水平邻居、然后是垂直和对角线)。
作为最小参考索引的代替,运动信息均化子步骤可以使用在当前分区中最通常使用的参考索引mbPartIdx。
步骤40包括缩放导出的运动向量。为了这目的,将运动向量缩放应用到导出的运动向量。使用以下公式来实现运动向量mv=(dx,dy)的缩放:
d sx = ( dx * scaled _ base _ width + base _ width / 2 * sign [ d x ] ) / base _ width d sy = ( dy * scaled _ base _ height + base _ height / 2 * sign [ d y ] ) / base _ height
其中在x为正数时,sign[x]等于1,在x为负数时,sign[x]等于-1。因此,根据本发明的方法能够针对高分辨率图像中的至少一个宏块导出这些编码信息。然后,可以使用这些导出的编码信息对该高分辨率图像进行编码。在这种情况下,减小了编码高分辨率图像所需要的比特数目,这是因为对于编码信息已从低分辨率图像处导出了的每个宏块,在数据流中没有编码信息被编码。实际上,由于解码处理使用用于导出高分辨率图像的编码信息的相同方法,则其不需要传输。
本发明涉及图11所示的一种编码设备8。该编码设备8包括第一编码模块80,用于编码低分辨率图像。模块80生成低分辨率图像的底层数据流和编码信息。优选地,该模块80适于生成与MPEG4 AVC标准兼容的底层数据流。该编码设备8包括继承装置82,用于从由第一编码模块80生成的低分辨率图像的编码信息导出高分辨率图像的编码信息。该继承装置82适于实现根据本发明的方法的步骤10、20和30。该编码设备8包括第二编码模块81,用于编码高分辨率图像。第二编码模块81使用由继承装置82导出的编码信息以编码高分辨率图像。第二编码模块81因此生成增强层数据流。优选地,该编码设备8还包括模块83(例如复用器),用于将分别由第一编码模块80和第二编码模块81提供的底层数据流和增强层数据流组合成生成一个单独的数据流。与高分辨率图像相关的编码信息在数据流中不被编码,因为其已从与由模块80提供的低分辨率图像相关的编码信息被导出。这能够节约一些比特。
本发明还涉及图12所示的一种解码设备9。该解码设备9接收由编码设备8生成的数据流。该解码设备9包括第一解码模块91,用于解码数据流中称为底层数据流的第一部分,以便生成该低分辨率图像和低分辨率图像的编码信息。优选地,该模块91适于解码与MPEG4AVC标准兼容的数据流。该解码设备9包括继承装置82,用于从由第一解码模块91生成的低分辨率图像的编码信息中导出高分辨率图像的编码信息。该解码设备9包括第二解码模块92,用于解码数据流中称为增强层数据流的第二部分。第二解码模块92使用由继承装置82导出的编码信息以解码数据流中的第二部分。第二解码模块92由此生成高分辨率图像。有利地,设备9还包括提取模块90(例如解复用器),用于从所接收到的数据流中提取底层数据流和增强层数据流。
根据另一个实施例,该解码设备接收两个数据流:底层数据流和增强层数据流。在这种情况下,设备9不包括提取模块90。
本发明并不限于所描述的实施例。具体地,针对两个图像序列(即,两个空间层)描述的本发明可被用于编码两个以上的图像序列。
附录
以下章节使用如下定义的伪码函数描述了导出步骤20(即,子步骤210和220)和步骤30的优选实现方式。
子步骤210包括:按照如下方式,针对每个HL MB导出分区模式mbLabel:
-If(|MbBorderX|==4)or(|MbBorderY|==4)mbLabel=8×8
-Otherwise,
-If(MbClass==Center)
    -Let cptrlntra be a variable set equal to 0;
    -For B8×8Idx indexed by 0..3
     -If(MbTypeBase[B8×8Idx]==INTRA)cptrlntra+=2
     -If splitBlock(B8×8BorderX,B8×8Idx,0)cptrlntra+=-1
     -If splitBlock(B8×8BorderY,B8×8Idx,1)cptrlntra+=-1
    -If(cptrlntra>=4)mbLabel=INTRA;
    -Otherwise,mbLabel=8×8;
-Otherwise,
 -if(MbClass==Corner)
    -mbTypeBaseSuffixX=Suffix(MbTypeBase[0],0)
    -mbTypeBaseSuffixY=Suffix(MbTypeBase[0],1)
    -is8×8Base=(MbTypeBase[0]==8×8)
-Otherwise,if(MbClass==Vert)
    -mbTypeBaseSuffixX=8
    -mbTypeBaseSuffixY=minBlockSize(Suffix(MbTypeBase[0],
     1),Suffix(MbTypeBase[1],1))
    -is8×8Base=(mbTypeBase0==8×8)||(mbTypeBase1==8×8)
-Otherwise,(i.e.if MbClass==Hori)
    -mbTypeBaseSuffixX=minBlockSize(Suffix(MbTypeBase[0],
     0),Suffix,MbTypeBase[1],0))
      -mbTypeBaseSuffixY=8
      -is8×8Base=(mbTypeBase0==8×8)||(mbTypeBase1==8×8)
 -If(mbTypeBaseSuffixX==INTRA) or (mbTypeBaseSuffixY==INTRA)
  mbLabel=INTRA
 -Otherwise,
     -mbLabelX=min(16,mbTypeBaseSuffixX+|B8×8BorderX|)
     -mbLabelY=min(16,mbTypeBaseSuffixY+|B8×8BorderY|)
     -If(mbLabelX==12)or(mbLabelY==12)mbLabel=INTRA
      =8×8
     -Otherwise,
      -If(is8×8Base)and(mbLabelX!=8)and(mbLabelY!=8)
       -B8×8Idx=(1-sign(B8×8BorderX))+(1-sign
        (B8×8BorderY))/2
       -If(|B8×8BorderX|==8)
            -mbLabelX=min(mbLabelX,2 *
             getSubMbtypeBaseDim(B8×8Idx,0))
      -If(|B8×8BorderY|==8)
          -mbLabelY = min ( mbTypeY,2 *
           getSubMbtypeBaseDim(B8×8Idx,1))
-mbLabel=mbLabelX_mbLabelY
子步骤220包括:如果需要,按照如下方式导出每个HL MB的子分区模式mbPartLabel:
-Let mbPartLabelX be derived by invoking
 computeSubMbTypeSize(MbBorderX,B8×8BorderX,b8×8Idx,0);
-Let mbPa rtLabelY be derived by invoking
 computeSubMbTypeSize(MbBorderY,B8×8BorderY,b8×8Idx,1);
-If(mbPartLabelX==-1)or(mbPartLabelY==-1),mbPartLabel=
 INTRA;
-Otherwise mbPartLabel=mbPartLabelX mbPartLabelY.
步骤30包括:导出索引mbPartIdx的每个HL MB分区的运动信息。该步骤具有输入:
-宏块分区标记mbLabel;以及
-宏块分区索引mbPartIdx.
和输出:
-reference indices RefIdxL0[mbPartIdx]and RefIdxL1[mbPartIdx];和
-motion vectors MvL0[mbPartIdx][i]and MvL1[mbPartIdx][i]with
 i=0..nbPart,and nbPart being the number of pa rtitions corresponding to
 mbLabel.
步骤30如下:
-If inheritPartitionMotion(mbLabel,predIdx)is equal to 0,the following
 applies:
 -Let predIdx be a variable derived by invoking
  computePredIdx(subMbPartIdx,1);
 -If inheritPa rtitionMotion(mbLabel,predIdx)is equal to 0,the following
  applies:
  -predIdx is derived by invoking computePredIdx(subMbPartIdx,2)
  -inheritPartitionMotion(mbLabel,predIdx)is invoked;
-RefIdxLX[mbPartIdx]=RefIdxLX[predIdx];
-Let mbPa rtLabel be derived by applying sub-step 210;
-Let nbSubPart be the number of sub-partitions corresponding to
 mbPartLabel;
-For subMbPartIdx indexed by 0..nbSubPart-1,the following applies:
 -MvLX[mbPartIdx][subMbPartIdx]=
  MvLX[predIdx][subMbPartIdx].
Suffix(type,dim)
该函数提供了名为’type’的可变变量的后缀,对应于方向dim(dim等于0为X,即水平方向,1为Y,即垂直方向)。如果输入为INTRA,
返回INTRA。
If type is an INTRA mode,returns INTRA
-Otherwise,the following applies
    -The last part of the name of type is first extracted(for instance,
     16×8)
    -If(dim==0)the first dimension value is returned(16 in the
     previous example)
    -Otherwise,the second dimension value is returned(8 in the
     previous example)
SplitBlock(borderPos,b8×8Idx,dim)
如果可能沿方向dim分区8×8块b8×8ldx,也就是水平或垂直方向,该函数返回1。
-If(|D|==4)
       -If(dim)return-(2*(b8×8Idx/2)-1))==sign
        (borderPos)
       -Otherwise return-(2*(b8×8Idx%2)-1))==sign
        (borderPos)
-Otherwise,return 0.
 minBlockSize(size0,size1)
该函数返回size0和size1中的较小者。如果两个输入都是INTRA,则返回INTRA。
-If(size0==INTRA)
        -If(size1==INTRA)return INTRA
        -Otherwise,return size1
-Otherwise,if(size1==INTRA),return size0
       -Otherwise,return min(size0,size1)
getMbtypeBaseDim(B8×8Idx,dim)
相应于方向dim,该函数返回8×8块B8×81dx继承的底层宏块的mb_Type Suffix。
-If(MbClass==Corner)
 -return Suffix(MbTypeBase[0],dim)
-Otherwise,if(MbClass==Verti)
 -if splitBlock(MbBorderX,B8×8Idx,0)
  -return  minBlockSize(Suffix(MbTypeBase[0],dim),
   Suffix(MbTypeBase[1],dim))
-Otherwise,
 -mbIdx=B8×8Idx%2
 -return Suffix(MbTypeBase[mbIdx],dim)
-Otherwise,if(MbClass==Hori)
 -if splitBlock(MbBorderY,B8×8Idx,1)
  -return  minBlockSize(Suffix(MbTypeBase[0],dim),
   Suffix(MbTypeBase[1],dim))
 -Otherwise,
  -mbIdx=b8×8Idx/2
  -return Suffix(MbTypeBase[mbIdx],dim)
-Otherwise,if(MbClass==Center)
 -If splitBlock(MbBorderX,B8×8Idx,0)
  -return minBlockSize(Suffix(MbTypeBase[0],dim),
   Suffix(MbTypeBase[1],dim))
-Otherwise,
 -if splitBlock(MbBorderY,B8×8Idx,1)
  -return minBlockSize(Suffix(MbTypeBase[0],dim),
   Suffix(MbTypeBase[1],dim))
  -Otherwise,return Suffix(MbTypeBase[b8×8Idx],dim)
getSubMbtypeBaseDim(B8×8Idx,dim)
相应于方向dim,该函数返回8×8块B8×8Idx继承的底层8×8块的
submb_Type Suffix
-Let subMbTypeBase0 and subMbTypeBase1 be defined as follows.
 -Let mbAddrBase0,mbPartIdx0,subMbPartIdx0 be derived by invoking
  function getBaseIdx(B8×8Idx,0)
 -Let mbAddrBase1,mbPartIdx1,subMbPartIdx1 be derived by invoking
  function getBaseIdx(B8×8Idx,3)
 -Let subMbTypeBase0 be the sub-MB type of partition mbPartIdx0 of
  mbAddrBase0
 -Let subMbTypeBase1 be the sub-MB type of partition mbPartIdx1 of
  mbAdd rBase 1
-return minBlockSize(Suffix(subMbTypeBase0,dim),
 Suffix(subMbTypeBase1,dim)).
getBaseldx(B8×8Idx,b4×4Idx)
该函数分别返回4×4块B8×8Idx/b4×4ldx继承的底层宏块地址、底层分区索引和可能存在的底层子分区索引(mbAddrBase,mbPartIdxBase,subMbPartIdxBase)。
-Let idxBaseBX and idxBaseBY be defined as follows.
 -Let MapTab be Table 3 which gives the mapping between current and
  base layer 4×4 blocks as a function of MbBorderZ and B8×8BorderZ
  (with Z equal to X or Y).
 -idxBaseBX=MapTab[MbBorderX,B8×8BorderX,2*(B8×8Idx%2)+
  (b4×4Idx%2)]
 -idxBaseBY=MapTab[MbBorderY,B8×8BorderY,2*(B8×8Idx/2)+
  (b4×4Idx/2)]
 -Let mbIdxbe defined as follows.
  -If(MbClass==Corner),the following applies:
   -mbIdx=0
  -Otherwise if(MbClass==Vert),the following applies:
   -mbIdx=idxBaseBX/2
  -Otherwise if(MbClass==Hori),the following applies:
   -mbIdx=idxBaseBY/2
  -Otherwise(MbClass==Center),the following applies:
   -mbIdx=2*(idxBaseBY/2)+idxBaseBX/2
-mbAddrBase is set to aMbAddrBase[mbIdx]
-B8×8IdxBase is set to(2*((idxBaseBY/2)%2)+((idxBaseBX/2)%
 2))
-b4×4IdxBase is set to(2*(idxBaseBY%2)+(idxBaseBX%2))
-Let mbPartIdxBase be defined as the index of the macroblock partition of
 mbAddrBase comprising the 4×4 block b4×4IdxBase
-Let subMbPartIdxBase be defined as the index of the sub-partition,if it
 exists,of partition  mbPartIdxBase,comprising the 4×4 block
 B8×8IdxBase/b4×4IdxBase.
-return(mbAdd rBase,mbPartIdxBase,subMbPartIdxBase)
 ComputeSubMbTypeSize(D,d,B8×8Idx,dim)
-If splitBlock(D,B8×8Idx,dim)==1,the function returns 4
-Otherwise,if splitBlock(d,B8×8Idx,dim)==1,the following applies:
 -If getMbtypeBaseDim(B8×8Idx,dim)==INTRA,the function returns
  -1
 -Otherwise the function returns getMbtypeBaseDim(B8×8Idx,dim)/2
-Otherwise,if(|(D+d)/2|==4)
  -If getsubMbtypeBaseDim(B8×8Idx,dim)==INTRA,the function
   returns-1
  -Otherwise the function returns getsubMbtypeBaseDim(B8×8Idx,dim)
Otherwise,the function returns 8.
与运动数据继承相关的函数定义如下:
inhertPartitionMotion(mbLabel,mbPartIdx)
该函数执行宏块分区的运动数据继承。如果对应底层宏块为INTRA,不执行运动数据继承且函数返回0。否则执行运动数据继承,函数返回1。
-If(mbLabel!=8×8),the following applies.
 -Let b8×8Idx be defined as follows.
  -If(mbLabel==16×8)b8×8Idx=2*mbPartIdx
  -Otherwise b8×8Idx=mbPartIdx
 -Let mbAddrBase,mbPartIdxBase,subMbPartIdxBase be derived by
  invoking function getBaseIdx(b8×8Idx,0).
 -If mb_type of mbAddrBase is INTRA,the function returns 0.
 -Otherwise,for X being replaced by 0 and 1,RefIdxLX[mbPartIdx]and
  MvLX[mbPartIdx][0]are set to the reference index and motion vector
  of mbAdd rBase/mbPartIdxBase/subMbPartIdxBase.
-Otherwise,
 -Let mbPartLabel be derived by applyinf sub-step 220 with mbPartIdx as
  input.
 -If mbPartLabel is equal to INTRA,the function retu rns 0.
 -Otherwise,the following applies.
  -Let nbSubPart be the number of sub-partitions corresponding to
   mbPartLabel.
 -Let refIdxBaseL0[i]and refIdxBaseL1[i]with i=0..nbSubPart-1 be
  two a rrays of variables.
-Let mvBaseL0[i]and mvBaseL1[i]with i=0..nbSubPart-1 be two
 arrays of motion vectors.
-For subMbPartIdx indexed by 0..nbSubPart-1,the motion
 inheritance is achieved as follows.
 -If inheritSubPartitionMotion(mbPartLabel,mbPartIdx,
    subMbPartIdx,refIdxBaseL0,refIdxBaseL1,mvBaseL0,
    mvBaseL1)is equal to 0,the following applies.
    -Let predIdx be a variable initialized by invoking
      computeP redIdx(subMbPa rtIdx,1).
    -If inheritSubPartitionMotion(mbPartLabel,mbPartIdx,predIdx,
        refIdxBaseL0,refIdxBaseL1,mvBaseL0,mvBaseL1)is
        equal to 0,the following applies.
        -predIdx is derived by invoking
          computePredIdx(subMbPartIdx,2).
        -inheritSubPartitionMotion(mbPartLabel,mbPartIdx,
           predIdx,refIdxBaseL0,refIdxBaseL1,mvBaseL0,
           mvBaseL1 )is invoked.
-For X being replaced by 0 and 1,the reference index merging is
 achieved as follows.
 -Let minRedIdxLX be a variable set to the minimum reference
  index of the refIdxBaseLX[i],with i=0..nbSubPart-1.
 -If at least two  refldxBaseLX[i]withi=0..nbSubPart-1,are
    different,the following applies.
    -For each sub-macroblock partition,indexed by
     subMbPartIdx=0..nbSubPart-1,
       -If(refIdxBaseLX[subMbPartIdx]!=minRefIdxLX),
        the following applies.
        -Let predIdx be computed by invoking
         computePredIdx(subMbPartIdx,1).
                  -If(refIdxBaseLX[predIdx]!=minRefIdxLX),
                   predIdx is computed by irnvoking
                   computePredIdx(subMbPartIdx,2).
                  -mvBaseLX[subMbPartIdx]=mvBaseLX[predIdx]
         -RefIdxLX[mbPartIdx]is set to minRedIdxLX.
         -For each sub-macroblock partition,indexed by
          subMbPartIdx=0..nbSubPart-1,the following applies
          -MvLX[mbPartIdx][subMbPartIdx]=mvBaseLX[subMbPartIdx]
-The function returns 1.
 inhertSubPartitionMotion(mbPartLabel,mbPartIdx,subMbPartIdx,refldxBaseL0,refIdxBaseL1,mvBaseL0,mvBaseL1)
该函数执行子分区的运动数据继承。如果对应底层宏块为INTRA,不执行运动数据继承且函数返回0。否则执行运动数据继承,函数返回1。
-Let b4×4Idx be defined as follows.
 -If(mbPartLabel==8×4)b4×4Idx=2*subMbPartIdx
 -Otherwise b4×4Idx=subMbPartIdx
-Let mbAddrBase,mbPartIdxBase,subMbPartIdxBase be derived  by
 invoking function getBaseIdx(mbPartIdx,b4×4Idx)
-If mb_type of mbAddrBase is INTRA,the function returns 0.
-Otherwise,the following applies.
 -For X being replaced by 0 and 1,refIdxBaseLX[subMbPartIdx]and
  mvBaseLX[subMbPartIdx]are set to the reference index and motion
  vector of mbAddrBase/mbPartIdxBase/subMbPartIdxBase.
 -The function returns 1.

Claims (18)

1.一种用于从低分辨率图像的至少一个图像部分的编码信息导出高分辨率图像的至少一个图像部分的编码信息的方法,每个图像被划分为非交迭宏块,所述方法的特征在于:所述编码信息至少包括分区信息,被称为底层宏块的所述至少一个低分辨率图像部分的至少一个宏块,与被称为高层宏块的所述至少一个高分辨率图像部分的每个宏块相关联,从而当将所述至少一个高分辨率图像部分叠加在沿水平方向以第一预定义比率和沿垂直方向以第二预定义比率上采样的所述至少一个低分辨率图像部分上时,所述相关联的低分辨率宏块至少部分地与所述高分辨率宏块交迭,所述方法包括以下步骤:
-根据所述高层宏块相对于与所述高层宏块相关联的、被称为对应底层宏块的底层宏块的位置,计算(110)所述至少一个高分辨率图像部分中每个高层宏块的几何参数;
-根据所述几何参数,导出(120)所述至少一个高分辨图像部分中每个高层宏块的宏块类别;以及
-根据所述几何参数和所述高层宏块类别,从对应底层宏块的分区信息中导出(210)所述至少一个高分辨图像部分的每个高层宏块的分区信息。
2.如权利要求1所述的方法,其中,坐标系统与每个高分辨率图像相关联,以及在所述高分辨率图像坐标系统中,针对被划分为非交迭块的每个高层宏块,计算(110)如下四个几何参数:
-第一几何参数是高层宏块中心和对应底层宏块的最近垂直边界之间的代数距离MbBorderX,该距离是根据第一方向定义的;
-第二几何参数是高层宏块中心和对应底层宏块的最近水平边界之间的代数距离,该距离是根据第二方向定义的;
-第三几何参数是高层宏块中心和对应底层宏块的块的最近垂直边界之间的代数距离,该距离是根据第一方向定义的;
-第四几何参数是高层宏块中心和对应底层宏块的块的最近水平边界之间的代数距离,该距离是根据第二方向定义的。
3.如权利要求1或2所述的方法,其中,所述编码信息还包括子分区信息,以及该方法还包括步骤:如果有对应底层宏块,则根据所述几何参数和所述高层宏块类别,从对应底层宏块的分区信息和子分区信息中导出(220)所述至少一个高分辨率图像部分中高层宏块的子分区信息。
4.如权利要求1-3之一所述的方法,其中,所述编码信息还包括运动信息,以及该方法还包括步骤:从对应底层宏块的运动信息中导出(30)所述至少一个高分辨率图像部分中每个高层宏块的运动信息。
5.根据引用权利要求3的权利要求4所述的方法,其中导出(30)所述至少一个高分辨率图像部分中每个高层宏块的运动信息的步骤包括:如果有的话,导出所述高层宏块的每个分区的运动信息以及每个所述分区的每个子分区的运动信息。
6.如权利要求5所述的方法,其中,一个宏块、一个分区或一个子分区的运动信息包括:具有第一和第二分量的至少一个运动矢量以及从第一或第二参考索引列表中选择的、与所述运动矢量相关联的至少一个参考索引,所述索引识别参考图像。
7.如权利要求6所述的方法,其中,用于导出(30)运动信息的步骤包括步骤:针对所述至少一个高分辨率图像部分中的每个高层宏块,均化相同分区的子分区之间的运动信息,该步骤包括:对于参考索引的每个列表:
-针对高层宏块的每个分区,识别所述参考索引列表的参考索引中所述子分区的最低索引;
-将所述最低参考索引与当前参考索引不等于所述最低参考索引的每个所述子分区相关联,该当前参考索引成为在前参考索引;和
-将在前参考索引与所述最低参考索引不同的每个所述子分区,与在前参考索引与所述最低参考索引相同的相邻子分区的运动向量相关联。
8.如权利要求7所述的方法,其中,当首先检查水平相邻子分区、然后检查垂直相邻子分区、再检查对角相邻子分区时,关联运动矢量是遇到的第一相邻子分区的运动矢量。
9.如权利要求7或8所述的方法,其中,利用以下公式缩放每个宏块、分区和子分区的运动向量的运动向量分量:
d sx = ( dx * scaled _ base _ width + base _ width / 2 * sign [ d x ] ) / base _ width d sy = ( dy * scaled _ base _ height + base _ height / 2 * sign [ d y ] ) / base _ height
其中:
-dx和dy表示导出的运动向量的坐标;
-dsx和dsy表示缩放的运动向量的坐标;
-在x为正数时,sign[x]等于1,在x为负数时,sign[x]等于-1;
-scaled_base_width和scaled_base_height分别是高分辨率图像部分的宽和高;
-base_width和base_height分别是低分辨率图像部分的宽和高。
10.如权利要求3-9之一所述的方法,其中,宏块尺寸为16×16像素,块尺寸为8×8像素,所述第一预定义比率等于所述第二预定义比率。
11.如权利要求1-10之一所述的方法,其中,所述方法是用于编码视频信号的处理的一部分。
12.如权利要求1-10之一所述的方法,其中,所述方法是用于解码视频信号的处理的一部分。
13.一种用于编码至少高分辨率图像序列和低分辨率图像序列的设备(8),每个图像被划分为宏块,所述设备包括:
-第一编码装置(80),用于编码低分辨率图像,该第一编码装置生成所述低分辨率图像的编码信息和底层数据流;
-继承装置(82),用于从低分辨率图像的至少一个图像部分的编码信息中导出高分辨率图像的至少一个图像部分的编码信息;和
-第二编码装置(81),用于使用导出的编码信息来编码所述高分辨率图像,所述第二编码装置生成增强层数据流;
其特征在于,所述编码信息至少包括分区信息,继承装置(82)包括:
-关联装置,用于将被称为底层宏块的所述至少一个低分辨率图像部分的至少一个宏块,与被称为高层宏块的所述至少一个高分辨率图像部分的每个宏块相关联,从而当将所述至少一个高分辨率图像部分叠加在沿水平方向以第一预定义比率和沿垂直方向以第二预定义比率上采样的所述至少一个低分辨率图像部分上时,所述相关联的低分辨率宏块至少部分地与所述高分辨率宏块交迭;
-计算装置,用于根据所述高层宏块相对于与所述高层宏块相关联的、被称为对应底层宏块的底层宏块的位置,计算所述至少一个高分辨率图像部分中每个高层宏块的几何参数;
-第一导出装置,用于根据所述几何参数,导出所述至少一个高分辨图像部分中每个高层宏块的宏块类别;
-第二导出装置,用于根据所述几何参数和所述高层宏块类别,从对应底层宏块的分区信息中导出所述至少一个高分辨图像部分的每个高层宏块的分区信息。
14.如权利要求13所述的设备,其中,所述设备还包括用于将所述底层数据流和所述增强层数据流结合为单个数据流的结合模块(83)。
15.如权利要求13或14所述的设备,其中,所述第一编码装置是MPEG-4 AVC视频编码器。
16.一种用于解码由权利要求13至15之一所述的设备编码的至少高分辨率图像序列和低分辨率图像序列的设备(9),由数据流表示这些编码的图像,所述解码设备包括:
-第一解码装置(91),用于解码所述解码数据流中的至少第一部分,以生成低分辨率图像和所述低分辨率图像的编码信息;
-继承装置(82),用于从低分辨率图像的至少一个图像部分的编码信息中导出高分辨率图像的至少一个图像部分的编码信息;和
-第二解码装置(92),用于使用所述导出的编码信息来解码所述数据流的至少第二部分,以生成高分辨率图像;
其特征在于,所述编码信息至少包括分区信息,继承装置(82)包括:
-关联装置,用于将被称为底层宏块的所述至少一个低分辨率图像部分的至少一个宏块,与被称为高层宏块的所述至少一个高分辨率图像部分的每个宏块相关联,从而当将所述至少一个高分辨率图像部分叠加在沿水平方向以第一预定义比率和沿垂直方向以第二预定义比率上采样的所述至少一个低分辨率图像部分上时,所述相关联的低分辨率宏块至少部分地与所述高分辨率宏块交迭;
-计算装置,用于根据所述高层宏块相对于与所述高层宏块相关联的、被称为对应底层宏块的底层宏块的位置,计算所述至少一个高分辨率图像部分中每个高层宏块的几何参数;
-第一导出装置,用于根据所述几何参数,导出所述至少一个高分辨图像部分中每个高层宏块的宏块类别;
-第二导出装置,用于根据所述几何参数和所述高层宏块类别,从对应底层宏块的分区信息中导出所述至少一个高分辨图像部分的每个高层宏块的分区信息。
17.如权利要求16所述的设备,其中,所述设备还包括提取装置(90),用于从所述数据流中提取所述数据流第一部分和所述数据流第二部分。
18.如权利要求16或17所述的设备,其中,所述第一解码装置是MPEG-4 AVC视频解码器。
CN2006800039503A 2005-02-18 2006-02-14 从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备 Expired - Fee Related CN101213840B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
EP05101224A EP1694074A1 (en) 2005-02-18 2005-02-18 Process for scalable coding of images
EP05101224.3 2005-02-18
FR0550477 2005-02-21
FR0550477 2005-02-21
EP05102465.1 2005-03-29
EP05102465A EP1694075A1 (fr) 2005-02-21 2005-03-29 Méthode d'héritage inter couches utilisée dans un dispositif de codage et de décodage d'une image haute résolution à partir d'une image basse résolution
EP05290819.1 2005-04-13
EP05290819 2005-04-13
EP05291194.8 2005-06-02
EP05291194 2005-06-02
PCT/EP2006/050913 WO2006087319A2 (en) 2005-02-18 2006-02-14 Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method

Publications (2)

Publication Number Publication Date
CN101213840A true CN101213840A (zh) 2008-07-02
CN101213840B CN101213840B (zh) 2011-02-02

Family

ID=39730638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800039503A Expired - Fee Related CN101213840B (zh) 2005-02-18 2006-02-14 从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备

Country Status (7)

Country Link
US (1) US8345762B2 (zh)
EP (1) EP1849303A2 (zh)
JP (1) JP5213456B2 (zh)
KR (1) KR101233854B1 (zh)
CN (1) CN101213840B (zh)
TW (1) TWI403959B (zh)
WO (1) WO2006087319A2 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561280A (zh) * 2013-11-14 2014-02-05 北京航空航天大学 一种基于深度和动作流信息的远程绘制方法
CN104412593A (zh) * 2012-07-03 2015-03-11 夏普株式会社 图像解码装置以及图像编码装置
CN104718757A (zh) * 2012-10-05 2015-06-17 高通股份有限公司 用于可缩放视频译码的预测模式信息上取样
CN104885465A (zh) * 2013-01-07 2015-09-02 高通股份有限公司 用于仅hls可缩放视频译码的层间参考图片产生
CN105052133A (zh) * 2012-10-01 2015-11-11 Ge视频压缩有限责任公司 将子块细分的推导用于来自基础层的预测的可伸缩视频编码
CN105340276A (zh) * 2013-07-02 2016-02-17 高通股份有限公司 对多层视频译码的层间预测信令的优化
CN106162170A (zh) * 2010-04-13 2016-11-23 Ge视频压缩有限责任公司 样本区域合并技术
CN103561280B (zh) * 2013-11-14 2016-11-30 北京航空航天大学 一种基于深度和动作流信息的远程绘制方法
US20170134761A1 (en) 2010-04-13 2017-05-11 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
CN108353165A (zh) * 2015-11-20 2018-07-31 韩国电子通信研究院 使用几何修改图片对图像进行编码/解码的方法和设备
US20180324466A1 (en) 2010-04-13 2018-11-08 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US20190089962A1 (en) 2010-04-13 2019-03-21 Ge Video Compression, Llc Inter-plane prediction

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4991758B2 (ja) * 2006-01-09 2012-08-01 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング/デコーディング方法
US8401085B2 (en) * 2006-09-07 2013-03-19 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
JP2009538084A (ja) * 2006-11-17 2009-10-29 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング/エンコーディング方法及び装置
JP5029543B2 (ja) * 2008-09-09 2012-09-19 富士通株式会社 符号化装置および符号化プログラム
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
FR2947134A1 (fr) * 2009-06-23 2010-12-24 France Telecom Procedes de codage et de decodages d'images, dispositifs de codage et de decodage, flux de donnees et programme d'ordinateur correspondants.
HUE042742T2 (hu) * 2010-08-17 2019-07-29 Samsung Electronics Co Ltd Videodekódolási eljárás variábilis faszerkezetû transzformációs egység felhasználásával
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2013126157A (ja) * 2011-12-15 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
EP3442227B1 (en) * 2012-02-29 2020-04-22 LG Electronics Inc. Inter-layer prediction method and apparatus
WO2013147557A1 (ko) 2012-03-29 2013-10-03 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
US9819946B2 (en) 2012-04-05 2017-11-14 Newsouth Innovations Pty Limited Method and apparatus for coding of spatial data
GB2501517A (en) 2012-04-27 2013-10-30 Canon Kk Scalable Encoding and Decoding of a Digital Image
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
US10284842B2 (en) * 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
US20160088305A1 (en) * 2013-04-17 2016-03-24 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing video signal
JP2019514308A (ja) * 2016-05-10 2019-05-30 サムスン エレクトロニクス カンパニー リミテッド 映像を符号化/復号する方法及びその装置
CN108810531B (zh) * 2017-05-03 2019-11-19 腾讯科技(深圳)有限公司 视频编码处理方法、装置及电子设备
GB2618718B (en) * 2019-03-20 2024-03-13 V Nova Int Ltd Low complexity enhancement video coding
JPWO2020250599A1 (zh) * 2019-06-12 2020-12-17
CN114710663A (zh) * 2019-09-20 2022-07-05 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
US20220385888A1 (en) * 2019-09-20 2022-12-01 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bitstream
CN112106362A (zh) * 2019-09-30 2020-12-18 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质
TWI774124B (zh) * 2019-11-15 2022-08-11 寰發股份有限公司 用於編解碼360度虛擬實境視訊序列的方法和裝置
US20220408114A1 (en) * 2019-11-22 2022-12-22 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
JP2023524000A (ja) * 2020-05-19 2023-06-08 グーグル エルエルシー 品質正規化ビデオコード変換のための動的パラメータ選択
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59107736D1 (de) 1991-08-24 1996-05-30 Itt Ind Gmbh Deutsche Monolithisch integrierter Differenzverstärker mit digitaler Verstärkungseinstellung
US5270813A (en) 1992-07-02 1993-12-14 At&T Bell Laboratories Spatially scalable video coding facilitating the derivation of variable-resolution images
JP3189258B2 (ja) 1993-01-11 2001-07-16 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US5831678A (en) 1996-08-09 1998-11-03 U.S. Robotics Access Corp. Video encoder/decoder system
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US5978509A (en) 1996-10-23 1999-11-02 Texas Instruments Incorporated Low power video decoder system with block-based motion compensation
TW395131B (en) 1997-01-10 2000-06-21 Matsushita Electric Ind Co Ltd Method and device for processing image, and date recording medium
US6728775B1 (en) * 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6741748B1 (en) * 1997-06-19 2004-05-25 Samsung Electronics Co. Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same
US6351563B1 (en) 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
JP2000013790A (ja) 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6233283B1 (en) * 1998-06-23 2001-05-15 Lucent Technologies Inc. Layered video coding using perceptual coding criteria for error resilience in packet networks
US6603883B1 (en) * 1998-09-08 2003-08-05 Canon Kabushiki Kaisha Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
AU743246B2 (en) * 1998-11-04 2002-01-24 Mitsubishi Denki Kabushiki Kaisha Image decoder and image encoder
DE19855038A1 (de) * 1998-11-28 2000-05-31 Thomson Brandt Gmbh Verfahren zur Bildcodierung und -decodierung sowie Verfahren zum Aufbau einer Teilbilddateneinheit für ein elektronisches Gerät und elektronisches Gerät
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6931060B1 (en) * 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
JP2001223665A (ja) * 2000-02-08 2001-08-17 Matsushita Electric Ind Co Ltd 信号符号化伝送装置、信号復号化受信装置、およびプログラム記録媒体
US6510177B1 (en) 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
EP1279111A4 (en) 2000-04-07 2005-03-23 Dolby Lab Licensing Corp IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
US6907070B2 (en) 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
TW567728B (en) * 2001-02-20 2003-12-21 Sanyo Electric Co Method and apparatus for decoding graphic image
US20040252900A1 (en) * 2001-10-26 2004-12-16 Wilhelmus Hendrikus Alfonsus Bruls Spatial scalable compression
US7421127B2 (en) * 2001-10-26 2008-09-02 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using spatial sharpness enhancement techniques
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US6898313B2 (en) * 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
WO2003079692A1 (en) * 2002-03-19 2003-09-25 Fujitsu Limited Hierarchical encoder and decoder
AU2003237279A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
EP3203741B1 (en) * 2003-01-30 2018-03-14 Koninklijke Philips N.V. Video coding
EP1597919A1 (en) * 2003-02-17 2005-11-23 Koninklijke Philips Electronics N.V. Video coding
EP1455534A1 (en) 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7142601B2 (en) 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
JP2005033336A (ja) 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US7362809B2 (en) * 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
US8503542B2 (en) * 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7817723B2 (en) 2004-12-14 2010-10-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus and method of optimizing motion estimation parameters for encoding a video signal
US8363730B2 (en) * 2004-12-16 2013-01-29 Intel Corporation Local macroblock information buffer
US20060176955A1 (en) 2005-02-07 2006-08-10 Lu Paul Y Method and system for video compression and decompression (codec) in a microprocessor
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100880640B1 (ko) 2005-04-01 2009-01-30 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100763179B1 (ko) 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US7777812B2 (en) 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
EP2016774B1 (en) * 2006-05-05 2010-04-28 Thomson Licensing Simplified inter-layer motion prediction for scalable video coding

Cited By (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721496B2 (en) 2010-04-13 2020-07-21 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US11102518B2 (en) 2010-04-13 2021-08-24 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11910030B2 (en) 2010-04-13 2024-02-20 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US11910029B2 (en) 2010-04-13 2024-02-20 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division preliminary class
US11900415B2 (en) 2010-04-13 2024-02-13 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11856240B1 (en) 2010-04-13 2023-12-26 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11810019B2 (en) 2010-04-13 2023-11-07 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
CN106162170A (zh) * 2010-04-13 2016-11-23 Ge视频压缩有限责任公司 样本区域合并技术
US11785264B2 (en) 2010-04-13 2023-10-10 Ge Video Compression, Llc Multitree subdivision and inheritance of coding parameters in a coding block
US20170134761A1 (en) 2010-04-13 2017-05-11 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11778241B2 (en) 2010-04-13 2023-10-03 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11765363B2 (en) 2010-04-13 2023-09-19 Ge Video Compression, Llc Inter-plane reuse of coding parameters
US11765362B2 (en) 2010-04-13 2023-09-19 Ge Video Compression, Llc Inter-plane prediction
US20180324466A1 (en) 2010-04-13 2018-11-08 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US11734714B2 (en) 2010-04-13 2023-08-22 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11736738B2 (en) 2010-04-13 2023-08-22 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using subdivision
US11611761B2 (en) 2010-04-13 2023-03-21 Ge Video Compression, Llc Inter-plane reuse of coding parameters
US20190089962A1 (en) 2010-04-13 2019-03-21 Ge Video Compression, Llc Inter-plane prediction
US10250913B2 (en) 2010-04-13 2019-04-02 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10248966B2 (en) 2010-04-13 2019-04-02 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US20190164188A1 (en) 2010-04-13 2019-05-30 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US20190174148A1 (en) 2010-04-13 2019-06-06 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US11553212B2 (en) 2010-04-13 2023-01-10 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
CN106162170B (zh) * 2010-04-13 2019-07-02 Ge视频压缩有限责任公司 解码器、编码器、解码方法和编码方法
US11546641B2 (en) 2010-04-13 2023-01-03 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10432978B2 (en) 2010-04-13 2019-10-01 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10432979B2 (en) 2010-04-13 2019-10-01 Ge Video Compression Llc Inheritance in sample array multitree subdivision
US10432980B2 (en) 2010-04-13 2019-10-01 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10440400B2 (en) 2010-04-13 2019-10-08 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10448060B2 (en) 2010-04-13 2019-10-15 Ge Video Compression, Llc Multitree subdivision and inheritance of coding parameters in a coding block
US10460344B2 (en) 2010-04-13 2019-10-29 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11546642B2 (en) 2010-04-13 2023-01-03 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US11087355B2 (en) 2010-04-13 2021-08-10 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US20210211743A1 (en) 2010-04-13 2021-07-08 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10621614B2 (en) 2010-04-13 2020-04-14 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10672028B2 (en) 2010-04-13 2020-06-02 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10681390B2 (en) 2010-04-13 2020-06-09 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10687086B2 (en) 2010-04-13 2020-06-16 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10687085B2 (en) 2010-04-13 2020-06-16 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US11037194B2 (en) 2010-04-13 2021-06-15 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10694218B2 (en) 2010-04-13 2020-06-23 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10708629B2 (en) 2010-04-13 2020-07-07 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10708628B2 (en) 2010-04-13 2020-07-07 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10719850B2 (en) 2010-04-13 2020-07-21 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US11051047B2 (en) 2010-04-13 2021-06-29 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10721495B2 (en) 2010-04-13 2020-07-21 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US20190197579A1 (en) 2010-04-13 2019-06-27 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10748183B2 (en) 2010-04-13 2020-08-18 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10764608B2 (en) 2010-04-13 2020-09-01 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10771822B2 (en) 2010-04-13 2020-09-08 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10803483B2 (en) 2010-04-13 2020-10-13 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10805645B2 (en) 2010-04-13 2020-10-13 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10803485B2 (en) 2010-04-13 2020-10-13 Ge Video Compression, Llc Region merging and coding parameter reuse via merging
US10848767B2 (en) 2010-04-13 2020-11-24 Ge Video Compression, Llc Inter-plane prediction
US10856013B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
US10855991B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Inter-plane prediction
US10855990B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Inter-plane prediction
US10855995B2 (en) 2010-04-13 2020-12-01 Ge Video Compression, Llc Inter-plane prediction
US10863208B2 (en) 2010-04-13 2020-12-08 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10873749B2 (en) 2010-04-13 2020-12-22 Ge Video Compression, Llc Inter-plane reuse of coding parameters
US10880581B2 (en) 2010-04-13 2020-12-29 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10880580B2 (en) 2010-04-13 2020-12-29 Ge Video Compression, Llc Inheritance in sample array multitree subdivision
US10893301B2 (en) 2010-04-13 2021-01-12 Ge Video Compression, Llc Coding of a spatial sampling of a two-dimensional information signal using sub-division
CN104412593A (zh) * 2012-07-03 2015-03-11 夏普株式会社 图像解码装置以及图像编码装置
CN104412593B (zh) * 2012-07-03 2018-11-06 夏普株式会社 图像解码装置以及图像编码装置
CN105052132A (zh) * 2012-10-01 2015-11-11 Ge视频压缩有限责任公司 利用增强层中变换系数区块的基于子区块编码的可伸缩视频编码
US10694182B2 (en) 2012-10-01 2020-06-23 Ge Video Compression, Llc Scalable video coding using base-layer hints for enhancement layer motion parameters
CN105052133B (zh) * 2012-10-01 2020-02-07 Ge视频压缩有限责任公司 将子块细分的推导用于来自基础层的预测的可伸缩视频编码
US11134255B2 (en) 2012-10-01 2021-09-28 Ge Video Compression, Llc Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
US10212420B2 (en) 2012-10-01 2019-02-19 Ge Video Compression, Llc Scalable video coding using inter-layer prediction of spatial intra prediction parameters
CN105052133A (zh) * 2012-10-01 2015-11-11 Ge视频压缩有限责任公司 将子块细分的推导用于来自基础层的预测的可伸缩视频编码
US11575921B2 (en) 2012-10-01 2023-02-07 Ge Video Compression, Llc Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US11477467B2 (en) 2012-10-01 2022-10-18 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
US10218973B2 (en) 2012-10-01 2019-02-26 Ge Video Compression, Llc Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US10212419B2 (en) 2012-10-01 2019-02-19 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
US11589062B2 (en) 2012-10-01 2023-02-21 Ge Video Compression, Llc Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US10477210B2 (en) 2012-10-01 2019-11-12 Ge Video Compression, Llc Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
CN105052132B (zh) * 2012-10-01 2019-12-24 Ge视频压缩有限责任公司 利用增强层中变换系数区块的基于子区块编码的可伸缩视频编码
US10721478B2 (en) 2012-10-05 2020-07-21 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
CN104718757B (zh) * 2012-10-05 2019-08-06 高通股份有限公司 用于可缩放视频译码的预测模式信息上取样
CN104718757A (zh) * 2012-10-05 2015-06-17 高通股份有限公司 用于可缩放视频译码的预测模式信息上取样
CN104885465B (zh) * 2013-01-07 2018-05-04 高通股份有限公司 用于仅hls可缩放视频译码的层间参考图片产生
CN104885465A (zh) * 2013-01-07 2015-09-02 高通股份有限公司 用于仅hls可缩放视频译码的层间参考图片产生
CN105340276A (zh) * 2013-07-02 2016-02-17 高通股份有限公司 对多层视频译码的层间预测信令的优化
CN103561280A (zh) * 2013-11-14 2014-02-05 北京航空航天大学 一种基于深度和动作流信息的远程绘制方法
CN103561280B (zh) * 2013-11-14 2016-11-30 北京航空航天大学 一种基于深度和动作流信息的远程绘制方法
US11758128B2 (en) 2015-11-20 2023-09-12 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture
CN108353165A (zh) * 2015-11-20 2018-07-31 韩国电子通信研究院 使用几何修改图片对图像进行编码/解码的方法和设备
US11425370B2 (en) 2015-11-20 2022-08-23 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture
CN108353165B (zh) * 2015-11-20 2022-08-09 韩国电子通信研究院 使用几何修改图片对图像进行编码/解码的方法和设备
US11412209B2 (en) 2015-11-20 2022-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture

Also Published As

Publication number Publication date
US20090028245A1 (en) 2009-01-29
CN101213840B (zh) 2011-02-02
TWI403959B (zh) 2013-08-01
KR20070103459A (ko) 2007-10-23
TW200636605A (en) 2006-10-16
EP1849303A2 (en) 2007-10-31
WO2006087319A2 (en) 2006-08-24
WO2006087319A3 (en) 2006-11-23
US8345762B2 (en) 2013-01-01
JP5213456B2 (ja) 2013-06-19
KR101233854B1 (ko) 2013-02-15
JP2008530927A (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
CN101213840B (zh) 从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备
CN101204092B (zh) 从低分辨率图像导出高分辨率图像的编码信息的方法以及实施所述方法的编码和解码设备
CN101356820B (zh) 层间运动预测方法
KR101311656B1 (ko) 스케일러블 비디오 코딩을 위한 간략화된 레이어간 모션 예측
CN101073265B (zh) 可缩放视频编码方法
CN101491100B (zh) 从低分辨率画面的运动数据导出高分辨率画面的运动数据的方法和设备
US20140369416A1 (en) Method of predicting motion and texture data
EP2005760A1 (en) Method of predicting motion and texture data
CN110226328A (zh) 发送设备、发送方法、接收设备以及接收方法
Ahmmed et al. Discrete cosine basis oriented motion modeling with cuboidal applicability regions for versatile video coding
KR20070075257A (ko) 영상신호의 엔코딩/디코딩시의 레이어간 모션 예측 방법
KR101336104B1 (ko) 모션과 텍스처 데이터를 예측하는 방법
JP2004023606A (ja) 画像符号化装置および画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110202

Termination date: 20180214

CF01 Termination of patent right due to non-payment of annual fee