CN101176348A - 可对视频信号缩放地进行编码和解码的方法 - Google Patents
可对视频信号缩放地进行编码和解码的方法 Download PDFInfo
- Publication number
- CN101176348A CN101176348A CNA2006800162955A CN200680016295A CN101176348A CN 101176348 A CN101176348 A CN 101176348A CN A2006800162955 A CNA2006800162955 A CN A2006800162955A CN 200680016295 A CN200680016295 A CN 200680016295A CN 101176348 A CN101176348 A CN 101176348A
- Authority
- CN
- China
- Prior art keywords
- basic unit
- frame
- offset information
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 61
- 230000010363 phase shift Effects 0.000 claims description 50
- 238000005070 sampling Methods 0.000 claims description 33
- 241000023320 Luma <angiosperm> Species 0.000 claims 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims 1
- 239000010410 layer Substances 0.000 description 94
- 239000011229 interlayer Substances 0.000 description 19
- 230000007423 decrease Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
在一个实施例中,视频信号的解码包括基于基层中的基图像的至少内编码部分和预测的当前图像中的采样的偏移信息预测当前层中的当前图像的至少一部分。
Description
技术领域
本发明涉及视频信号的可缩放编码和解码。
背景技术
向由移动电话或笔记本计算机以无线方式发送和接收的数字视频信号分配TV信号所需的高带宽是困难的。可以预想到相同的困难会发生在将来普及使用的移动电视机和手提计算机上。因此,这些移动设备所使用的视频压缩标准应当具有高的视频信号压缩效率。
这些移动设备具有多种处理和显示能力以致应该配备多种压缩视频数据形式。这意味着应该基于一个视频源来提供具有多个变量——例如每秒发送的帧数、分辨率和每像素的位数——的不同组合的多种不同质量的视频数据。这向内容提供者施加了很大的负担。
由于上述问题,内容提供者为每一源视频配备高的位速率的压缩视频数据,并当从移动设备接收到请求时还执行一种处理,以对所压缩的视频执行解码并对其编码而回到适应移动设备的视频处理能力的视频数据。然而,该方法必须用到代码转换程序,包括解码、缩放和编码处理,这有时会造成将请求的数据提供给移动设备的延迟。代码转换程序还需要复杂的硬件和算法以应付多种对象编码格式。
已研发出可缩放视频编解码器(SVC)以尝试克服这些问题。这种方案将视频编码为具有最高图像质量的图象序列,同时保证能对编码的图象(帧)序列的一部分(具体地说,从全部帧序列中间断地选择的一部分帧序列)进行解码以形成某一图像质量等级。
运动补偿时域滤波(MCTF)是可缩放视频编解码中建议使用的一种编码方案。MCTF方案具有减少每秒发送位数的高压缩效率(即高编码效率)。MCTF方案可应用于一些发送环境,例如带宽受到限制的移动通信环境。
尽管能确保可接收可缩放MCTF编码方案编码的图象序列的一部分并将其处理成如上所述具有某一图象质量等级的视频,但是仍然存在的问题是如果位速率降低则图像质量显著劣化。该问题的一种解决方案是提供低的位速率的辅助图象序列,例如具有小屏幕尺寸和/或低帧速的图象序列。
辅助图象序列被称为基层(BL),而主图象序列被称为增强层或强化层。由于将同一视频内容编码为具有不同空间分辨率或不同帧速率的两个层,因此基层和增强层的视频信号具有冗余。为了提高增强层的编码效率,可用基层的运动信息和/或纹理信息预测增强层的视频信号。这种预测方法被称为层间预测。
图1示出BL内预测方法和层间残余预测方法的例子,它是用基层对增强层进行编码的层间预测方法。
BL内预测方法使用基层的纹理(或图象数据)。具体地说,BL内预测方法用以内模式编码的基层的相应块形成增强层的宏块的预测数据。术语“相应块”指位于与含宏块的帧在时域上重合的基层帧中并且如果通过增强层的屏幕尺寸和基层的屏幕尺寸的比放大基层帧则具有覆盖宏块的面积的块。在通过上升采样而以增强层的屏幕尺寸和基层的屏幕尺寸的比放大相应块后,BL内预测方法使用基层的相应块。
层间残余预测方法与BL内预测方法相似,除了它使用编码以包含残余数据的基层中的相应块,该数据是图像差数据,而不是基层中含图像数据的相应块。层间残余预测方法使用编码以包含残余数据的基层的相应块形成被编码以包含残余数据的增强层的宏块的预测数据,所述残余数据是图像差数据。与BL内预测方法相似,在通过上升采样而以增强层屏幕尺寸与基层屏幕尺寸的比放大相应块后,层间残余预测方法使用含残余数据的基层相应块。
通过对视频源下降采样获得用于层间预测方法的具有较低分辨率的基层。由于可采用多种不同的下降采样技术和下降采样比(即水平和/或垂直尺寸缩减比),从同一视频源产生的增强层和基层中的相应图象(帧或块)可以是异相的。
图2示出增强层和基层之间的相位关系。可通过(i)以独立于增强层的较低空间分辨率对视频源采样(ii)以较高的空间分辨率对增强层下降采样来产生基层。在图2的例子中,增强层和基层之间的下降采样比为2/3。
视频信号作为单独的分量予以管理,即一个亮度分量和两色度分量。亮度分量关联于亮度信息Y而两个色度分量关联于色度信息Cb和Cr。亮度和色度信号之间的比4∶2∶0(Y∶Cb∶Cr)是广泛使用的。色度信号的采样典型地位于亮度信号的采样中间。当直接从视频源形成增强层和/或基层时,对增强层和/或基层的亮度信号和色度信号采样以满足4∶2∶0的比和对应于4∶2∶0的比的位置条件。
在上面的情形(i)中,由于增强层和基层可能具有不同的采样位置,因此如图2的部分(a)所示,增强层和基层是异相的。在部分(a)的采样中,每个增强层和基层的亮度和色度信号满足4∶2∶0的比和对应于4∶2∶0的比的位置条件。
在上面的情形(ii)中,通过以一规定比率对增强层的亮度和色度信号下降采样而形成基层。如果形成基层以使基层的亮度和色度信号与增强层的亮度和色度信号同相,则基层的亮度和色度信号不满足根据图2的(b)部分所示的4∶2∶0的比的位置条件。
另外,如果形成基层以使基层的亮度和色度信号满足根据4∶2∶0比的位置条件,则如图2的部分(c)所示,基层的色度信号与增强层的色度信号异相。在这种情形下,如果对基层的色度信号根据层间预测方法以规定比率上升采样,则上升采样的基层的色度信号与增强层的色度信号异相。
另外在情形(ii)中,如图2(a)所示,增强层和基层可能是异相的。
即,基层的相位在产生基层的下降采样程序中和在层间预测方法的上升采样程序中可能会改变,因此基层与增强层异相,由此降低编码效率。
发明内容
在一个实施例中,视频信号的解码包括基于基层中的基图像的至少内编码部分和预测的当前图像中的采样的偏移信息预测当前层中的当前图像的至少一部分。例如,采样可以是亮度和/或色度采样。
在一个实施例中,偏移信息基于基图像的内编码部分中的相应采样。
在另一实施例中,预测步骤基于基图像的上升采样部分的至少一部分和偏移信息预测当前图像部分。
在一个实施例中,偏移信息是相移信息。
在一个实施例中,预测步骤可从基层的分片头部获得偏移信息,并且在另一实施例中,可从当前层中的序列级头部获得偏移信息。
其它相关实施例包括对视频信号进行编码的方法以及对视频信号进行编码和解码的装置。
附图说明
通过下面结合附图的详细说明,本发明的上述和其它的目的、特征和其它优点将变得更易理解,其中:图1示出用基层对增强层进行编码的层间预测方法的一个例子;
图2示出增强层和基层之间的相位关系的例子;
图3是可实施根据本发明的可缩放视频信号编码方法的视频信号编码装置的方框图;
图4示出图3所示的EL编码器的部件;
图5示出根据本发明一个实施例的、将基层和/或增强层的相移考虑在内的、在根据层间预测方法编码的增强层的解码中用于对基层进行上升采样的方法;
图6是用于对通过图3的装置编码的位流进行解码的装置的方框图;以及
图7示出图6所示的EL解码器的部件。
具体实施方式
下面将结合附图对本发明诸实施例进行详细说明。
图3是可实施根据本发明的可缩放视频信号编码方法的视频信号编码装置的方框图。
图3所示的视频信号编码装置包括增强层(EL)编码器100、纹理编码单元110、运动编码单元120、复用器(或多路复用器)130、下降采样单元140和基层(BL)编码器150。下降采样单元140直接从输入视频信号或通过对输入视频信号下降采样产生增强层,并根据特定方案通过对输入视频信号或增强层信号下降采样形成基层信号。所述特定方案取决于接收各层的应用或装置;并因此是设计选择的问题。EL编码器100根据特定编码方案(例如MCTF方案)以可缩放方式在每个宏块基础上对通过下降采样单元140产生的增强层信号进行编码,并产生适当的管理信息。纹理编码单元110将编码的宏块数据转换成压缩的位流。运动编码单元120根据特定方案将通过EL编码器100获得的图像块的运动矢量编码成压缩的位流。BL编码器150根据特定方案——例如根据MPEG-1、MPEG-2和MPEG-4标准或H.261或H.264标准——对由下降采样单元140产生的基层信号进行编码,并产生小屏幕图象序列,例如在需要时产生缩小至其原始尺寸的25%的图象序列。复用器130将纹理编码单元110的输出数据、来自BL编码器150的小屏幕序列以及运动编码单元120的输出矢量数据封装成所需的格式。复用器130对封装的数据多路复用为所需的传输格式并输出。
下降采样单元140不仅将增强层和基层信号发送到EL和BL编码器100和150,而且还将两个层的采样相关信息发送至EL和BL编码器100和150。两个层的采样相关信息可包括空间分辨率(或屏幕尺寸)、帧速率、两个层的亮度和色度信号之间的比、两个层的色度信号的位置以及基于两个层的亮度和色度信号的各位置的关于两个层的亮度和色度信号之间的相移的信息。
相移可定义为两个层的亮度信号之间的相位差。一般是根据亮度和色度信号之间的比对两个层的亮度和色度信号进行采样以满足位置条件,并对两个层的亮度信号进行采样以使它们彼此同相。
相移还可定义为两个层的色度信号之间的相位差。在两个层的亮度信号的位置彼此匹配以使两个层的亮度信号彼此同相之后,可基于两个层的色度信号位置之间的差确定两个层的色度信号之间的相位差。
例如,可基于产生增强层或基层的输入视频信号,参照一个虚拟层(例如上升采样的基层)而对每个层单独定义相差。这里,相位差在基层的增强层和虚拟层(例如上升采样的基层)的亮度和/或色度采样(例如像素)之间。
EL编码器100将从下降采样单元140传来的相移信息记录在序列层或分片层的头部区中。如果相移信息具有0以外的值,则EL编码器100将指示两个层之间是否存在相移的全局偏移标志“global_shift_flag”置位为,例如,“1”,并将相移值记录在字段“global_shift_x”和“global_shift_y”的信息中。“global_shift_x”值表示水平相移。“global_shift_y”值表示垂直相移。换种说法,“global_shift_x”值表示采样(即像素)之间的水平位置偏移,而“global_shift_y”表示采样(即像素)之间的垂直位置偏移。
另一方面,如果相移信息具有0值,则EL编码器100将标志“global_shift_flag”置位为,例如,“0”,并且不将相移值记录到信息字段“global_shift_x”和“global_shift_y”中。
如有必要,EL编码器100还将采样相关的信息记录至序列层或分片层的头部区中。
EL编码器100在从下降采样单元140接收到的视频数据上执行MCTF。因此,EL编码器100通过在宏块中减去运动估计所发现的基准块而执行视频帧(或图象)中每个宏块上的预测操作。另外,EL编码器100通过将基准块和宏块之间的图像差添加至基准块而有选择地执行更新操作。
EL编码器100将输入视频帧序列分为,例如,奇数帧和偶数帧。EL编码器100在多个编码等级上对单独的帧执行预测和更新操作直到,例如,通过更新操作产生的L帧号对于一组图象(GOP)减小至1。图4示出在各编码等级中的一个等级上关联于预测和更新操作的EL编码器100的部件。
图4所示的EL编码器100的部件包括估计器/预测器101。通过运动估计,估计器/预测器101搜索包含残余数据的一个帧(例如增强层中的奇数帧)的每个宏块的基准块,并随后执行预测操作以计算宏块与基准块的图像差(即像素-像素差)以及从宏块至基准块的运动矢量。EL编码器100还包括更新器102,用于通过对计算得到的宏块与基准块的图像差归一化并将该归一化值添加到基准块而对一个帧(例如偶数帧)执行更新操作,该帧包括宏块的基准块。
与对象块具有最小图像差的块具有与对象块最高的相关度。例如,定义两个块的图像差为两个块的像素-像素差的和或平均值。认为在具有像素-像素差和(或平均值)或小于对象块的阈值的块中,具有最小差和(或平均值)的块是基准块。
把由估计器/预测器101执行的操作称为“P”操作,而把“P”操作产生的帧称为“H”帧。“H”帧中存在的残余数据反映视频信号的高频分量。把由更新器102执行的操作称为“U”操作,而把“U”操作产生的帧称为“L”帧。“L”帧是低通子波带图象。
图4的估计器/预测器101和更新器102可在通过分割一个帧产生的多个分片上同时和并行地执行其操作,而不是以帧为单位执行其操作。在下面的实施例描述中,术语“帧”广义地包括“分片”,假设用术语“分片”代替术语“帧”是技术上等同的。
更具体地说,估计器/预测器101将每个输入视频帧或以先前等级获得的L帧的每个奇数帧分割成一定大小的宏块。估计器/预测器101随后以同一时域分解等级在当前的奇数帧或者在当前奇数帧之前和之后的偶数帧中搜索图象最确定地类似于每个分割的宏块的图象的块,并使用最类似块或基准块产生每个分割的宏块的预测图像并获得其运动矢量。
如图4所示,EL编码器100也可包括BL解码器150。BL解码器105从含接收自BL编码器150的小屏幕序列的编码的基层流中取出诸如宏块模式的编码信息,并将编码的基层流解码以产生每个都由一个或多个宏块构成的帧。估计器/预测器101也可根据BL内预测方法在基层的一个帧中搜索宏块的基准块。具体地说,估计器/预测器101在由BL解码器105重构的基层的与含宏块的帧时域上重合的一个帧中搜索以内模式编码的相应块。术语“相应块”指位于时域上重合的基层帧中并且如果以增强层的屏幕尺寸与基层的屏幕尺寸的比放大基层帧则具有覆盖宏块的面积的块。
估计器/预测器101通过对相应块的内编码的像素值进行解码而重构所发现的相应块的原始图像,并随后对所发现的相应块上升采样从而以增强层屏幕尺寸与基层屏幕尺寸的比将其放大。估计器/预测器101考虑从下降采样单元140发送来的相移信息“global_shift_x/y ”执行该下降采样以使放大的基层的相应块与增强层的宏块同相。
估计器/预测器101参照基层相应块中的相应区对宏块进行编码,相应块被放大以与宏块同相。这里,术语“相应区”指与宏块处于帧中同一相对位置的相应块中的部分区域。
如有必要,估计器/预测器101通过在改变相应块相位的同时在宏块上执行运动估计而在基层的放大相应块中搜索与宏块的相关度更高的基准区,并用搜索到的基准区对宏块进行编码。
如果在搜索基准区的同时,放大的相应块的相位进一步变化,则估计器/预测器101将局部偏移标志“locals_hift_flag”置为1,“local_shift_flag”指示在宏块和相应上升采样块之间是否存在不同于全局相移“global_shift_flag”的相移。另外,估计器/预测器101将局部偏移标志记录在宏块的头部区域并将宏块和相应块之间的局部相移记录在信息字段“local_shift_x”和“local_shift_y”。局部相移信息可以是替换信息并将整个相移信息提供作为全局相移信息的替换或代替。或者,局部相移信息可以是附加信息,其中附加至相应全局相移信息的局部相移信息提供整个或全部的相移信息。
估计器/预测器101还将指示已以BL内模式对增强层的宏块进行编码的信息插入至宏块的头部区域中以将该情况通知解码器。
估计器/预测器101也可使用在宏块之前和之后的其它帧中发现的基准块将层间残余预测方法应用于宏块以使其包含作为图像差的数据的残余数据。同样在这种情形下,考虑从下降采样单元140传来的相移信息“global_shift_x/y”以使基层与增强层同相,估计器/预测器101对所编码的基层的相应块上升采样以使其包含作为图像差的数据的残余数据。这里,基层的相应块是已被编码以使其包含作为图像差数据的残余数据。
估计器/预测器101将指示已根据层间残余预测方法对增强层的宏块进行编码的信息插入到宏块的头部区以把该情况通知解码器。
估计器/预测器101对帧中所有宏块执行上述程序以形成作为帧的预测图像的H帧。估计器/预测器101对所有输入视频帧或以先前等级获得的L帧的所有奇数帧执行上述程序以形成作为输入帧的预测图像的H帧。
如上所述,更新器102将由估计器/预测器101产生的H帧中的每个宏块的图像差添加至具有其基准块的L帧,所述基准块是输入视频帧或以先前等级获得的L帧的偶数帧。
以有线或无线方式把以上述方法编码的数据流发送至解码装置或者经由记录介质传递。解码装置根据下述方法重构原始视频信号。
图5示出根据本发明一个实施例的、考虑基层和/或增强层中的相移、在根据层间预测方法编码的增强层的解码中用于对基层上升采样的方法。
为了对根据层间预测方法编码的增强层的宏块进行解码,通过上升采样以增强层的屏幕尺寸与基层屏幕尺寸的比放大与宏块对应的基层块。这种上升采样是考虑增强层和/或基层中的相移信息“global_shift_x/y”而进行的,由此补偿增强层的宏块和基层中被放大的相应块之间的全局相移。
如果在增强层宏块和基层相应块之间存在不同于全局相移“global_shift_x/y”的局部相移“local_shift_x/y”,则考虑局部相移“local_shift_x/y”而对相应块上升采样。例如在一个实施例中,可用局部相移信息代替全局相移信息,或者在另一实施例中与全局相移信息一起使用。
然后,用已被放大以与宏块同相的相应块重构增强层的宏块的原始图像。
图6是用于对由图3的装置编码的位流进行解码的装置的方框图。图6的解码装置包括多路分解器(或去多路复用器)200、纹理解码单元210、运动解码单元220、EL解码器230以及BL解码器240。多路分解器200将接收到的位流分成压缩的运动矢量流和压缩的宏块信息流。纹理解码单元210将压缩的宏块信息流重构至其原始的未压缩状态。运动解码单元220将压缩的运动矢量流重构至其原始的未压缩状态。EL解码器230根据特定方案(例如MCTF方案)将未压缩的宏块信息流和未压缩的运动矢量流转回到原始视频信号。BL解码器240根据特定方案(例如MPEG-4或H.264标准)对基层流进行解码。
EL解码器230根据层间预测方法使用基层的编码信息和/或经解码的基层的帧或宏块以对增强层流进行解码。为了实现这个目的,EL解码器230从增强层的序列头部区或分片头部区读全局偏移标志“global_shift_flag”和相移信息“global_shift_x/y”以确定在增强层和/或基层中是否存在相移并确认相移。EL解码器230考虑所确认的相移对基层上升采样以使层间预测方法所使用的基层与增强层同相。
EL解码器230将输入流重构为原始帧序列。图7示出根据MCTF方案实现的EL解码器230的主要部件。
图7的EL解码器230的诸部件执行将时域分解级N的H和L帧序列的时域组合成为时域分解级N-1的L帧序列。图7的部件包括逆更新器231、逆预测器232、运动矢量解码器233以及排列器234。逆更新器231有选择地将输入的L帧的相应像素值减去输入的H帧的差值。逆预测器232用H帧和已减去H帧的图像差的上述L帧两者将输入的H帧重构为原始图像的L帧。运动矢量解码器233将输入运动矢量流解码成H帧中的块的运动矢量信息并将运动矢量信息提供给每一级的逆更新器231和逆预测器232。排列器234使从逆更新器231输出的L帧和由逆预测器232完成的L帧进行交织,由此产生正常的L帧序列。
从排列器234输出的L帧构成级N-1的L帧序列701。下一级逆更新器和N-1级预测器将级N-1的L帧序列701和输入的H帧序列702重构为L帧序列。该解码处理是在与编码程序中执行的编码级数相同的级数上进行的,由此重构原始视频帧序列。
下面将更详细地描述级N上的重构(时域组合)程序,其中将在级N+1上产生的级N的L帧和接收的级N的H帧重构为级N-1的L帧。
对于级N的输入的L帧,逆更新器231确定级N的所有相应H帧,这些帧的图像差是用作为基准块的在编码程序中更新为级N的输入L帧的级N-1的原始L帧中的块参照从运动矢量解码器233提供的运动矢量获得的。逆更新器231随后从级N的输入L帧中的相应块的像素值减去级N的相应H帧中的诸宏块的误差值,由此重构原始L帧。
对于级N的当前L帧中的块进行该逆更新操作,这些块已用编码程序中H帧中的宏块误差值予以更新,由此将级N的L帧重构为级N-1的L帧。
对于输入H帧中的对象宏块,逆预测器232参照运动矢量解码器233提供的运动矢量确定从逆更新器231输出的经过逆更新的L帧中的基准块,并将基准块的像素值加上对象宏块的像素的差(误差)值,由此重构其原始图像。
如果在宏块的头部区中包含指示已以BL内模式对H帧中的宏块进行编码的信息,则逆预测器232用从BL解码器240提供的基层帧重构宏块的原始图像。下面是该流程的详细例子。
逆预测器232重构对应于增强层中宏块的基层中的内编码块的原始图像,并对来自基层的重构的相应块上升采样从而以增强层的屏幕尺寸与基层屏幕尺寸的比将其放大。逆预测器232考虑增强层和/或基层中的相移信息“global_shift_x/y”进行上升采样以使基层中放大的相应块与增强层的宏块同相。即,如果“global_shift_flag”指示在基层和增强层之间存在相移(例如等于1),则逆预测器232在上升采样的过程中将来自基层的相应宏块相移“global_shift_x”和“global_shift_y”值。逆预测器232通过将基层中已被放大以与宏块同相的相应放大块中相应区的像素值加上宏块诸像素的差值来重构宏块的原始图像。这里,术语“相应区”指帧中与宏块处于同一相对位置的相应块中的一部分区域。
如果局部偏移标志“local_shift_flag”指示在宏块和相应块之间存在不同于全局相移“global_shift_x/y”的局部相移“local_shift_x/y”,则逆预测器232考虑局部相移“local_shift_x/y”(作为代替或附加相位信息)对相应块上升采样。宏块的头部区中可包含局部相移信息。
如果在宏块的头部区中包含指示已以层间残余模式对H帧中的宏块进行编码的信息,则逆预测器232考虑上面讨论的全局相移“global_shift_x/y”对已编码的基层的相应块上升采样以使其包含残余数据,从而放大相应块以使其与增强层的宏块同相。逆预测器232随后用放大以与宏块同相的相应块重构宏块的残余数据。
逆预测器232参照从运动矢量解码器233提供的运动矢量搜索L帧中含残余数据的重构宏块的基准块,并通过将基准块的像素值加上宏块的像素差值(即残余数据)重构宏块的原始图像。
以上面操作中的相同方式重构当前H帧中的所有宏块为其原始图像,并且组合重构的宏块以将当前的H帧重构为L帧。排列器234轮流地排列由逆运侧器232重构的L帧和由逆更新器231更新的L帧,并将如此排列的L帧输出至下一级。
上述解码方法将MCTF编码的数据流重构为完整的视频帧序列。在上述MCTF编码程序中已对图象组(GOP)进行预测和更新操作N次的情形下,如果在MCTF解码程序中进行N次逆更新和预测操作,则获得具有原始图像质量的视频帧序列。然而,如果执行逆更新和预测操作少于N次,则可获得具有较低图像质量和较低位速的视频帧序列。因此,把解码装置设计成在与其性能相适应的程度下执行逆更新和预测操作。
可在移动通信终端、媒体播放器等中上述解码装置。
如上面说明得以明了的那样,根据本发明对视频信号进行编码和解码的方法通过防止在根据层间预测方法对视频信号编码/解码时的下降采样和上升采样程序造成的基层和/或增强层中的相移而增加编码效率。
尽管以阐述为目的公开了本发明的示例性实施例,然而本领域内技术人员可以理解在不脱离本发明的范围和精神的情况下可作出多种修正、替换和添加。
Claims (19)
1.一种对视频信号进行解码的方法,包括:
预测当前层中的当前图像的至少一部分,所述预测是基于基层中的基图像的至少一内编码部分和所预测的当前图像中的采样的偏移信息。
2.如权利要求1所述的方法,其特征在于,所述采样是亮度采样。
3.如权利要求1所述的方法,其特征在于,所述采样是色度采样。
4.如权利要求1所述的方法,其特征在于,所述采样是亮度和色度采样。
5.如权利要求1所述的方法,其特征在于,所述偏移信息基于所述基图像的所述内编码部分中的相应采样。
6.如权利要求5所述的方法,其特征在于,所述预测步骤从所述基层中的一分片的头部获得所述偏移信息。
7.如权利要求5所述的方法,其特征在于,所述偏移信息是相移信息。
8.如权利要求1所述的方法,其特征在于,所述预测步骤基于所述基图像的所述内编码部分的一上升采样部分的至少一部分和所述偏移信息来预测所述当前图像的所述部分。
9.如权利要求8所述的方法,其特征在于,所述上升采样是基于所述偏移信息执行的。
10.如权利要求7所述的方法,其特征在于,所述偏移信息是相移信息。
11.如权利要求1所述的方法,其特征在于,所述预测步骤从所述基层中的一分片的头部获得所述偏移信息。
12.如权利要求11所述的方法,其特征在于,所述预测步骤基于所述分片的头部中的指示符来确定所述偏移信息的存在。
13.如权利要求1所述的方法,其特征在于,所述预测步骤从所述当前层中的序列级头部获得所述偏移信息。
14.如权利要求13所述的方法,其特征在于,所述预测步骤基于所述序列级头部中的指示符确定所述偏移信息的存在。
15.如权利要求1所述的方法,其特征在于,所述预测步骤基于所述基层和所述当前层中的一个中的指示符来确定所述偏移信息的存在。
16.如权利要求1所述的方法,其特征在于,所述偏移信息是相移信息。
17.一种对视频信号进行编码的方法,包括:
基于基层中的基图像的至少一内编码部分对当前层中的当前图像的至少一部分进行编码;以及
将所预测的当前图像中的采样的偏移信息记录在所编码的视频信号中。
18.一种对视频信号进行解码的装置,包括:
用于预测当前层中的当前图像的至少一部分的解码器,所述预测是基于基层中的基图像的至少一内编码部分和所预测的当前图像中的采样的偏移信息。
19.一种对视频信号进行编码的装置,包括:
基于基层中的基图像的至少一内编码部分对当前层中的当前图像的至少一部分进行编码、并将所预测的当前图像中的采样的偏移信息记录在所编码的视频信号中的编码器。
Applications Claiming Priority (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US66711505P | 2005-04-01 | 2005-04-01 | |
US60/667,115 | 2005-04-01 | ||
US67024605P | 2005-04-12 | 2005-04-12 | |
US67024105P | 2005-04-12 | 2005-04-12 | |
US60/670,246 | 2005-04-12 | ||
US60/670,241 | 2005-04-12 | ||
KR1020050084742 | 2005-09-12 | ||
KR1020050084742A KR20060105408A (ko) | 2005-04-01 | 2005-09-12 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
KR10-2005-0084742 | 2005-09-12 | ||
PCT/KR2006/001199 WO2006104365A1 (en) | 2005-04-01 | 2006-03-31 | Method for scalably encoding and decoding video signal |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101176348A true CN101176348A (zh) | 2008-05-07 |
CN101176348B CN101176348B (zh) | 2011-01-19 |
Family
ID=39423693
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800162955A Expired - Fee Related CN101176348B (zh) | 2005-04-01 | 2006-03-31 | 可对视频信号缩放地进行编码和解码的方法 |
CNA2006800161454A Pending CN101176346A (zh) | 2005-04-01 | 2006-03-31 | 可对视频信号缩放地进行编码和解码的方法 |
CN200680016296XA Expired - Fee Related CN101176349B (zh) | 2005-04-01 | 2006-03-31 | 可对视频信号缩放地进行编码和解码的方法 |
CN2006800161647A Expired - Fee Related CN101176347B (zh) | 2005-04-01 | 2006-03-31 | 可对视频信号缩放地进行编码和解码的方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006800161454A Pending CN101176346A (zh) | 2005-04-01 | 2006-03-31 | 可对视频信号缩放地进行编码和解码的方法 |
CN200680016296XA Expired - Fee Related CN101176349B (zh) | 2005-04-01 | 2006-03-31 | 可对视频信号缩放地进行编码和解码的方法 |
CN2006800161647A Expired - Fee Related CN101176347B (zh) | 2005-04-01 | 2006-03-31 | 可对视频信号缩放地进行编码和解码的方法 |
Country Status (1)
Country | Link |
---|---|
CN (4) | CN101176348B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103688470A (zh) * | 2011-07-27 | 2014-03-26 | 吉林克斯公司 | 用于降采样差动曼切斯特编码信号的解码器电路 |
CN103733620A (zh) * | 2011-08-11 | 2014-04-16 | 高通股份有限公司 | 具有不对称空间分辨率的三维视频 |
CN105103552A (zh) * | 2013-01-10 | 2015-11-25 | 三星电子株式会社 | 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置 |
CN105191315A (zh) * | 2013-05-03 | 2015-12-23 | 高通股份有限公司 | 在shvc中有条件地调用再取样过程 |
CN105900431A (zh) * | 2014-01-16 | 2016-08-24 | 高通股份有限公司 | 用于可缩放视频译码的参考层样本位置导出 |
US9485503B2 (en) | 2011-11-18 | 2016-11-01 | Qualcomm Incorporated | Inside view motion prediction among texture and depth view components |
CN103688470B (zh) * | 2011-07-27 | 2016-11-30 | 吉林克斯公司 | 用于降采样差动曼切斯特编码信号的解码器电路 |
US9521418B2 (en) | 2011-07-22 | 2016-12-13 | Qualcomm Incorporated | Slice header three-dimensional video extension for slice header prediction |
US11496760B2 (en) | 2011-07-22 | 2022-11-08 | Qualcomm Incorporated | Slice header prediction for depth maps in three-dimensional video codecs |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060105409A (ko) | 2005-04-01 | 2006-10-11 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
US8761252B2 (en) | 2003-03-27 | 2014-06-24 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US8660180B2 (en) | 2005-04-01 | 2014-02-25 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US8755434B2 (en) | 2005-07-22 | 2014-06-17 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
CN101742321B (zh) * | 2010-01-12 | 2011-07-27 | 浙江大学 | 基于图层分解的视频编、解码方法及装置 |
US9420280B2 (en) * | 2012-06-08 | 2016-08-16 | Qualcomm Incorporated | Adaptive upsampling filters |
KR20140138538A (ko) | 2013-05-24 | 2014-12-04 | 주식회사 케이티 | 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치 |
CN118476226A (zh) * | 2021-11-26 | 2024-08-09 | 联发科技(新加坡)私人有限公司 | 具有编码参数的局部照明补偿 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
US6510777B2 (en) * | 1999-04-30 | 2003-01-28 | Pinnacle Armor, Llc | Encapsulated imbricated armor system |
US6510177B1 (en) * | 2000-03-24 | 2003-01-21 | Microsoft Corporation | System and method for layered video coding enhancement |
CN1636394A (zh) * | 2000-10-11 | 2005-07-06 | 皇家菲利浦电子有限公司 | 细粒视频编码的空间可缩放性 |
KR20030029961A (ko) * | 2001-07-10 | 2003-04-16 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 스케일불가능한 코딩된 비디오 신호로부터 스케일가능한코딩된 비디오 신호를 생성하기 위한 방법 및 장치 |
-
2006
- 2006-03-31 CN CN2006800162955A patent/CN101176348B/zh not_active Expired - Fee Related
- 2006-03-31 CN CNA2006800161454A patent/CN101176346A/zh active Pending
- 2006-03-31 CN CN200680016296XA patent/CN101176349B/zh not_active Expired - Fee Related
- 2006-03-31 CN CN2006800161647A patent/CN101176347B/zh not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9521418B2 (en) | 2011-07-22 | 2016-12-13 | Qualcomm Incorporated | Slice header three-dimensional video extension for slice header prediction |
US11496760B2 (en) | 2011-07-22 | 2022-11-08 | Qualcomm Incorporated | Slice header prediction for depth maps in three-dimensional video codecs |
CN103688470A (zh) * | 2011-07-27 | 2014-03-26 | 吉林克斯公司 | 用于降采样差动曼切斯特编码信号的解码器电路 |
CN103688470B (zh) * | 2011-07-27 | 2016-11-30 | 吉林克斯公司 | 用于降采样差动曼切斯特编码信号的解码器电路 |
CN103733620A (zh) * | 2011-08-11 | 2014-04-16 | 高通股份有限公司 | 具有不对称空间分辨率的三维视频 |
US9485503B2 (en) | 2011-11-18 | 2016-11-01 | Qualcomm Incorporated | Inside view motion prediction among texture and depth view components |
CN105103552A (zh) * | 2013-01-10 | 2015-11-25 | 三星电子株式会社 | 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置 |
CN105103552B (zh) * | 2013-01-10 | 2019-04-05 | 三星电子株式会社 | 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置 |
CN105191315A (zh) * | 2013-05-03 | 2015-12-23 | 高通股份有限公司 | 在shvc中有条件地调用再取样过程 |
CN105191315B (zh) * | 2013-05-03 | 2019-01-01 | 高通股份有限公司 | 一种用于对视频信息进行译码的方法和设备 |
CN105900431A (zh) * | 2014-01-16 | 2016-08-24 | 高通股份有限公司 | 用于可缩放视频译码的参考层样本位置导出 |
CN105900431B (zh) * | 2014-01-16 | 2019-03-12 | 高通股份有限公司 | 一种用于编解码可缩放高效视频信息的方法与设备 |
Also Published As
Publication number | Publication date |
---|---|
CN101176349A (zh) | 2008-05-07 |
CN101176348B (zh) | 2011-01-19 |
CN101176346A (zh) | 2008-05-07 |
CN101176349B (zh) | 2010-09-01 |
CN101176347B (zh) | 2010-05-19 |
CN101176347A (zh) | 2008-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101176348B (zh) | 可对视频信号缩放地进行编码和解码的方法 | |
US7970057B2 (en) | Method for scalably encoding and decoding video signal | |
CN100553321C (zh) | 编码动态滤波器 | |
CN102084655B (zh) | 通过过滤器选择进行的视频编码 | |
RU2409005C2 (ru) | Способ масштабируемого кодирования и декодирования видеосигнала | |
CN104956679A (zh) | 图像处理装置和图像处理方法 | |
WO2013164922A1 (ja) | 画像処理装置及び画像処理方法 | |
WO2013001939A1 (ja) | 画像処理装置及び画像処理方法 | |
KR100880640B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
KR100878824B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
KR100883604B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
KR100878825B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
Thomas et al. | Towards Low-Complexity Scalable Coding for Ultra-High Resolution Video And Beyond |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110119 |