CN102742270B - 用于子像素插值的改进的方法和设备 - Google Patents

用于子像素插值的改进的方法和设备 Download PDF

Info

Publication number
CN102742270B
CN102742270B CN201180008469.4A CN201180008469A CN102742270B CN 102742270 B CN102742270 B CN 102742270B CN 201180008469 A CN201180008469 A CN 201180008469A CN 102742270 B CN102742270 B CN 102742270B
Authority
CN
China
Prior art keywords
picture
early decoding
pixel
sub
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180008469.4A
Other languages
English (en)
Other versions
CN102742270A (zh
Inventor
K.安德森
R.斯乔伯格
巫壮飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN102742270A publication Critical patent/CN102742270A/zh
Application granted granted Critical
Publication of CN102742270B publication Critical patent/CN102742270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供用于将编码的视频流解码的方法和设备。该方法包括接收用于当前图片的运动矢量的指示,该运动矢量参考先前解码的图片。该方法也包括应用掩码,该掩码定义可被用于当前图片的运动矢量参考的先前解码的图片的子像素位置的子集。该方法还包括通过参考先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于当前图片的至少一个像素值。

Description

用于子像素插值的改进的方法和设备
技术领域
本应用涉及将编码的视频流解码的方法、将视频流编码的方法、视频解码设备、视频编码设备、和计算机可读媒体。
背景技术
H.264,ITU-T建议(03/2010);SERIESH:AUDIOVISUALANDMULTIMEDIASYSTEMS;视听服务的基础设施—活动(moving)视频的编码;用于普通视听服务的高级视频编码;是定义H.264视频编码的国际标准。H.264是现有视频编码标准(H.261、H.262、和H.263)的演进并且它响应于对于活动图片的更高压缩的增长的需要而被开发,以用于诸如视频会议、数字存储媒体、电视广播、因特网流传送、和通信的各种应用。它也被设计成能够以用于广泛多种网络环境的灵活方式来实现编码的视频表示的使用。H.264的使用允许运动视频作为计算机数据的形式被操纵并且被存储在各种存储媒体上,通过现有的和未来的网络被传送和接收以及在现有的和未来的广播信道上被分发。
在诸如H.264的已知视频编码标准中,连续视频帧的图片信息中的暂时冗余被从先前编码的或解码的图片或帧的移位的块的预测来利用。该预测通常被称为运动补偿的预测,其中运动矢量定义像素或像素组从一幅图片到另一幅图片的空间移位。根据H.264标准,运动矢量可拥有四分之一像素精确度。这意味着运动矢量能参考在比方说水平方向16.75个像素和垂直方向中11.25个像素的空间移位的块(在另一图片中)。
四分之一像素(有时被称为Qpel)是在四分之一间隔位于整像素(integerpixel)之间的子像素。像素和子像素值可按照亮度和色度、或红、绿和蓝强度值、或任何其他合适的颜色空间定义来定义。使用插值过滤器(interpolationfilter)来为特定的图片演算子像素值。插值过滤器是使用附近的整像素值来定义子像素的值的等式。
在解码期间,演算所有子像素值以允许图片之间的像素的类似的块的搜索以便寻找运动矢量。在解码期间,只有当指向子像素值的用于当前被解码的图片的运动矢量被识别时,才演算对于参考的图片的该子像素值。解码器可接收运动矢量。备选的是,解码器可接收运动矢量的指示。运动矢量的指示可包括差异矢量和候选运动矢量(motionvectorcandidate)的参考以便要求的运动矢量能通过加总候选运动矢量和差异矢量来推导。运动矢量的指示也可包括要参考哪个先前解码的图片。备选的是,解码器可接收将为运动矢量的特定集合参考哪个先前解码的图片的指示。
图1示出图片100的一部分并且示出12个整像素A、B、C、……L。每个整像素被示为拥有15个与其相关联的子像素。与整像素C相关联的15个子像素被标为a、b、c、…...o。作为示例,子像素b的值可根据下式被演算为6个附近整像素的加权平均:
b=[A-5B+20C+20D-5E+F]*[1/32]
该插值过滤器被称为六抽头(tap)过滤器,因为它使用六个其他像素位置的值。子像素位置a和c可使用类似的过滤器来演算,但拥有不同的权重来顾及它们的不同位置。子像素a、b和c从与它们拥有相同垂直坐标的整像素值被演算,这些子像素能被称作只要求水平方向中的过滤。类似地,子像素d、h和l可从拥有具有对它们共同的水平坐标的整像素值的抽头的插值过滤器被获取。
子像素位置e、f、g、i、j、k、m、n和o在水平和垂直方向中都要求过滤,使得这些子像素位置的演算有更高的计算代价。这些子像素值的演算能要求多个附近子像素的演算以便为用于这些像素位置的插值过滤器的抽头提供值。
子像素值插值是计算密集的任务并且消耗视频解码器中的处理器资源的显著比例。这导致增加的实现成本、增加的功率消耗、缩短的电池寿命等等。
因此,要求用于子像素插值的改进的方法和设备。
发明内容
根据本文公开的方法和设备,掩码被应用于正被参考的图片,掩码禁止某些子像素位置,从而阻止对于该子像素的插值过滤器的应用。掩码减少插值必须为之执行的子像素位置的数量并因此减少解码器中要求的演算的量。掩码能被选择以排除更复杂的子像素位置,例如在垂直和水平方向中都要求插值的那些子像素位置。因此提供在计算效率和解码视频质量之间改进的折衷。
还提供一种将编码的视频流解码的方法。该方法包括接收用于当前图片的运动矢量的指示,该运动矢量参考先前解码的图片。该方法也包括应用掩码,该掩码定义可被用于当前图片的运动矢量参考的先前解码的图片的子像素位置的子集。该方法还包括通过参考先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于当前图片的至少一个像素值。
通过消除用于某些子像素位置的插值,在解码期间要求的演算的量被减少。有利的是,最计算密集的子像素位置可被消除,这给予解码器计算的显著的减少而具有对视频质量的减少的影响。
掩码可被应用于先前解码的图片。掩码可允许先前解码的图片的子像素位置的子集被参考。掩码可定义允许被参考的子像素位置的子集。
掩码可取决于先前解码的图片的质量。低质量参考图片中的插值的子像素值比高质量参考图片中的插值的子像素值给予更少的解码的视频质量的改进。因此,根据参考图片的质量来确定允许的子像素位置允许解码器计算的减少而具有对解码的视频质量最小的影响。
还提供一种将编码的视频流解码的方法。该方法包括接收用于当前图片的运动矢量的指示,运动矢量参考先前编码的图片。该方法也包括通过参考如由运动矢量指示的先前解码的图片中的至少一个子像素来识别用于当前图片的至少一个像素值。该方法还包括向先前解码的图片应用插值过滤器以识别至少一个参考的子像素的值,其中应用的插值过滤器取决于先前解码的图片的质量。
在高质量的参考帧中,子像素值插值有利地考虑到大量的整像素值而被演算,诸如在六抽头插值过滤器中的六个整像素值。对于低质量参考帧,充分的子像素值插值可考虑到更少数量的整像素值而被演算,诸如在两抽头插值过滤器中的两个整像素值。
还提供一种编码视频流的方法。该方法包括识别用于当前图片的运动矢量,该运动矢量参考先前编码的图片。该方法也包括应用掩码,该掩码定义可被用于当前图片的运动矢量参考的先前解码的图片的子像素位置的子集。该方法还包括修改运动矢量以通过参考先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于当前图片的至少一个像素值。
通过消除用于编码的视频流中的某些子像素位置的插值,减少在解码期间要求的演算的量。
还提供一种视频解码设备。该设备包括接收器,其布置成接收用于当前图片的运动矢量的指示,该运动矢量参考先前解码的图片。该设备也包括处理器,其布置成应用掩码,该掩码定义可被用于当前图片的运动矢量参考的先前解码的图片的子像素位置的子集。处理器还布置成通过参考先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于当前图片的至少一个像素值。
通过消除某些子像素位置的插值,在解码期间要求的演算的量被减少。
还提供一种包括处理器的视频编码设备。所述处理器布置成识别用于当前图片的运动矢量,该运动矢量参考先前编码的图片。该处理器也布置成应用掩码,该掩码定义可被用于当前图片的运动矢量参考的先前解码的图片的子像素位置的子集。该处理器还布置成修改运动矢量以通过参考先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于当前图片的至少一个像素值。
通过消除用于编码的视频流中的某些子像素位置的插值,减少在解码期间要求的演算的量。
还提供一种计算机可读媒体,其携带指令,指令在由计算机逻辑运行时,引起所述计算机逻辑实现本文定义的方法中的任何方法。
还提供一种将编码的视频流解码的方法。该方法包括:接收用于当前图片的运动矢量的指示,该运动矢量参考先前解码的图片;应用掩码,该掩码定义可被用于当前图片的运动矢量参考的先前解码的图片的子像素位置的子集;如果由运动矢量指示的像素在允许的像素位置中,那么通过参考先前解码的图片中指示的子像素值来识别用于当前图片的像素值;以及如果由运动矢量指示的像素在禁止的像素位置中,那么通过参考备选的允许的像素位置来识别用于当前图片的像素值。
在本文中将用于从整像素值来演算子像素值的等式称为过滤器或插值过滤器。在本文中将包括视频序列的帧的每个图像称为图片;在本领域中,这些也可被称为帧。在本文中将与另一图片相关的运动矢量可参考的图片中允许的子像素位置的样式(pattern)称为掩码。
附图说明
现在将通过仅示例、参考附图来描述用于子像素插值的改进方法和设备,其中:
图1示出拥有整像素和子像素的图片的一部分;
图2示出视频编码和传送系统
图3示出一组图片,其是视频序列中的帧的序列;
图4示出示例布置,其中不同的掩码被用于参考一组图片之内的不同图片;
图5示出示例掩码的备选的实施例;以及
图6是示出如本文公开的方法的流程图。
具体实施方式
根据第一实施例,在视频解码系统中,掩码被应用于正被参考的图片,掩码禁止某些子像素位置,从而阻止对于该子像素的插值过滤器的应用。掩码减少插值必须为之执行的子像素位置的数量并且因此减少解码器中要求的演算的量。掩码能被选择来排除更复杂的子像素位置(例如在垂直和水平方向中都要求插值的那些位置)来提供计算效率和解码的视频质量之间改进的折衷。
根据又一实施例,为不同的参考图片选择不同的掩码。任何先前解码的图片可作为运动矢量参考的参考图片。这些图片能以不同方式来编码,并且任何特定接收的图片的图像质量根据它被多好地编码而变化。根据本文公开的方法和设备,掩码被选择以应用于正被参考的图片,其中由掩码允许的子像素位置的数量与参考图片的质量成比例。允许高质量参考图片对于任何子像素位置被参考,而允许低质量参考图片对于仅有限数量的子像素位置被参考。这样,要求用于子像素插值的演算的量被减少而具有对视频质量最小的影响。
图2示出视频编码系统,其中视频信号从源210被最终输送到装置260。视频信号从源210经过包含处理器225的编码器220。编码器220对视频信号应用编码过程来创建编码的视频流。编码的视频流被发送到传送器230,在传送之前,它在此可接收进一步处理,诸如分组化(packetization)。接收器240接收传送的编码的视频流并将此传递到解码器250。解码器250包含在解码编码的视频流中被采用的处理器225。解码器250向装置260输出解码的视频流。
图片可被编码为:I-帧(内编码的帧—不参考任何其他图片)、P-帧(预测的帧—参考先前的图片)、或B-帧(双预测的帧—参考两个其他的图片,例如先前的和随后的图片)。应注意,在一些应用中,B-帧也能按照需要只参考先前的图片来获取带有低迟延的编码。
B-帧是使用双预测获取的图片。双预测参考两个其他先前解码的图片而进行。所述两个其他图片可以是:都先于帧的系列中的当前图片;都在帧的系列中的当前图片以后;或一幅图片先于帧的系列中的当前图片并且一幅图片在帧的系列中的当前图片以后。应注意,图片编码的顺序不必遵循帧的系列中的图片的顺序。在双预测中,由于预测的图片从两个参考图片被合成,两倍数量的子像素能被参考。这意味着运动矢量更有可能参考其值还没被插值的子像素并因此要求更多的子像素插值。双预测因此在诸如加、乘和移动的过滤操作方面相比于单图片预测拥有大约两倍的复杂度。
H.264拥有B-跳过和B-直接模式,其中运动矢量从相邻的宏块被预测,而没有运动预测误差的任何编码。这意味着如果预测的运动在两个方向中都有子像素位置,那么跳过需要进行两次子像素插值。H.264也拥有被称分级B编码的特征。在分级B编码中,一些B-帧使用单图片预测或双预测从对至少一个其他B-帧的参考来推导。
在这些参考方案中,图片的质量随着图片的组之内的位置以及图片的类型而变化。对另一图片的每个参考引入某一微小误差。一些图片使用对图片的参考来合成,而被参考的图片本身又是通过使用对其他图片的参考而合成的,并且对于这些图片,微小的误差积累并且图片的质量下降。例如,由于I-帧基本上是压缩的静止图像,这给予高质量的图片;没有误差从对其他图片的近似参考被引入。P-帧比I帧给予更低质量的图片。B-帧比P-帧给予更低质量的图片。随后的分级B-帧比从只对I-帧和P-帧的参考所推导的B-帧拥有还更低的质量。
图3示出一组图片,其是视频序列中帧的序列。图2中的箭头示出对其他帧的参考的示例,从这种参考帧被推导。I-帧I0不对任何其他帧进行参考而被编码。P-帧P8从仅对I0的参考而被推导。B-帧B4从对I0和P8两者的参考被推导。另外B-帧B2和B6使用从B4的单图片预测来推导。此外还有B-帧B1、B3和B5、B7使用分别从B2和B6的单图片预测来推导。图片B1、B2、B3、B5、B6和B7是分级B编码的示例。图片被布置在视频帧的序列中,采用以下顺序:I0、B1、B2、B3、B4、B5、B6、B7、P8。
任何先前解码的图片可用作运动矢量指向的参考图片。这些图片能被以不同的方式来编码并且任何特定接收的图片的图像质量根据它是如何被编码而变化。当通过运动矢量对另一图片做出参考时,运动矢量可指向子像素。在对被参考的图片中的子像素做出参考的情况下,该子像素必须使用插值过滤器来演算。对于从对其他图片的参考的至少两个迭代被推导的诸如图1中的B2的低质量的图片,积累的整像素误差将意味着从整像素推导的插值的子像素值将比比方说I0中推导的插值的子像素值更无用。
量化参数(QP)被用来确定变换系数的量化的级别。更大的QP意味着更大的量化步长大小,这意味着变换系数的更低的分辨率标度(scale)以及因此更低的图片质量。在图1的示例中,图片I0对应于拥有叫作QP的量化参数的内编码的帧。通常,对此类图像比对暂时预测的图像采用更精细粒度量化。P8是使用单图片预测来编码的帧并且将拥有QP+1的量化参数,这意味着P8的量化比用于I0的更加粗糙。B4将拥有QP+2的量化参数;B2和B6用量化参数QP+3来编码;以及B1、B3、B5和B7用QP+4来编码。也就是说,更低分级级别拥有增加的量化参数,以及因此增加粗糙的量化。因此,用于参考帧的量化参数的值可被用作该参考帧的质量的指示。在具有低迟延的编码中,QP能被固定用于所有内部预测的帧或被周期地变化以便每隔一、每隔二或每隔三帧比其他帧拥有更低的QP。
根据本文公开的方法和设备,对正被参考的图片应用掩码,该掩码禁止某些子像素位置,从而阻止对于该子像素的插值过滤器的应用。
掩码在解码器中被定义。不同的掩码可被用于不同级别的参考图片质量。对于特定的参考图片质量,每个掩码指示哪些子像素位置可被用作随后图片的参考。这允许双预测的复杂度取决于参考图片而被控制。更高质量的参考图片因此相比于更低质量的参考帧拥有不同的子像素掩码。
有利的是,允许高质量参考图片中的许多子像素位置以便在当前图片预测中使用高质量参考图片的锐度。低质量参考图片包含更少细节并因此能用更少的子像素位置来做出充分的参考。通过掩蔽掉拥有最高演算复杂度的子像素位置,低质量参考帧的插值成本能被减少。
图4示出示例布置,其中用于每个参考的掩码410、420、430、440被示出用于类似于参考图3而描述的图片的一组图片。对诸如I0的I-帧的参考可参考所有15个子像素位置,因为这是高质量帧。对诸如P8的P-帧的参考可只参考七个子像素位置:仅水平插值子像素位置a、b和c;仅垂直插值子像素位置d、h和I;以及中间的半像素位置j。对诸如B4的第一级别B-帧的参考可参考仅6个子像素位置:仅水平插值子像素位置a、b和c;以及仅垂直插值子像素位置d、h和I。对诸如B2或B6的第二级别B-帧的参考可参考仅2个子像素位置:仅水平插值半像素位置b;以及仅垂直半像素位置h。
图4中的掩码410、420、430、440被示出为包括在禁止的子像素位置的箭头。这些箭头指示哪个像素值(或者整像素或者允许的子像素)被用来替代禁止的子像素位置。这些箭头不是掩码的基本特征,图5示出掩码的两个备选的实施例。在图5中,掩码520等同于包括箭头的掩码520,为参考而再生。掩码521与掩码520实现相同的结果,但通过替代禁止的子像素位置而指示要被使用的备选像素值(或者整像素或者允许的子像素)来这样做。在掩码521中,禁止的子像素位置用它们应采用的备选的像素位置值以粗体来示出。另外备选的实施例通过掩码522而示出,其中只有允许的子像素位置被指示。实现掩码522的解码器包括当特定的子像素位置被禁止时确定哪个备选像素值(或者整像素或者允许的子像素)将被采用的规则。此类规则可简单至最近的可允许的邻居。
通过使用用于高和低质量参考帧的适当掩码的双预测所获取的图片能维持不使用掩蔽的系统的大量编码效率和视频质量,但在解码器以显著更低的插值成本来进行。
应注意,子像素位置的掩蔽也可在编码器中被采用。这通过允许编码器选择只在根据掩码的子像素位置参考特定图片的运动矢量来进行,所述掩码根据参考的图片的质量而被确定,如上面参考解码器而描述的一样。
在另外的备选中,如果解码器将需要减少计算负载和/或改进编码效率,则编码器可向解码器传送如上所述的不同掩码以用于解码器来实现。编码器能传送掩码作为序列参数集合或图片参数集合中的16比特流。当然,编码器可传送指示掩码应被使用的标记而不是传送掩码。
图6是示出如本文公开的方法的流程图。在610,接收运动矢量的指示,该运动矢量识别先前解码的图片中的像素位置(整像素或子像素)。在620,特定的先前解码的图片(参考图片)被参考。在630,做出关于参考图片中的参考像素位置是否是允许的位置的确定。这通过掩码的应用来确定,而掩码可取决于先前解码的图片的质量。如果参考的像素位置在先前解码的图片中被允许,那么在640,识别的像素位置的像素值被识别并且用于当前图片中。备选的是,如果参考的像素位置在先前解码的图片中不被允许,那么在650允许的适当的不同像素位置被识别。然后在640,该像素的像素值被识别并用于当前图片中。
在另一实施例中,对于演算子像素值的处理负担通过为正被参考的更低质量的图片中的所有允许的子像素使用更少复杂的过滤器而被进一步减少。如上面解释的,子像素b的值根据下式可被演算为六个附近整像素的加权平均:
b=[A-5B+20C+20D-5E+F]*[1/32]。
参考图3,此类插值过滤器可被用于与分别参考I-帧和P-帧的掩码310和320的连接。更简单的插值过滤器可被演算为只有两个附近的整像素的加权平均,诸如:
b=[C+D]*[1/2]。
根据本文公开的方法和设备,将至少一个插值过滤器应用于正被参考的图片,该插值过滤器基于附近的整像素值对子像素位置给予值。根据正被参考的图片的质量应用不同的插值过滤器,以便被插值过滤器参考的整像素值的数量与参考图片的质量成比例。相比于用于低质量参考图片的插值过滤器,具有更大数量抽头的插值过滤器被用于高质量参考图片。这样,用于子像素插值的要求的演算的量被减少而具有对视频质量的最小影响。
应用于参考的图片的子像素掩码和/或插值过滤器可根据参考的图片的质量来确定。图片质量可从用于创建它(例如,I-帧、P-帧、B-帧、次B-帧等等)的预测模式被确定。每个图片的质量可通过在视频比特流(bitstream)的开始处的序列参数或通过用于视频比特流中的每个帧或片断(slice)的参数来在流中被指示。
此外,通过解码器应用的子像素掩码和/或插值过滤器可通过解码器本身取决于可用的处理资源而被确定。此类适应的系统允许解码器或结合视频解码器的多功能装置中资源管理的更大灵活性。
将对技术人员显而易见的是本文描述的方法中的实现的动作的精确顺序和内容可根据运行参数的特定集合的要求来改变。因此,动作被描述和/或要求权利的顺序不被解释为对要执行动作的顺序的严格限制。
本文描述的示例的子像素已经在四分之一像素的上下文中被描述。应注意,这些示例绝不是对公开的方法和设备可被应用于的布置的限制。例如,本文公开的原则也能被应用于1/8子像素(八分之一像素、其中每个整像素拥有8乘8布置的63个相关联的子像素位置)或任何其他像素细分方案。此外,掩码可被提供,其将参考限制到:仅半像素;仅半像素和四分之一像素;以及半像素、四分之一像素和八分之一像素。
此外,虽然示例已经在特定视频编码标准的上下文中被给出,这些示例并不意在成为公开的方法和设备可被应用于的通信标准的限制。例如,虽然具体的示例已经在H.264/AVC的上下文中被给出,但本文公开的原则也能被应用于MPEG-4ASP(高级简单简档)系统、HEVC(高效视频编码)和实际上使用插值的子像素值的任何视频编码系统。

Claims (33)

1.一种将编码的视频流解码的方法,所述方法包括:
接收用于当前图片的运动矢量的指示,所述运动矢量参考先前解码的图片;
应用掩码,所述掩码定义可被所述运动矢量参考的所述先前解码的图片的子像素位置的子集;
通过参考所述先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于所述当前图片的至少一个像素值。
2.权利要求1所述的方法,其中所述掩码取决于所述先前解码的图片的质量。
3.权利要求2所述的方法,其中用于更高质量的先前解码的图片的掩码比用于更低质量的先前解码的图片的掩码拥有更多允许的子像素位置,其中所述更高质量的先前解码的图片比所述更低质量的先前解码的图片具有更高质量。
4.权利要求1所述的方法,其中所述掩码取决于所述先前解码的图片的类型。
5.权利要求4所述的方法,其中所述先前解码的图片的类型是I-帧、P-帧和B帧之一。
6.前述权利要求的任一项所述的方法,其中所述掩码也指示哪个像素或子像素位置应被用来替代禁止的子像素位置。
7.权利要求1-5的任一项所述的方法,其中用于所述当前图片的运动矢量所参考的所述先前解码的图片中的子像素值在所述子像素被运动矢量首次参考时使用插值过滤器来演算。
8.权利要求1-5的任一项所述的方法,其中用于所述当前图片的至少一个像素值的识别对于整像素值被执行。
9.权利要求1-5的任一项所述的方法,其中所述掩码取决于所述先前解码的图片的量化参数。
10.权利要求1-5的任一项所述的方法,还包括对所述先前解码的图片应用插值过滤器来识别至少一个参考的子像素的值,所述插值过滤器取决于所述先前解码的图片的质量。
11.一种将编码的视频流解码的方法,所述方法包括:
接收用于当前图片的运动矢量的指示,所述运动矢量参考先前解码的图片;
应用掩码,所述掩码定义可被所述运动矢量参考的所述先前解码的图片的子像素位置的子集;
通过参考所述运动矢量指示的所述先前解码的图片的允许的像素位置中至少一个像素的值来识别用于所述当前图片的至少一个像素值;以及
向所述先前解码的图片应用插值过滤器以识别至少一个参考的子像素的值,其中应用的所述插值过滤器取决于所述先前解码的图片的质量。
12.权利要求11所述的方法,其中用于更高质量的先前解码的图片的插值过滤器比用于更低质量的先前解码的图片的插值过滤器拥有更多抽头,其中所述更高质量的先前解码的图片比所述更低质量的先前解码的图片具有更高质量。
13.权利要求11或12所述的方法,其中所述先前解码的图片的质量由所述先前解码的图片的类型来确定。
14.权利要求13所述的方法,其中所述先前解码的图片的类型是I-帧、P-帧和B帧之一。
15.一种编码视频流的方法,所述方法包括:
识别用于当前图片的运动矢量,所述运动矢量参考先前编码的图片;
应用掩码,所述掩码定义可被用于所述当前图片的所述运动矢量参考的所述先前解码的图片的子像素位置的子集;以及
通过参考所述先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于所述当前图片的至少一个像素值。
16.权利要求15所述的方法,其中所述掩码取决于所述先前解码的图片的质量。
17.一种视频解码设备,包括:
接收器,布置成接收用于当前图片的运动矢量的指示,所述运动矢量参考先前解码的图片;
处理器,布置成向所述先前解码的图片应用掩码,所述掩码允许可被用于所述当前图片的所述运动矢量参考的所述先前解码的图片的子像素位置的子集;
其中所述处理器还布置成通过参考所述先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于所述当前图片的至少一个像素值。
18.一种将编码的视频流解码的装置,所述装置包括:
用于接收用于当前图片的运动矢量的指示的部件,所述运动矢量参考先前解码的图片;
用于应用掩码的部件,所述掩码定义可被所述运动矢量参考的所述先前解码的图片的子像素位置的子集;
用于通过参考所述先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于所述当前图片的至少一个像素值的部件。
19.权利要求18所述的装置,其中所述掩码取决于所述先前解码的图片的质量。
20.权利要求19所述的装置,其中用于更高质量的先前解码的图片的掩码比用于更低质量的先前解码的图片的掩码拥有更多允许的子像素位置,其中所述更高质量的先前解码的图片比所述更低质量的先前解码的图片具有更高质量。
21.权利要求18所述的装置,其中所述掩码取决于所述先前解码的图片的类型。
22.权利要求21所述的装置,其中所述先前解码的图片的类型是I-帧、P-帧和B帧之一。
23.权利要求18-22的任一项所述的装置,其中所述掩码也指示哪个像素或子像素位置应被用来替代禁止的子像素位置。
24.权利要求18-22的任一项所述的装置,其中用于所述当前图片的运动矢量所参考的所述先前解码的图片中的子像素值在所述子像素被运动矢量首次参考时使用插值过滤器来演算。
25.权利要求18-22的任一项所述的装置,其中用于所述当前图片的至少一个像素值的识别对于整像素值被执行。
26.权利要求18-22的任一项所述的装置,其中所述掩码取决于所述先前解码的图片的量化参数。
27.权利要求18-22的任一项所述的装置,还包括用于对所述先前解码的图片应用插值过滤器来识别至少一个参考的子像素的值的部件,所述插值过滤器取决于所述先前解码的图片的质量。
28.一种将编码的视频流解码的装置,所述装置包括:
用于接收用于当前图片的运动矢量的指示的部件,所述运动矢量参考先前解码的图片;
用于应用掩码的部件,所述掩码定义可被所述运动矢量参考的所述先前解码的图片的子像素位置的子集;
用于通过参考所述运动矢量指示的所述先前解码的图片的允许的像素位置中至少一个像素的值来识别用于所述当前图片的至少一个像素值的部件;以及
用于向所述先前解码的图片应用插值过滤器以识别至少一个参考的子像素的值的部件,其中应用的所述插值过滤器取决于所述先前解码的图片的质量。
29.权利要求28所述的装置,其中用于更高质量的先前解码的图片的插值过滤器比用于更低质量的先前解码的图片的插值过滤器拥有更多抽头,其中所述更高质量的先前解码的图片比所述更低质量的先前解码的图片具有更高质量。
30.权利要求28或29所述的装置,其中所述先前解码的图片的质量由所述先前解码的图片的类型来确定。
31.权利要求30所述的装置,其中所述先前解码的图片的类型是I-帧、P-帧和B帧之一。
32.一种编码视频流的装置,所述装置包括:
用于识别用于当前图片的运动矢量的部件,所述运动矢量参考先前编码的图片;
用于应用掩码的部件,所述掩码定义可被用于所述当前图片的所述运动矢量参考的所述先前解码的图片的子像素位置的子集;以及
用于通过参考所述先前解码的图片的允许的像素位置中的至少一个像素的值来识别用于所述当前图片的至少一个像素值的部件。
33.权利要求32所述的装置,其中所述掩码取决于所述先前解码的图片的质量。
CN201180008469.4A 2010-02-05 2011-02-04 用于子像素插值的改进的方法和设备 Active CN102742270B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US30165910P 2010-02-05 2010-02-05
US61/301659 2010-02-05
US61/301,659 2010-02-05
PCT/EP2011/051642 WO2011095583A2 (en) 2010-02-05 2011-02-04 Improved method and apparatus for sub-pixel interpolation

Publications (2)

Publication Number Publication Date
CN102742270A CN102742270A (zh) 2012-10-17
CN102742270B true CN102742270B (zh) 2016-02-03

Family

ID=43858167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180008469.4A Active CN102742270B (zh) 2010-02-05 2011-02-04 用于子像素插值的改进的方法和设备

Country Status (4)

Country Link
US (1) US20110194602A1 (zh)
EP (1) EP2532163B1 (zh)
CN (1) CN102742270B (zh)
WO (1) WO2011095583A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014011622A2 (en) 2012-07-09 2014-01-16 Vid Scale, Inc. Power aware video decoding and streaming
US9681155B2 (en) * 2013-03-15 2017-06-13 Sony Interactive Entertainment America Llc Recovery from packet loss during transmission of compressed video streams
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
GB201318087D0 (en) * 2013-10-11 2013-11-27 Canon Kk Video encoding and decoding
CN105847847A (zh) * 2015-11-17 2016-08-10 西安邮电大学 一种高效视频编码中半像素插值滤波器的硬件结构
US10937169B2 (en) * 2018-12-18 2021-03-02 Qualcomm Incorporated Motion-assisted image segmentation and object detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460381A (zh) * 2001-03-30 2003-12-03 皇家菲利浦电子有限公司 具有适度退化的降低了复杂度的反离散余弦变换译码
US7426311B1 (en) * 1995-10-26 2008-09-16 Hyundai Electronics Industries Co. Ltd. Object-based coding and decoding apparatuses and methods for image signals
CN101283578A (zh) * 2005-10-31 2008-10-08 索尼英国有限公司 视频运动检测

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100237359B1 (ko) * 1995-10-26 2000-01-15 김영환 모양 적응형 영상신호 부호화 장치 및 방법
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US8275041B2 (en) * 2007-04-09 2012-09-25 Nokia Corporation High accuracy motion vectors for video coding with low encoder and decoder complexity
WO2009088038A1 (ja) * 2008-01-09 2009-07-16 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US9788010B2 (en) * 2009-05-07 2017-10-10 Texas Instruments Incorporated Reducing computational complexity when video encoding uses bi-predictively encoded frames

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7426311B1 (en) * 1995-10-26 2008-09-16 Hyundai Electronics Industries Co. Ltd. Object-based coding and decoding apparatuses and methods for image signals
CN1460381A (zh) * 2001-03-30 2003-12-03 皇家菲利浦电子有限公司 具有适度退化的降低了复杂度的反离散余弦变换译码
CN101283578A (zh) * 2005-10-31 2008-10-08 索尼英国有限公司 视频运动检测

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
4-tap filter for bi-predicted macroblocks;Antti Hallapuro ect.;《Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG》;20020726;第2节 *
Complexity Adaptive H.264 Encoding for Light Weight Streams;Yong Wang etc.;《ACOUSTICS ,SPEED AND SIGNAL PROCESSING》;20060514;第2.1节 *

Also Published As

Publication number Publication date
WO2011095583A3 (en) 2011-11-17
CN102742270A (zh) 2012-10-17
EP2532163B1 (en) 2013-12-11
US20110194602A1 (en) 2011-08-11
WO2011095583A2 (en) 2011-08-11
EP2532163A2 (en) 2012-12-12

Similar Documents

Publication Publication Date Title
TWI833807B (zh) 用於幀內塊複製的基於歷史的運動矢量預測值
CN112243124B (zh) 视频解码方法及解码器
CN103796029B (zh) 视频编码设备
KR102712842B1 (ko) 인코더, 디코더 및 해당 방법
CN102792688B (zh) 用于视频的数据压缩
US9083987B2 (en) Method and apparatus for encoding and decoding image through intra prediction
US9451249B2 (en) Method of decoding motion vector
CN101267562B (zh) 具有编码和解码模式的视频处理系统和装置及其方法
CN102835106B (zh) 用于视频的数据压缩
CN100579229C (zh) 用于处理具有多个参考图片的隔行视频的方法
CN102742270B (zh) 用于子像素插值的改进的方法和设备
US20170347094A1 (en) Block size adaptive directional intra prediction
CN102077599B (zh) 用于视频编码器中的高质量帧内模式预测的设备和方法
CN105900425A (zh) 表示经编码的比特流中的运动向量
US20210203978A1 (en) Merge mode-based inter-prediction method and apparatus
CN103975587A (zh) 使针对图像的一组重建样本的补偿偏移的编码/解码最优化的方法和装置
CN101406056A (zh) 减少数字视频编码器中的内预测和模式判决处理中的计算的方法
CN104883578A (zh) 对帧内预测模式进行解码的方法
CN111602397B (zh) 使用各种变换技术的视频编码方法和装置
CN113597761A (zh) 帧内预测方法和装置
CN102740071A (zh) 可分级视频编解码器的编码设备及其方法
AU2021286043B2 (en) Encoding and decoding method and apparatus, and device therefor
WO2014058796A1 (en) Method and apparatus for video coding using reference motion vectors
EP4398567A1 (en) Luma mapping for template matching
WO2024072438A1 (en) Motion vector candidate signaling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant