CN101228796A - 根据方向帧内残余预测对视频信号编码和解码的方法和设备 - Google Patents

根据方向帧内残余预测对视频信号编码和解码的方法和设备 Download PDF

Info

Publication number
CN101228796A
CN101228796A CNA2006800265650A CN200680026565A CN101228796A CN 101228796 A CN101228796 A CN 101228796A CN A2006800265650 A CNA2006800265650 A CN A2006800265650A CN 200680026565 A CN200680026565 A CN 200680026565A CN 101228796 A CN101228796 A CN 101228796A
Authority
CN
China
Prior art keywords
residual data
residual
prediction
frame
infra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800265650A
Other languages
English (en)
Other versions
CN101228796B (zh
Inventor
韩宇镇
车尚昌
李教爀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020050110927A external-priority patent/KR100725407B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2006/002869 external-priority patent/WO2007029919A1/en
Publication of CN101228796A publication Critical patent/CN101228796A/zh
Application granted granted Critical
Publication of CN101228796B publication Critical patent/CN101228796B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种根据方向帧内残余预测对视频信号进行编码和解码的方法和设备。根据本发明的视频编码方法包括：通过参考基本层的第二块对基本层的第一块执行方向帧内预测来计算第一残余数据；通过参考与基本层的第二块相应的增强层的第四块对与基本层的第一块相应的增强层的第三块执行方向帧内预测来计算第二残余数据；通过获得作为第一残余数据和第二残余数据之间的差的第三残余数据来根据方向帧内残余预测对第三块进行编码。

Description

根据方向帧内残余预测对视频信号编码和解码的方法和设备
技术领域
根据本发明的方法和设备涉及视频编码和解码，更具体地讲，涉及根据方向帧内残余预测对视频信号进行编码和解码。
背景技术
由于包括文本、运动图像(下面称作“视频”)和音频的多媒体数据通常很大，所以需要大容量的存储介质和宽的带宽来存储和发送数据。因此，需要压缩编码技术来发送多媒体数据。在多媒体的压缩方法中，根据是否损失源数据、是否是对各个帧独立执行压缩以及压缩和重构是否需要相同时间，可分别将视频压缩方法划分成有损/无损压缩、帧内/帧间压缩和对称/不对称压缩。在帧具有多种分辨率的情况下，可将相应的压缩称作可分级压缩。
传统视频编码的目的在于发送优化到给定传输率的信息。然而，在比如互联网流视频的网络视频应用中，网络的性能不是一成不变的，而是根据环境不断变化，因此，除了需要优化到特定传输率的编码之外，还需要柔性编码。
可分级性是指解码器根据处理条件和网络条件有选择地对基本层和增强层进行解码的能力。具体地讲，精细粒度可分级(FGS)方法对基本层和增强层进行编码，根据网络传输效率或解码器方的状态，可不发送增强层或者不对增强层进行解码。因此，根据网络传输率可适当地发送数据。
图1示出使用多层结构的可分级视频编解码器的示例。在该视频编解码器中，基本层具有15Hz(帧率)的四分之一通用中间格式(QCIF)，第一增强层具有30Hz的通用中间格式(CIF)，第二增强层具有60Hz的SD(标准清晰度)格式。如果需要CIF 0.5Mbps流，则基于具有CIF格式、30Hz的帧率和0.7Mbps的比特率的第一增强层截断比特流以获得0.5Mbps的比特率。在该方法中，可获得空间和时间上的SNR可分级性。
如图1所示，具有相同时间位置的各个层的帧(例如10、20和30)，具有彼此相似的图像。因此，已经提出了预测当前层的纹理并对当前层的预测值和实际纹理值之间的差进行编码的方法。在ISO/IEC 21000-13可分级视频编码的可分级视频模式3.0(下面称作“SVM 3.0”)中，将这种方法称作帧内BL预测。
根据SVM3.0，除了在现有H.264中用于预测构成当前帧的块或宏块的帧间预测和方向帧内预测之外，已经采用了通过使用当前块和相应的下层块之间的相关性来预测当前块的方法。将这种预测方法称作“帧内BL预测”，将使用这种预测方法执行编码的模式称作“帧内BL模式”。
图2是示意性地解释上述三种预测方法的示图。对当前帧11的某一宏块14执行第一种(①)帧内预测，使用在时间位置上与当前帧11不同的帧12执行第二种(②)帧间预测，使用基本层帧13的与宏块14相应的区域16的纹理数据来执行第三种(③)帧内BL预测。
发明内容
在时间帧间预测中，通过获得预测的结果和将根据预测的结果被编码的视频之间的差，来对残余数据进行编码的情况下，提高了压缩效率。另外，通过获得残余数据之间的差减小将被编码的数据量来提高压缩效率。结果，需要以方向帧内预测来压缩残余数据的方法和设备。
因此，本发明用于解决在现有技术中发生的上述问题，本发明的一方面在于通过基于基本层的方向帧内预测数据获得增强层的残余数据来减小将被编码的数据的大小。
本发明的另一方面在于通过减小分配给存在于方向帧内预测数据中的方向信息的符号的大小而在执行帧内预测的同时减小将被编码的数据量并提高压缩效率。
本发明的其他方面将会在下面的描述中部分地阐述，在对下述内容进行检查时，所述方面对本领域的技术人员来说部分地将是明显的或通过实施本发明而被了解。
为了实现这些方面，根据本发明，提供了一种根据方向帧内残余预测对视频信号进行编码的方法，所述方法包括：通过参考基本层的第二块对基本层的第一块执行方向帧内预测来计算第一残余数据；通过参考增强层的第四块对增强层的第三块执行方向帧内预测来计算第二残余数据，所述增强层的第三块与基本层的第一块相应，所述增强层的第四块与基本层的第二块相应；通过获得作为第一残余数据和第二残余数据之间的差的第三残余数据来根据方向帧内残余预测对第三块进行编码。
根据本发明的另一方面，提供了一种根据方向帧内残余预测对视频信号进行解码的方法，所述方法包括：从增强层残余流中提取第三残余数据，所述第三残余数据是对增强层的第三块执行方向帧内残余预测的数据；从基本层的残余流中提取第一残余数据，所述第一残余数据是对与第三块相应的基本层的第一块执行方向帧内预测的结果；通过将第三残余数据和第一残余数据相加来计算第二残余数据，所述第二残余数据是对第三块执行方向帧内预测的结果；使用第二残余数据来恢复第三块。
根据本发明的另一方面，提供了一种用于根据方向帧内残余预测对视频信号进行编码的视频编码器，所述视频编码器包括：基本层帧内预测单元，通过参考基本层的第二块对基本层的第一块执行方向帧内预测来计算第一残余数据；增强层帧内预测单元，通过参考增强层的第四块对增强层的第三块执行方向帧内预测来计算第二残余数据，所述增强层的第三块对应于基本层的第一块，所述增强层的第四块对应于基本层的第二块；残余编码单元，通过获得作为第一残余数据和第二残余数据之间的差的第三残余数据来根据方向帧内残余预测对第三块进行编码。
根据本发明的另一方面，提供了一种用于根据方向帧内残余预测对视频信号进行解码的视频解码器，所述视频解码器包括：残余解码单元，从增强层残余流中提取作为对增强层的第三块进行方向帧内残余预测的数据的第三残余数据；基本层残余解码单元，从基本层残余流中提取作为对与第三块相应的基本层的第一块执行方向帧内预测的结果的第一残余数据；增强层残余解码单元，通过将第三残余数据和第一残余数据相加来计算作为对第三块执行方向帧内预测的结果的第二残余数据；增强层解码单元，使用第二残余数据来恢复第三块。
附图说明
通过下面结合附图对本发明示例性实施例的详细描述，本发明的上述和其他方面将会更清楚，其中：
图1是示出使用多层结构的可分级视频编解码器的示例的示图；
图2是示意性解释三种预测方法的示图；
图3是解释获得通过分别对增强层和基本层执行帧内预测产生的残余数据之间的差的处理的示图；
图4是示出根据本发明示例性实施例方向帧内预测的残余差机制的示图；
图5A和图5B是解释现有帧内预测方向和根据本发明示例性实施例的扩充的帧内预测方向的示图；
图6是解释根据本发明示例性实施例的基于扩充的帧内预测参考的块的关系的示图；
图7是解释根据本发明示例性实施例的根据方向帧内残余预测对视频数据进行解码的处理的示图；
图8是示出根据本发明示例性实施例的方向帧内残余预测的编码处理的流程图；
图9是示出根据本发明示例性实施例的方向帧内残余预测的解码处理的流程图；
图10是示出根据本发明示例性实施例的视频编码器的结构的框图；
图11是示出根据本发明示例性实施例的视频解码器的结构的框图。
具体实施方式
下面将参照附图来对本发明示例性实施例进行详细描述。通过参照将参考附图详细描述的示例性实施例，本发明的方面和特征以及实现这些方面和特征的方法将会更清楚。然而，本发明并不限于下面公开的示例性实施例，而可以以多种形式来实现本发明。在描述中定义的内容，比如详细的结构和部件，只不过是帮助本领域的普通技术人员全面理解本发明的具体细节，本发明只由权利要求的范围限定。在对本发明的全部描述中，相同的标号在各个附图中表示相同的部件。
将参照附图来描述本发明的示例性实施例，附图示出用于解释根据本发明的方向帧内残余预测对视频信号进行编码和解码的方法和设备的框图和流程图。应该理解，可通过计算机程序指令来实现流程图的每个块以及流程图中多个块的结合。可向通用计算机、专用计算机或其他可编程数据处理设备的处理器提供这些计算机程序指令以产生机器，从而经计算机或者其他可编程数据处理设备的处理器执行的指令，创建实现在流程图一个块或多个块中说明的功能的装置。这些计算机程序指令还可被存储在可指导计算机或其他可编程数据处理设备以特定方式工作的计算机可用或计算机可读存储器中，从而存储在计算机可用或计算机可读存储器中的这些指令可产生包括实现在一个流程图块或多个流程图块中说明的功能的指令装置的一种产品。
图3是解释获得通过分别对增强层和基本层执行方向帧内预测所产生的残余数据之间的差的过程的示图。通过对基本层执行方向帧内预测所产生的残余数据(Rb)102具有关于将被预测的块与将被编码的原始块101之间的差的信息。在方向帧内预测的情况下，残余数据(Rb)102包括关于将被参考的方向的信息。
通过对增强层的块111执行方向帧内预测来产生残余数据(Rc)112。残余数据(Rc)112包括参考位于用于方向帧内预测的特定方向上的块所需的方向信息。解码器端通过根据这种方向信息选择将被参考的块或像素来执行块恢复。
在基本层和增强层中，根据基本层的帧内预测的残余数据很可能与根据增强层的帧内预测的残余数据相似。因此，可通过对残余预测数据(R)120进行编码而非对残余数据Rc进行编码来提高编码效率，其中，从基本层残余数据Rb和增强层残余数据Rc之间的差获得所述残余预测数据(R)120，通过对增强层的块执行方向帧内预测来获得残余数据Rc。
图4是示出根据本发明示例性实施例的方向帧内预测的残余差机制的示图。在增强层的特定帧或者像条150中，存在将被编码的块或像素151。此外，在基本层的帧140中存在块或像素141。通过参考块(或像素)142对基本层的块或像素141执行方向帧内预测来产生残余数据(Rb)143。在这种情况下，残余数据包括用于参考所述块142的方向信息145。
同时，通过参考与基本层的块142对应的块152，来对与基本层的块141对应的增强层中的块或像素151执行方向帧内预测来产生残余数据(Rc)153。所述残余数据包括用于参考所述块152的方向信息155。这里，用于块151参考块152的方向信息155与用于块141参考块142的方向信息145相同或相似。这是因为他们的相对位置彼此相同或相似。此外，它们的纹理残余很可能彼此相似。为了去除所述信息之间的相似性，可通过获得残余预测数据(R)156来执行方向帧内残余预测，所述残余预测数据(R)156是残余数据(Rc)153和残余数据(Rb)143之间的差。在方向信息的情况下，通过获得根据基本层的帧内预测的方向信息145和根据增强层的帧内预测的方向信息155之间的差168来执行方向帧内残余预测。
在如图3和图4所示执行方向帧内残余预测时，可通过方向帧内预测模式的残余预测来执行多层帧内预测。可使用残余预测标志来识别增强层是否参考基本层的方向帧内预测信息。此外，可使用基本层标志(blflag)来识别是否在增强层中已经再次使用了残余层的方向。例如，如果基本层标志(blflag)是“1”，则可再次使用基本层的方向信息。如果基本层的方向信息与增强层的方向信息不同，则在根据qpel标志调整了方向信息之后使用基本层的方向信息。
在这种情况下，可使用在时间帧间预测中使用的残余预测标志和qpel标志。
另一方面，可扩充现有帧内预测的方向以执行如图3和4所示的方向帧内残余预测。在这种情况下，执行更精确的方向预测，参考相应的方向预测的增强层的方向预测之间的差变得精确，从而可提高方向帧内预测结果的编码效率。
图5A和图5B是解释现有帧内预测方向和根据本发明示例性实施例的扩充的帧内预测方向的示图。
在H.264规范中提出的方向帧内预测具有9个帧内预测方向，包括如在附图中示出的8个方向和DC。根据本发明示例性实施例提出的扩充的方向帧内预测具有7个另外的帧内预测方向，从而帧内预测方向的总数变成16。通过将关于帧内BL4’4的信息添加到16个方向中，帧内预测方向的数目总共是17个。根据依据本发明示例性实施例提出的扩充的帧内预测，通过扩充的方向来指示很难由现有方向指示的信息，因此提高了帧内预测的性能。结果，可将所述帧内预测应用于由于基本层和增强层之间的分辨率或量化大小上的差异引起的基本层的帧内BL不具有高压缩率的情况。
图6是解释根据本发明示例性实施例的基于如上所述的扩充的帧内预测所参考的块之间的关系的示图。标号170显示在传统H.264中的帧内预测所参考的块。根据扩充的帧内预测，根据如图5B所示的扩充的帧内预测方向参考由标号180指示的相邻块。在这种情况下，需要给于相邻像素权值。块181、182、183、184、185、186和187显示在扩充的帧内预测中参考的相邻像素之间的关系。如图6中示出的块包括子块。
图7是解释根据本发明示例性实施例的根据方向帧内残余预测对视频数据解码的处理的示图。残余预测数据(R)256和残余数据(Rb)243分别被包括在增强层比特流和基本层比特流中。(R)256包括根据方向帧内残余预测从增强层的残余数据减去基本层的残余数据的结果。此外，(R)256包括增强层的方向性和基本层的方向性245之间的差值268。可通过将(Rb)243和(R)256相加来恢复对增强层进行方向帧内预测的残余数据(Rc)253。残余数据253还包括关于方向性255的信息。可通过根据使用(Rb)243的通常的方向帧内预测执行解码来恢复基本层帧240的块241。块241参考块242。可通过使用(Rc)253的恢复处理来恢复增强层帧250的块251。块251参考块252。
图8是示出根据本发明示例性实施例的方向帧内残余预测的编码处理的流程图。
首先，对基本层执行方向帧内预测(S301)。也就是说，如图4所示，参考与基本层的第一块(图4的141)在同一帧内的第二块(图4的142)对基本层的第一块执行方向帧内预测。然后，计算残余数据Rb(图4的143)作为预测的结果(S302)。
同时，对增强层执行方向帧内预测(S303)。也就是说，参考与基本层的第二块(图4的142)相应的增强层的第四块(图4的152)对与基本层的第一块(图4的141)相应的增强层的第三块(图4的151)执行方向帧内预测。然后，计算残余数据Rc(图4的153)作为预测的结果(S304)。
通过计算Rc-Rb来产生增强层的方向帧内残余预测数据R(图4的156)(S305)。然后，对残余数据R进行编码并将其发送到解码器端(S306)。
可基于在用于传统方向帧内预测的两个相邻方向之间存在的第三方向来执行上述的扩充的方向帧内预测。
图9是示出根据本发明示例性实施例的方向帧内残余预测的解码处理的流程图。将参照图7和图9来解释解码处理。
对作为方向帧内残余预测的结果的残余数据R(图7中的256)进行解码(S321)。此外，提取作为对基本层的块(图7中的241)执行的帧内预测的结果的残余数据Rb(S322)，其中，将通过残余数据R被最后恢复的块(图7的251)参考所述基本层的块。然后，通过将Rb和R相加来计算作为对增强层进行帧内预测的结果的残余数据Rc(图7中的253)(S324)。然后，使用Rc来恢复增强层的数据。
如上所述，通过基于在用于传统方向帧内预测的两个相邻方向之间存在的第三方向来执行扩充的方向帧内预测，可精确地预测残余数据。
图10是示出根据本发明示例性实施例的视频编码器的结构的框图。
参照图10，视频编码器300包括：产生增强层数据的残余流的增强层帧内预测单元320、残余编码单元330、量化单元340、熵编码单元350、用于产生基本层数据的残余流的基本层帧内预测单元310、基本层量化单元345和基本层熵编码单元355。
参照图4，基本层帧内预测单元310参考与基本层的第一块(图4中的141)在同一帧内的第二块(图4中的142)对基本层的第一块执行方向帧内预测，从而产生残余数据Rb(图4中的143)。通过基本层量化单元345和基本层熵编码单元355对残余数据编码，然后将编码的残余数据发送到解码器方。
同时，增强层帧内预测单元320对与基本层的第一块(图4中的141)对应的第三块(图4中的151)执行方向帧内预测。在这种情况下，与第二块(图4的142)相应的增强层的第四块(图4中的152)变成参考块。作为执行方向帧内预测的结果，产生残余数据Rc。
残余编码单元330通过获得Rc和Rb来产生作为方向帧内残余预测的结果的R。通过量化单元340和熵编码单元350来对值R进行编码。
由于如图10中所示的量化处理和熵编码也已经在传统视频编码器中使用，所以将省略其详细的解释。
在应用上述扩充的方向帧内预测的情况下，增强层帧内预测单元320和基本层帧内预测单元310可基于用于传统方向帧内预测的两个相邻方向之间存在的第三方向来执行方向帧内预测。
图11是示出根据本发明示例性实施例的视频解码器的结构的框图。
参照图11，视频解码器600包括用于将增强层残余流恢复为增强层视频数据的残余解码单元610、增强层残余解码单元620和增强层解码单元640。视频解码器还包括基本层残余解码单元630和基本层解码单元650。
残余解码单元610提取作为对增强层的第三块(图7中的251)进行方向帧内残余预测的结果的残余数据R(图7中的256)。基本层残余解码单元630从基本层残余流提取作为对与第三块相应的第一块(图7中的241)执行方向帧内预测的结果的残余数据Rb。
增强层残余解码单元620通过将R和Rb相加来计算作为对第三块(图7中的251)执行方向帧内预测的结果的残余数据Rc。计算的残余数据被输入到增强层解码单元640，以被恢复为视频数据。
基本层解码单元650还使用残余数据Rb来恢复视频数据。
由于在传统视频解码器中已经使用了如图11所示的恢复处理，所以将省略其详细的解释。
在应用上述扩充的方向帧内预测的情况下，增强层解码单元640和基本层解码单元650可基于在用于传统方向帧内预测的两个相邻方向之间存在的第三方向来恢复视频数据。
产业上的可利用性
如上所述，根据本发明示例性实施例，可在不改变多循环解码处理的情况下有效执行解码。
此外，在对增强层执行方向帧内预测的情况下，将被分配给方向信息的符号的编码大小可显著减小，可参考基本层的方向信息来调整方向信息。
当前在时域帧间预测中使用的残余预测标志和基本层标志还可被用于方向帧内预测。
为了解释的目的已经描述了本发明示例性实施例，本领域的技术人员应该理解，在不脱离在权利要求中公开的本发明的范围和精神的情况下，可进行各种修改、添加和替换。因此，本发明的范围由权利要求及其等同物所限定。

Claims (38)

1.一种根据方向帧内残余预测对视频信号进行编码的方法，所述方法包括：
通过参考基本层的第二块对基本层的第一块执行方向帧内预测来计算第一残余数据；
通过参考与基本层的第二块相应的增强层的第四块对与基本层的第一块相应的增强层的第三块执行方向帧内预测来计算第二残余数据；
通过获得作为第一残余数据和第二残余数据之间的差的第三残余数据来根据方向帧内残余预测对第三块进行编码。
2.如权利要求1所述的方法，其中，对第三块的编码包括：对第三残余数据进行编码。
3.如权利要求1所述的方法，其中，第一残余数据是第一块和第二块之间的差值，并且所述第一残余数据包括第二块的方向信息。
4.如权利要求1所述的方法，其中，第二残余数据是第三块和第四块之间的差值，并且所述第二残余数据包括第四块的方向信息。
5.如权利要求1所述的方法，其中，第三残余数据包括在第一残余数据中包括的方向信息和在第二残余数据中包括的方向信息之间的差。
6.如权利要求1所述的方法，其中，第三残余数据包括关于指示方向帧内残余预测的残余预测模式的信息。
7.如权利要求1所述的方法，其中，第三残余数据包括指示是否再次使用包括在第一残余数据中的方向信息的标志信息。
8.如权利要求1所述的方法，其中，第三残余数据包括指示是否调整和使用在第一残余数据中包括的方向信息的标志信息。
9.如权利要求1所述的方法，其中，第二块和第四块中的至少一个存在于第三方向上，所述第三方向是用于方向帧内预测的彼此相邻的第一方向和第二方向之间的方向。
10.如权利要求9所述的方法，其中，根据H.264帧内预测标准来确定第一和第二方向。
11.一种根据方向帧内残余预测对视频信号进行解码的方法，所述方法包括：
从增强层残余流中提取第三残余数据，所述第三残余数据是对增强层的第三块执行方向帧内残余预测的数据；
从基本层的残余流中提取第一残余数据，所述第一残余数据是对与第三块相应的基本层的第一块执行方向帧内预测的结果；
通过将第三残余数据和第一残余数据相加来计算第二残余数据，所述第二残余数据是对第三块执行方向帧内预测的结果；
使用第二残余数据来恢复第三块。
12.如权利要求11所述的方法，其中，第一残余数据是第一块和第二块之间的差值，所述第二块是第一块根据方向帧内预测所参考的块，并且所述第一残余数据包括第二块的方向信息。
13.如权利要求11所述的方法，其中，第二残余数据是第三块和第四块之间的差值，所述第四块是第三块根据方向帧内预测所参考的块，所述第二残余数据包括第四块的方向信息。
14.如权利要求11所述的方法，其中，第三残余数据包括在第一残余数据中包括的方向信息和在第二残余数据中包括的方向信息之间的差。
15.如权利要求11所述的方法，其中，所述第三残余数据包括关于指示方向帧内残余预测的残余预测模式的信息。
16.如权利要求11所述的方法，其中，第三残余数据包括指示是否再次使用包括在第一残余数据中的方向信息的标志信息。
17.如权利要求11所述的方法，其中，第三残余数据包括指示是否调整和使用包括在第一残余数据中的方向信息的标志信息。
18.如权利要求11所述的方法，其中，分别通过参考第二块和第四块获得第一残余数据和第二残余数据；
其中，第二块和第四块中的至少一个存在于第三方向上，所述第三方向是用于方向帧内预测的彼此相邻的第一方向和第二方向之间的方向。
19.如权利要求18所述的方法，其中，根据H.264帧内预测标准来确定第一和第二方向。
20.一种用于根据方向帧内残余预测对视频信号进行编码的视频编码器，所述视频编码器包括：
基本层帧内预测单元，通过参考基本层的第二块对基本层的第一块执行方向帧内预测来计算第一残余数据；
增强层帧内预测单元，通过参考增强层的第四块对增强层的第三块执行方向帧内预测来计算第二残余数据，所述增强层的第三块对应于基本层的第一块，所述增强层的第四块对应于基本层的第二块；
残余编码单元，通过获得作为第一残余数据和第二残余数据之间的差的第三残余数据来根据方向帧内残余预测对第三块进行编码。
21.如权利要求20所述的视频编码器，其中，在对第三块进行编码的过程中，残余编码单元被配置为对第三残余数据进行编码。
22.如权利要求20所述的视频编码器，其中，第一残余数据是第一块和第二块之间的差值，并且所述第一残余数据包括第二块的方向信息。
23.如权利要求20所述的视频编码器，其中，第二残余数据是第三块和第四块之间的差值，并且所述第二残余数据包括第四块的方向信息。
24.如权利要求20所述的视频编码器，其中，第三残余数据包括在第一残余数据中包括的方向信息和在第二残余数据中包括的方向信息之间的差。
25.如权利要求20所述的视频编码器，其中，第三残余数据包括关于指示方向帧内残余预测的残余预测模式的信息。
26.如权利要求20所述的视频编码器，其中，第三残余数据包括指示是否再次使用包括在第一残余数据中的方向信息的标志信息。
27.如权利要求20所述的视频编码器，其中，第三残余数据包括指示是否调整和使用包括在第一残余数据中的方向信息的标志信息。
28.如权利要求20所述的视频编码器，其中，第二块和第四块中的至少一个存在于第三方向上，所述第三方向是用于方向帧内预测的彼此相邻的第一方向和第二方向之间的方向。
29.如权利要求28所述的视频编码器，其中，根据H.264帧内预测标准来确定第一和第二方向。
30.一种用于根据方向帧内残余预测对视频信号进行解码的视频解码器，所述视频解码器包括：
残余解码单元，从增强层残余流中提取作为对增强层的第三块进行方向帧内残余预测的数据的第三残余数据；
基本层残余解码单元，从基本层残余流中提取作为对与第三块相应的基本层的第一块执行方向帧内预测的结果的第一残余数据；
增强层残余解码单元，通过将第三残余数据和第一残余数据相加来计算作为对第三块执行方向帧内预测的结果的第二残余数据；
增强层解码单元，使用第二残余数据来恢复第三块。
31.如权利要求30所述的视频解码器，其中，第一残余数据是第一块和第一块根据方向帧内预测所参考的第二块之间的差值，并且所述第一残余数据包括第二块的方向信息。
32.如权利要求30所述的视频解码器，其中，第二残余数据是第三块和第三块根据方向帧内预测所参考的第四块之间的差值，并且所述第二残余数据包括第四块的方向信息。
33.如权利要求30所述的视频解码器，其中，第三残余数据包括在第一残余数据中包括的方向信息和在第二残余数据中包括的方向信息之间的差。
34.如权利要求30所述的视频解码器，其中，第三残余数据包括关于指示方向帧内残余预测的残余预测模式的信息。
35.如权利要求30所述的视频解码器，其中，所述第三残余数据包括指示是否再次使用包括在第一残余数据中的方向信息的标志信息。
36.如权利要求30所述的视频解码器，其中，第三残余数据包括指示是否调整和使用包括在第一残余数据中的方向信息的标志信息。
37.如权利要求30所述的视频解码器，其中，分别参考第二块和第四块来获得第一残余数据和第二残余数据；
其中，第二块和第四块中的至少一个存在于第三方向上，所述第三方向是用于方向帧内预测的彼此相邻的第一方向和第二方向之间的方向。
38.如权利要求37所述的视频解码器，其中，根据H.264帧内预测标准来确定第一和第二方向。
CN2006800265650A 2005-07-21 2006-07-21 根据方向帧内残余预测对视频信号编码和解码的方法和设备 Expired - Fee Related CN101228796B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US70103705P 2005-07-21 2005-07-21
US60/701,037 2005-07-21
US70229505P 2005-07-26 2005-07-26
US60/702,295 2005-07-26
KR1020050110927 2005-11-18
KR10-2005-0110927 2005-11-18
KR1020050110927A KR100725407B1 (ko) 2005-07-21 2005-11-18 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
PCT/KR2006/002869 WO2007029919A1 (en) 2005-07-21 2006-07-21 Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction

Publications (2)

Publication Number Publication Date
CN101228796A true CN101228796A (zh) 2008-07-23
CN101228796B CN101228796B (zh) 2010-06-16

Family

ID=38012679

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2006800265650A Expired - Fee Related CN101228796B (zh) 2005-07-21 2006-07-21 根据方向帧内残余预测对视频信号编码和解码的方法和设备
CN2006800265646A Expired - Fee Related CN101228797B (zh) 2005-07-21 2006-07-21 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2006800265646A Expired - Fee Related CN101228797B (zh) 2005-07-21 2006-07-21 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备

Country Status (3)

Country Link
US (1) US20070019726A1 (zh)
KR (1) KR100678911B1 (zh)
CN (2) CN101228796B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021012942A1 (zh) * 2019-07-22 2021-01-28 中兴通讯股份有限公司 残差编码、解码方法及装置、存储介质及电子装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
EP2101504B1 (en) * 2008-03-09 2012-07-25 LG Electronics Inc. Video coding using template matching
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
WO2010090749A1 (en) * 2009-02-06 2010-08-12 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
AU2013201719B2 (en) * 2009-08-17 2013-10-31 Samsung Electronics Co., Ltd Method and apparatus for encoding video, and method and apparatus for decoding video
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101507344B1 (ko) * 2009-08-21 2015-03-31 에스케이 텔레콤주식회사 가변 길이 부호를 이용한 인트라 예측모드 부호화 방법과 장치, 및 이를 위한기록 매체
KR101601856B1 (ko) * 2009-11-09 2016-03-10 에스케이 텔레콤주식회사 방향적 인트라 예측 장치 및 그 예측 방법
KR101623124B1 (ko) * 2009-12-03 2016-05-24 에스케이 텔레콤주식회사 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
JP5713719B2 (ja) * 2011-02-17 2015-05-07 株式会社日立国際電気 動画像符号化装置
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN103597826B (zh) * 2011-06-17 2017-05-17 Jvc建伍株式会社 图像解码装置及图像解码方法
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US8923403B2 (en) * 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
CN104170379B (zh) 2011-10-24 2016-01-20 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
HUE056377T2 (hu) 2011-10-24 2022-02-28 Innotive Ltd Eljárás és készülék intra predikciósmód dekódolására
US10390016B2 (en) 2011-11-04 2019-08-20 Infobridge Pte. Ltd. Apparatus of encoding an image
KR20130049525A (ko) 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
WO2013068547A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate and update
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
JP2013126157A (ja) * 2011-12-15 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
US9014263B2 (en) * 2011-12-17 2015-04-21 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
CN103260019B (zh) * 2012-02-16 2018-09-07 乐金电子(中国)研究开发中心有限公司 帧内图像预测编解码方法及视频编解码器
WO2013155666A1 (en) * 2012-04-16 2013-10-24 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding for hevc
WO2013189205A1 (en) * 2012-06-22 2013-12-27 Mediatek Inc. Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
US9179145B2 (en) * 2012-07-02 2015-11-03 Vidyo, Inc. Cross layer spatial intra prediction
CN108718411B (zh) * 2012-09-09 2022-07-15 Lg 电子株式会社 图像解码方法和使用其的装置
JP6763664B2 (ja) 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
KR101606683B1 (ko) * 2014-05-15 2016-03-28 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101483495B1 (ko) 2014-07-15 2015-01-20 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101534014B1 (ko) * 2014-10-06 2015-07-07 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101537767B1 (ko) * 2014-10-06 2015-07-20 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
FR3033115A1 (fr) * 2015-02-19 2016-08-26 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
CA3227652A1 (en) 2016-10-04 2018-04-12 Kt Corporation Method and apparatus for processing video signal
US20180176582A1 (en) * 2016-12-21 2018-06-21 Qualcomm Incorporated Low-complexity sign prediction for video coding
KR102574714B1 (ko) 2016-12-23 2023-09-06 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
JP7043616B2 (ja) 2017-10-24 2022-03-29 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド ビデオ信号処理方法及び装置
CN109831802B (zh) * 2019-03-26 2022-04-08 无锡职业技术学院 基于支持向量机的预测数据包接收可能性的方法
KR20240100084A (ko) * 2022-12-22 2024-07-01 삼성전자주식회사 복수의 신경망 모델을 분할하여 추론을 수행하는 방법, 및 전자 디바이스

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
JP3676525B2 (ja) * 1996-10-30 2005-07-27 日本ビクター株式会社 動画像符号化復号化装置及びその方法
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
KR100952892B1 (ko) 2000-12-06 2010-04-16 리얼네트웍스 인코포레이티드 비디오 데이타의 인트라코딩 방법 및 장치
KR100345450B1 (ko) * 2000-12-27 2002-07-26 한국전자통신연구원 인트라 블록 예측 부호화 및 복호화 장치 및 그 방법
CN1297134C (zh) * 2001-07-09 2007-01-24 三星电子株式会社 用于扫描搜索区内参考宏块窗口的运动估计装置和方法
DE10158658A1 (de) 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
US7289672B2 (en) * 2002-05-28 2007-10-30 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode estimation
CN1225126C (zh) * 2002-10-09 2005-10-26 中国科学院计算技术研究所 用于视频编码的新型空间预测方法及其装置
CN1323553C (zh) * 2003-01-10 2007-06-27 汤姆森许可贸易公司 隐藏由宏块流构成的编码图像中的空间差错的方法
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
KR100631777B1 (ko) * 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100587561B1 (ko) * 2004-04-08 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 구현하는 방법 및 장치
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
KR100654436B1 (ko) * 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021012942A1 (zh) * 2019-07-22 2021-01-28 中兴通讯股份有限公司 残差编码、解码方法及装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN101228797B (zh) 2010-05-19
CN101228797A (zh) 2008-07-23
KR20070012168A (ko) 2007-01-25
KR100678911B1 (ko) 2007-02-05
CN101228796B (zh) 2010-06-16
US20070019726A1 (en) 2007-01-25

Similar Documents

Publication Publication Date Title
CN101228796B (zh) 根据方向帧内残余预测对视频信号编码和解码的方法和设备
KR100725407B1 (ko) 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
KR100781524B1 (ko) 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
CN101204094B (zh) 可缩放地编码和解码视频信号的方法
CN101467461B (zh) 基于多层的视频编码方法及其装置
JP3920849B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
CN101252686B (zh) 基于交织预测的视频帧内无损编解码方法及系统
KR100885443B1 (ko) 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
CN100584026C (zh) 交织模式下的视频分层编码方法
CN101790888B (zh) 编码和解码借助于运动管道表示的图像序列的方法和设备
CN101014132B (zh) 编码数据选定设定、再编码数据生成和再编码方法及装置
CN103647972A (zh) 运动图像解码方法和运动图像编码方法
JP2008211417A (ja) 多視点動画像伝送システム
CN100539670C (zh) 已编码a/v序列的编辑
CN101102503A (zh) 视频分层编码层间运动矢量的预测方法
KR20060063608A (ko) 영상신호의 엔코딩/디코딩시에 영상블록에 대한 레지듀얼예측을 수행하는 방법 및 장치
CN102474616B (zh) 用于生成、解码和转码经编码的视频数据流的方法和装置
CN101127900A (zh) 利用基本层的图像信号的编码/解码方法及装置
CN101491100B (zh) 从低分辨率画面的运动数据导出高分辨率画面的运动数据的方法和设备
JP2006050491A (ja) マルチチャネル画像コーデック装置
JP2011091498A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法
WO2007029919A1 (en) Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction
TW201105140A (en) Video image transmission method, system thereof, video encoding device and video decoding device thereof
JP2012191248A (ja) 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法
JP2006050490A (ja) 画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100616

Termination date: 20210721

CF01 Termination of patent right due to non-payment of annual fee