CN1669321A - 用于在视频编码中随机存取和逐步更新图像的方法 - Google Patents

用于在视频编码中随机存取和逐步更新图像的方法 Download PDF

Info

Publication number
CN1669321A
CN1669321A CNA038167271A CN03816727A CN1669321A CN 1669321 A CN1669321 A CN 1669321A CN A038167271 A CNA038167271 A CN A038167271A CN 03816727 A CN03816727 A CN 03816727A CN 1669321 A CN1669321 A CN 1669321A
Authority
CN
China
Prior art keywords
frame
image
video
indication
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038167271A
Other languages
English (en)
Inventor
M·M·汉努克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Priority to CN200810003744.3A priority Critical patent/CN101232616B/zh
Publication of CN1669321A publication Critical patent/CN1669321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

一种用于提供随机存取和逐步更新编码视频序列(附图E)的方法及相关设备。逐步解码器更新是通过使用隔离区域、灵活的宏块顺序(附图4)和在切片边界关闭环路滤波器来实现的。还提供一种用于随机存取操作的可靠检测和引导帧及开路解码器更新(ODR)图像的可靠信令的机制。

Description

用于在视频编码中随机存取和逐步更新图像的方法
相关申请的交叉参考
本专利申请要求申请号为60396200，申请日为2002年4月16的申请的优先权。
技术领域
本发明主要涉及对视频图像的随机存取和逐步更新。特别地，本发明涉及一种在根据ITU-T H.264|ISO/IEC MPEG-4第十部分视频编码标准编码的视频序列中的视频图像的随机存取和逐步更新的方法。
背景技术
视频序列由一系列的静止图像或帧组成。视频压缩方法基于减少视频序列的冗余的以及与感知上不相关的部分。视频序列中的冗余可以分类为频谱、空间和时间冗余。频谱冗余涉及到同一图像中不同颜色成分之间的相似性，而空间冗余是由于图像中的相邻象素之间的相似性造成的。时间冗余是因为在先前图像中出现的物体在当前图像中很可能还会出现而存在的。压缩可以通过利用时间冗余和根据另一个被称为锚定或参考图像的图像来预测当前图像来完成。实际上，这是通过产生一个描述在当前图像和先前图像之间的运动的运动补偿数据来完成的。
视频压缩方法典型地区分利用时间冗余减少的图像和那些不利用时间冗余减少的图像。不利用时间冗余减少方法的压缩图像通常被称为INTRA(或I)帧或图像。在时间上预测的图像通常是根据在当前图像之前出现的图像向前预测出的，并且被称为INTER或P帧。在INTER帧的情况下，预测的运动补偿图像很难足够精确，因而空间压缩的预测误差帧会伴随着每一个INTER帧。INTER图像可以包括INTRA编码区域。
很多视频压缩方案也使用时间上双向预测帧，该帧通常被称为B图像或B帧。B图像被插入到I和/或P帧的锚定图像对之间，并根据其中的一个或两个锚定图像来预测。B图像通常产生与向前预测的INTER编码的P图像相比增强的压缩。B图像不当作固定器(anchor)图像使用，也就是，其它的图像不根据它们来预测。因此，它们可以被丢弃(有意地或无意地)，而不会影响将来的图像的图像质量。同时，与P图像比较，B图像可以改善压缩性能，它们的产生需要更大的计算复杂性和存储器使用，并且它们还会引入附加的延时。对于例如视频流的非实时应用来说这可能不是一个问题，但是对于例如视频会议的实时应用来说就会引起问题。
因而，如上面所阐述的，一个压缩的视频剪辑典型地由图像序列组成，该图像序列被粗略地分类为在时间上独立的INTRA图像，在时间上被不同编码的INTER图像和(可能的)双向预测B图像。由于INTRA编码图像的压缩效率通常低于INTER编码图像的压缩效率，所以使用INTRA图像比较节约，特别是在低比特率应用中。然而，因为INTRA编码图像可以独立于视频序列中的其它图像而被解码，所以每一个INTRA图像代表一个进入编码的视频序列的入口(或者随机存取点)，也就是一个解码的起始点。因而，在编码的视频序列中包含一定数量的INTRA编码图像是有利的，例如每隔一定间隔，以便允许随机存取该序列。此外，一个典型的视频序列包含很多的场景和连续镜头。由于图像内容在一个场景和另一个场景之间可能有很值得注意的区别，因此将每一个新场景的第一图像以INTRA格式进行编码也是有利的。这样，即使没有其它的INTRA编码帧包含在编码序列中，至少每一个场景中的第一帧提供了一个随机存取点。编码视频序列中的每一组可独立解码的图像都以INTRA编码帧(构成随机存取点)开始并且以紧接在下一个INTRA编码帧之前的帧结束，它通常被称为图像组或简写为GOP。
某些随机存取操作是由终端用户产生的(例如，视频序列的观众)，例如由于用户在流传输的视频文件中搜索新位置。在这种情况下，解码器很可能得到用户产生的随机存取操作的指示并且可以相应地执行。但是，在一些情况下，随机存取操作不是由终端用户控制的。例如，在编码数据流中，拼接或编辑过的数据流可能包括一些具有与用户实施的随机存取操作相似的特点的“切入口(cut)”。但是，在后面的这种情况下，解码器就可能接收不到这样的切入口已经产生的指示，并且可能不能正确地解码序列中随后的图像。因此为视频解码器提供一种用于检测编码视频流中的随机存取操作或切入口的可靠的方法是很重要的。
现代视频编码标准定义了一个自给自足的视频比特流的语法。在撰写本文时最流行的标准是国际电信联盟ITU-T建议H.263，“用于低比特率通信的视频编码(Video coding for low bit rate communication)”，1998年2月；国际标准化组织/国际电子工程委员会ISO/IEC14496-2，“音视频对象的普通编码.第二部分：视频(Generic Coding of Audio-Visual Object.Part2：Visual)”，1999年(称为MPEG-4)；以及ITU-T建议H.262(ISO/IEC13818-2)(称为MPEG-2)。这些标准为比特流以及相应地为图像序列及图像定义了一个级别。此外的视频编码标准仍在发展中。特别是，对H.263的长期接任者的研究的标准化努力，如已知的ITU-T H.264|ISO/IECMPEG-4第十部分正在被称为ISO/IEC MPEG(运动图像专家组)的联合视频组(JVT)和ITU-T VCEG(视频编码专家组)的标准化主体的联合支持下进行。这些标准的一些特殊方面和特别是与本发明相关的H.264视频编码标准的那些特性在下面将被描述。
附图1表示了一个传统的编码图像序列，包括INTRA编码的I图像，INTER编码的P图像和双向编码的B图像，并被排列为具有形式IBBP...等等的模式。方框表明以显示顺序排列的帧，箭头表明运动补偿，方框中的字母表明帧的类型，并且方框中的数值是帧的编号(如根据H.264视频编码标准指定的)，表明帧的编码/解码顺序。
术语“引导帧”或“引导图像”被用于描述任何在随机地存取先前的I帧之后不能被正确地解码的帧或图像，并且它们的显示时间是在I帧的显示时间之前(附图1中的B帧B17是引导帧的例子)。在该描述中，术语“开路解码器更新”(ODR)图像被用于标识一个具有引导图像的可随机存取的帧。
与附图1所示的相类似的编码帧的模式是普遍的，并且使得对ODR图像的随机存取尽可能地简单是希望得到的。
已经存在很多可供选择的办法来存取ODR图像。一个典型的解决方案只是简单地丢弃一些引导B图像。这是一种在不允许参考图像选择及解码和显示顺序的去耦的视频编码标准中典型采用的方法，其中I图像始终是一个随机存取点。
该问题的另一个解决方案是将紧随在一个I帧(按照编码/解码顺序)后面的所有未存储的帧视为引导帧。当该方法在附图1所描述的简单的情况下工作时，它缺少处理存储的引导帧的性能。附图2示出了一个编码方案的例子，其中在可随机存取的I帧之前具有一个存储的引导帧。在该例子中，刚才描述的引导帧的简单的隐藏标识符并没有正确地工作。
另外一个简明的想法是将所有在I帧(按照编码/解码顺序)之后出现的B图像视为引导图像。但是，引导图像并不是始终是B图像。例如，由MiskaM.Hannuksela写的科学论文，题目为：“Simple Packet Loss Recovery Method for VideoStreaming”，Proceedings of Packet Video Workshop 2001，Kyongju，韩国，2001年4月30日-5月1日以及ITU-T SG16/Q15文献Q15-K38提出一种用于改善在视频编码中的误差弹性(error resiliency)的INTRA帧延迟方法，该方法的采用使得这个用于标识引导帧的简单方法不可行。附图3示出了一个被延迟了一个存储的帧间隔的INTRA帧的例子。因此，有一个按照显示顺序先于INTRA帧的P帧(P17)。
JVT文献JVT-B063提出一帧可以与预置延迟相关联(在视频比特流中提供作为补充增强信息)，其用于指示在从一个特定的帧开始解码之后用于按照显示顺序的所有连续的帧在内容上被完全校正所占用的时间。在存取ODR图像时，可以使用该预置延迟SEI信息。但是，有三个缺点伴随着这种方法。第一，用于处理SEI信息的解码器处理是非标准化的，也就是它不是H.264标准的命令部分并且因而不必由所有的根据H.264实现的解码器支持。因此，可以有一个服从标准的不知道SEI的解码器来随机存取服从标准的流，但是由于它缺少用于引导图像的参考帧而不能解码该数据流。第二，解码器可能会不必要地解码一些数据，如存储的引导帧，因为它并不知道它们对更新操作来说是无用的。第三，参考缺少的帧的数量的解码器操作变得更复杂。因此，该方法作为ODR图像随机存取的解决方案不是优选的。
H.264视频编码标准(如在JVT委员会草案中指定的)包括“瞬时解码器更新”和“独立GOP”的概念。术语“瞬时解码器更新”涉及到一种“整洁”的随机存取方法，其中在解码过程中，不设计先于INTRA帧的数据。一个独立GOP是一个可以独立于先前或以后的图像被解码的图像组。一个“瞬时解码器更新”(IDR)图像发出一个新的独立GOP开始的信号。因此，根据H.264，一个IDR图像可以当作一个随机存取点使用。(详情参见文献JVT-B041，它分析了瞬时解码器更新的必要条件，和JVT-C083，其提出了该特性的语法，语义，和标准文本。)
建议包含在H.264视频编码标准中的另一个概念是“逐步解码器更新”(GDR)。它被称为“不整洁”的随机存取，其中涉及先前编码的但可能没有接收到的数据，并且正确的图像内容根据多于一幅编码图像被逐步地恢复。GDR允许使用任何一种帧的随机存取功能。一种用于GDR的信令机制首先在JVT文献JVT-B063中提出(并且随后在JVT出版文献JVT-B109中)。JVT-B063断定主要有两个基本的可供选择的办法来预置GDR解码处理，“最佳效果解码”和“保险解码”。在最佳效果解码中，所有不可用的帧都被预置为中间等级灰度，开始所有帧的解码，但仅仅在确定的指示条件满足之后才认为它们在内容上完全正确。在“保险解码”中解码器从一个I帧开始解码，然后在试图解码任何更多的非I帧之前等待，以确保剩余的帧不包含对不可用的数据的参考。该“最佳成果”可供选择的方法在JVT-B063中是首选的。
关于逐步解码器更新的编码的问题在JVT文献JVT-C074中研究。该文献断定GDR不可能实现使用在当时有效的JVT H.264编码解码器版本，并提出一种称为“隔离区域技术”(IREG)的方法应被用于GDR编码。
该隔离区域技术是在JVT文献JVT-C072中提出的。该隔离区域是宏块的一个可靠区域，用于定义边界的形状，环路滤波在穿过该边界时应被关闭以及空间图像内预测被限制于该边界。参考帧中的隔离区域外面的时间预测也应被禁止。在大量连续的编码图像期间，隔离区域的形状可以是发展的。在图像组(GOP)中，隔离区域的形状取决于先前图像中的相应的隔离区域的形状，并且该图像组包括具有在未进行时间预测的情况下编码的原始隔离区域的图像，这种图象组被称为“具有进化的隔离区域的图像组”(IREG GOP)。相应的周期(根据编码参考帧)被称为“进化的隔离区域周期”或者“IREG周期”。
如上面所述，IREG提供了一种实实现GDR功能的极好的方法并且可以被用于提供误差弹性和恢复(参见JVT文献JVT-C073)，感兴趣区域编码和优先化，画中画功能，和遮掩的视频场景转变的编码(参见文献JVT-C075)。基于IREG的逐步随机存取，能实现接收机的媒体信道的转换，服务器的比特流转换，并且还允许新来者在多点传输流应用中很容易进行存取。
改进的隔离区域的误差弹性特性和逐步解码器更新特性可以同时应用。因此，当一个编码器使用隔离区域来完成逐步解码器更新时，不用附加的比特率和复杂性的代价可以“免费”得到改进的误差弹性。
包含在H.264视频编码标准中的另外一个概念是“灵活的宏块顺序”(FMO)。FMO首先在JVT文献JVT-C089中提出，随后被包含在H.264标准的JVT委员会草案中。通过将图像分割为切片组，FMO允许以一种不同于典型的光栅扫描顺序的顺序编码宏块。由该机制实现的主要应用是误差弹性方法、例如离散切片(slice)(参见JVT文献JVT-C090)和切片交织(如在JVT文献JVT-C091中提出的)的执行。由于它的灵活性，具有灵活的宏块顺序的其它应用也是可以的。JVT文献JVT-D095提出了一些对FMO的增强。
在文献JVT-C117中提出了在切片边界上关闭环路滤波器来改善误差弹性和支持理想的GDR。该环路滤波器的限制具有两个另外的优点：第一，提供了一种关于FMO技术中固有的并行处理问题的很好的解决方案，并且第二，它是及时实现乱序切片的正确解码所必须的。
发明内容
本发明引入用于实现随机存取和逐步更新编码视频序列中的图像的方法。它特别是基于在H.264视频编码标准的发展期间提出的逐步解码器更新的方法并且提出了一种用于在H.264视频编码解码器环境中的GDR的可行实现方案。但是，应该知道本发明并不仅限于在H.264标准的限制范围的应用而可以应用于其它视频编码标准，其中视频序列使用INTRA和INTER编码帧的组合来编码，并且其采用了与在H.264中所使用的语法相类似的语法。
更明确地，本发明提出了通过使用隔离区域、可变换宏块顺序和在切片边界上关闭环路滤波器来实现逐步解码器更新的实现方案。特别是，本发明使得JVT-C072的初始的隔离区域技术适合于被包含在H.264视频编码标准中，并且引入了一种用于逐步解码器更新的信令方法。
本发明还提出了一种用于可靠地检测随机存取操作的机制。
本发明还提出了用于引导帧和ODR图像的可靠的信令机制。
附图说明
附图1描述了一个IBBP编码帧模式并示出了引导B帧的位置；
附图2示出了具有存储的引导帧的可随机存取的I帧；
附图3描述了INTRA帧延迟的技术；和
附图4描述了根据本发明的方框外部顺时针方向形状发展的增长顺序。
具体实施方式
现在描述一个根据本发明的逐步解码器更新的可行实现方案。
如同本发明的背景技术中所描述的，在切片边界上环路滤波的关闭有利于逐步解码器更新的执行。特别是，穿过已更新的区域边界的环路滤波应该被关闭以避免在正常解码时和在随机存取后的解码期间的象素值失配。没有环路滤波器限制(也就是具有仍激活的环路滤波的)的逐步解码器更新是可能的并且令人厌恶的失配不是非常可能产生，但是控制失配的振幅和传播很困难，所以关闭环路滤波器是更可取的。因此，本发明建议用以下方式来限制环路滤波，即将切片边界作为图像边界进行处理。这个限制可以在逐图像的基础上用信令发送。更特别地，根据本发明的一个优选实施例，如果一个宏块及其左边的相邻宏块属于不同的切片，该宏块如同在图像左边界一样被滤波。如果一个宏块及其上面的相邻宏块属于不同的切片，则该宏块如同在图像中最上面一行宏块中一样被滤波。
本发明进一步引入用于结合逐步解码器更新一起使用的概念“切片组”。根据本发明，一个切片组被定义为覆盖图像的一定区域的一组切片，在该组中的每一个切片的尺寸是可以独立调整的。有利地，一个切片的编码尺寸根据优选的传输包尺寸进行调整。一个切片组，如根据本发明定义的，对于执行采用隔离区域方法的逐步解码器更新(如JVT文献JVT-C072介绍和先前在本文中描述的)来说是理想的。特别是，一个隔离区域覆盖一定的空间区域，该区域可以包括多于一个切片并且它的边界应当采用与切片边界相似的方式进行处理(特别是，环路滤波和内部预测必须停止)。当隔离区域被用于执行逐步解码器更新时，隔离区域的形状，尺寸，位置产生演化，因为逐步更新的区域典型地在图像之间增长。当这种形状发展可以通过H.264视频编码标准的FMO语法来传达时，当用于形状演变的特定的FMO语法被定义时，很多比特可以被节省。
根据本发明，在连续帧中的隔离区域的形状和位置信息被存储。上述信息被用于运动估计。执行运动估计/补偿的方法也被修改来促进隔离区域的使用。特别的，当进行全象素运动估计时，在相应的参考帧中的涉及隔离区域外的运动向量被丢弃而不计算编码成本。在对非整数象素分辨率执行运动估计/补偿时，特定的措施也是很必要的。H.264视频编码标准允许对1/4或1/8象素精确度执行运动估计/补偿。不同的内插滤波器被用于内插1/4和1/8子象素。对于1/4象素精确度，1/2抽样位置使用6抽头滤波来内插，并且1/4抽样位置通过平均在整数或1/2抽样位置上的两个最近的抽样来内插。有一个不同于上述一般规则的例外，被称为“奇特位置”，它通过平均最近的四个整数抽样来获得。内插处理的结果是，某些“剩余(left-over)”区域影响位于内部但是距离隔离区域边界少于两个整数象素的子象素。根据本发明，当执行对子象素分辨率的运动估计时，这一事实被考虑。更特别地，涉及距离隔离区域边界近于两个象素的块的运动向量被丢弃而不用计算编码成本。当1/8象素分辨率用于运动估计/补偿时，进行一个类似的操作。
如上面阐明的，当使用隔离区域进行逐步解码器更新时，隔离区域在尺寸，形状和位置上产生演化。最终，作为逐步解码器更新处理的结果，获得一个可靠的(即完全重建的)帧。这在隔离区域演变为等于整个帧(即覆盖了整个图像区域)时实现。根据本发明，一旦达到这种情况，下面的限制就会强加于后面帧的编码：
1.新的隔离区域必须避免根据先前的IREG GOP进行预测：
对于剩余区域，应该避免参考先于可靠帧的帧中的剩余区域的预测和参考在时间上处于先前的IREG GOP之前的帧中任何块的预测。应用适当的类似于上面描述的参考帧限制和运动向量限制来满足这两个要求。
在使用了利用根据本发明实现的隔离区域的GDR技术的帧中，每一幅图像包括一个隔离区域和一个剩余区域。该隔离区域是一个切片组，并且剩余区域是另一个切片组。根据用信令通知的区域的增长率，两个切片组的区域形状发展变化并随着图像之间的隔离区域发展。
本发明还引入了另外的包含在H.264视频编码标准中的用于启动隔离区域的信令的语法。更特别，根据本发明，一些新的mb_allocation_map_types被增加到H.264标准语法中。这些在下面的表格1中示出，其中增加的被引入以支持隔离区域的语法元素由右手列中的“IREG”表示以及“RECT”表示矩形切片组(如JVT-D095中提出的)：
Num_slice_group_minus1   0   U(3)
If(num_slice_group_minus1＞0){/*use of Flexible MBOrder*/
Mb_allocation_map_type   0   e(v)
if(mb_allocation_map_type＝＝0)
for(i＝0；i＜＝max_slice_group_id；i++)
run_length   0   e(v)
Else if(mb_allocation_map_type＝＝2)
for(i＝0；i＜＝num_mbs_in_picture；i++)
slice_group_id   0   u(3)
Else if(mb_allocation_map_type＝＝3){   RECT
for(i＝0；I＜＝max_slice_group_id；i++){   RECT
top_left_mb   0   u(v)   RECT
Bottom_right_mb   0   u(v)   RECT
}   RECT
}   RECT
else if(mb_allocation_map_type＝＝4‖mb_allocation_map_type＝＝5‖mb_allocation_map_type＝＝6){   IREG
Evolution_direction   0   u(1)   IREG
Growth_rate   0   e(v)   IREG
}   IREG
}
表格1：根据本发明的用于支持独立区域的语法
在表格1中，当mb_allocation_map_type是4，5，或6的时候(也就是只有两个切片组在图像中)，参数num_slice_group_minus1被设定为1。参数growth_rate表示每幅图像中隔离区域增长的宏块的数量。使用growth_rate参数和得知将被更新的图像的尺寸，一个解码器可以决定完全更新整个图像所需要的时间(称为GDR周期)。例如，在QCIF图像(在11×9的矩形阵列中其包括99个16×16的象素宏块)和每幅图像中10个宏块的growth_rate的情况下，完成一个完全更新的图像需要从GDR周期开始(包含的)的ceil(99/10)＝10幅图像。
新的mb_allocation_map_types4，5，6和根据本发明定义的并在表格1中示出的evolution_directions定义隔离区域的六个切片组演化模式，如下面表格2所示：
    (mb_allocation_map_type，evolution_directions)     区域演化模式
    (4，0)     方框外部顺时针方向
    (4，1)     方框外部反时针方向
    (5，0)     光栅扫描
    (5，1)     反向光栅扫描
    (6，0)     向右擦除
    (6，1)     向左擦除
表格2：根据本发明的新切片组演化模式
在表格2中示出的六个区域演化模式定义如下：
1.光栅扫描：隔离区域的第一个宏块是图像顶端最左边的宏块。隔离区域以光栅扫描的顺序增长。
2.反向光栅扫描：隔离区域的第一个宏块是图像底部最右边的宏块。隔离区域以反向光栅扫描的顺序增长。
3.向右擦除：隔离区域的第一个宏块是图像顶端最左边的宏块。隔离区域从顶部向底部增长。在一列的最底部的宏块之后的下一个宏块是该列右手侧的那列的最顶部的宏块。
4.向左擦除：隔离区域的第一个宏块是图像底部最右边的宏块。隔离区域从底部向顶部增长。在一列的最顶部的宏块之后的下一个宏块是在该列的左手侧一列的底部宏块。
5.方框外部顺时针方向：使用一个原点在顶端最左边宏块处并且具有宏块间隔尺寸的(x，y)坐标系，以及使用H来表示图像中编码宏块的行数，使用W来表示图像中编码宏块的列数，隔离区域中的第一宏块是具有坐标(x0，y0)＝(W/2，H/2)的宏块。“/”表示舍位除法(division by truncation)。隔离区域增长顺序的定义如附图4中所示。
6.方框外部反时针方向：使用与在上面5中所介绍的相同的坐标系，变量和数学运算的定义，隔离区域中的第一宏块是具有坐标为(x0，y0)＝((W-1)/2，((H-1)/2)的宏块。增长顺序与附图4所示的相似，但是沿反时针方向。
为了使解码器、编码范围编辑单元和网络单元容易辨别一个随机存取点，本发明的一个优选实施例提出GDR周期的开始根据网络适配层(NAL)单元类型的H.264语法用信令发送。GDR周期的第一幅图像被称为一个GDR图像。并不需要精确的语法，但是可能使用的示例的语法可以在JVT-C074工作草案中找到。
本发明还提出了用于可靠的指示ODR图像和引导帧的机制。
以与刚才结合GDR图像的信令所讨论的相类似的方式，本发明提出了带有专用的NAL单元类型的ODR图像。
此外，在本发明的一个优选实施例中，引导帧被明确地标识出。由于其对编码器执行没有强加任何限制和复杂化，并且提供了一种机制，编码器可以通过该机制容易地识别出引导帧，因此该方法是首选的。根据本发明，引导图像可以是任何运动补偿图像，例如，P，B和SP图像(SP图像类型是根据H.264定义的运动补偿图像的特殊类型)。有利地，一个标记(被称为leading_picture_flag)与这些图像类型相关并被加入到H.264 NAL单元类型语法中或者图像或切片报头语法中，以提供一个明确的指示即提供的图像是一个引导图像。这一选择是非常有利的，由于它需要很少或不需要比特率开销并且易于编码器和解码器的使用。
根据本发明，使用如JVT文献JVT-D098中所描述的“子序列标识符”来指示随即存取点。
用于GDR和ODR图像以及引导图像的信令的准确的语法可以根据应用于H.264视频编码标准的NAL单元类型语法的细节来改变。
根据本发明定义的一个ODR图像具有以下特征：
1.解码处理可以在一个随机存取操作后从一个ODR图像开始或重新开始。
2.一个ODR图像只包括I或SI切片；
3.ODR NAL单元包括一个切片EBSP；以及
4.ODR NAL单元类型用于所有包含一个ODR图像的编码宏块数据的NAL单元。
根据本发明定义的一个GDR图像具有以下特征：
1.解码处理可以在一个随机存取操作后从一个GDR图像开始或重新开始。
2.一个GDR图像可以以任何编码类型进行编码。
3.GDR NAL单元类型用于所有包含一个GDR图像的编码宏块数据的NAL单元。
根据本发明，与引导图像相关联的leading_picture_flag具有以下特征：
1.如果解码处理开始于按照解码顺序的的前一幅ODR图像并且按照解码顺序在当前图像和该ODR图像之间没有出现一个IDR图像，则leading_picture_flag标明一个不应该被解码的图像。
2.leading_picture_flag使能对ODR图像的随机存取，该图像被用作为按照显示顺序在时间上在先的图像的运动补偿参考，如果ODR图像被随机存取，则不解码这些不能被正确重建的帧。
在H.264解码处理中的以下改变是由于采用ODR和GDR图像和随机存取点的信令机制以及如根据本发明定义的引导帧而导致的：
1.如果一个GDR或ODR图像的子序列标识符与先前接收到的子序列标识符不同，则解码器推断一个GDR或ODR图像更新操作，并且最大的长期帧索引重置为0。
2.如果一个ODR操作开始于一个ODR图像并且如果自从原始ODR图像没有ODR或IDR图像被解码，一个具有leading_picture_flag等于“1”的图像不被解码。
3.如果一个GDR操作开始于一个GDR图像，解码器不解码任何剩余区域并且如果没有接收到剩余区域，就不推断数据的丢失。

Claims (8)

1.一种用于执行与随机存取编码视频序列有关的图像内容的逐步更新的方法，该视频序列包括多个视频帧，每一帧的图像内容被编码为至少非时间预测形式和时间预测形式其中之一，其特征在于，逐步更新通过以下步骤来实现，即在由视频帧表示的图像区域内定义一个区域，，当视频序列的每一个编码帧在所述随机存取之后被解码时逐渐地更新该区域的图像内容，并且引起该区域以预定的方式在多于一个帧的周期上逐渐演化来覆盖由视频帧表示的整个图像区域，从而提供该图像内容的完全更新。
2.根据权利要求1的方法，其特征在于所述的随机存取在一个被编码为时间预测形式的帧处发生。
3.根据权利要求1的方法，其特征在于所述的随机存取在一个被编码为非时间预测形式的帧处发生。
4.根据权利要求1的方法，其特征在于所述区域演化的预定的方式的一个指示是以代表编码视频序列的比特流来提供的。
5.根据权利要求4的方法，其特征在于所述区域演化的预定方式的所述指示包括所述区域演化的方向的指示。
6.根据权利要求4的方法，其特征在于所述区域演化的预定方式的所述指示包括一个确定了所述的区域从一个帧到下一个帧增长的量值的增长率的指示。
7.根据权利要求6的方法，其特征在于所述的增长率的指示确定了所述区域从一个帧到下一个帧所增长的宏块数目。
8.一种用于执行根据权利要求1的方法的视频解码器。
CNA038167271A 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法 Pending CN1669321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810003744.3A CN101232616B (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US39620002P 2002-07-16 2002-07-16
US60/396,200 2002-07-16

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN200810003744.3A Division CN101232616B (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法
CNA2008100031856A Division CN101232615A (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法

Publications (1)

Publication Number Publication Date
CN1669321A true CN1669321A (zh) 2005-09-14

Family

ID=30115983

Family Applications (3)

Application Number Title Priority Date Filing Date
CNA038167271A Pending CN1669321A (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法
CN200810003744.3A Expired - Lifetime CN101232616B (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法
CNA2008100031856A Pending CN101232615A (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN200810003744.3A Expired - Lifetime CN101232616B (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法
CNA2008100031856A Pending CN101232615A (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法

Country Status (11)

Country Link
US (1) US8300690B2 (zh)
EP (2) EP3177020B1 (zh)
JP (2) JP2005533444A (zh)
KR (1) KR100754419B1 (zh)
CN (3) CN1669321A (zh)
AU (1) AU2003251964A1 (zh)
BR (1) BR0312657A (zh)
CA (1) CA2492751C (zh)
HK (1) HK1123653A1 (zh)
MX (1) MXPA05000558A (zh)
WO (1) WO2004008735A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100499815C (zh) * 2007-01-12 2009-06-10 清华大学 一种支持视频帧随机读取的视频编解码方法
US8606025B2 (en) 2007-06-10 2013-12-10 Huawei Technologies Co., Ltd Encoding and decoding images using refreshed image and recovery point
CN104429069A (zh) * 2012-04-13 2015-03-18 夏普株式会社 用于标识前导画面的设备

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
KR100603592B1 (ko) * 2001-11-26 2006-07-24 학교법인 고황재단 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
KR101143282B1 (ko) * 2002-10-05 2012-05-08 디지털 파운튼, 인크. 연쇄 반응 코드의 체계적 인코딩 및 디코딩
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US8249113B2 (en) 2004-03-19 2012-08-21 Broadlogic Network Technologies, Inc. Method and system for providing faster channel switching in a digital broadcast system
US7418651B2 (en) * 2004-05-07 2008-08-26 Digital Fountain, Inc. File download and streaming system
KR100982518B1 (ko) * 2004-06-11 2010-09-16 삼성전자주식회사 영상 데이터 유닛의 ｄｃ 계수 예측 방법 및 그 장치
JP4680608B2 (ja) * 2005-01-17 2011-05-11 パナソニック株式会社 画像復号装置及び方法
US7697783B2 (en) * 2005-07-26 2010-04-13 Sony Corporation Coding device, coding method, decoding device, decoding method, and programs of same
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
NZ566935A (en) * 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
US9467659B2 (en) * 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
KR100770872B1 (ko) * 2006-02-17 2007-10-26 삼성전자주식회사 디지털 멀티미디어 방송 시스템에서 채널 전환 시간 단축을위한 데이터 수신장치 및 방법
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US8077626B2 (en) 2006-07-14 2011-12-13 Qualcomm Incorporated Quality of service (QoS) aware establishment of communication sessions
KR101089072B1 (ko) * 2006-11-14 2011-12-09 퀄컴 인코포레이티드 채널 전환용 시스템 및 방법
WO2008061211A2 (en) * 2006-11-15 2008-05-22 Qualcomm Incorporated Systems and methods for applications using channel switch frames
KR100834443B1 (ko) * 2007-02-27 2008-06-04 삼성전자주식회사 비디오 코덱을 위한 메모리 구조 및 메모리 액세스 방법
EP2137972A2 (en) * 2007-04-24 2009-12-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
CA2697764A1 (en) * 2007-09-12 2009-03-19 Steve Chen Generating and communicating source identification information to enable reliable communications
JP2010103969A (ja) * 2008-09-25 2010-05-06 Renesas Technology Corp 画像復号方法、画像復号装置、画像符号化方法及び画像符号化装置
KR101353115B1 (ko) 2009-08-03 2014-01-21 제너럴 인스트루먼트 코포레이션 비디오 컨텐트를 인코딩하는 방법
JP5708490B2 (ja) * 2009-09-03 2015-04-30 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9036692B2 (en) * 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
MX2012012246A (es) * 2010-04-22 2012-12-17 Mediatek Inc Metodo de prediccion de movimiento.
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US8964056B2 (en) 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras
TWI604720B (zh) * 2011-07-02 2017-11-01 三星電子股份有限公司 視訊解碼裝置
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing
US9906815B2 (en) * 2011-11-08 2018-02-27 Texas Instruments Incorporated Delayed duplicate I-picture for video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
KR102574868B1 (ko) * 2012-04-23 2023-09-06 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
US9516308B2 (en) 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
US9736476B2 (en) 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
EP2866440B1 (en) * 2012-06-24 2018-08-08 Lg Electronics Inc. Image decoding method and apparatus using same
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
AU2015213423B2 (en) * 2012-06-28 2016-12-01 Ntt Docomo, Inc. Dynamic image predictive encoding and decoding device, method, and program
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
KR102444264B1 (ko) 2012-09-13 2022-09-16 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
CN104838649A (zh) * 2012-09-28 2015-08-12 三星电子株式会社 针对随机访问的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10187646B2 (en) * 2013-08-22 2019-01-22 Sony Corporation Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
JP6398569B2 (ja) * 2014-10-07 2018-10-03 株式会社ソシオネクスト 画像符号化装置、画像符号化方法および画像符号化プログラム
EP3198867A4 (en) * 2014-10-31 2018-04-04 MediaTek Inc. Method of improved directional intra prediction for video coding
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US20170094292A1 (en) * 2015-09-28 2017-03-30 Samsung Electronics Co., Ltd. Method and device for parallel coding of slice segments
JPWO2020045248A1 (ja) 2018-08-29 2021-08-12 シャープ株式会社 動画像復号装置および動画像符号化装置
SG11202106524PA (en) * 2018-12-20 2021-07-29 Ericsson Telefon Ab L M Normative indication of recovery point
KR20210134390A (ko) * 2019-03-11 2021-11-09 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응 방법
WO2020184999A1 (ko) 2019-03-12 2020-09-17 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
JP6967653B2 (ja) * 2019-12-19 2021-11-17 株式会社Ｎｔｔドコモ 動画像予測復号方法
US11792432B2 (en) * 2020-02-24 2023-10-17 Tencent America LLC Techniques for signaling and identifying access unit boundaries

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
US5726711A (en) * 1993-01-13 1998-03-10 Hitachi America, Ltd. Intra-coded video frame data processing methods and apparatus
EP0670663A1 (fr) * 1994-03-02 1995-09-06 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de codage de signaux numériques représentatifs d'une séquence d'images
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
DE69619002T2 (de) * 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
US5650823A (en) * 1995-03-27 1997-07-22 International Business Machines Corporation Half pel motion estimation method for B pictures
JP3297293B2 (ja) * 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
JP3698805B2 (ja) * 1996-03-25 2005-09-21 パイオニア株式会社 情報記録装置及び方法、情報処理装置及び方法並びに情報再生装置及び方法
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6310609B1 (en) * 1997-04-17 2001-10-30 Nokia Mobile Phones Limited User interface with guide lights
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
WO2002043385A2 (en) * 2000-10-10 2002-05-30 Broadcom Corporation System and method for special reproduction modes of a digitally encoded video data stream
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
US20030169816A1 (en) * 2002-01-22 2003-09-11 Limin Wang Adaptive universal variable length codeword coding for digital video content
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
US7848428B2 (en) * 2004-06-17 2010-12-07 Broadcom Corporation System and method for reducing visible artifacts in video coding using multiple reference pictures

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100499815C (zh) * 2007-01-12 2009-06-10 清华大学 一种支持视频帧随机读取的视频编解码方法
US8606025B2 (en) 2007-06-10 2013-12-10 Huawei Technologies Co., Ltd Encoding and decoding images using refreshed image and recovery point
CN104429069A (zh) * 2012-04-13 2015-03-18 夏普株式会社 用于标识前导画面的设备
CN104429069B (zh) * 2012-04-13 2018-09-18 威勒斯媒体国际有限公司 用于标识前导画面的设备
CN108965890A (zh) * 2012-04-13 2018-12-07 威勒斯媒体国际有限公司 用于标识前导画面的设备
CN108965886A (zh) * 2012-04-13 2018-12-07 威勒斯媒体国际有限公司 用于标识前导画面的设备
CN108965886B (zh) * 2012-04-13 2021-05-14 威勒斯媒体国际有限公司 用于标识前导画面的设备
CN108965890B (zh) * 2012-04-13 2021-05-14 威勒斯媒体国际有限公司 用于标识前导画面的设备和方法

Also Published As

Publication number Publication date
JP2005533444A (ja) 2005-11-04
KR20050019864A (ko) 2005-03-03
AU2003251964A1 (en) 2004-02-02
CA2492751A1 (en) 2004-01-22
MXPA05000558A (es) 2005-04-19
US8300690B2 (en) 2012-10-30
JP2008099325A (ja) 2008-04-24
CA2492751C (en) 2012-06-12
EP1547382A2 (en) 2005-06-29
CN101232615A (zh) 2008-07-30
EP3177020A1 (en) 2017-06-07
KR100754419B1 (ko) 2007-08-31
WO2004008735A3 (en) 2004-03-18
CN101232616B (zh) 2015-07-22
EP3177020B1 (en) 2023-04-19
AU2003251964A8 (en) 2004-02-02
CN101232616A (zh) 2008-07-30
US20040066854A1 (en) 2004-04-08
JP4695129B2 (ja) 2011-06-08
EP1547382A4 (en) 2013-10-30
HK1123653A1 (zh) 2009-06-19
BR0312657A (pt) 2007-06-26
WO2004008735A2 (en) 2004-01-22

Similar Documents

Publication Publication Date Title
CN1669321A (zh) 用于在视频编码中随机存取和逐步更新图像的方法
TWI808365B (zh) 視訊資料串流、視訊編碼器、用於假想參考解碼器(hrd)時序修復之設備與方法、及用於可擴展與可合併位元串流之另一附加物
JP6412910B2 (ja) ビデオを復号化する方法、ビデオを符号化する方法、デコーダ、エンコーダ、復号プログラムを記録したコンピュータ読み取り可能な記録媒体、および符号化プログラムを記録したコンピュータ読み取り可能な記録媒体
CN101267562B (zh) 具有编码和解码模式的视频处理系统和装置及其方法
TWI504237B (zh) 視訊寫碼中之緩衝預測資料
US8031778B2 (en) Picture decoding device and method
JP6588507B2 (ja) 復号方法、復号装置、符号化方法及び符号化装置。
TWI739042B (zh) 視訊編碼方法
CN103718557A (zh) 用于解码视频的方法
CN102150427A (zh) 用于使用自适应环路滤波器进行视频编码的系统和方法
CN1306822C (zh) 一种基于软硬件协同控制的视频解码器
TW202335504A (zh) 視訊編碼器、視訊解碼器、用於編碼與解碼之方法及用以實現進階視訊寫碼概念之視訊資料串流
JP2013102298A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN113545045A (zh) 允许按照子画面或区域随机接入的视频编解码器以及使用该视频编解码器的视频合成概念
KR20140044775A (ko) 디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법
CN1268136C (zh) 基于图像切片结构的帧场自适应编码方法
CN102783148B (zh) 用于视频编码的方法和装置
JP2000217103A (ja) 物体単位映像信号符号化／復号化装置及び方法
CN114731395A (zh) 用于渐进解码器刷新译码和可扩展译码的编码器、解码器以及数据流
JP2010050911A (ja) 符号化装置
TWI789632B (zh) 用於參考圖像重新取樣擴展之編碼器與解碼器、編碼方法及解碼方法
US6754270B1 (en) Encoding high-definition video using overlapping panels
TW202327365A (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法
US8483493B2 (en) Method for the variable-complexity decoding of an image signal, corresponding decoding terminal, encoding method, encoding device, computer signal and programs
CN1771736A (zh) 视频编码、解码方法和相应设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160113

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

CI01 Publication of corrected invention patent application

Correction item: Applicant

Correct: Nokia Oyj

False: Technology Co., Ltd. of Nokia

Number: 05

Volume: 32

ERR Gazette correction