CN101682760A - 视频编码器 - Google Patents

视频编码器 Download PDF

Info

Publication number
CN101682760A
CN101682760A CN200780053133A CN200780053133A CN101682760A CN 101682760 A CN101682760 A CN 101682760A CN 200780053133 A CN200780053133 A CN 200780053133A CN 200780053133 A CN200780053133 A CN 200780053133A CN 101682760 A CN101682760 A CN 101682760A
Authority
CN
China
Prior art keywords
information
layer
enhancement layer
decoder
basic layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200780053133A
Other languages
English (en)
Other versions
CN101682760B (zh
Inventor
王业奎
M·安尼克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101682760A publication Critical patent/CN101682760A/zh
Application granted granted Critical
Publication of CN101682760B publication Critical patent/CN101682760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于对视频信号进行编码的编码器，其中所述编码器被配置成生成包括基本层和至少一个增强层的编码的可伸缩数据流，其中所述编码器还被配置成生成与所述基本层和所述至少一个增强层中的每一个相关联的信息。

Description

视频编码器
技术领域
本发明涉及视频编码，并且更特别地，但不是排他性地涉及可伸缩的视频编码。
背景技术
视频信号被编码例如以使得能够进行视频信号的有效传输或存储。这些代码被分组成用于定义如何对这些视频信号进行编码和解码的定义的标准。
视频编码标准包括ITU-T H.261，ISO/IEC MPEG-1视觉，ITU-TH.262或ISO/IEC MPEG-2视觉，ITU-T H.263，ISO/IEC MPEG-4视觉以及ITU-T H.264(也被称作ISO/IEC MPEG-4增强型视频编码(AVC)标准)。当前正在致力于其它视频编码标准的研发。一种正在研发的其它标准为可伸缩视频编码(SVC)标准。另一种正在研发的其它标准为多视点视频编码(MVC)。SVC和MVC两种标准均意在对以上描述的H.264/AVC标准增加特征。
SVC的最新草案Joint Draft 9.0在2007年1月于摩洛哥马拉喀什举办的第22届JVT会议，JVT-V201，“Joint Draft 9 of SVCAmendment”中可得到，从以下路径可获得http://ftp3.itu.ch/av-arch/jvt-site/2007_01_Marrakech/JVT-V201.zip。
MVC的最新草案在2007年1月于摩洛哥马拉喀什举办的第22届JVT会议，JVT-V209，“Joint Draft 2.0 on Multiview Video Coding”中可得到，从以下路径可获得http://ftp3.itu.ch/av-arch/jvt-site/2007_01_Marrakech/JVT-V209.zip。
视频编码器/解码器也被称作编解码器。在可伸缩编解码器中，可以移除一些视频序列的元素或元素组，而不影响视频序列的其它部分的重构。对于在利用具有宽范围的处理功率的解码器的系统中使用的多种多媒体应用程序和服务，可伸缩视频编码是一种期望特征。可伸缩比特流例如可以用于对在流传输服务器中的预编码的单播流的速率调整，并且可以用于将单个比特流传输到具有不同解码或显示能力和/或具有不同网络条件的终端。
最早引入到视频编码标准的可伸缩性为在MPEG-1视觉中利用B图片的时间可伸缩性。在B图片概念中，B图片从以下两个图片被双向预测出，其中一个图片在B图片之前，另一个图片在B图片之后，以上两者均以显示顺序。另外，B图片是非参考图片，即B图片不用于其它图片的图片间预测参考。由此，B图片可以被丢弃以达到具有较低帧速率的时间可伸缩性。相同的机制保留在MPEG-2视频、H.263和MPEG-4视觉中。
在H.264/AVC中，B图片或者B片段(slice)的概念已经发生改变。在H.264/AVC中B片段的定义为以下一种片段，该片段可以使用中间预测从先前解码的参考图片以至多两个运动向量以及参考索引中被解码，从而预测每个块的采样值。在H.264/AVC中，先前编码标准的常规B图片概念的双向预测属性和非参考图片属性不再有效。
B片段中的块可以从显示顺序中相同的方向中的两个参考图片中预测，并且包含B片段的图片可以被其它图片参考从而用于图片间预测。
在H.264/AVC中以及H.264/AVC的扩展SVC和MVC中，时间可伸缩性可以通过使用非参考图片和/或分级图片间预测结构来实现。通过丢弃非参考图片，仅使用非参考图片H.264/AVC、SVC和MVC编码标准能够实现与使用MPEG-1/2/4中的常规B图片相似的时间可伸缩性。分级编码结构能够实现更为灵活的时间可伸缩性。
可伸缩性可以典型地通过将图像帧分组成多个分层来实现。被编码成基本层图像帧的图像帧仅包括在接收端处必须对视频信息解码的图像帧。一个或者多个增强层可以在基本层之上确定，同较低层相比较每个增强层提高了解码的视频的质量。然而，丰富的解码表示仅可以通过对可伸缩比特流的特定部分进行解码而生成。
在H.264/AVC和其它类似的编码方案中，用于预测随后的编码图片和用于将来输出的解码图片在解码图片缓冲区(DPB)中缓冲。为有效利用缓冲存储器，DPB管理过程可被具体规定，其中所述DPB管理过程包括将解码图片存储到DPB中的存储过程，参考图片的标记过程以及从DPB中解码图片的输出和移除过程。
在H.264/AVC中的参考图片管理过程可以作如下概括。用于中间预测的最大参考图片数，称为M，可以在有效序列的参数集合中指示。因而当参考图片被解码时，可被标记为“用作参考”。如果参考图片的解码引起多于M个图片被标记为“用作参考”，那么至少一个图片必须被标记为“不用作参考”。如果标记为“不用作参考”的图片也不必用作输出，那么DPB移除过程可从DPB中移除这些图片。每个短期图片与从语法元素frame_num中衍生的变量PicNum有关，并且每个长期图片与从long_term_frame_idx  中衍生的变量LongTermPicNum有关，其中所述long_term_frame_idx由存储器管理控制操作(MMCO)命令来信号发送。
存在两种用于参考图片标记的操作：自适应存储器控制和滑窗。用于参考图片标记的操作模式可在图片的基础上选择。
自适应存储器控制方法要求在比特流中存在存储器管理控制操作(MMCO)命令。存储器管理控制操作支持显式信令以指示哪个图片被标记为“不用作参考”，将长期索引分配到短期参考图片，将当前图片存储为长期图片，将短期图片变成长期图片以及将最大允许的长期索引分配给长期图片。
滑窗控制方法使用滑窗以仅存储最新标记为“用作参考”的M个图片。因而当图片不在窗口内时，在被标记为“用作参考”的短期参考图片中进行了解码的任何较早短期参考图片被标记为“不用作参考”。换而言之，滑窗操作模式在短期参考图片中导致先入先出的缓冲操作。
在H.264/AVC的附录C中规定的假想参考解码器(HDR)被用于检测比特流和解码器一致性。HRD包括编码图片缓冲区(CPB)、即时解码过程、解码图片缓冲区(DPB)和输出图片剪辑块。CPB和即时解码过程被规定为类似于任何其它视频解码标准，并且输出图片剪辑块简单地从解码图片中剪辑那些处于信号发送的输出图片范围之外的样本。DPB在H.264/AVC中被引入以控制用于解码一致的比特流所要求的存储器资源。DPB包括统一的用于参考图片和输出重排序的解码图片缓冲过程。当解码图片不再用作参考以及不再需要用于输出时，解码图片被从DPB中移除。比特流所允许使用的DPB的最大大小在H.264/AVC的层次定义(附录A)中规义。
对于解码器存在两种类型的一致性：输出时序一致性和输出顺序一致性。对于输出时序一致性，与HRD相比，解码器必须在同样的时间输出图片。对于输出顺序一致性，仅考虑输出图片的正确顺序。输出顺序DPB被认为包含最大允许的帧缓冲数目。当帧不再用作参考并且不需要用于输出时，所述帧从DPB中被移除。当所述DPB变满，输出顺序中最早的帧被输出直到至少一帧缓冲区变成不被占用时为止。
然而当一些最高时间层被忽略时，这些存储器控制方法是有问题的。最高时间层的减少在比特流中的frame_num中生成了间隙。当这发生时，解码过程生成了具有缺失frame_num值的短期“非存在”图片。对所述“非存在”图片的处理方式与滑窗参考图片标记过程中的常规短期参考图片的处理方式相同。
要求用于解码时间可伸缩比特流子集的存储器缓冲区的量会比用于解码时间可伸缩比特流本身的存储器缓冲区的量小，然而，为了确定能够对任何已编码的比特流进行解码，上述编码方案将定义用于整个时间可伸缩比特流的存储器和缓冲区间隔。
例如，在H.264/AVC标准中，用于解码整个比特流所要求的解码图片缓冲区(DPB)的大小由语法元素max_dec_frame_buffing来规定。因此，能够处理时间可伸缩的比特流子集解码的解码器需要具有附加的存储器缓冲区。
此外，即使解码器具有用于整个时间可伸缩的比特流的缓冲存储器资源，仍然期待的是其可以确切地分配对整个比特流的期望子集进行解码所需的存储器量，并且使用所保存的存储器资源用于其它应用。
存在另一个类似的问题。被重新排序用于输出的最大帧数通常也被信号发送用于整个比特流。例如，在H.264/AVC标准中，语法元素num_reorder_frame用于设置用于输出的最大重排序的帧数。然而比特流子集可要求更少用于输出的重排序帧数。例如，仅包含关键图片(下面定义)的比特流子集，用于输出的最大重排序的帧数实际为零，因为输入顺序与输出顺序等同。在此系统中对时间可伸缩的比特流子集进行解码的解码器将等待待解码的附加图片以开始输出，对于时间可伸缩比特流的子集，这将在可能的回放延迟上引起最初的回放延迟。
发明内容
出于对在实现可伸缩视频编码时对解码的图片缓冲管理不被最优执行的考虑，提出了本发明。使用从编码器传递到解码器的、关于可伸缩视频的不同时间可伸缩层的信息可以导致对于解码时间可伸缩比特流的子集的更有效的存储器缓冲区消耗。
本发明实施例的目的是针对以上问题。
根据本发明的第一个方面，提供了一种用于对视频信号进行编码的编码器，其中所述编码器被配置成生成包括基本层和至少一个增强层的编码的可伸缩数据流，其中所述编码器还被配置成生成与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述信息可以包含以下中的至少一个：与所述基本层和所述至少一个增强层中的每一个相关联的最小图片缓冲区大小；以及与所述基本层和所述至少一个增强层中的每一个相关联的最大图片重排序大小。
所述编码器可包括：可伸缩编码器，配置成生成编码的可伸缩数据流的，以及消息形成器，配置成生成与所述基本层和所述至少一个增强层中的每一个相关联的信息，并且将所述信息存储在消息中。
消息形成器可进一步配置成将该消息结合在编码的可伸缩数据流内。
消息形成器可配置成生成补充增强信息消息。
补充增强信息消息可还包括在编码的可伸缩数据流中所包含的时间可伸缩层的数量的指示。
消息形成器可配置成生成容器文件，其中所述容器文件包含在消息中与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述编码器可配置成生成信令协议分组，其中所述信令协议分组包含与所述基本层和所述至少一个增强层中的每一个相关联的信息。
信令协议分组优选地为会话发起协议和实时流传输协议中的至少一个。
所述分组优选地为会话描述协议分组，并且与所述基本层和所述至少一个增强层中的每一个相关联的信息优选地为会话描述协议分组属性。
根据本发明的第二个方面，提供了一种用于对视频信号进行编码的方法，所述方法包括：生成包含基本层和至少一个增强层的编码的可伸缩数据流；以及生成与所述基本层和所述至少一个增强层中的每一个相关联的信息。
生成信息可以包括生成以下的至少一个：与所述基本层和所述至少一个增强层中的每一个相关联的最小图片缓冲区大小；以及与所述基本层和所述至少一个增强层中的每一个相关联的最大图片重排序大小。
所述方法可还包括在消息中存储与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述方法可还包括组合编码的可伸缩数据流范围内的信息。
所述方法可包括生成补充增强信息消息。
所述方法可包括在补充增强信息消息中存储编码的可伸缩的数据流中所包含的时间可伸缩层的数量的指示。
所述方法可包括生成容器文件，其中所述容器文件可包含与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述方法包括生成信令协议分组，其中所述信令协议分组包含与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述生成信令协议分组可包括生成会话发起协议分组和实时流传输协议分组中的至少一个。
所述生成信令协议分组可包括生成会话描述协议分组以及生成会话描述协议分组，其中所述会话描述协议分组属性包括与所述基本层和所述至少一个增强层中的每一个相关联的信息。
根据本发明的第三个方面，提供了对编码的可伸缩数据流进行解码的解码器，其中所述解码器被配置成接收包含基本层和至少一个增强层信号的编码的可伸缩数据流，以及输出解码的视频信号，其中所述解码器进一步被配置成：接收与所述基本层和所述至少一个增强层中的每一个相关联的信息；根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来配置解码器；根据所述解码器的配置来对编码的可伸缩数据流进行解码。
所述信息可包括以下中的至少一个：与所述基本层和所述至少一个增强层中的每一个相关联的最小图片缓冲区大小；以及与所述基本层和所述至少一个增强层中的每一个相关联的最大图片重排序大小。
所述解码器可包括：消息分解器，配置成从编码的数据流中的消息上提取与所述基本层和所述至少一个增强层中的每一个相关联的信息；可配置的可伸缩解码器，配置成从可伸缩数据流中生成解码的视频数据，其中所述消息分解器还被优选地配置成根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来对可配置的可伸缩解码器进行配置。
所述消息分解器还被优选地配置成对来自编码的可伸缩数据流的信息消息进行过滤。
所述消息分解器优选地被配置成从补充增强信息消息中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述消息分解器优选地被配置成从补充增强信息消息中提取包含在编码的可伸缩数据流中的时间可伸缩层的数目的指示。
所述消息分解器优选地被配置成从容器文件中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述解码器优选地被配置成从信令协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述解码器优选地被配置成从信令协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息，其中所述信令协议分组包含会话发起协议和实时流传输协议中的至少一个。
所述解码器优选地被配置成从会话描述协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息，其中与所述基本层和所述至少一个增强层中的每一个相关联的所述信息优选地是会话描述协议分组属性。
根据本发明的第四个方面，提供了一种用于对视频信号进行解码的方法，所述方法包括：接收包含基本层和至少一个增强层信号的编码的可伸缩数据流；接收与所述基本层和所述至少一个增强层中的每一个相关联的信息；根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来对解码器进行配置；根据所述解码器配置来对编码的可伸缩数据流进行解码；以及输出解码的视频信号。
所述信息可以包括下列中的至少一个：与所述基本层和所述至少一个增强层中的每一个相关联的最小图片缓冲区大小；与所述基本层和所述至少一个增强层中的每一个相关联的最大图片重排序大小。
所述方法可包括：从编码的数据流中的信息上提取与所述基本层和所述至少一个增强层中的每一个相关联的信息；以及，其中配置所述解码器可包括根据所提取信息来对解码器进行配置。
所述方法进一步配置成对来自编码的可伸缩数据流中的信息消息进行过滤。
所述提取信息可包括从补充增强信息消息上提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述提取可还包括从补充增强信息消息中提取包含在编码的可伸缩数据流中的时间可伸缩层的数目的指示。
所述提取还包括从容器文件中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述提取还包括从信令协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
所述提取还包括从信令协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息，其中所述信令协议分组包含会话发起协议和实时流传输协议中的至少一个。
所述提取还包括从会话描述协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息，其中与所述基本层和所述至少一个增强层中的每一个相关联的所述信息是会话描述协议分组属性。
根据本发明的第五个方面，提供一种包含以上所描述编码器的设备。
根据本发明的第六个方面，提供一种包含以上所描述解码器的设备。
根据本发明的第七个方面，提供一种包含以上所描述编码器的电子设备。
根据本发明的第八个方面，提供一种包含以上所描述解码器的电子设备。
根据本发明的第九个方面，提供一种被配置成实现对视频信号进行编码的方法的计算机程序产品，该方法包括：生成包含基本层和至少一个增强层的编码的可伸缩数据流，以及生成与所述基本层和所述至少一个增强层中的每一个相关联的信息。
根据本发明的第十个方面，提供一种被配置成执行对视频信号进行解码的方法的计算机程序产品，该方法包括：接收包含基本层和至少一个增强层信号的编码的可伸缩数据流；接收与所述基本层和所述至少一个增强层中的每一个相关联的信息；根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来对解码器进行配置；根据所述解码器的配置来对编码的可伸缩数据流进行解码；以及输出解码的视频信号。
根据本发明的第十一个方面，提供一种对视频信号进行编码的编码器，包括：用于生成包含基本层和至少一个增强层的编码的可伸缩数据流的装置，以及用于生成与所述基本层和所述至少一个增强层中的每一个相关联的信息的装置。
根据本发明的第十二个方面，提供一种对编码的可伸缩数据流进行解码的解码器，其中所述解码器包括：用于接收包含基本层和至少一个增强层信号的编码的可伸缩数据流的装置；用于接收与所述基本层和所述至少一个增强层中的每一个相关联的信息的装置；用于根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来对解码器进行配置的装置；用于根据所述解码器的配置来对编码的可伸缩数据流进行解码的装置；以及用于输出解码的视频信号的装置。
附图说明
为了更好地理解本发明，参考将通过对应附图的示例给出，其中：
图1示意地显示了使用本发明实施例的电子设备。
图2a示意地显示了在本发明实施例中使用的视频图片的四个时间可伸缩层的层次结构；
图2b示意地显示了在本发明实施例中所使用的具有附加时间层的如图2a所示的视频图片的四个时间可伸缩层的层次结构；
图3a示意地显示了根据本发明实施例的视频编码器；
图3b示意地显示了根据本发明实施例的视频解码器；以及
图4显示了根据本发明第一实施例描述图3a和图3b的编码器和解码器操作的流程图。
具体实施方式
以下更详细地描述了用于提供分层或可伸缩的视频编解码器的可能的视频编解码机制。对此，首先参考附图1，图1显示了示例电子装置610的示意性框图，其中所述电子装置610可以结合根据本发明的实施方式的编解码器。
电子装置610例如可以为无线通信系统的移动终端或用户设备。
电子装置610包括麦克风611，该麦克风611经由模拟-数字/数字-模拟转换器(ADC/DAC)614链接到处理器621。处理器621还经由ADC/DAC 614链接到扬声器633。处理器621还链接到收发器(TX/RX)613、用户接口(UI)615和存储器622。
处理器621还链接到视频驱动器电路631，该视频驱动器电路631进而连接到相机635和显示器637。
处理器621可以被配置成执行各种程序代码。被实现的程序代码包括视频编码代码以用于编码。被实现的程序代码623还包括视频解码代码。被实现的程序代码623可以例如存储在存储器622中以用于在需要的时候可以由处理器621获取。存储器622还提供用于存储数据的部分，所述数据例如根据本发明被编码的数据。
在本发明实施方式中编码和解码代码可以以硬件或固件来实现。
用户接口615使得用户能够例如经由键盘向电子装置610输入命令，和/或例如经由显示器从电子装置610获取信息。收发器613使得能够与其它电子装置通信，例如经由无线通信网络。
视频驱动器电路631从处理器621接收数据，并且以一种形式输出数据以在显示器637上显示。另外，视频驱动器电路被配置成从相机635接收视频数据，并且将该数据以一种适于处理的形式输出到处理器621中。
需要再次理解的是电子装置610的结构可以以各种方式进行补充和变化。
电子装置610的用户可以使用相机635以用于输入将传输到一些其它电子装置或者将存储在存储器622的数据部分的视频。为此，用户已经由用户接口615激活了相应的应用。这一应用可以由处理器621运行，并可以使处理器621执行存储在存储器622中的编码代码。
处理器621可以随后以参考本发明实施方式所描述的方式处理视频信号。
所得的比特流可以被提供给收发器613以传输到另一电子装置。可替换地，被编码的数据可以存储在存储器622的数据部分，例如用于由相同的电子装置610进行后续的传输或者后续的显示。
电子装置610也可以经由收发器613从另一电子装置接收具有相应的编码的数据的比特流。在这种情况下，处理器621可以执行存储在存储器622中的解码程序代码。处理器621如参考随后描述的本发明的实施方式所描述的那样来解码接收到的数据，并且将解码的数据提供给视频驱动器电路631。视频驱动器电路631将数字解码的数据转换成适于显示器637的形式，并且将数据输出到显示器637。对解码程序代码的执行也可以由用户经由用户接口615调用的应用程序来触发。
接收到的编码的数据也可以存储在存储器622的数据部分而不是仅由显示器637立即显示，例如能够进行后续的显示或者转发到另一个电子装置。
需要理解的是，图2a，图2b，图a，图3b和图4仅显示了完整视频编解码器的操作的一部分，该完整视频编解码器示例性显示在图1显示的电子装置中实现。视频编解码器的整体操作是已知的，并且不会对理解本发明的操作产生帮助的这些编解码器的特征没有详细描述。
参考图2a和图2b，显示了具有时间可伸缩性的级别的典型的分级编码结构的示意性视图以帮助理解本发明。
图2a显示了两个图片群集(GOP)。第一个完整图片群集102以后缀b为参考，第二个完整图片群集103以后缀c为参考。图2a还显示了以后缀为参考的图片群组的截段(stub)。图片显示的顺序在图2a中由图片顺序计数(POC)值表示。另外，如下面所述，每个图片具有时间级别(TL)值。
每个图片群集包括关键图片、内部(I)或预测(P)图片105。I或P图片在解码顺序上被编码成图片群组的第一个图片。当关键图片被进行图片间编码时，先前的关键图片被用于中间预测的参考。这些关键图片对应最低时间级别(如图2中以TL＝0表示)，并且与最低帧速率向关联。在图2a中显示的实例中，每个图片群组还包括一系列分级构造的双向预测(B)图片。特别地，每个图片群组包括具有时间等级1的B图片107、具有时间等级2的两个B图片109，111、以及具有时间等级3的四个B图片113，115，117和119。所述图片以图片顺序计数顺序被排列，以便在每个图片群组内，相对于TL值的图片顺序为3，2，3，1，3，2，3，0。
较高时间等级的图片可以仅使用相同或者较低的时间等级的图片来用于图片间预测。
利用这种分级编码结构，对应于不同帧速率的不同的时间可伸缩性可以通过丢弃特定时间等级值及以上的图片来达到。例如，在图2a中，具有图片顺序计数值0，8和16的图片105a，105b和105c具有最低时间等级，而具有图片顺序计数值1，3，5，7，9，11，13和15的图片113b，115b，117b，119b，113c，115c，117c和119c具有最高时间等级。
由此，如果在解码所有时间等级时达到30Hz的帧速率，则其它帧速率可以通过丢弃一些时间等级的图片来获得。例如，通过使用最低时间等级的图片，可以实现仅3.25Hz的帧速率。
参考图2b，利用附加时间等级(TL＝4)显示了图2a的图片编码结构。对于每个图片群组201，203，具有8个TL＝4的B图片121，123，125，127，129，131，133，135。TL＝4等级B图片直接处于每个TL＝3等级B图片之前和之后。由此，在每个图片群组内，针对TL值的图片的顺序被显示为4，3，4，2，4，3，4，1，4，3，4，2，4，3，4，0。图2b还显示了与图片的解码顺序相对应的frame_num值。斜体的值对应于非参考图片，也就是对应于不用于提供帮助解码其它图片的的信息的图片。如果TL＝3和较低层允许30Hz帧速率，则添加TL＝4的层将不允许60Hz的帧速率。
使用图2b显示的结构，下面表1指示了在对每个图片进行了解码之后哪个参考图片对于进一步的中间预测参考是非必须的。
表1  图2b中的实例的DPB状态分析，一旦参考图片变得对于
中间预测不再需要则参考图片就被标记成不用于参考时
编码号码/frame_num 显示号码(可能的POC) 被标记为“用于参考”   在解码由显示号码的编码号码标识的图片之后，在DPB中标记为“用于参考”的图片(图片由其显示号码表示。一旦参考标记变得对于中间预测参考不再需要时，则参考就被标记为“不用于参考”)
  0/0   0   是   0
  1/1   16   是   0，16
  2/2   8   是   0，16，8
  3/3   4   是   0，16，8，4
  4/4   2   是   0，16，8，4，2
  5/5   1   否   16，8，4，2
  6/5   3   否   16，8，4
  7/5   6   是   16，8，4，6
  8/6   5   否   16，8，6
9/6 7 否 16，8
  10/6   12   是   16，8，12
  11/7   10   是   16，8，12，10
  12/8   9   否   16，12，10
  13/8   11   否   16，12
  14/8   14   是   16，12，14
  15/9   13   否   16，14
  16/9   15   否   16
  17/9   32   是   16，32
  18/10   24   是   16，32，24
  19/11   20   是   16，32，24，20
20/12 18 是 16，32，24，20，18
  21/13   17   否   32，24，20，18
  22/13   19   否   32，24，20
  23/13   22   是   32，24，20，22
  24/14   21   否   32，24，22
  25/14   23   否   32，24
  26/14   28   是   32，24，28
  27/15   26   是   32，24，28，26
  28/16   25   否   32，28，26
  29/16   27   否   32，28
  30/16   30   是   32，28，30
  31/17   29   否   32，30
  32/17   31   否   32
  33/17   48   是   32，48
  ...   ...   ...   ...
根据表1，需要存储在DPB中以用于中间预测参考的图片的最小数量为5，其中有5层时间可伸缩层。在具有编码顺序4和20的图片被解码之后，可以达到峰值。
时间可伸缩层的数量与存储在DPB中用于中间预测参考从而解码信号的图片的最小数量之间的关系对于相似的可伸缩结构是成立的。由此，当层的数量等于N时，能够整体解码比特流所需要的最小图片空间也为N。
然而，从下面的表2和3可以看出，当一个或多个高时间层被丢弃时，需要存储在DPB中以用于中间预测参考的图片的最小数量也减少。表2显示了当仅解码基本层(TL等于0)时的DPB状态。表3显示了当解码高至TL等于1的层时的状况(也就是说TL＝0和TL＝1层)。
表2  当仅解码基本层时的DPB状态分析
  编码号码/   显示号   被标记   在解码由显示号码的编码号码标识的图片
  frame_num   码(可能的POC)   为“用于参考”   之后，在DPB中标记为“用于参考”的图片(图片由其显示号码表示。一旦其变得对于中间预测参考不再需要时，则参考就被标记为“不用于参考”。)
  0/0   0   是   0
  1/1   16   是   16
  2/9   32   是   32
  3/17   48   是   48
表3  当解码具有TL少于或等于1的层的DPB状态分析
编码号码/frame_num 显示号码(可能的POC) 被标记为“用于参考”   在解码由显示号码的编码号码标识的图片之后，在DPB中被标记为“用于参考”的图片(图片由其显示号码表示。一旦其变得对于中间预测参考不再需要时，则参考就被标记为“不用于参考”)
  0/0   0   是   0
  1/1   16   是   0，16
  2/2   8   是   16，8
  3/9   32   是   16，32
4/10 24 是   32，24
  5/17   48   是   32，48
在表3中可以看出，在图片本身被解码之后，不再需要为中间预测参考来存储图片8或24。然而，由于在传统编码中参考图片标记发生在存储当前解码的参考图片之前，所以目前没有方法将当前解码的参考图片标记为“不用于参考”。
下面显示的表4通过显示当解码不同时间层时存储在DPB中用于中间预测参考的最小需要图片数量而对此进行进一步的扩展。
表4
  TL   0   1   2   3   4
  最小DPB大小   1   2   3   4   5
因此，总体来说，在具有分级预测结构的时间可伸缩编码中(其中时间可伸缩层的数量等于Nt)，存储在DPB中用于中间预测参考以解码TL大于或等于0且小于Nt的时间层所需要的最小图片数量是TL值加1(也就是TL+1)。
类似地，由num_reorder_frames针对整个比特流而指示的、被重排序用于输出的最大帧数根据正被解码的层的数量而不同。因此，在解码低时间可伸缩层中，必须作出更少的重排序。
图3a和图3b显示了本发明的第一实施方式，其中可以实现以上内容以改进如图1所示的设备。参考图4来对图3a和图3b所示的实施方式的操作进行进一步的描述。
图3a显示了根据本发明第一实施方式的视频编码器301的示意图。视频编码器301接收原始数据流307，并且输出具有层信息的编码的数据流。视频编码器包括可伸缩数据编码器303，该可伸缩数据编码器303接收原始数据流307并且连接到消息形成单元305。消息形成单元还输出编码的视频数据309。
可伸缩数据编码器303接收原始数据流307，如图4中的步骤501所示。
可伸缩数据编码器随后对数据进行编码以生成一个或多个可伸缩编码的层。这一操作如图4中步骤503所示。
可伸缩数据编码器还推出可伸缩性信息，并且将这一信息与编码的层一起传递到消息形成单元305。这一操作如图5中的步骤505所示。
消息形成单元将这一信息插入到编码的数据流。在第一实施例中，所建议的针对每一可伸缩层的指示中的至少一个包括在时间可伸缩流中，例如包括在序列参数集中或在补充增强信息(SEI)消息中。
用信号发送指示的SEI消息的句法和语义如下：
  .temp_layer_info(payloadSize){   C   描述符
  num_temp_layers_minus2   5   ue(v)
  for(i＝0；i＜＝num_layers_minus2；i++){
      max_dec_frame_buffering[i]   5   ue(v)
      num_reorder_frames[i]   5   ue(v)
  }
}
上述SEI消息可以与即时解码刷新(IDR)存取单元相关联。在SEI消息中信号发送的信息从包含SEI消息的存取单元到包含相同类型的SEI消息的下一个存取单元(不含)是有效的。
消息的语义如下：
num_temp_layers_minus2加2说明包含在编码的视频序列中的时间可伸缩层的数量。
max_dec_frame_buffering[i]与H.264/AVC中的句法元素max_dec_frame_buffering具有相同的语义，唯一的区别在于这里讨论的比特流是包含时间等级等于i的时间可伸缩层和所有更低时间层的比特流。
num_reorder_frames[i]与H.264/AVC中的句法元素num_reorder_frames具有相同的语义，唯一的区别在于这里讨论的比特流是包含时间等级等于i的时间可伸缩层和所有更低时间层的比特流。
这一操作如图4中步骤506所示。
输出的编码的数据流随后被传输/存储，如图4中的步骤507所示。
图3b显示了根据本发明的第一实施例的视频解码器351的示意图。视频解码器接收编码的视频数据359并且输出解码器视频数据361。解码器包括接收机353，其被配置成接收编码的数据并且输出信号至消息分解单元355。消息分解单元355还连接到解码器357。解码器还被配置成输出解码的视频数据361。
解码器351的接收机353接收编码的视频数据359。这一数据的接收或获取如图4中的步骤509所示。
消息分解单元355从接收机353接收所接收的视频数据，并且从如上面所示的数据流中的SEI消息提取指示信息。在本发明的一些实施例中，消息分解单元可以是存取单元解析器。这一指示信息被传递到解码器357。这一操作如图4中步骤510所示。
解码器357根据来自消息分解单元的指示信息进行配置。这一配置可以包括根据存储参考帧所需要的缓冲区大小和输出重排序缓冲区大小来对解码器图片缓冲区(DPB)的大小进行的配置。这一操作如图4中步骤511所示。
解码器357(曾被配置过)被配置成解码视频数据。这一操作如图4中步骤513所示。
解码器357随后还被配置成输出解码的视频数据。这一操作如图4中步骤515所示。
实施本发明的实施方式的优点可以用下列实例来说明。流传输服务器可以包括时间可伸缩比特流，其所需要的解码的图片缓冲区(DPB)大小等于N1个帧。时间可伸缩比特流包括较低时间层，其所需要的DPB大小等于N2个帧，其中N2＜N1。整个比特流的分布和等级与较低时间层比特流相同。由于可用存储器不充足，所以流传输客户端能够解码较低时间层但是不能解码整个比特流。在客户端从服务器请求视频内容后，服务器将所需的DPB大小等等通知给客户端。
没有本发明的话，流传输服务器将通知客户端的是，对于整个比特流或者较低层比特流所需要的DPB大小等于N1。由此，客户端知道不能够解码来自服务器的任何数据，并且请求失败。通过实施本发明，服务器可以从所建议的信令中容易地确定对于较低时间层实际所需要的DPB大小并且通知客户端，从而，所请求的流传输会话可以开始，并且客户端可以成功接收和解码较低时间层，而且可以不需要保留解码较低时间层所不需要的存储器和资源。
根据本发明，客户端还可以利用重排序以用于输出的最大帧数的所建议的信令来尽可能快地开始输出和显示解码的图片，从而减少初始回放延迟。
在本发明的第二实施例中，以上所述的相同指示信息可包括在草案SVC标准所规定的可伸缩性信息SEI消息中而不在如以上所定义的单独SEI消息中。因此，所述指示信息随同在可伸缩性信息SEI消息中信号发送的用于每个时间层的其它可伸缩性信息一起被传递到接收机上。在本发明的上述实施例中，所述消息分解单元被配置成从在可伸缩性信息SEI消息内的字段中提取指示信息。
在本发明的另一个实施例中，SEI消息不用来传送可伸缩指示信息。在本发明的另一个实施例中，所述可伸缩指示信息包含在存储时间可伸缩的比特流的容器文件中。在所述实施例中，所述字段max_dec_frame_buffering和num_reorder_frames包含在如最新草案SVC文件格式标准中所定义的TierInfoBox中，其中所述最新草案SVC文件格式标准可以在摩洛哥马拉喀什2007年1月的MPEG输出文档N8874中得到。
在所述实施例中，所述消息形成单元305以及消息分解单元355分别使用容器文件来存储指示信息并且从中提取信息。
在本发明的另一个实施例中，所述信息可以在编码数据流之外信号发送。例如，本发明的一些实施例中，可伸缩指示信息作为会话发起协议(SIP)会话描述协议(SDP)属性的一部分来发送或者存储，其可从编码器(服务器)通信到解码器(客户端)。该通信可通过使用实时流传输协议(RTSP)或者会话发起协议(SIP)来实现。
尽管以上所描述的分级的B图片编码结构为用于时间可伸缩性的最典型的编码结构，但值得注意的是，其它编码结构是可行的并且在本发明的其它实施例中使用。GOP大小的数目和GOP中的图片结构随着实施方式的不同而不同。此外，本发明的其它实施例中的GOP大小随时间不是恒定的。在其它实施例中，本发明的其它实施例中的时间增强层图片可以不编码为B片段，但可以被编码为P片段。
尽管以上示例描述了在电子装置610的编解码器中操作本发明的实施例，但值得注意的是以下所描述的发明可作为任何可伸缩视频编解码器的一部分来实现。
因而，用户设备可包括诸如本发明以上所描述的实施例中的视频编解码器。
值得注意的是术语用户设备意在包括任何合适类型的用户设备，诸如移动电话、便携式数据处理设备或者便携式web浏览器。
总体来看，本发明的各种实施例可以硬件或者专用电路、软件、逻辑或者以上任意组合来实现。例如，一些方面可以以硬件来实现，另一些方面可以以可以由控制器、微处理器或其它计算设备来执行的固件或者软件来实现，但本发明并不限制于此。虽然本发明的各方面能够以框图、流程图或者使用一些其它图画展示加以阐述和描述，但可以理解的是，作为非限制性例子，以下所描述的块、装置、系统、技术或者方法可以以诸如硬件、软件、固件、专用电路或者逻辑、通用硬件或者控制器或者其它计算设备或者其一些组合来实现。
本发明的实施例可以通过移动设备的数据处理器可执行的计算机软件(例如在处理器实体中)、通过硬件或者通过软件和硬件的组合来实现。进一步就此而言，需要注意的是，附图中的任何框图和逻辑图可以表示程序步骤、或者互连的逻辑电路、块和功能，或者程序步骤与逻辑电路、块以及功能的组合。
所述存储器可以是适于本地技术环境的任何类型并且可以使用任何合适的数据存储技术来实现，诸如基于半导体的存储器件、磁存储器件和系统、光学存储器件和系统、固定存储器和可移动存储器。所述数据处理器可以是适于本地技术环境的任何类型，并且，作为非限制性例子，可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器架构的处理器。
本发明实施例可以以诸如集成电路模块之类的各种部件来实现。集成电路设计在很大程度上为高度自动化过程。复杂和功能强大的软件工具可用来将逻辑层设计转变成准备在半导体衬底上蚀刻和形成的半导体电路设计。
程序，例如加利福尼州山景城的Synopsys公司以及加利福尼亚州圣何塞的Cadence Design公司所提供的那些程序，使用建立好的设计规则以及预存有设计模型的库来自动进行导体布线，并将部件置于半导体芯片上。一旦完成了半导体电路的设计，则标准电子格式(例如，Opus、GDSII等等)的结果设计可被传输到半导体制造工厂或“代工厂”以进行制造。
以上的描述已经通过实例和非限制的例子提供了对本发明的示例实施例的完整且富含信息的描述。然而，各种修改和调整对于相关领域技术人员在阅读上述说明书并结合附图和所附权利要求后是明显的。然而，本发明教导的所有此类和类似的修改将落入如在所附权利要求所限定的本发明的范围内。

Claims (48)

1.一种用于对视频信号进行编码的编码器，其中所述编码器被配置成生成编码的可伸缩数据流，该编码的可伸缩数据流包括基本层和至少一个增强层，其中所述编码器还被配置成生成与所述基本层和所述至少一个增强层中的每一个相关联的信息。
2.根据权利要求1所述的编码器，其中所述信息包括下列中的至少一个：
与所述基本层和所述至少一个增强层中的每一个相关联的最小图片缓冲区大小；以及
与所述基本层和所述至少一个增强层中的每一个相关联的最大图片重排序大小。
3.根据权利要求1或2所述的编码器，其中所述编码器包括：
可伸缩编码器，被配置成生成所述编码的可伸缩数据流；以及
消息形成器，被配置成生成与所述基本层和所述至少一个增强层中的每一个相关联的信息，并且在消息中存储所述信息。
4.根据权利要求3所述的编码器，其中所述消息形成器还被配置成将所述消息结合在编码的可伸缩数据流内。
5.根据权利要求3或4所述的编码器，其中所述消息形成器被配置成生成补充增强信息消息。
6.根据权利要求5所述的编码器，其中所述补充增强信息消息还包括包含在所述编码的可伸缩数据流中的时间可伸缩层的数量的指示。
7.根据权利要求3或4所述的编码器，其中所述消息形成器还被配置成生成容器文件，其中所述容器文件包括在消息中与所述基本层和所述至少一个增强层中的每一个相关联的信息。
8.根据权利要求1或2所述的编码器，其中所述编码器被配置成生成包括与所述基本层和所述至少一个增强层中的每一个相关联的信息的信令协议分组。
9.根据权利要求8所述的编码器，其中所述信令协议为下列中的至少一个：
会话发起协议；以及
实时流传输协议。
10.根据权利要求8或9所述的编码器，其中所述分组为会话描述协议分组，并且与所述基本层和所述至少一个增强层中的每一个相关联的信息为会话描述协议分组属性。
11.一种用于对视频信号进行编码的方法，该方法包括：
生成包括基本层和至少一个增强层的编码的可伸缩数据流；以及
生成与所述基本层和所述至少一个增强层中的每一个相关联的信息。
12.根据权利要求11所述的方法，其中生成信息包括生成下列中的至少一个：
与所述基本层和所述至少一个增强层中的每一个相关联的最小图片缓冲区大小；
与所述基本层和所述至少一个增强层中的每一个相关联的最大图片重排序大小。
13.根据权利要求11或12所述的方法，该方法还包括将与所述基本层和所述至少一个增强层中的每一个相关联的信息存储在消息中。
14.根据权利要求13所述的方法，该方法还包括将所述消息结合在编码的可伸缩数据流内。
15.根据权利要求13或14所述的方法，该方法包括生成补充增强信息消息。
16.根据权利要求15所述的方法，该方法包括将包含在所述编码的可伸缩数据流中的时间可伸缩层的数量的指示存储在所述补充增强信息消息中。
17.根据权利要求13或14所述的方法，该方法包括生成容器文件，其中所述容器文件包括在消息中与所述基本层和所述至少一个增强层中的每一个相关联的信息。
18.根据权利要求11或12所述的方法，该方法包括生成包括与所述基本层和所述至少一个增强层中的每一个相关联的信息的信令协议分组。
19.根据权利要求18所述的方法，其中生成所述信令协议分组包括生成下列中的至少一个：
会话发起协议分组；以及
实时流传输协议分组。
20.根据权利要求18或19所述的方法，其中生成所述信令协议分组包括生成会话描述协议分组，并且生成会话描述协议分组属性，该会话描述协议分组属性包括与所述基本层和所述至少一个增强层中的每一个相关联的信息
21.一种用于对编码的可伸缩数据流进行解码的解码器，其中所述解码器被配置成接收包括基本层和至少一个增强层信号的编码的可伸缩数据流，并且输出解码的视频信号，其中所述解码器还被配置成：
接收与所述基本层和所述至少一个增强层中的每一个相关联的信息；
根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来对所述解码器进行配置；
根据所述解码器的配置来对所述编码的可伸缩数据流进行解码。
22.根据权利要求21所述的解码器，其中所述信息包括下列中的至少一个：
与所述基本层和所述至少一个增强层中的每一个相关联的最小图片缓冲区大小；以及
与所述基本层和所述至少一个增强层中的每一个相关联的最大图片重排序大小。
23.根据权利要求21或22所述的解码器，其中所述解码器包括：
消息分解器，配置成从编码的数据流中的消息中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息；以及
可配置可伸缩解码器，配置成从可伸缩数据流中生成解码的视频数据，其中所述消息分解器还被配置成根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来对可配置可伸缩解码器进行配置。
24.根据权利要求23所述的解码器，其中所述消息分解器进一步被配置成对来自编码的可伸缩数据流的信息消息进行过滤。
25.根据权利要求23或24所述的解码器，其中所述消息分解器被配置成从补充增强信息消息中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
26.根据权利要求25所述的解码器，其中所述消息分解器被配置成从所述补充增强信息消息中提取对包含在编码的可伸缩数据流中的时间可伸缩层的数目的指示。
27.根据权利要求23或24所述的解码器，其中所述消息分解器被配置成从容器文件中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
28.根据权利要求21或22所述的解码器，其中所述解码器被配置成从信令协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
29.根据权利要求28所述的解码器，其中所述解码器被配置成从信令协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息，其中所述信令协议分组包含下列中的至少一个：
会话发起协议；以及
实时流传输协议。
30.根据权利要求28或29所述的解码器，其中所述解码器被配置成从会话描述协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息，其中与所述基本层和所述至少一个增强层中的每一个相关联的所述信息为会话描述协议分组属性。
31.一种对视频信号进行解码的方法，该方法包括：
接收包含基本层和至少一个增强层信号的编码的可伸缩数据流；
接收与所述基本层和所述至少一个增强层中的每一个相关联的信息；
根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来配置解码器；
根据所述解码器的配置来对编码的可伸缩数据流进行解码；以及
输出解码的视频信号。
32.根据权利要求31所述的方法，其中所述信息包括下列中的至少一个：
与所述基本层和所述至少一个增强层中的每一个相关联的最小图片缓冲区大小；以及
与所述基本层和所述至少一个增强层中的每一个相关联的最大图片重排序大小。
33.根据权利要求31或32所述的方法，该方法包括：
从编码的数据流中的消息中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息；以及
其中配置所述解码器包括根据所提取的信息对所述解码器进行配置。
34.根据权利要求33所述的方法，该方法进一步配置成对来自编码的可伸缩数据流的信息消息进行过滤。
35.根据权利要求33或34所述的方法，其中提取所述信息包括从补充增强信息消息中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
36.根据权利要求35所述的方法，其中提取还包括从所述补充增强信息消息中提取对包含在编码的可伸缩数据流中的时间可伸缩层的数目的指示。
37.根据权利要求33或34所述的方法，所述提取还包括从容器文件中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
38.根据权利要求31或32所述的方法，所述提取还包括从信令协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息。
39.根据权利要求38所述的方法，其中提取还包括从信令协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息，其中所述信令协议分组包含下列中的至少一个：
会话发起协议；以及
实时流传输协议。
40.根据权利要求38或39所述的方法，其中提取还包括从会话描述协议分组中提取与所述基本层和所述至少一个增强层中的每一个相关联的信息，其中与所述基本层和所述至少一个增强层中的每一个相关联的所述信息是会话描述协议分组属性。
41.一种装置，该装置包括根据权利要求1-10中任意一项所述的编码器。
42.一种装置，该装置包括根据权利要求21-30中任意一项所述的解码器。
43.一种电子设备，该电子设备包括根据权利要求1-10中任意一项所述的编码器。
44.一种电子设备，该电子设备包括根据权利要求21-30中任意一项所述的解码器。
45.一种配置成执行对视频信号进行编码的方法的计算机程序产品，该方法包括：
生成包含基本层和至少一个增强层的编码的可伸缩数据流；以及
生成与所述基本层和所述至少一个增强层中的每一个相关联的信息。
46.一种配置成执行对视频信号进行解码的方法的计算机程序产品，该方法包括：
接收包含基本层和至少一个增强层信号的编码的可伸缩数据流；
接收与所述基本层和所述至少一个增强层中的每一个相关联的信息；
根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来对解码器进行配置；
根据所述解码器的配置来对编码的可伸缩数据流进行解码；以及
输出解码的视频信号。
47.一种对视频信号进行编码的编码器，该编码器包括：
用于生成包含基本层和至少一个增强层的编码的可伸缩数据流的装置；以及
用于生成与所述基本层和所述至少一个增强层中的每一个相关联的信息的装置。
48.一种对编码的可伸缩数据流进行解码的解码器，其中所述解码器包括：
用于接收包含基本层和至少一个增强层信号的编码的可伸缩数据流的装置；
用于接收与所述基本层和所述至少一个增强层中的每一个相关联的信息的装置；
用于根据与所述基本层和所述至少一个增强层中的每一个相关联的信息来对解码器进行配置的装置；
用于根据所述解码器的配置来对编码的可伸缩数据流进行解码的装置；以及
用于输出解码的视频信号的装置。
CN2007800531333A 2007-04-13 2007-04-13 视频编码器 Active CN101682760B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2007/002344 WO2008125900A1 (en) 2007-04-13 2007-04-13 A video coder

Publications (2)

Publication Number Publication Date
CN101682760A true CN101682760A (zh) 2010-03-24
CN101682760B CN101682760B (zh) 2013-08-21

Family

ID=38924277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800531333A Active CN101682760B (zh) 2007-04-13 2007-04-13 视频编码器

Country Status (8)

Country Link
US (1) US8938012B2 (zh)
EP (1) EP2153658B1 (zh)
KR (1) KR101132386B1 (zh)
CN (1) CN101682760B (zh)
AU (1) AU2007350974B2 (zh)
TW (1) TWI489875B (zh)
WO (1) WO2008125900A1 (zh)
ZA (1) ZA200907916B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037209A (zh) * 2011-09-30 2013-04-10 腾讯科技（深圳）有限公司 视频帧的解码处理方法和装置
CN105721880A (zh) * 2011-06-30 2016-06-29 微软技术许可有限责任公司 降低视频编码和解码中的延迟
CN106664427A (zh) * 2014-06-20 2017-05-10 高通股份有限公司 用于选择性地执行位流符合性检查的系统和方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072058A1 (en) * 2010-03-05 2014-03-13 Thomson Licensing Coding systems
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
SI3264780T1 (sl) * 2007-04-18 2020-08-31 Dolby International Ab Kodirni sistemi, pri katerih se uporablja dodatni niz sekvenčnih parametrov za skalabilno kodiranje videa ali večpogledno kodiranje
US8345774B2 (en) * 2008-01-11 2013-01-01 Apple Inc. Hypothetical reference decoder
JP2010166387A (ja) * 2009-01-16 2010-07-29 Panasonic Corp バッファ制御装置及び無線通信端末
KR20110121612A (ko) * 2009-02-06 2011-11-07 가부시키가이샤 니콘 인코더
US8570361B2 (en) * 2010-01-11 2013-10-29 Mediatek Inc. Decoding method and decoding apparatus for using parallel processing scheme to decode pictures in different bitstreams after required decoded data derived from decoding preceding picture(s) is ready
JP5706771B2 (ja) * 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
KR101911012B1 (ko) * 2011-04-26 2018-12-19 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
EP2761872A1 (en) 2011-09-29 2014-08-06 Telefonaktiebolaget L M Ericsson (PUBL) Reference picture list handling
WO2013108954A1 (ko) * 2012-01-20 2013-07-25 전자부품연구원 하이브리드 전송환경에서 스케일러블 초고해상도 비디오 서비스를 위한 프로그램 구성 정보 송수신 방법, 효율적인 스케일러 계층 정보 전송을 위한 방법 및 스케일러 계층 정보 전송을 위한 장치
KR101652928B1 (ko) * 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
US20140152593A1 (en) * 2012-12-03 2014-06-05 Industrial Technology Research Institute Method And System For Operating Portable Devices
US9942545B2 (en) * 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
KR20140092198A (ko) * 2013-01-07 2014-07-23 한국전자통신연구원 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식
US9374581B2 (en) 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding
US10063868B2 (en) 2013-04-08 2018-08-28 Arris Enterprises Llc Signaling for addition or removal of layers in video coding
US9571318B2 (en) * 2013-09-27 2017-02-14 Samsung Electronics Co., Ltd. Transmitting apparatus, receiving apparatus, and method of controlling the same
KR20150043222A (ko) * 2013-10-12 2015-04-22 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 그 장치, 멀티 레이어 비디오 복호화 방법 및 그 장치
WO2015053596A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
KR102212211B1 (ko) * 2014-01-03 2021-02-04 삼성전자주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
CA2949823C (en) 2014-05-21 2020-12-08 Arris Enterprises Llc Individual buffer management in transport of scalable video
KR102366503B1 (ko) * 2014-08-07 2022-02-23 소니그룹주식회사 송신 장치, 송신 방법 및 수신 장치
US20170048532A1 (en) * 2015-08-13 2017-02-16 Microsoft Technology Licensing, Llc Processing encoded bitstreams to improve memory utilization
US10750217B2 (en) * 2016-03-21 2020-08-18 Lg Electronics Inc. Broadcast signal transmitting/receiving device and method
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11736687B2 (en) * 2017-09-26 2023-08-22 Qualcomm Incorporated Adaptive GOP structure with future reference frame in random access configuration for video coding
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11463747B2 (en) * 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US7869500B2 (en) * 2004-04-27 2011-01-11 Broadcom Corporation Video encoder and method for detecting and encoding noise
RU2377736C2 (ru) 2005-04-13 2009-12-27 Нокиа Корпорейшн Кодирование, хранение и передача информации о масштабируемости
US9049449B2 (en) * 2005-04-13 2015-06-02 Nokia Corporation Coding of frame number in scalable video coding
US20060239563A1 (en) * 2005-04-25 2006-10-26 Nokia Corporation Method and device for compressed domain video editing
US20070014346A1 (en) 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721880A (zh) * 2011-06-30 2016-06-29 微软技术许可有限责任公司 降低视频编码和解码中的延迟
CN105721880B (zh) * 2011-06-30 2019-04-05 微软技术许可有限责任公司 用于降低视频编码和解码中的延迟的方法和系统
US10805640B2 (en) 2011-06-30 2020-10-13 Microsoft Technology Licensing, Llc Reducing latency in video encoding and decoding
CN103037209A (zh) * 2011-09-30 2013-04-10 腾讯科技（深圳）有限公司 视频帧的解码处理方法和装置
CN103037209B (zh) * 2011-09-30 2016-05-04 腾讯科技（深圳）有限公司 视频帧的解码处理方法和装置
CN106664427A (zh) * 2014-06-20 2017-05-10 高通股份有限公司 用于选择性地执行位流符合性检查的系统和方法
US10542261B2 (en) 2014-06-20 2020-01-21 Qualcomm Incorporated Systems and methods for processing a syntax structure assigned a minimum value in a parameter set

Also Published As

Publication number Publication date
CN101682760B (zh) 2013-08-21
TWI489875B (zh) 2015-06-21
WO2008125900A1 (en) 2008-10-23
AU2007350974A1 (en) 2008-10-23
EP2153658B1 (en) 2013-08-14
KR101132386B1 (ko) 2012-07-16
US8938012B2 (en) 2015-01-20
ZA200907916B (en) 2011-04-28
US20110002397A1 (en) 2011-01-06
KR20100005124A (ko) 2010-01-13
TW200901773A (en) 2009-01-01
EP2153658A1 (en) 2010-02-17
AU2007350974B2 (en) 2013-07-18

Similar Documents

Publication Publication Date Title
CN101682760B (zh) 视频编码器
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
CN105981387B (zh) 用于处理视频的方法、装置和计算机可读存储介质
TWI599228B (zh) 用於多畫面視訊編碼處理之裝置
CN102804773B (zh) 在mpeg‑2系统中组合多视角视频译码子位流
KR101088772B1 (ko) 스케일러블 멀티미디어의 적응 경로들에 대한 포괄적 표시
JP5238069B2 (ja) トランスポート・データストリーム内で参照するフレキシブル・サブストリーム
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
CN101548548B (zh) 用于在视频编码中提供画面输出指示的系统和方法
AU2008206744B2 (en) Carriage of SEI messages in RTP payload format
CN103782601A (zh) 用于视频编码和解码的方法和设备
CN105453569A (zh) 缩放列表信号发送和参数集激活
JP2018507591A (ja) スケーラブルなビデオ符号化および復号化のための層間予測
KR20100030648A (ko) 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
JP2011519216A5 (zh)
CN103843342A (zh) 图像解码方法及使用其的装置
CN101669370A (zh) 具有下采样参考图片的视角间预测
CN114930829A (zh) 视频编码中的子图片信令
JP6442067B2 (ja) Ｈｅｖｃ拡張の搬送のための動作点のシグナリング

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160215

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj