CN101317460A - 用于有效的可伸缩流适配的系统和方法 - Google Patents

用于有效的可伸缩流适配的系统和方法 Download PDF

Info

Publication number
CN101317460A
CN101317460A CNA2006800444909A CN200680044490A CN101317460A CN 101317460 A CN101317460 A CN 101317460A CN A2006800444909 A CNA2006800444909 A CN A2006800444909A CN 200680044490 A CN200680044490 A CN 200680044490A CN 101317460 A CN101317460 A CN 101317460A
Authority
CN
China
Prior art keywords
image
layer
switching point
level
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800444909A
Other languages
English (en)
Inventor
Y-K·王
M·安尼克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37942356&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101317460(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101317460A publication Critical patent/CN101317460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种系统和方法，用于在文件格式层中信令从低到高的层切换点，以支持在流服务器和本地文件回放中的有效的可伸缩流切换。本发明还提供一种系统和方法，用于在视频比特流中信令从低到高的层切换点，例如，用以支持在可知媒体网元中的智能转发可伸缩层或者在流接收方的计算上的可伸缩解码。

Description

用于有效的可伸缩流适配的系统和方法
技术领域
本发明一般地涉及媒体编码、解码、存储和传输。更特别地，本发明涉及可伸缩媒体编码、解码、存储和传输。
背景技术
多媒体应用包括本地回放、流传输或随需(on-demand)、会话和广播/多播服务。多媒体应用所涉及的技术例如包括媒体编码、存储和传输。媒体类型包括语音、音频、图像、视频、图像和时间文本。已经针对不同的技术规定了不同的标准。
视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1视频、ITU-TH.262或ISO/IEC MPEG-2视频、ITU-T H.263、ISO/IEC MPEG-4视频和ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)。此外，还在开发新的视频编码标准。例如，正在进行可伸缩视频编码(SVC)标准的开发。此标准将成为H.264/AVC的可伸缩扩展。同样，正在进行中国视频编码标准的开发。
可伸缩视频编码可以提供可伸缩视频比特流。可伸缩视频比特流的一部分可以被提取并解码，其具有劣化的回放视觉质量。可伸缩视频比特流包含非可伸缩基本层和一个或多个增强层。增强层可以增强时间分辨率(即帧率)、空间分辨率或者仅仅是由较低层或其部分表示的视频内容的质量。在有些情况下，增强层的数据可以在特定位置之后、甚至在任意位置被截短。每个截短位置可以包括一些表示逐渐增强的视觉质量的附加数据。这种可伸缩性被称为精细颗粒(粒度)可伸缩性(FGS)。与FGS相对，由不提供精细颗粒可伸缩性的质量增强层提供的可伸缩性被称为粗颗粒可伸缩性(CGS)。
当前草案SVC标准中的可伸缩层结构的特征在于三个变量，称为时间_级别(temporal_level)、从属_id(dependency_id)和质量_级别(quality_level)，这些变量在比特流中用信号发送或者可以根据规范推导出。时间_级别用于指示时间可伸缩性或帧率。包含具有较小时间_级别值的图像的层具有比包含具有较大时间_级别的图像的层更小的帧率。从属_id用于指示层间编码的从属等级。在任何时间位置，具有较小从属_id值的图像可以用于对具有较大从属_id值的图像编码的层间预测。质量_级别用于指示FGS层的等级。在任何时间位置并且具有相同的从属_id值的情况下，具有质量_级别值等于QL的FGS图像使用该FGS图像或具有质量_级别值等于QL-1的基本质量图像(也即当QL-1＝0时为非FGS图像)来进行层间预测。
图1示出了示例性可伸缩视频流的时间片段，显示了上述三个变量的值。应当注意，时间值是相对的，也即，时间＝0不一定是指比特流中按显示顺序排在第一的图像的时间。图2示出了该示例的典型预测参考关系，其中实线箭头指示沿水平方向的帧间预测参考关系，虚线空心箭头指示层间预测参考关系。(箭头)所指向的实例使用(箭头)另一方向的实例以用于预测参考。
如此处所讨论的，层被定义为分别具有相同的时间_级别、从属_id和质量_级别的值的图像的集合。为了解码和回放增强层，通常包括基本层的较低层也应为可用的，因此较低层可以直接或间接地用于编码增强层中的层间预测。例如，在图1和图2中，(t，T，D，Q)等于(0，0，0，0)和(8，0，0，0)的图像属于基本层，它们可以独立于任何增强层而解码。(t，T，D，Q)等于(4，1，0，0)的图像属于双倍于基本层的帧率的增强层；该层的解码需要存在基本层图像。(t，T，D，Q)等于(0，0，0，1)和(8，0，0，1)的图像属于以FGS方式增强基本层的质量和比特率的增强层；该层的解码也需要存在基本层图像。
在H.264/AVC标准中，如下定义了即时解码刷新(IDR)图像。所有片是I或者SI片的编码图像使得解码进程在解码该IDR图像之后立即将所有参考图像标记为“未用于参考”。在解码IDR图像之后，按解码顺序随后的所有编码图像可以在没有来自任何先于该IDR图像解码的图像的内部预测的情况下被解码。每个编码视频序列的第一幅图像是IDR图像。
IDR图像的概念也运用在当前的草案SVC标准中，其中该定义适用于分别具有相同的从属_id(dependency_id)和质量_级别(quality_level)值的图像。换句话说，IDR图像是这样的编码图像，其中该IDR图像以及所有在同一层中(也即与IDR图像具有分别相同的从属_id和质量_级别值)按解码顺序随后的编码图像的解码可以在没有来自任何在同一层中按解码顺序先于该IDR图像解码的图像的帧间预测的情况下执行。IDR图像使得解码进程在解码该IDR图像之后立即将同一层中所有参考图像标记为“未用于参考”。应当注意，此处针对当前草案SVC标准上下文所使用的术语“在同一层中”是指解码图像具有与IDR图像分别相同的从属_id和质量_级别值。要么所有具有相同的图像次序数值(即，在同一时间位置)、但是不同dependency_id或quality_level值的图像被编码为IDR图像，要么特定图像次序数值的图像不被编码为IDR图像。换句话说，要么所有位于存取单元(包括所有具有相同的图像次序数值的图像)的图像是IDR图像，要么存取单元中没有图像是IDR图像。
可用的媒体文件格式标准包括ISO文件格式(ISO/IEC14496-12)、MPEG-4文件格式(ISO/IEC 14496-14)、AVC文件格式(ISO/IEC 14496-15)以及3GPP文件格式(3GPP TS 26.244)。SVC文件格式目前正由ISO/IEC MPEG开发，其可以在MPEGN7477，“VM Study Text for Scalable Video Coding(SVC)FileFormat”73rd ISO/IEC MPEG meeting，Poznan，Poland，2005年7月中找到，其全文在此通过参考结合引入。
可伸缩编码相比于单层编码的一个优点在于：在可伸缩编码的情况下，单个流可以满足不同的质量、比特率、显示尺寸等的需求，而在单层编码的情况下，必须使用多个流。使用多个流花费更多的存储空间，并且在联播中，需要更多的传输带宽。在流传输应用中，当传输网络或接收方的能力相对于它们的早期状态发生改变时，例如传输带宽变化时，需要流适配。网关和其他可知媒体(media-aware)网元(MANE)也可以执行流自适应。当可伸缩编码文件在“本地”(即，文件驻留在与解码器相同的设备中或者驻留在通过快速链接连接到解码设备的存储器中)播放时，如果解码器与某些其他处理共享计算资源，则可能需要流适配。例如，如果在运行多进程操作系统的通用处理器上执行解码，则解码器可能在某一时间能够使用整个计算功率并且解码所有的可伸缩层。然而，在另一时间，解码器可能只具有处理器的计算功率的子集以用于解码可用可伸缩层的子集。适配的流可以具有变化的比特流、帧率和/或视频分辨率。在单层编码的情况下，流适配可以通过流切换或代码转换来执行。在单个可伸缩流的情况下，流适配可以通过层切换来执行。
在可伸缩编码中，从高到低的层切换可以在任何位置执行。然而，从低到高的层切换则不同，因为对切换到的高层中的图像的解码通常需要同一层中存在解码顺序中一些先前的图像。
对于当前的草案SVC标准，从低到高的层切换可以在IDR存取单元(包括IDR图像)中执行。然而，依靠IDR存取单元要么导致由于对IDR存取单元的频繁编码而降低的编码效率，要么导致不即时的流适配。这两个问题都与终端用户的体验密切相关。理论上还有可能利用SP/SI图像编码或渐进解码刷新技术来执行从低到高的层切换。不过，这些技术都是针对单层编码设计的。因此，这些技术目前不可用于可伸缩编码。而且，即使将这些技术扩展为可在可伸缩编码中使用之后，它们的应用也将导致额外的编码约束(以等同于较低编码效率的形式)或者实现复杂性。
因此需要支持在可伸缩视频编码中简单有效的从低到高的层切换。而且，还需要支持在文件格式层简单有效的从低到高的层切换的信号发送，使得不需要解析和分析视频比特流就能查找从低到高的层切换的位置，因为对流的解析和分析需要复杂的计算。
发明内容
本发明提供一种系统和方法，用于在文件格式层中信号发送从低到高的层切换点以支持在流服务器和本地文件回放中的有效的可伸缩流切换。本发明还公开了一种系统和方法，用于在视频比特流中信号发送从低到高的层切换点，例如，用于支持在可知媒体网元中智能转发可伸缩层或者在流接收方中计算上的可伸缩解码。
本发明支持针对可伸缩流适配的简单有效的从低到高的层切换。本发明使得不需要流服务器对视频比特流进行大量地解析和分析，否则该解析和分析可能要求相当重的计算和实现负担。本发明实际上可以用于任何可伸缩媒体应用。
本发明的这些和其他优点和特征及其构造和操作方式，将在下面结合附图的详细描述中变得很明显，其中下面描述的多个附图中相同的部件具有相同的附图标记。
附图说明
图1示出了示例性可伸缩视频流的时间片段，显示了三个变量时间_级别、从属_id和质量_级别的值；
图2是针对图1所示的时间片段的典型的预测参考关系；
图3是可以实现本发明的系统的纵览图；
图4是可以体现本发明的原理的电子设备的透视图；
图5是图4的电子设备的电路示意图；以及
图6是可以应用本发明的可伸缩编码等级的通用多媒体数据流传输系统的图示。
具体实施方式
参考图6，描述了用于应用本发明的过程的典型的多媒体流传输系统。
多媒体数据流传输系统通常包括一个或多个多媒体源100，诸如视频照相机和麦克风，或者存储在存储器载体中的视频图像或计算机图形文件。从不同多媒体源100获得的原始数据在编码器102中组合成多媒体文件，该编码器也可以称为编辑单元。来自一个或多个多媒体源100的原始数据首先使用包含在编码器102中的捕获装置104进行捕获，该捕获装置通常可以实现为不同的接口卡、控制卡的功能的驱动软件或应用软件。例如，视频数据可以使用视频捕获卡及相关的软件进行捕获。捕获装置104的输出通常是未压缩的或者轻度压缩的数据流，例如当涉及视频捕获卡时，为YUV 4:2:0格式或动画-JPEG图像格式的未压缩视频帧。
编辑器106将不同的媒体流链接在一起以同步将要如所期望地同时重现的视频流和音频流。编辑器106也可以对每个媒体流(诸如视频流)进行编辑，例如通过将帧率减半或者降低空间分辨率。分离的媒体流在压缩器108中进行压缩，尽管这些媒体流已经同步，但是在压缩器中每个媒体流使用适合于该媒体流的压缩器分别进行压缩。例如，YUV 4:2:0格式的视频帧可以使用ITU-T推荐H.263或H.264进行压缩。分离的、已同步的且已压缩的媒体流通常在复用器110中交织，从编码器102获得的输出是单个、统一的比特流，其包括多个媒体流的数据，并且可以称为多媒体文件。应当注意，多媒体文件的形成不一定要求将多个媒体流复用为单个文件，不过流传输服务器可以就在发送这些媒体流之前，对它们进行交织。
多媒体文件被传送到流传输服务器112，因而流传输服务器能够将其作为实时流传输进行执行或者以渐进式下载形式执行。在渐进式下载中，多媒体文件首先存储在服务器112的存储器中，当需要时可以从该存储器取回多媒体文件以进行传输。在实时流传输中，编辑器102向流传输服务器112发送连续的多媒体文件的媒体流，并且服务器112将流直接转发给客户端114。作为另一选择，也可以这样执行实时流传输以使得多媒体文件存储在服务器112可存取的存储装置中，当需要时可以从该存储装置驱动实时流传输以及启动连续的多媒体文件的媒体流。在这种情况下，编辑器102不一定需要任何装置来控制流传输。流传输服务器112依照客户端114的可用带宽或最大解码和回放速率，执行多媒体数据的流量整形，流传输服务器112能够调整媒体流的比特速率，例如通过从传输中省去B-帧或者通过调整可伸缩层的数量。进一步，流传输服务器112可以修改复用媒体流的报头字段以减少其尺寸，并且将多媒体数据封装入适合于在所采用的通信网络中传输的数据分组中。客户端114通常可以通过使用合适的控制协议来调整(至少在一定程度上)服务器112的操作。客户端114至少能够以这种方式控制服务器112，即能够选择期望的传输至客户端的多媒体文件，此外，客户端114通常能够停止和中断多媒体文件的传输。
当客户端114正在接收多媒体文件时，该文件首先被提供给解复用器116，解复用器116将包含在该多媒体文件中的媒体流分离。分离的、压缩的媒体流继而被提供给解压缩器118，在解压缩器118中，每个分离的媒体流被适合于每个特定媒体流的解压缩器进行解压缩。经解压缩和重构的媒体流提供给回放单元120，在回放单元处媒体流根据它们的同步数据以正确的步调再现并提供给呈现装置124。实际的呈现装置124例如可以包含计算机或移动台显示器和扬声器装置。客户端114通常也包括终端用户一般通过用户接口进行控制的控制单元122，其通过上述控制协议控制服务器的操作，并且基于终端用户给出的指令控制回放单元120的操作。
应当注意，多媒体文件从流传输服务器112到客户端114的传送通过通信网络进行，传送路径通常包括多个通信网元。因此有可能至少某个网元能够至少部分地以与上面结合流服务器描述的相同的方式、在客户端114的可用带宽或最大解码和回放速率方面执行多媒体数据的流量整形。
本发明提供一种系统和方法，用于在文件格式层中信号发送从低到高的层切换点以支持在流传输服务器和本地文件回放中的有效的可伸缩流切换。本发明还公开了一种系统和方法，用于在视频比特流中信号发送从低到高的层切换点，例如，用于支持在可知媒体网元中智能转发可伸缩层或者在流接收方中计算上的可伸缩解码。
在此描述本发明的多个示例性实现。不过，应当注意，这些实现的其他变形也是有可能的，例如通过组合此处讨论的可选实施方式的子集。
以文件格式信号发送从低到高的层切换点的第一实现包括将信号发送从低到高的层切换点用作可伸缩信息的一种。在此实施方式中，针对每个层的信号发送从低到高的层切换点定义新的盒子(box)。该盒子包含在包含每个可伸缩层的可伸缩信息的数据结构中，例如在SVC文件格式的草案标准文本中定义的ScalableLayerEntry()结构。该盒子定义如下：
盒子类型(Box Types)：  ‘lswp’
容器(Container)：      ScalableLayerEntry
强制(Mandatory)：      否
数量(Quantity)：       0或者1
该盒子为流内的各个层提供从低到高的层切换点的简明标记。按照采样号递增的顺序严格排列表格。如果对于某个层不存在层切换点盒子，则对于该层没有额外的从低到高的层切换点，除了在同步采样盒子中用信号发送的同步采样或者在阴影同步采样盒子中用信号发送的阴影同步采样。
class LayerSwitchingPointBox extends Box(‘lswp’){
       unsigned int(32)entry_count；
       int i，j；
       for(i＝0；i＜entry_count；i++){
               unsigned int(32)sample_number；
               unsigned int(8)entry_count2；
               for (j＝0；j＜entry_count2；j++)
                        signed int(16)delta_layer_id；
       }
}
在此示例中，“entry_count”给出了后面表格中条目的数量。“sample_number”给出了此类采样的采样号，该采样的针对当前层的从低到高的层切换点的信息在后面表格中用信号发送。“entry_count2”给出了后面表格中条目的数量。
“delta_layer_id”指定了在采样号等于sample_number的当前采样处，流可以从当前层切换到的较高层，或者可以从其切换到当前层的较低层。等于或大于零的值指示在当前采样处，该流可以从当前层切换到层标识符等于(layerId+delta_layer_id+1)的较高层。小于零的值指示在当前采样处，该流可以从层标识符等于(layerId+delta_layer_id)的较低层切换到当前层。每个层的layerId从包含每个可伸缩层的可伸缩信息的数据结构中找到。
以文件格式信号发送从低到高的层切换点的第二实现包括在专用盒子中信号发送所有层的从低到高的层切换点。该盒子定义如下。
盒子类型(Box Types)：  ‘lswp’
容器(Container)：      (采样表格盒子)(‘stbl’)
强制(Mandatory)：      否
数量(Quantity)：       0或者1
该盒子为流中的所有层提供从低到高的层切换点的简明标记。按照采样号递增的顺序严格排列表格。如果不存在层切换点盒子，则没有额外的从低到高的层切换点，除了在同步采样盒子中用信号发送的同步采样或者在阴影同步采样盒子中用信号发送的阴影同步采样。
class LayerSwitchingPointBox extends Box(‘lswp’){
       unsigned int(32)entry_count；
       int i，j，k；
       for(i＝0；i＜entry_count；i++){
               unsigned int(32)sample_number；
               unsigned int(8)entry_count2；
               for(j＝0；j＜entry_count2；j++){
                       unsigned int(8)layer_id；
                       unsigned int(8)entry_count3；
                       for(k＝0；k＜entry_count3；k++)
                              signed int(16)delta_layer_id；
               }
       }
}
在此实施方式中，“entry_count”给出了后面表格中条目的数量。“sample_number”给出了此类采样的采样号，该采样的从低到高的层切换点的信息在后面表格中用信号发送。“entry_count2”给出了后面表格中条目的数量。“layer_id”给出了从低到高的层切换点的信息在后面表格中用信号发送的层的层标识符。“entry_count3”给出了后面表格中条目的数量。
“delta_layer_id”指定了在采样号等于sample_number的当前采样处，流可以从当前层切换到的较高层，或者可以从其切换到当前层的较低层。不小于零的值指示在当前采样处，该流可以从当前层切换到层标识符等于(layer_id+delta_layer_id+1)的较高层。小于零的值指示在当前采样处，该流可以从较低层切换到层标识符等于(layer_id+delta_layer_id)的当前层。在本发明的此特定实施方式中，也有可能将smaple_number的循环放入layer_id的循环内，代替当前的将sample_nmber循环放入layer_id的循环内。
以文件格式信号发送从低到高的层切换点的第三实现包括使用信号发送轨道(track)切换点。此实施方式还可以与上述任何其他实施方式同时使用。此实施方式应用在这样的情形中，其中可伸缩层的可独立解码组合通常通过使用参考而被组合以形成独立轨道。在ISO基本媒体文件格式中，媒体数据由一组网络独立的轨道表示，其中线索轨道(hint track)包含网络相关的传输封装信息并且将媒体采样或其部分与传输分组相关联(通过从线索轨道到媒体轨道的参考)。提取器轨道包含对媒体轨道的参考，使得针对SVC存取单元的编码图像的子集形成提取器轨道中的样本。因此，每个提取器轨道将代表不同的可伸缩层子集，并且每个提取器轨道在不解码同一媒体轨道的其他提取器轨道的情况下将是可确定的。
在此特定实现中，可以标识线索轨道之间或者提取器轨道之间的切换点。包含或引用可伸缩层的充分子集的轨道通过轨道参考容器盒中的轨道参考类型‘tswf’链接到此轨道，其中可伸缩层支持切换到该轨道中至少一个指示的切换点采样。此轨道包含可伸缩层的充分子集所针对的轨道通过轨道参考容器盒中的轨道参考类型‘tswt’链接到此轨道，其中可伸缩层支持切换到那些轨道中至少一个指示的切换点采样。
盒子类型(Box Type)：    ‘tswd’
容器(Container)：       Sample Table Box(‘stbl’)(采样表格盒子)
强制(Mandatory)：       否
数量(Quantity)：        0或者正好1
该盒子提供线索轨道之间或者提取器轨道之间从低到高的层切换点的简明标记。按照采样数目递增的顺序严格排列表格。如果不存在轨道切换点盒子，则没有额外的从低到高的层切换点，除了在同步采样盒子中用信号发送的同步采样或者在阴影同步采样盒子中用信号发送的阴影同步采样。
class TrackSwitchingPointBox extends Box(‘tswp’){
        unsigned int(32)entry_count；
        int i，j；
        for(i＝0；i＜entry_count；i++){
                unsigned int(32)sample_number；
                unsigned int(8)entry_count2；
                for (j＝0；j＜entry_count2；j++)
                         unsigned int(32)src_track_id；
                unsigned int(8)entry_count3；
                for(j＝0；j＜entry_count3；j++)
                        unsigned int(32)deat_track_id；
        }
}
在此情形中，“entry_count”给出了后面表格中条目的数量。“sample_number”给出切换点采样的采样数量。“entry_count2”给出了后面表格中条目的数量。“src_track_id”指示包含流可以从其切换至包含在当前轨道中的层的较低层的轨道的轨道标识符。“entry_count3”给出了后面表格中条目的数量。“desk_track_id”指示包含流可以从包含在当前轨道的层切换到的更高层的轨道的轨道标识符。
应当注意，也有可能使用可选的语法定义。例如，可以省略entry_count3及针对desk_track_id值的相关循环。而且，如果在‘tswf’轨道参考中只指示了一个轨道，则针对src_track_id值的循环就不是必需的。也可以独立地使用TrackSwitchingPointBox语法而不需要轨道参考‘tswf’和/或‘tswt’。而且，可以重新使用在使用第一或第二可选方案的媒体轨道中用信号发送的消息，以获得在线索或提取器轨道中从低到高的层切换点，其中针对每个线索或提取器轨道用信号发送层标识符，例如在轨道报头中或采样条目中。
下面讨论用于在比特流中信号发送从低到高的层切换点的可选方法。第一个此类可选方案包括使用新的网络提取层(NAL)单元类型，以指示包含该NAL单元类型的已编码片的图像是增强层即时解码刷新(EIDR)图像。EIDR图像是这样的已编码图像，该EIDR图像以及在同一层中(也即具有与该EIDR图像分别相同的temporal_level、dependency_id和quality_level值)按解码顺序随后的所有已编码图像的解码可以在没有来自任何在同一层中按解码顺序先于该EIDR图像的图像的帧间预测的情况下执行。EIDR图像使得解码进程在解码该EIDR图像之后立即将同一层中所有参考图像标记为“未用于参考”。EIDR图像不会使temporal_level、dependency_id和quality_level全部等于零。应当注意，此处针对此可选方案上下文所使用的“在同一层中”是指解码图像具有与EIDR图像分别相同的temporal_level、dependency_id和quality_level值。应当注意，该在同一层中的概念相比于最近草案SVC标准的差别在于此处考虑了temporal_level。通过将temporal_level考虑在内，就能支持从具有较低帧率的层到具有较高帧率的层的从低到高的层切换。而且，EIDR图像的编码效率提高了，这是因为具有较高temporal_level值的参考图像自动从参考图像列表中删除，使得节省了一些参考图像列表重排序命令或者参考图像的索引值变得更小，从而提高了熵编码的编码效率。
因为可伸缩编码的特性使得较低层不能依靠较高层，因此EIDR图像不能从位于同一层以及更高层的图像进行预测，不过其仍然能够从来自较低层的图像进行预测，包括时间上较低的层。这样就支持在EIDR图像的位置处从下一个较低层到包含该EIDR图像的层的层切换。例如，新的NAL单元类型可以如下表1所示定义。值22用作该新的NAL单元类型，并且NAL单元类型20的含义从“可伸缩扩展中非IDR图像的已编码片”变为“可伸缩扩展中非IDR图像和非EIDR图像的已编码片”。
表1
  nal_unit_type  NAL单元内容和RBSP语法结构  C
  0  未指定
  1  非IDR图像的已编码片slice_layer_without_partitioning_rbsp()  2，3，4
  2  已编码片数据部分Aslice_data_partition_a_layer_rbsp()  2
  3  已编码片数据部分Bslice_data_partition_b_layer_rbsp()  3
  4  已编码片数据部分Cslice_data_partition_c_layer_rbsp()  4
  5  IDR图像的已编码片slice_layer_without_partitioning_rbsp()  2，3
  6  补充增强信息(SEI)sei_rbsp()  5
  7  序列参数集合seq_parameter_set_rbsp()  0
  8  图像参数集合pic_parameter_set_rbsp()  1
  9  存取单元分界符access_unit_delimiter_rbsp()  6
  10  序列结束end_of_seq_rbsp()  7
  11   流结束end_of_stream_rbsp()  8
  12   填充数据filler_data_rbsp()  9
  13   序列参数集合扩展seq_parameter_set_extension_rbsp()  10
  14...18   预留
  19   未划分的辅助编码图像的已编码片slice_layer_without_partitioning_rbsp()  2，3，4
  20   可伸缩扩展中非IDR和非EIDR图像的已编码片slice_layer_in_scalable_extension_rbsp()  2，3，4
  21   可伸缩扩展中IDR图像的已编码片slice_layer_in_scalable_extension_rbsp()  2，3
  22   可伸缩扩展中EIDR图像的已编码片slice_layer_in_scalable_extension_rbsp()  2，3，4
  23   预留
  24...31   未指定
此设计可应用于使用可伸缩扩展编码的可伸缩层，其中temporal_level、dependency_id和quality_level用信号发送。H.264/AVC标准本身可以用于提供时间可伸缩性，其可以使用子序列信息SEI消息来用信号发送。不过，在此情况下，不发送temporal_level，因此根据当前草案SVC标准，对于所有时间可伸缩层，temporal_level都推断为零。为了支持在时间层之间有效的从低到高的层切换并且不中断H.264/AVC流兼容性，新的SEI消息用于指示图像是EIDR图像。然而，通过使用SEI消息，EIDR图像的参考管理功能就不可能做到了，即，由SEI消息指示的EIDR图像可以用于从低到高的层切换，但是它不会使得解码进程将同一层中的所有参考图像标记为“未用于参考”。这归因于事实上SEI消息对于符合标准的解码器来说是可选的。SEI消息规定如下。
EIDR图像SEI消息语法
 eidr_pic(payloadSize){   C   Descriptor
 temporal_layer_num   5   ue(v)
 }
EIDR图像SEI消息语义。上述语义如下。如果存在EIDR图像SEI消息，则其于已编码图像相关联，其中在比特流中没有为该已编码图像提供temporal_level、dependency_id和quality_level，因此所有这些都被推断为零。目标图像也与子序列信息SEI消息相关联，其中用信号发送sub_seq_layer_num以指示时间可伸缩性等级。EIDR图像SEI消息的存在指示了目标图像是EIDR图像，其中该图像以及在同一层中(也即，其temporal_level、dependency_id和quality_level均等于0并且具有与EIDR图像相同的sub_seq_layer_num值)按解码顺序随后的所有已编码图像的解码可以在没有来自任何在同一层中按解码顺序先于该EIDR图像的图像的帧间预测的情况下进行解码。
“temporal_layer_num”具有与子序列信息SEI消息中的语法元素sub_seq_layer_num相同的语义。其值与同一目标图像相关联的子序列信息SEI消息中的sub_seq_layer_num一致。也可以将语法元素temporal_layer_num从SEI消息的语法中排除。不过，如果这么做，就需要对子序列SEI消息进行解析以知道该EIDR图像属于哪个时间可伸缩层。
在比特流中信号发送从低到高的层切换点的第二可选实现包括改变IDR图像的定义以及放松对IDR图像的编码的约束。在此实现中，如下对IDR进行改变。如果temporal_level、dependency_id和quality_level中的任一个不等于零，则IDR图像是这样的已编码图像，其中该IDR图像以及在同一层中(也即，具有与该IDR图像分别相同的temporal_level、dependency_id和quality_level值)按解码顺序随后的所有已编码图像的解码可以在没有来自任何在同一层中按解码顺序先于该IDR图像的图像的帧间预测的情况下执行。而且，此类IDR图像使得解码进程在解码该IDR图像之后立即将同一层中所有参考图像标记为“未用于参考”。否则，如果temporal_level、dependency_id和quality_level都等于零，则IDR图像是这样的已编码图像，其中该IDR图像以及按解码顺序随后的所有已编码图像的解码可以在没有来自任何按解码顺序先于该IDR图像的图像的帧间预测的情况下执行。此类IDR图像使得解码进程在解码该IDR图像之后立即将所有参考图像标记为“未用于参考”。
如下放松对IDR图像的编码的约束(即，要么存取单元中的所有图像是IDR图像，要么存取单元中没有图像是IDR图像)。如果具有temporal_level、dependency_id和quality_level值都等于零的图像是IDR图像，则位于同一存取单元的所有其他图像都是IDR图像。由于放松了对IDR图像的编码的约束，因此可以在一个存取单元中具有增强层中的IDR图像，其中基本层图像是非IDR图像。从该第二可选方案中可以观察到，当temporal_level、dependency_id和quality_level中任一不等于零时，IDR图像的定义与上面讨论的用于在比特流中信号发送从低到高的层切换点的第一可选方案中的EIDR图像定义相同。因此，EIDR图像的所有获益都是有效的。此处将IDR图像的编码定义为支持在该IDR图像位置处从下一个较低层到包含该IDR图像的层的层切换。
此特定设计可应用于使用可伸缩扩展编码的可伸缩层，其中temporal_level、dependency_id和quality_level用信号发送。可以采用与可选方案1中相同的方法来支持在使用H.264/AVC标准本身编码的时间层之间有效的从低到高的层切换。
用于在比特流中信号发送从低到高的层切换点的第三可选实现包括放松对IDR图像的编码的约束以及为时间可伸缩层使用SEI消息。在此可选方案中，IDR图像的定义保持不变，但是对IDR图像的编码的约束如下进行放松。
如果具有temporal_level、dependency_id和quality_level值都等于零的图像是IDR图像，则位于同一存取单元的所有其他图像都是IDR图像。此放松使得IDR图像的编码能够在不同dependency_id或者quality_level值之间进行从低到高的层切换。不过，因为IDR图像的定义没有改变，即，在指定可伸缩层中没有包括temporal_level，因此在时间层之间从低到高的层切换问题仍然没有解决。
为了解决在时间层之间从低到高的层切换问题，不管它们是使用可伸缩扩展进行编码还是使用H.264/AVC标准本身进行编码，使用类似于上述针对第一可选方案所描述的EIDR图像SEI消息来指示与SEI消息相关联的目标图像是可以用于从低到高的层切换的EIDR图像。尽管如此，由SEI消息所指示的EIDR图像不具有参考管理功能，因为SEI消息对于符合标准解码器是可选的。
SEI的语法与用于在比特流中信号发送从低到高的层切换点的第一可选方案中的相同。当目标图像使用H.264/AVC标准本身进行编码时，语义也相同。当目标图像使用可伸缩扩展编码时，语义改变如下。
EIDR图像SEI消息的存在指示了目标图像是EIDR图像，其中该图像以及在同一层中(也即，具有与该EIDR图像相同的temporal_level、dependency_id和quality_level值)按解码顺序随后的所有已编码图像的解码可以在没有来自任何在同一层中按解码顺序先于该EIDR图像的图像的帧间预测的情况下进行解码。“temporal_layer_num”指示EIDR图像的temporal_level值。当EIDR图像使用可伸缩扩展进行编码时，也可以将语法元素temporal_layer_num从SEI消息的语法中排除。
用于在比特流中信号发送从低到高的层切换点的第四可选方案包括针对所有可伸缩层使用SEI消息。在此可选方案中，EIDR图像SEI消息类似于在上面第三可选方案中定义的消息，其用来指示与SEI消息相关联的目标图像是可以用于从低到高的层切换的EIDR图像。然而，在此特定实施方式中，SEI消息也可以用于解决在不同dependency_id或者quality_level值之间的从低到高的层切换的问题。
图3示出了可以利用本发明的系统10，包括能够通过网络通信的多个通信设备。系统10可以包括有线或无线网络的任意组合，其包括但不限于，移动电话网络、无线局域网(LAN)、蓝牙个域网络、以太网LAN、令牌环LAN、广域网、互联网等。系统10可以包括有线和无线通信设备二者。
例如，图3中示出的系统10包括移动电话网络11和互联网28.到互联网28的连接可以包括但不限于，长距离无线连接、短距离无线连接、以及各种包括但不限于电话线、电缆线、电力线等等的有线连接。
系统10的示例性通信设备可以包括但不限于，移动电话12、PDA和移动电话的组合14、PDA 16、集成消息发送设备(IMD)18、台式计算机20、以及笔记本计算机22。通信设备可以是静止的或移动的，如当其被正在移动的个体携带时。通信设备还可以处于运输工具模式中，这些运输工具包括但不限于，汽车、卡车、出租车、公共汽车、轮船、飞机、自行车、摩托车等。通信设备中的某些或全部可以发送和接收呼叫和消息，并且可以通过无线连接25连接到基站24与服务提供商通信。基站24可以连接到网络服务器26，该网络服务器26允许在移动电话网络11和互联网28之间通信。系统10可以包括另外的通信设备和不同类型的通信设备。
通信设备可以使用各种传输技术进行通信，这些传输技术包括但不限于，码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议(TCP/IP)、短消息服务(SMS)、多媒体消息服务(MMS)、电子邮件、即时消息服务(IMS)、蓝牙、IEEE 802.11等等。通信设备可以使用各种介质通信，这些介质包括但不限于，无线电、红外、激光、电缆连接等等。
图4和图5示出了一个可实施本发明的具有代表性的移动电话12。但是应当理解的是，本发明并不旨在局限于一种特定类型的移动电话12或者其它电子设备。图13和图14的移动电话12包括壳体30、液晶显示屏形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外端口42、天线44、根据本发明的一种实施方式的UICC形式的智能卡46、读卡器48、无线接口电路52、编解码器电路54、控制器56和存储器58。各个电路和元件都是本领域公知的类型，例如在诺基亚移动电话的范围内。
本发明是以方法步骤的一般上下文方式描述的，这种方法步骤在一种实施方式中可以由程序产品来实施，该程序产品包含由联网环境中的计算机执行的例如程序代码的计算机可执行指令。
通常，程序模块包括执行特定任务或实现特定抽象数据类型的例行程序、程序、对象、组件、数据结构等等。计算机可执行指令、相关联的数据结构以及程序模块表示用于执行本文所述方法步骤的程序代码的示例。这种可执行指令或相关联的数据结构的特定顺序表示用于实施这些步骤中所描述的功能的相应动作的示例。
本发明的软件和web实现可以通过具有基于规则的逻辑以及其它用以完成各种数据库搜索步骤、相关步骤、比较步骤和决策步骤的逻辑的标准编程技术来完成。还应当指出的是，此处以及权利要求中使用的词语“组件”和“模块”意在包含使用一行或多行软件代码的实施和/或硬件实施和/或用于接收手动输入的装备。
本发明实施方式的上述说明是为了说明和描述的目的。其并不意在穷举或是将本发明限制为所公开的精确形式，并且修改和变化可以参照上述教导作出，或者可以从本发明的实践中获得。选择和描述实施方式是为了解释本发明的原理及其实践应用，以便使本领域技术人员能够在各种实施方式中利用本发明并且可以具有各种修改以适应于特定的预期应用。
权利要求书(按照条约第19条的修改)
1.一种支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的方法，包括：
对该视频比特流中多个从低到高的层切换点进行编码，其中该多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
2.根据权利要求1所述的方法，还包括使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层。
3.根据权利要求1所述的方法，其中通过定义NAL单元类型以指示包含特定NAL单元类型的已编码片的图像是增强层即时解码刷新(EIDR)图像来对所述切换点进行编码。
4.根据权利要求1所述的方法，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
5.根据权利要求1所述的方法，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level值都等于零，则将IDR图像定义为这样的已编码图像，其中对该IDR图像以及按解码顺序随后的所有已编码图像的解码能够在没有来自任何按解码顺序先于该IDR图像的图像的帧间预测的情况下执行；以及，如果temporal_level、dependency_id和quality_level值中任一不等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及在同一层中按解码顺序随后的所有已编码图像的解码能够在没有来自任何在同一层中具有与该IDR图像分别相同的temporal_level、dependency_id和quality_level值的、按解码顺序先于该IDR图像的图像的帧间预测的情况下执行，其中如果两幅图像具有相同的temporal_level、dependency_id和quality_level值，则这两幅图像认为是在同一层中。
6.根据权利要求5所述的方法，其中如果temporal_level、dependency_id和quality_level中任一不等于零，则在解码所述IDR图像之后，立即将所有具有与所述IDR图像分别相同的temporal_level、dependency_id和quality_level值的参考图像标记为“未用于参考”。
7.根据权利要求5所述的方法，其中如果temporal_level、dependency_id和quality_level都等于零，则在解码所述IDR图像之后，立即将所有参考图像标记为“未用于参考”。
8.根据权利要求1所述的方法，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level都等于零的图像是IDR图像，则将位于同一存取单元的所有其他图像都定义为IDR图像。
9.根据权利要求8所述的方法，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
10.根据权利要求1所述的方法，其中通过针对所有可伸缩层使用SEI消息以指示与该SEI消息相关联的目标图像是能够用于从低到高的层切换的EIDR图像来对所述切换点进行编码。
11.一种支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的方法，包括：
对该视频比特流的文件格式层内的多个从低到高的层切换点进行编码，其中该多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
12.根据权利要求11所述的方法，还包括使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层。
13.根据权利要求11所述的方法，其中通过在包含针对每个可伸缩层的可伸缩性信息的数据结构中包括盒子来对所述切换点进行编码。
14.根据权利要求11所述的方法，其中通过在所述视频比特流中包括指示所有层的切换点的盒子来对所述切换点进行编码。
15.根据权利要求11所述的方法，其中通过包括指示存在于线索轨道或提取器轨道之间的从低到高的层切换点的盒子来对所述切换点进行编码。
16.根据权利要求15所述的方法，其中在媒体轨道中用信号发送的信息被重新利用以便获得存在于所述线索轨道或提取器轨道之间的所述从低到高的层切换点。
17.一种支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的计算机程序产品，包括：
用于在所述视频比特流中对多个从低到高的层切换点进行编码的计算机代码，其中所述多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
18.根据权利要求17所述的计算机程序产品，还包括用于使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层的计算机代码。
19.根据权利要求17所述的计算机程序产品，其中通过定义NAL单元类型来指示包含特定NAL单元类型的已编码片的图像是增强层即时解码刷新(EIDR)图像来对所述切换点进行编码。
20.根据权利要求17所述的计算机程序产品，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
21.根据权利要求17所述的计算机程序产品，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level值都等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及按解码顺序随后的所有已编码图像的解码能够在没有来自任何按解码顺序先于该IDR图像的图像的帧间预测的情况下执行；以及，如果temporal_level、dependency_id和quality_level值中任一不等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及在同一层中按解码顺序随后的所有已编码图像的解码能够在没有来自任何在同一层中具有与该IDR图像分别相同的temporal_level、dependency_id和quality_level值的、按解码顺序先于该IDR图像的图像的帧间预测的情况下执行，其中如果两幅图像具有相同的temporal_level、dependency_id和quality_level值，则这两幅图像认为是在同一层中。
22.根据权利要求21所述的计算机程序产品，其中如果temporal_level、dependency_id和quality_level中任一不等于零，则在解码所述IDR图像之后，立即将所有具有与所述IDR图像分别相同的temporal_level、dependency_id和quality_level值的参考图像标记为“未用于参考”。
23.根据权利要求21所述的计算机程序产品，其中如果temporal_level、dependency_id和quality_level都等于零，则在解码所述IDR图像之后，立即将所有参考图像标记为“未用于参考”。
24.根据权利要求17所述的计算机程序产品，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level都等于零的图像是IDR图像，则将位于同一存取单元的所有其他图像都定义为IDR图像。
25.根据权利要求24所述的计算机程序产品，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
26.根据权利要求17所述的计算机程序产品，其中通过针对所有可伸缩层使用SEI消息以指示与该SEI消息相关联的目标图像是能够用于从低到高的层切换的EIDR图像来对所述切换点进行编码。
27.一种支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的计算机程序产品，包括：
用于对该视频比特流的文件格式层内的多个从低到高的层切换点进行编码的计算机代码，其中该多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
28.根据权利要求27所述的计算机程序产品，还包括：
使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层的计算机代码。
29.根据权利要求27所述的计算机程序产品，其中通过在包含针对每个可伸缩层的可伸缩性信息的数据结构中包括盒子来对所述切换点进行编码。
30.根据权利要求27所述的计算机程序产品，其中通过在所述视频比特流中包括指示所有层的切换点的盒子来对所述切换点进行编码。
31.根据权利要求27所述的计算机程序产品，其中通过包括指示存在于线索轨道或提取器轨道之间的从低到高的层切换点的盒子来对所述切换点进行编码。
32.根据权利要求31所述的计算机程序产品，其中在媒体轨道中用信号发送的信息被重新利用以便获得存在于所述线索轨道或提取器轨道之间的所述从低到高的层切换点。
33.一种电子设备，包括：
处理器；以及
存储器单元，可操作地连接到所述处理器，并且包括用于支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的计算机程序产品，包括：
用于在所述视频比特流中对多个从低到高的层切换点进行编码的计算机代码，其中所述多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
34.根据权利要求33所述的电子设备，其中所述存储单元还包括用于使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层的计算机代码。
35.根据权利要求33所述的电子设备，其中通过定义NAL单元类型以指示包含特定NAL单元类型的已编码片的图像是增强层即时解码刷新(EIDR)图像来对所述切换点进行编码。
36.根据权利要求33所述的电子设备，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
37.根据权利要求33所述的电子设备，其中按如下方式对所述切换点进行编码：其中如果temporal_level、dependency_id和quality_level值都等于零，则将IDR图像定义为这样的已编码图像，其中对该IDR图像以及按解码顺序随后的所有已编码图像的解码能够在没有来自任何按解码顺序先于该IDR图像的图像的帧间预测的情况下执行；以及，如果temporal_level、dependency_id和quality_level值中任一不等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及在同一层中按解码顺序随后的所有已编码图像的解码能够在没有来自任何在同一层中具有与该IDR图像分别相同的temporal_level、dependency_id和quality_level值的、按解码顺序先于该IDR图像的图像的帧间预测的情况下执行，其中如果两幅图像具有相同的temporal_level、dependency_id和quality_level值，则这两幅图像认为是在同一层中。
38.根据权利要求37所述的电子设备，其中如果temporal_level、dependency_id和quality_level中任一不等于零，则在解码所述IDR图像之后，立即将所有具有与所述IDR图像分别相同的temporal_level、dependency_id和quality_level值的参考图像标记为“未用于参考”。
39.根据权利要求37所述的电子设备，其中如果temporal_level、dependency_id和quality_level都等于零，则在解码所述IDR图像之后，立即将所有参考图像标记为“未用于参考”。
40.根据权利要求33所述的电子设备，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level都等于零的图像是IDR图像，则将位于同一存取单元的所有其他图像都定义为IDR图像。
41.根据权利要求40所述的电子设备，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
42.根据权利要求33所述的电子设备，其中通过针对所有可伸缩层使用SEI消息以指示与该SEI消息相关联的目标图像是能够用于从低到高的层切换的EIDR图像来对所述切换点进行编码。
43.一种电子设备，包括：
处理器；以及
存储器单元，可操作地连接到所述处理器，并且包括用于支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的计算机程序产品，包括：
用于对该视频比特流的文件格式层内的多个从低到高的层切换点进行编码的计算机代码，其中该多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
44.根据权利要求43所述的电子设备，其中所述存储单元还包括用于使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层的计算机代码。
45.根据权利要求43所述的电子设备，其中通过在包含针对每个可伸缩层的可伸缩性信息的数据结构中包括盒子来对所述切换点进行编码。
46.根据权利要求43所述的电子设备，其中通过在所述视频比特流中包括指示所有层的切换点的盒子来对所述切换点进行编码。
47.根据权利要求43所述的电子设备，其中通过包括指示存在于线索轨道或提取器轨道之间的从低到高的层切换点的盒子来对所述切换点进行编码。
48.根据权利要求47所述的电子设备，其中在媒体轨道中用信号发送的信息被重新利用以便获得存在于所述线索轨道或提取器轨道之间的所述从低到高的层切换点。
49.一种流传输系统中的单元，包括：
第一组件，用于接收包括至少两个可伸缩层的视频比特流；
第二组件，用于标识所述视频比特流内从低到高的层切换点，其中所述从低到高的层切换点不在任何即时解码刷新(IDR)存取单元的位置处；以及
第三组件，用于在所述从低到高的层切换点处从可伸缩层的子集的传输切换到可伸缩层的更大子集。
50.一种流传输系统中的单元，包括：
第一组件，用于接收包括至少两个可伸缩层的视频比特流；
第二组件，用于标识所述视频比特流的文件格式层内的从低到高的层切换点，其中所述从低到高的层切换点不在任何即时解码刷新(IDR)存取单元的位置处；以及
第三组件，用于在所述从低到高的层切换点处从可伸缩层的子集的传输切换到可伸缩层的更大子集。

Claims (48)

1.一种支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的方法，包括：
对该视频比特流中多个从低到高的层切换点进行编码，其中该多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
2.根据权利要求1所述的方法，还包括使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层。
3.根据权利要求1所述的方法，其中通过定义NAL单元类型以指示包含特定NAL单元类型的已编码片的图像是增强层即时解码刷新(EIDR)图像来对所述切换点进行编码。
4.根据权利要求1所述的方法，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
5.根据权利要求1所述的方法，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level值都等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及按解码顺序随后的所有已编码图像的解码能够在没有来自任何按解码顺序先于该IDR图像的图像的帧间预测的情况下执行；以及，如果temporal_level、dependency_id和quality_level值中任一不等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及在同一层中按解码顺序随后的所有已编码图像的解码能够在没有来自任何在同一层中具有与该IDR图像分别相同的temporallevel、dependency_id和quality_level值的、按解码顺序先于该IDR图像的图像的帧间预测的情况下执行，其中如果两幅图像具有相同的temporal_level、dependency_id和quality_level值，则这两幅图像认为是在同一层中。
6.根据权利要求5所述的方法，其中如果temporal_level、dependency_id和quality_level中任一不等于零，则在解码所述IDR图像之后，立即将所有具有与所述IDR图像分别相同的temporal_level、dependency_id和quality_level值的参考图像标记为“未用于参考”。
7.根据权利要求5所述的方法，其中如果temporal_level、dependency_id和quality_level都等于零，则在解码所述IDR图像之后，立即将所有参考图像标记为“未用于参考”。
8.根据权利要求1所述的方法，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level都等于零的图像是IDR图像，则将位于同一存取单元的所有其他图像都定义为IDR图像。
9.根据权利要求8所述的方法，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
10.根据权利要求1所述的方法，其中通过针对所有可伸缩层使用SEI消息以指示与该SEI消息相关联的目标图像是能够用于从低到高的层切换的EIDR图像来对所述切换点进行编码。
11.一种支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的方法，包括：
对该视频比特流的文件格式层内的多个从低到高的层切换点进行编码，其中该多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
12.根据权利要求11所述的方法，还包括使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层。
13.根据权利要求11所述的方法，其中通过在包含针对每个可伸缩层的可伸缩性信息的数据结构中包括盒子来对所述切换点进行编码。
14.根据权利要求11所述的方法，其中通过在所述视频比特流中包括指示所有层的切换点的盒子来对所述切换点进行编码。
15.根据权利要求11所述的方法，其中通过包括指示存在于线索轨道或提取器轨道之间的从低到高的层切换点的盒子来对所述切换点进行编码。
16.根据权利要求15所述的方法，其中在媒体轨道中用信号发送的信息被重新利用以便获得存在于所述线索轨道或提取器轨道之间的所述从低到高的层切换点。
17.一种支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的计算机程序产品，包括：
用于在所述视频比特流中对多个从低到高的层切换点进行编码的计算机代码，其中所述多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
18.根据权利要求17所述的计算机程序产品，还包括用于使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层的计算机代码。
19.根据权利要求17所述的计算机程序产品，其中通过定义NAL单元类型来指示包含特定NAL单元类型的已编码片的图像是增强层即时解码刷新(EIDR)图像来对所述切换点进行编码。
20.根据权利要求17所述的计算机程序产品，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
21.根据权利要求17所述的计算机程序产品，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level值都等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及按解码顺序随后的所有已编码图像的解码能够在没有来自任何按解码顺序先于该IDR图像的图像的帧间预测的情况下执行；以及，如果temporal_level、dependency_id和quality_level值中任一不等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及在同一层中按解码顺序随后的所有已编码图像的解码能够在没有来自任何在同一层中具有与该IDR图像分别相同的temporal_level、dependency_id和quality_level值的、按解码顺序先于该IDR图像的图像的帧间预测的情况下执行，其中如果两幅图像具有相同的temporal_level、dependency_id和quality_level值，则这两幅图像认为是在同一层中。
22.根据权利要求21所述的计算机程序产品，其中如果temporal_level、dependency_id和quality_level中任一不等于零，则在解码所述IDR图像之后，立即将所有具有与所述IDR图像分别相同的temporal_level、dependency_id和quality_level值的参考图像标记为“未用于参考”。
23.根据权利要求21所述的计算机程序产品，其中如果temporal_level、dependency_id和quality_level都等于零，则在解码所述IDR图像之后，立即将所有参考图像标记为“未用于参考”。
24.根据权利要求17所述的计算机程序产品，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level都等于零的图像是IDR图像，则将位于同一存取单元的所有其他图像都定义为IDR图像。
25.根据权利要求24所述的计算机程序产品，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
26.根据权利要求17所述的计算机程序产品，其中通过针对所有可伸缩层使用SEI消息以指示与该SEI消息相关联的目标图像是能够用于从低到高的层切换的EIDR图像来对所述切换点进行编码。
27.一种支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的计算机程序产品，包括：
用于对该视频比特流的文件格式层内的多个从低到高的层切换点进行编码的计算机代码，其中该多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
28.根据权利要求27所述的计算机程序产品，其中通过在包含针对每个可伸缩层的可伸缩性信息的数据结构中包括盒子来对所述切换点进行编码。
29.根据权利要求27所述的计算机程序产品，其中通过在所述视频比特流中包括指示所有层的切换点的盒子来对所述切换点进行编码。
根据权利要求27所述的计算机程序产品，其中通过包括指示存在于线索轨道或提取器轨道之间的从低到高的层切换点的盒子来对所述切换点进行编码。
30.根据权利要求31所述的计算机程序产品，其中在媒体轨道中用信号发送的信息被重新利用以便获得存在于所述线索轨道或提取器轨道之间的所述从低到高的层切换点。
31.一种电子设备，包括：
处理器；以及
存储器单元，可操作地连接到所述处理器，并且包括用于支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的计算机程序产品，包括：
用于在所述视频比特流中对多个从低到高的层切换点进行编码的计算机代码，其中所述多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
32.根据权利要求33所述的电子设备，其中所述存储单元还包括用于使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层的计算机代码。
33.根据权利要求33所述的电子设备，其中通过定义NAL单元类型以指示包含特定NAL单元类型的已编码片的图像是增强层即时解码刷新(EIDR)图像来对所述切换点进行编码。
34.根据权利要求33所述的电子设备，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
35.根据权利要求33所述的电子设备，其中按如下方式对所述切换点进行编码：其中如果temporal_level、dependency_id和quality_level值都等于零，则将IDR图像定义为这样的已编码图像，其中对该IDR图像以及按解码顺序随后的所有已编码图像的解码能够在没有来自任何按解码顺序先于该IDR图像的图像的帧间预测的情况下执行；以及，如果temporal_level、dependency_id和quality_level值中任一不等于零，则将IDR图像定义为这样的已编码图像，其中该IDR图像以及在同一层中按解码顺序随后的所有已编码图像的解码能够在没有来自任何在同一层中具有与该IDR图像分别相同的temporal_level、dependency_id和quality_level值的、按解码顺序先于该IDR图像的图像的帧间预测的情况下执行，其中如果两幅图像具有相同的temporal_level、dependency_id和quality_level值，则这两幅图像认为是在同一层中。
36.根据权利要求37所述的电子设备，其中如果temporal_level、dependency_id和quality_level中任一不等于零，则在解码所述IDR图像之后，立即将所有具有与所述IDR图像分别相同的temporal_level、dependency_id和quality_level值的参考图像标记为“未用于参考”。
37.根据权利要求37所述的电子设备，其中如果temporal_level、dependency_id和quality_level都等于零，则在解码所述IDR图像之后，立即将所有参考图像标记为“未用于参考”。
38.根据权利要求33所述的电子设备，其中按如下方式对所述切换点进行编码：如果temporal_level、dependency_id和quality_level都等于零的图像是IDR图像，则将位于同一存取单元的所有其他图像都定义为IDR图像。
39.根据权利要求40所述的电子设备，其中通过定义补充增强信息(SEI)消息以指示图像是EIDR图像来对所述切换点进行编码。
40.根据权利要求33所述的电子设备，其中通过针对所有可伸缩层使用SEI消息以指示与该SEI消息相关联的目标图像是能够用于从低到高的层切换的EIDR图像来对所述切换点进行编码。
41.一种电子设备，包括：
处理器；以及
存储器单元，可操作地连接到所述处理器，并且包括用于支持在包括基本层和至少一个增强层的视频比特流中从低到高的可伸缩层切换的计算机程序产品，包括：
用于对该视频比特流的文件格式层内的多个从低到高的层切换点进行编码的计算机代码，其中该多个从低到高的层切换点不在即时解码刷新(IDR)存取单元的位置处。
42.根据权利要求43所述的电子设备，其中所述存储单元还包括用于使用所述已编码的切换点从所述视频比特流中的较低层切换到所述视频比特流中的较高层的计算机代码。
43.根据权利要求43所述的电子设备，其中通过在包含针对每个可伸缩层的可伸缩性信息的数据结构中包括盒子来对所述切换点进行编码。
44.根据权利要求43所述的电子设备，其中通过在所述视频比特流中包括指示所有层的切换点的盒子来对所述切换点进行编码。
45.根据权利要求43所述的电子设备，其中通过包括指示存在于线索轨道或提取器轨道之间的从低到高的层切换点的盒子来对所述切换点进行编码。
46.根据权利要求47所述的电子设备，其中在媒体轨道中用信号发送的信息被重新利用以便获得存在于所述线索轨道或提取器轨道之间的所述从低到高的层切换点。
47.一种流传输系统中的单元，包括：
第一组件，用于接收包括至少两个可伸缩层的视频比特流；
第二组件，用于标识所述视频比特流内从低到高的层切换点，其中所述从低到高的层切换点不在任何即时解码刷新(IDR)存取单元的位置处；以及
第三组件，用于在所述从低到高的层切换点处从可伸缩层的子集的传输切换到可伸缩层的更大子集。
48.一种流传输系统中的单元，包括：
第一组件，用于接收包括至少两个可伸缩层的视频比特流；
第二组件，用于标识所述视频比特流的文件格式层内的从低到高的层切换点，其中所述从低到高的层切换点不在任何即时解码刷新(IDR)存取单元的位置处；以及
第三组件，用于在所述从低到高的层切换点处从可伸缩层的子集的传输切换到可伸缩层的更大子集。
CNA2006800444909A 2005-10-11 2006-10-11 用于有效的可伸缩流适配的系统和方法 Pending CN101317460A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US72586805P 2005-10-11 2005-10-11
US60/725,868 2005-10-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201010586087.7A Division CN101998123B (zh) 2005-10-11 2006-10-11 用于有效的可伸缩流适配的系统和方法

Publications (1)

Publication Number Publication Date
CN101317460A true CN101317460A (zh) 2008-12-03

Family

ID=37942356

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA2006800444909A Pending CN101317460A (zh) 2005-10-11 2006-10-11 用于有效的可伸缩流适配的系统和方法
CN201010586087.7A Active CN101998123B (zh) 2005-10-11 2006-10-11 用于有效的可伸缩流适配的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201010586087.7A Active CN101998123B (zh) 2005-10-11 2006-10-11 用于有效的可伸缩流适配的系统和方法

Country Status (15)

Country Link
US (2) US9635396B2 (zh)
EP (2) EP1935182B1 (zh)
JP (2) JP4950206B2 (zh)
KR (2) KR101125819B1 (zh)
CN (2) CN101317460A (zh)
AU (1) AU2006300881B2 (zh)
BR (1) BRPI0617728A8 (zh)
DE (1) DE602006051050C5 (zh)
HK (1) HK1149989A1 (zh)
MY (1) MY147530A (zh)
PL (1) PL2375749T3 (zh)
RU (1) RU2407217C2 (zh)
TW (1) TWI341136B (zh)
WO (1) WO2007042916A1 (zh)
ZA (1) ZA200803201B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714715A (zh) * 2009-09-22 2012-10-03 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
CN103843342A (zh) * 2012-06-12 2014-06-04 Lg电子株式会社 图像解码方法及使用其的装置
CN104205813A (zh) * 2012-04-06 2014-12-10 维德约股份有限公司 分层视频编码的等级信令
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
CN105519111A (zh) * 2013-07-11 2016-04-20 高通股份有限公司 用于视频信息的可缩放译码的装置和方法
CN105637876A (zh) * 2013-07-15 2016-06-01 Ge视频压缩有限责任公司 基于集群的依赖性信令
CN106454363A (zh) * 2011-01-14 2017-02-22 太阳专利托管公司 图像解码方法和图像解码装置

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2357732B1 (en) 2002-10-05 2022-04-06 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
EP2202888A1 (en) 2004-05-07 2010-06-30 Digital Fountain, Inc. File download and streaming system
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
NZ566935A (en) 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
CN100456834C (zh) * 2005-10-17 2009-01-28 华为技术有限公司 H.264多媒体通信的服务质量监测方法
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
DE102006012449A1 (de) * 2006-03-17 2007-09-20 Benq Mobile Gmbh & Co. Ohg Verfahren zum Dekodieren eines Datenstroms und Empfänger
EP2005607B1 (en) * 2006-03-27 2016-09-07 Vidyo, Inc. System and method for management of scalability information in scalable video coding systems using control messages
EP1999966A2 (en) * 2006-03-29 2008-12-10 Thomson Licensing Multi-view video coding method and device
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US8699583B2 (en) 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
US8365060B2 (en) 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
AU2007287222A1 (en) 2006-08-24 2008-02-28 Nokia Corporation System and method for indicating track relationships in media files
CN106982382B (zh) 2006-10-16 2020-10-16 维德约股份有限公司 用于在可分级视频编码中信令并执行时间级切换的系统和方法
CA2783599C (en) 2006-11-14 2013-06-25 Qualcomm Incorporated Systems and methods for channel switching
US8761162B2 (en) 2006-11-15 2014-06-24 Qualcomm Incorporated Systems and methods for applications using channel switch frames
JP5535646B2 (ja) * 2007-01-05 2014-07-02 トムソン ライセンシング スケーラブル映像符号化用の仮想リファレンスデコーダ
WO2008087602A1 (en) 2007-01-18 2008-07-24 Nokia Corporation Carriage of sei messages in rtp payload format
US9826243B2 (en) 2007-04-12 2017-11-21 Thomson Licensing Methods and apparatus for video usability information (VUI) for scalable video coding (SVC)
CN101056405B (zh) * 2007-04-24 2010-10-20 武汉大学 可伸缩视频流的一种快速切换方法
BRPI0810699B1 (pt) * 2007-05-04 2021-03-02 Nokia Technologies Oy método e aparelho de registro de fluxo de mídia em uma hint track de recepção de um arquivo de armazenamento multimídia
MX2010002829A (es) 2007-09-12 2010-04-01 Digital Fountain Inc Generacion y comunicacion de informacion para identificacion de fuentes para permitir comunicaciones seguras.
KR101401967B1 (ko) * 2007-12-04 2014-06-27 삼성전자주식회사 암호화된 데이터 스트림의 트릭 플레이 방법 및 장치
EP2086237B1 (en) * 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
IT1394245B1 (it) * 2008-09-15 2012-06-01 St Microelectronics Pvt Ltd Convertitore per video da tipo non-scalabile a tipo scalabile
TW201032597A (en) * 2009-01-28 2010-09-01 Nokia Corp Method and apparatus for video coding and decoding
CA2758237C (en) 2009-04-09 2017-08-15 Telefonaktiebolaget Lm Ericsson (Publ) Media container file management
US8719309B2 (en) * 2009-04-14 2014-05-06 Apple Inc. Method and apparatus for media data transmission
CN102165776B (zh) * 2009-07-06 2012-11-21 华为技术有限公司 一种可伸缩视频编码文件的传输方法、接收方法及装置
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9049497B2 (en) * 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
EP2596633B1 (en) * 2010-07-20 2016-11-23 Nokia Technologies Oy A media streaming apparatus
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US8928809B2 (en) * 2010-09-15 2015-01-06 Verizon Patent And Licensing Inc. Synchronizing videos
US8976744B2 (en) 2010-11-03 2015-03-10 Broadcom Corporation Vehicle communication network including wireless communications
US9113172B2 (en) 2011-01-14 2015-08-18 Vidyo, Inc. Techniques for describing temporal coding structure
WO2012096806A1 (en) 2011-01-14 2012-07-19 Vidyo, Inc. High layer syntax for temporal scalability
AU2012205650B2 (en) * 2011-01-14 2016-08-11 Vidyo, Inc. Improved NAL unit header
KR102125930B1 (ko) 2011-02-16 2020-06-23 선 페이턴트 트러스트 영상 부호화 방법 및 영상 복호 방법
US20120287999A1 (en) * 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
DE102011078021A1 (de) * 2011-06-22 2012-12-27 Institut für Rundfunktechnik GmbH Vorrichtung und Verfahren zum Schalten von Echtzeitmedienströmen
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
KR102047492B1 (ko) * 2012-03-12 2019-11-22 삼성전자주식회사 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US9838684B2 (en) 2012-04-11 2017-12-05 Qualcomm Incorporated Wavefront parallel processing for video coding
CN110809160B (zh) 2012-04-13 2022-09-16 Ge视频压缩有限责任公司 用于处理数据流的网络实体
US9609341B1 (en) * 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
KR101995270B1 (ko) * 2012-04-25 2019-07-03 삼성전자주식회사 비디오 데이터를 재생하는 방법 및 장치
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
UA123988C2 (uk) * 2012-06-29 2021-07-07 ДЖ.І. ВІДІЕУ КЕМПРЕШН, ЛЛСі Концепція потоку відеоданих
US9716892B2 (en) * 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
WO2014007550A1 (ko) 2012-07-03 2014-01-09 삼성전자 주식회사 시간적 스케일러빌러티를 갖는 비디오 부호화 방법 및 장치, 시간적 스케일러빌러티를 갖는 비디오 복호화 방법 및 장치
SG11201500129UA (en) * 2012-07-09 2015-02-27 Vid Scale Inc Codec architecture for multiple layer video coding
US9584804B2 (en) 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
WO2014051396A1 (ko) * 2012-09-27 2014-04-03 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
EP2901688B1 (en) 2012-09-28 2019-10-23 Nokia Technologies Oy An apparatus and a method for video coding and decoding
US20140092953A1 (en) * 2012-10-02 2014-04-03 Sharp Laboratories Of America, Inc. Method for signaling a step-wise temporal sub-layer access sample
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
KR20140048802A (ko) * 2012-10-08 2014-04-24 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR20140087971A (ko) 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
CA2897152C (en) * 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
US9596486B2 (en) * 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
KR102077900B1 (ko) 2013-04-17 2020-02-14 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
JP6120667B2 (ja) 2013-05-02 2017-04-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US9525883B2 (en) * 2013-07-15 2016-12-20 Qualcomm Incorporated Cross-layer alignment of intra random access point pictures
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US20150195549A1 (en) 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
KR102224703B1 (ko) 2014-03-17 2021-03-09 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩 장치, 방법 및 컴퓨터 프로그램
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US20170347084A1 (en) * 2016-05-27 2017-11-30 Intel Corporation Virtual reality panoramic video system using scalable video coding layers
US10326815B2 (en) * 2016-12-20 2019-06-18 LogMeln, Inc. Techniques for scalably sharing video through a streaming server
CN109327711A (zh) * 2018-10-22 2019-02-12 高斯贝尔数码科技股份有限公司 音视频的内容格式分层结构、加密方法、解密方法及终端
KR20210075201A (ko) 2018-12-29 2021-06-22 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측을 위한 방법 및 장치
SG11202107170VA (en) * 2018-12-31 2021-07-29 Huawei Tech Co Ltd Method and apparatus of cross-component linear modeling for intra prediction
US20210352341A1 (en) * 2020-05-06 2021-11-11 At&T Intellectual Property I, L.P. Scene cut-based time alignment of video streams

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6269192B1 (en) * 1997-07-11 2001-07-31 Sarnoff Corporation Apparatus and method for multiscale zerotree entropy encoding
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US20030123546A1 (en) * 2001-12-28 2003-07-03 Emblaze Systems Scalable multi-level video coding
KR100959573B1 (ko) 2002-01-23 2010-05-27 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
US6996173B2 (en) * 2002-01-25 2006-02-07 Microsoft Corporation Seamless switching of scalable video bitstreams
GB2386275B (en) * 2002-03-05 2004-03-17 Motorola Inc Scalable video transmissions
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20050226322A1 (en) * 2002-05-31 2005-10-13 Van Der Vleuten Renatus J Non-scalable to scalable video conversion method, scalable to non-scalable video conversion method
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
AU2004310915B2 (en) * 2003-12-01 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
US8351514B2 (en) * 2004-01-16 2013-01-08 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
EP1638333A1 (en) * 2004-09-17 2006-03-22 Mitsubishi Electric Information Technology Centre Europe B.V. Rate adaptive video coding
KR101277355B1 (ko) * 2004-10-13 2013-06-20 톰슨 라이센싱 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법및 장치
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
KR100931870B1 (ko) 2005-04-13 2009-12-15 노키아 코포레이션 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
EP1773063A1 (en) 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
CN102714715A (zh) * 2009-09-22 2012-10-03 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
CN102714715B (zh) * 2009-09-22 2016-01-20 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
CN107071448A (zh) * 2011-01-14 2017-08-18 太阳专利托管公司 图像解码方法和图像解码装置
CN106454363B (zh) * 2011-01-14 2019-05-10 太阳专利托管公司 图像解码方法和图像解码装置
CN106454363A (zh) * 2011-01-14 2017-02-22 太阳专利托管公司 图像解码方法和图像解码装置
CN104205813A (zh) * 2012-04-06 2014-12-10 维德约股份有限公司 分层视频编码的等级信令
CN104205813B (zh) * 2012-04-06 2018-05-08 维德约股份有限公司 分层视频编码的等级信令
US10863187B2 (en) 2012-06-12 2020-12-08 Lg Electronics Inc. Image decoding method and apparatus using same
US10448039B2 (en) 2012-06-12 2019-10-15 Lg Electronics Inc. Image decoding method and apparatus using same
US9794582B2 (en) 2012-06-12 2017-10-17 Lg Electronics Inc. Image decoding method and apparatus using same
US11546622B2 (en) 2012-06-12 2023-01-03 Lg Electronics Inc. Image decoding method and apparatus using same
CN103843342A (zh) * 2012-06-12 2014-06-04 Lg电子株式会社 图像解码方法及使用其的装置
CN103843342B (zh) * 2012-06-12 2017-04-12 Lg电子株式会社 图像解码方法
US10469861B2 (en) 2012-06-12 2019-11-05 Lg Electronics Inc. Image decoding method and apparatus using same
CN105519111A (zh) * 2013-07-11 2016-04-20 高通股份有限公司 用于视频信息的可缩放译码的装置和方法
US10595027B2 (en) 2013-07-15 2020-03-17 Ge Video Compression, Llc Layer characteristic signaling in multi-layered coding
US10869047B2 (en) 2013-07-15 2020-12-15 Ge Video Compression, Llc Layer ID signaling using extension mechanism
US10349065B2 (en) 2013-07-15 2019-07-09 Ge Video Compression, Llc Network device and error handling
US10349066B2 (en) 2013-07-15 2019-07-09 Ge Video Compression, Llc Layer ID signaling using extension mechanism
US10523954B2 (en) 2013-07-15 2019-12-31 Ge Video Compression, Llc Low delay concept in multi-layered video coding
CN105637876B (zh) * 2013-07-15 2019-04-02 Ge视频压缩有限责任公司 处理多层数据流的装置和方法、编码器和方法及存储介质
US10609399B2 (en) 2013-07-15 2020-03-31 Ge Video Compression, Llc Cluster-based dependency signaling
US10616591B2 (en) 2013-07-15 2020-04-07 Ge Video Compression, Llc Layer ID signaling using extension mechanism
US10142639B2 (en) 2013-07-15 2018-11-27 Ge Video Compression, Llc Cluster-based dependency signaling
US10425651B2 (en) 2013-07-15 2019-09-24 Ge Video Compression, Llc Cluster-based dependency signaling
US11006136B2 (en) 2013-07-15 2021-05-11 Ge Video Compression, Llc Cluster-based dependency signaling
US11012700B2 (en) 2013-07-15 2021-05-18 Ge Video Compression, Llc Layer characteristic signaling in multi-layered coding
US11025929B2 (en) 2013-07-15 2021-06-01 Ge Video Compression, Llc Low delay concept in multi-layered video coding
US11252422B2 (en) 2013-07-15 2022-02-15 Ge Video Compression, Llc Network device and error handling
CN105637876A (zh) * 2013-07-15 2016-06-01 Ge视频压缩有限责任公司 基于集群的依赖性信令
US11546618B2 (en) 2013-07-15 2023-01-03 Ge Video Compression, Llc Cluster-based dependency signaling
US11616964B2 (en) 2013-07-15 2023-03-28 Ge Video Compression, Llc Layer ID signaling using extension mechanism
US11647209B2 (en) 2013-07-15 2023-05-09 Ge Video Compression, Llc Layer characteristic signaling in multi-layered coding
US11792415B2 (en) 2013-07-15 2023-10-17 Ge Video Compression, Llc Low delay concept in multi-layered video coding

Also Published As

Publication number Publication date
EP2375749A2 (en) 2011-10-12
KR101125819B1 (ko) 2012-03-27
KR20080059639A (ko) 2008-06-30
US9635396B2 (en) 2017-04-25
US20070110150A1 (en) 2007-05-17
RU2407217C2 (ru) 2010-12-20
TW200727706A (en) 2007-07-16
EP1935182B1 (en) 2016-11-23
KR101245576B1 (ko) 2013-03-20
BRPI0617728A2 (pt) 2011-08-02
EP2375749A3 (en) 2012-03-28
CN101998123A (zh) 2011-03-30
EP1935182A4 (en) 2011-11-30
JP2011223626A (ja) 2011-11-04
AU2006300881A1 (en) 2007-04-19
HK1149989A1 (zh) 2011-10-21
EP1935182A1 (en) 2008-06-25
TWI341136B (en) 2011-04-21
CN101998123B (zh) 2015-03-18
JP4950206B2 (ja) 2012-06-13
WO2007042916B1 (en) 2007-06-07
DE602006051050C5 (de) 2022-10-27
RU2008113747A (ru) 2009-11-20
ZA200803201B (en) 2009-03-25
BRPI0617728A8 (pt) 2016-05-10
JP2009512307A (ja) 2009-03-19
WO2007042916A1 (en) 2007-04-19
MY147530A (en) 2012-12-31
JP5337203B2 (ja) 2013-11-06
US20120027316A1 (en) 2012-02-02
PL2375749T3 (pl) 2017-03-31
AU2006300881B2 (en) 2011-03-17
EP2375749B1 (en) 2016-11-23
KR20110106431A (ko) 2011-09-28

Similar Documents

Publication Publication Date Title
CN101998123B (zh) 用于有效的可伸缩流适配的系统和方法
CN101507281B (zh) 媒体文件中的兴趣区域可缩放性信息的信号发送
CN101317459A (zh) 用于可伸缩视频编码的有效解码图像缓存管理
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
CN101601305B (zh) 用于可伸缩多媒体的自适应路径的通用指示
CN100334880C (zh) 发送和接收动态图像数据的方法及其设备
CN101578884B (zh) 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
EP2589221B1 (en) Signaling random access points for streaming video data
CN104205841A (zh) 译码视频及存储视频内容的方法
CN105027567A (zh) 用于视频编码和解码的方法和装置
CN101120593A (zh) 可扩展性信息的编码、存储和信号发送
CN107087203A (zh) 图像解码方法及使用其的装置
AU2011202791B2 (en) System and method for efficient scalable stream adaptation
CN100473159C (zh) 发送和接收动态图像数据的方法
CN101420598A (zh) 一种基于Symbian平台下的视频监控信息交互系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1122933

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20081203

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1122933

Country of ref document: HK