CN101543018B - 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置 - Google Patents

网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置 Download PDF

Info

Publication number
CN101543018B
CN101543018B CN200880000151XA CN200880000151A CN101543018B CN 101543018 B CN101543018 B CN 101543018B CN 200880000151X A CN200880000151X A CN 200880000151XA CN 200880000151 A CN200880000151 A CN 200880000151A CN 101543018 B CN101543018 B CN 101543018B
Authority
CN
China
Prior art keywords
label
nalu
nalh
network
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200880000151XA
Other languages
English (en)
Other versions
CN101543018A (zh
Inventor
徐德荣
金奎宪
朴光勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Industry Academic Cooperation Foundation of Kyung Hee University
Publication of CN101543018A publication Critical patent/CN101543018A/zh
Application granted granted Critical
Publication of CN101543018B publication Critical patent/CN101543018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/302—Route determination based on requested QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/167—Adaptation for transition between two IP versions, e.g. between IPv4 and IPv6
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Abstract

提供了一种用于IPv6标签交换的NALU(网络提取层单元)的构建方法及其视频编码、QoS控制和解码的应用算法。根据本发明的实施例，NALU格式由包括标签的NALH(网络提取层头)和NAL(网络提取层)载荷构成。这里，标签基于层信息确定，其中层信息是经编码数据的空间可扩展级别、时间可扩展级别和质量可扩展级别的组合。解码器使用标签来决定多个解码模块中的哪一个模块被用来解码当前的NAL载荷。而且，标签可以被包括在分组头中，从而MANE(媒体意识网络元件)可以使用标签来决定是转发分组还是丢弃它。例如，通过使用IPv6分组头中的流标签字段，分组头中的标签可以用于视频服务的QoS控制。IPv6路由器通过使用20位长的流标签，可以标识视频分组的优先级，其中NALH中的标签可以被插入到该流标签中。根据实施例，MPEG和JVT(联合视频组)中采用的MANE可以被有效实现。

Description

网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置
技术领域
本发明涉及视频编解码器，更具体地说，本发明涉及构成用于每个MPEG视频网络提取层单元(NALU)的分组的方法及其应用的视频便解码器、基于IPv6标签交换的QoS控制、以及解码算法和装置。
背景技术
目前在MPEG/JVT(联合视频组)中进行标准化的可扩展视频编码(SVC，scalable video coding)和多视角视频编码(MVC)是基于H.264/AVC的。H.264/AVC的NALU格式被用来对经编码的位流进行分组化。
图1示出了视频编码层(VCL)和网络提取层(NAL)的概念性结构。如图1所示，H.264/AVC由VCL和NAL构成，其中VCL对运动图像进行编码，而NAL将VCL连接到下级系统以传输和存储经编码的信息。独立于VCL产生的位流，存在序列参数集(SPS)、图像参数集(PPS)和补充增强信息(SEI)，用于对每个图像的信息、随机存取的信息等进行定时。
图2是示出了在标准SVC中提出的NALU格式的框图。如图2所示，NALU包括NAL头(NALH)和NAL载荷。NALH有3-5个字节长，并且包括关于NAL类型的信息以及载荷中视频数据的层标识信息(优先级、空间可扩展级别、时间可扩展级别、以及质量可扩展级别)。NAL类型字段包括F字段、指示其是否是被引用图像的NRI(nal_ref_idc)、以及NALU类型的指示符。层标识信息字段包括优先级字段(P)、用于空间可扩展级别的dependency_id字段(D)、时间级别字段(T)、以及质量可扩展级别字段(Q)。
如图2所示在SVC中使用的相同NALU格式还被用于MVC。作为层标识信息的替代，视角标识信息被包括在其中。
根据当前SVC和MVC的NALU格式，所有层标识信息和视角标识信息都应当被解析以标识层数或视角数。具体地说，为了标识SVC中的层，2-4字节长的层标识信息应当被解析为P、D、T和Q值，从而该处理给处理器施加了负担，并且增加了系统成本。
NALH具有层标识信息，而网络中包括IPv6路由器在内的路由器并不会对其进行解析，因为NALH位于IP分组的载荷内，如图13所示。需要将该信息放入由路由器读取的IP头部。如何提供标签的方法尚未被标准化。如果能够标识出分组优先级、那么QoS(服务质量)控制将变得容易，从而在阻塞时，可以丢弃更少的重要分组。
图3示出了根据传统SVC标准的NALU格式通过解析整个NALU来标识任意NALU的层的过程，因此，图3是示出了MANE(媒体意识网络元件)用于决定是转发还是丢弃每个NALU的流程图。
图3中的MANE从每个NALU(其由编码器生成或者经由有线或无线网络传输)解析出P、D、T和Q值(S11)，并且随后解析出的P、D、T和Q值与预定义值(p、d、t、q)相比较，以便MANE决定其是转发还是丢弃每个NALU(S12)。如果值中的任何一个不满足要求，则NALU被丢弃(S13)，而满足所有要求的NALU被抽取出并被转发到解码器(S14)。
处理器在NALU的抽取过程期间的负担以同样的方式被施加到解码过程，从而解码器从经由有线或无线网络传递或存储的每个NALU解析出P、D、T和Q值。如果NALU的层被包括在解码器将要解码的层中，则这些值被评估。只有当这些值满足所要求的设置点时，NALU才被解码，否则NALU被丢弃。
发明内容
本发明提供了下述的任务的解决方案，即，减少MANE和解码器通过解析长的NALH来决定是否抽取/解码NALU的负担，以及提供构成NALU从而以更小的复杂度进行抽取/解码的方法及其应用的解码算法、用于IPv6标签交换的QoS控制算法、以及解码算法和装置。
本发明还提供了下述任务的解决方案，即，IPv6分组的构成方法以及用于IPv6标签交换的路由和QoS控制算法，该方法使得能够有效地控制QoS而无需在IPv6路由器中解析NALH。
为了解决上述任务，根据本发明的实施例，通过将在用于SVC和MVC中的JVT中标准化的NALH缩短为特定尺寸的标签，编码、抽取和解码操作基于SNALH(缩短的NALH)而被执行。如前所述，每个NALU传统上具有3-5个字节长的NALH来标识层(优先级、空间可扩展级别、时间可扩展级别、和质量可扩展级别)和视角数。因此，在SVC中，NALH包括优先级字段(P)、用于空间可扩展级别的dependency_id字段(D)、时间级别字段(T)、以及质量可扩展级别字段(Q)。根据SVC的NALH格式，所有NALU在NALH中具有P、D、T和Q值。
根据本发明的实施例，用于每个NALU的这个长NALH被SNALH取代，其中SNALH包括预定义的用于标识层标识信息(例如P、D、T和Q值)的短标签。用于层标识的短标签被定义用于特定服务或者特定视频序列。根据本发明的实施例，如果SNALH是1字节长，那么可以标识出大约250种不同类型的NALU流。
如果本发明的实施例被应用于SVC，那么可以标识出每个NALU的层。例如，如果SNALH是1字节长，那么可以标识出大约不同NALU流的P、D、T和Q值的250种不同组成。以相同的方式，如果本发明的实施例被应用于MVC，可以标识出每个NALU的视角数。
此外，根据用于传统NALH格式的NALU抽取过程，可以在解析相对长的NALH以及比较4层标识信息字段之后处理每个NALU。然而，根据本发明的实施例，位于编码器和解码器之间的路径上的MANE通过仅解析来自短SNALH的标签，可以决定是丢弃还是转发每个NALU。根据本发明的实施例，解码器通过仅解析来自短SNALH的标签，还可以决定是丢弃还是解码每个NALU。因此，根据本发明的实施例，SVC或MVC的NALU的抽取和解码过程变得更加简单。具体地说，由于NALU是在网络中的MANE内被抽取的，因此可以尽可能地简化过程。
此外，作为本发明实施例的NAL格式在应用于IPv6网络时有帮助。例如，如果作为发明实施例的SNALH被插入IPv6分组头等之中，IPv6路由器可以仅通过读取所插入的SNALH而不是通过读取NALU的NALH来控制QoS(服务质量)。作为本发明的实施例，SNALH可以被放置在IPv6分组头中的20位的流标签(flow label)中。通过在流标签中使用SNALH，IPv6路由器能够有效地执行MPEG JVT采用的MANE的功能。在此情形中，传统的NALH可以保持不变以反向兼容当前的NALH标准。
为了解决上述任务，根据本发明的实施例，通过包括具有指示经编码数据的优先级的标签的NALH以及包括经编码数据的NAL载荷，确定构成NALU的方法。上述标签是基于经编码数据的优先级、空间可扩展级别、时间可扩展级别和质量可扩展级别的组合而确定的。
作为上述实施例的另一观点，SNALH可以用来包括指示NALU类型的字段。SNALH还可以用来更详细地指示经编码数据的优先级、空间可扩展级别、时间可扩展级别、以及质量可扩展级别。
为了解决上述任务，如上面提到的实施例所述的视频编码方法包括下述步骤：根据关于层结构的信息将输入序列编码为多层位流，根据关于层结构的信息将标签映射到多个经编码位流中的每个，将标签插入NALH以作为SNALH，通过合并SNALH和NAL载荷生成NALU。对于每个位流，关于层结构的信息指示经编码数据的优先级、空间可扩展级别、时间可扩展级别和质量可扩展级别的组合。
作为上述实施例的一个方面，在映射步骤期间可以使用映射表，以便将标签映射到经编码数据的优先级、空间可扩展级别、时间可扩展级别和质量可扩展级别的组合
为了解决上述任务，作为在包括多个解码模块的解码器中处理NALU的方法，上述NALU被解析成具有标签的SNALH和NAL载荷，并且根据该标签，上述解码器决定上述解码器模块中的哪个解码器模块处理NAL载荷。此时，上述标签可以具有指示经编码数据的优先级、空间可扩展级别、时间可扩展级别和质量可扩展级别的组合的信息。
为了解决上述任务，作为网络中间的节点用于根据经编码数据的层信息决定是否转发NALU的分组的方法，NALU的分组由具有指示层信息的标签的SNALH和NAL载荷构成，节点解析上述标签并且根据解析出的上述标签决定是否转发分组，并且标签指示经编码数据的优先级、空间可扩展级别、时间可扩展级别和质量可扩展级别的组合。
作为上述实施例的一个方面，网络中间的节点可以是MPEG-JVT标准中采取的MANE。节点根据抽取图决定是否转发NALU的每个分组，上述抽取图可以包括关于以上述标签为条件的抽取策略的信息。是否转发的信息可以由1位来表示。上面提到的条件包括网络条件、终端条件和用户偏好中的至少一种，所述网络条件包括信道条件。抽取图可以在服务的开始或中间被传递。
作为上述实施例的另一方面，网络中间的节点可以是具有IPv6协议的IPv6路由器，上述分组可以是IPv6分组，并且标签可以被插入到IPv6分组头中的流标签内。
本发明实施例的效果如下所述。
首先，在网络的中间，可以减少QoS控制的处理复杂度和处理时间。当网络中间的节点(例如，MANE)根据网络条件将丢弃NALU时，根据本发明的实施例，通过使用抽取图和从每个分组的SNAH解析出的标签而非解析长的NALH以标识出NALU的层，可以决定是转发还是丢弃每个分组以适应网络条件。抽取图可以在服务的开始被设置，或者可以根据多种抽取条件由MANE生成。抽取图可以由服务器发送或者在MANE中生成。
其次，可以减少了解码器的复杂度。一旦层或视角之间的引用关系在服务开始时被构建，或者在关系改变时被重建，解码器不必解析具有2-4字节的长NALH，其仅解析1字节长的SNALH。如果NAL中的载荷根据NALH被存储在任意层或视角的解码器缓存中，则下面的过程与常规操作相同。
再次，可以在较低的网络协议层中使用短标签。通过使用标签，网络可以为流提供预定义的QoS级别。例如，被修改或未被修改的标签可以被插入到IPv6头的流标签中。作为本发明实施例的SNALH中的标签还可以用于MPLS(多协议标签交换)。
第四，可以降低比特率。作为本发明的实施例，如果标签类型头(SNALH)是1字节长，则每个NALU中的2-4个字节可以被减少。
附图说明
图1是如在H.264/AVC标准中的NAL(网络提取层)和VCL(视频编码层)之间的关系的概念性示图。
图2是示出了在当前SVC标准中提出的NALU格式的框图。
图3是示出了决定是否在MANE中转发NALU(或者分组位流)的传统过程。
图4是作为本发明第一实施例的NALU格式的框图。
图5是作为本发明第二实施例的NALU格式的框图。
图6是作为本发明实施例的SVC解码器结构的框图。
图7是作为本发明实施例的MANE的框图。MANE决定是否转发NALU(分组位流)。
图8是作为本发明实施例用于MANE决定是否在MANE中转发NALU(或者分组位流)的过程的框图。
图9是解码器解析在图4或5中定义的格式下的NALU的流程图。
图10示出了将H.264/AVC标准中的14个NALU类型映射到14个标签的示例。
图11示出了根据从图4或5中定义的格式解析出的标签进行解码的伪代码。
图12示出了如何在异质网络中多播视频流。
图13示出了使用IPv6协议应当读取多少数据用于分组交换。
图14示出了根据本发明实施例应当读取多少数据用于标签交换。
图15示出了作为本发明实施例的IPv6头中的流标签的示例。
具体实施方式
本发明的实施例通过使用附图在下文被具体说明。
图4是作为本发明第一实施例的NALU格式的框图。在图4中，上部示出了传统的NAL格式，而下部示出了作为本发明第一实施例的NALU格式。
根据图4，作为本发明实施例的NALU格式包括SNALH(标签类型NALH)和NAL载荷。其中，NAL载荷与传统格式相同。因此，作为本发明的实施例，通过使用特定尺寸的标签，NALU中的传统NALH被SNALH取代。该SNALH可以是1字节长，在此情形中，可能标签的数目为28-256等。
更为具体地，作为本发明的实施例，传统NALH包括的NAL类型、用于优先级的Priority_id、用于空间可扩展级别的Dependency_id、用于时间可扩展级别的Temporal_level、以及用于质量可扩展级别的Quality_level的组合代表有限数目的NALH组中的一组，并且被转换成标签以辨别组。即，作为本发明的实施例，具有相同组合的一组NALH在一对一的基础上被映射到一个标签。因此，唯一的一个标签被分配给NAL类型、用于优先级的Priority_id、用于空间可扩展级别的Dependency_id、用于时间可扩展级别的Temporal_level、以及用于质量可扩展级别的Quality_level的任意组合。
与此类似，作为本发明的实施例，NALU中的SNALH包括与传统NALH中的多个值相对应的标签。本发明的该实施例基于下述事实，即，在视频会话或存储的视频序列期间存在有限数目的NALH组，并且相同数目的标签被用于SNALH。例如，如果NALH组的数目小于250，则传统NALH可以被1字节长的SNALH取代。
图5是作为本发明第二实施例的NALU格式的框图。在图5中，上部示出了传统NAL格式，而下部示出了作为本发明第二实施例的NALU格式。
根据图5，作为本发明实施例的NALU格式包括NALU类型、SNALH(标签类型NALH)和NAL载荷。其中，NAL载荷与传统格式相同。因此，作为本发明的实施例，通过使用特定尺寸的标签，NALU中的传统NALH被SNALH取代。该SNALH可以是1字节长，在此情形中，可能标签的数目是28-256等。
更为具体地，作为本发明的实施例，首先，传统NALU格式中的NALU类型字段未变。并且，传统NALH包括的NAL类型、用于优先级的Priority_id、用于空间可扩展级别的Dependency_id、用于时间可扩展级别的Temporal_level、以及用于质量可扩展级别的Quality_level的组合，代表有限数目的NALH组中的一组，并且被转换成标签以辨别组。即，作为本发明的实施例，具有相同组合的一组NALH在一对一的基础上被映射到一个标签。因此，唯一的一个标签被分配给NAL类型、用于优先级的Priority_id、用于空间可扩展级别的Dependency_id、用于时间可扩展级别的Temporal_level、以及用于质量可扩展级别的Quality_level的任意组合。
与此类似，作为本发明的实施例，NALU中的SNALH包括与传统NALH中的多个值(P、D、T、Q)相对应的标签。本发明的该实施例基于下述事实，即，在视频会话或存储的视频序列期间存在有限数目的NALH组，并且相同数目的标签被用于SNALH。例如，如果NALH组的数目小于250，则传统NALH可以被1字节长的SNALH取代。
并且，根据图4或5中的格式，SNALH的标签和NALH组(其是P、D、T和Q的组合)的一对一映射可以被定义在映射表中。解码器和编码器具有相同的映射表。对于如何具有该相同的映射表并没有限制。例如，编码器可以向解码器发送映射表连同经编码的视频数据，或者编码器可以仅发送关于映射表的信息给解码器。在后一情形中，编码器和解码器预期已具有若干映射表，并且编码器发送标识符来标识表，并且解码器从多个映射表中获取由标识符标识的映射表。
编码器和解码器使用映射表的方法如下所述。例如，通过使用映射表，编码器生成具有标签的NALU，如在本发明第一或第二实施例中提及的格式一样。然后，解码器通过使用映射表和NALH中的标签标识出NALU的可扩展层。余下的载荷被发送到与标签标识出的层相适应的解码器模块。
图6是作为本发明实施例的SVC解码器结构的框图。在下文中，尽管使用SVC标准的例子来解释本发明，但是对本领域技术人员来说很明显，本发明的实施例可以应用于其它类型的编码器(例如，MVC编码器)。
在图6中，SVC编码器100包括视频编码模块110和NALU发生器120。尽管在图6中视频编码模块110和NALU发生器120被描述为独立的模块，它们根据它们的功能而在逻辑上分离，但是它们可以或者独立地或者在一个机体里实现。并且，即使仅有视频编码模块和NALU发生器被包括在图6中，SVC编码器的其它模块被忽略，因为它们与这里的说明无关。
视频编码模块被用于执行编码过程(变换和数量化等)以从原始图像生成经编码数据，从而满足SVC标准。SVC编码模块包括基本层编码模块以及多个增强层编码模块。作为编码的结果，视频编码模块还产生代表NAL类型、用于空间可扩展级别的Dependency_id(D)、用于时间可扩展级别的Temporal_level(T)、以及用于质量可扩展级别的Quality_level(Q)的信息。
NALU发生器是通过使用由视频编码模块给予的关于NALU类型、D、T、和Q的信息来生成NALU的模块。此时，NALU的优先级可以被定义。对于D、T和Q的组合可以定义不只一个优先级。NALU发生器120可以生成图4或5中描述的格式下的NALU。为此，NALU发生器包括NALU发生器120、映射模块122和NALU构成器124。
映射模块122用来根据P、D、T和Q值决定SNALH的标签。为了决定标签，映射模块122使用存储的映射表或者使用为视频序列或视频会话有条件地生成的映射表。并且，NALU构成器124通过使用视频编码模块110提供的经编码数据和映射模块122给出的标签来构成NALU，如图4或5所述的那样。所生成的NALU连同或者不连同映射表(或者标识映射表的信息)被发送或被存储在存储器中。
图7是作为本发明实施例的MANE(媒体意识网络元件)的框图。MANE包括NALU抽取器(分组抽取器或位流抽取器)，该NALU抽取器决定是否转发NALU(或者分组位流)。上面提到的NALU抽取器位于网络中间。并且NALU抽取器抽取并转发满足特定条件(在SVC的所有层中，由接收器请求的某些层)的NALU。在图7中，作为本发明实施例的NALU抽取器200包括标签解析器210和转发决定模块220。
标签解析器210从接收自编码器的NALU(具有图4或5中的格式)解析出标签。因此，作为本发明的实施例，标签解析器210不需要解析NAL类型、用于空间可扩展级别的Dependency_id(D)、用于时间可扩展级别的Temporal_level(T)、以及用于质量可扩展级别的Quality_level(Q)的信息。
转发决定模块220基于其抽取表和标签解析器210解析出的标签决定是否转发每个NALU。抽取表是这样的标签表，通过该标签表，位流(NALU)被允许转发。因此，作为本发明实施例的抽取器不需要解析每个NALU的P、D、T和Q值，相反，通过仅使用标签和抽取表，可以决定是否转发对应的NALU。对于每个标签，关于是否转发的信息可以由一个位来指示。
抽取表可以从服务器接收，或者可以在NALU抽取器(例如，MANE)中构建。抽取表中的标签可以对应于编码器中的映射表中的标签。根据网络、终端和/或用户的多种条件，可以使用不只一个抽取表。此外，对于多播会话，在网络中的不同分支中可以使用不同的NALU抽取器。
图8是作为本发明实施例的MANE中的过程的方框图。这些过程是MANE用来决定是否转发NALU(或者分组位流)的过程。如图8中所示，NALU抽取器从每一个接收到的或者获取到的NALU抽取标签。并且，其观察在抽取表中用于解析出的标签值的抽取指示符是否为“1”(S22)。这里，如果抽取指示符为“1”，则转发对应的NALU；而如果抽取指示符为“0”，则丢弃对应的NALU。因此，作为本发明的实施例，在步骤S23中丢弃对应的NALU，而在步骤S24中将对应的NALU转发给后面的用于该解码器的网络实体。
图7和图8示出了在网络中间的实体中进行NALU抽取的设备和方法。然而，通常情况下，媒体数据作为分组流或者仅仅是不同于NALU流的位流，在某些有线和无线网络上传输。在这种情况下，上述标签可以包含在分组头或者位流中。而且，如MANE等网络实体从分组头或者位流解析出标签，以决定是否转发。
图9是解码器用来解析具有图4或5中定义格式的NALU的流程图。在图9中，解码器从接收自传输网络的或者获取自所存储内容的每个NALU解析出(S31)标签。例如，解码器通过解析NALU中的SNALH来读取标签值。而且，通过使用上述的映射表，解码器查看(S32)对应于解析出的标签值的D、T和Q值。该映射表可以与NALU一起被接收或者可以是已经存储在解码器中。而且，该解码器将NAL载荷转发给与D、T和Q值相对应的视频解码模块。每个视频解码模块对进来的经编码数据，即NAL载荷，进行解码(S33)。
作为本发明的另一个实施例，除了解码模块，解码器还可以具有图7中解释的另一NALU抽取器。在这个情况中，解码器只解码被NALU抽取器所允许的NALU。
下面从不同的视角来解释本发明上述的实施例。
<NALH压缩法>
在临时视频会话过程中，或者当存储视频序列时，按JVT标准的每一个3～5字节长的NALH被映射并被SNALH(缩短的NALH)取代。在编码器和解码器中使用同样的映射表。当存储经编码的视频序列时，映射表也要被存储。
作为本发明的实施例，为了适应性地控制QoS，MANE应该具有用于依据NALU标签进行抽取的抽取表。该抽取表可以从服务器或者客户获取，或者在MANE中由其本身构建。如果MANE本身构建了抽取表，那么MANE就应该具有上述的映射表。按照根据本发明实施例的NALU格式，如果视频会话或者存储的视频序列由具有相同P、D、T、Q值的有限NALU组构成，则一组P、D、T和Q值被一个标签取代。例如，组数小于250，每一组的指示符可以压缩成8位。
例如，假定用3个空间可扩展层对视频序列编码，每个层被扩展成2个时间可扩展层，每个时间可扩展层被扩展成4个质量层。于是，有24(3×2×4)个不同的层，这些层可以用24个不同的标签标识。
如果一个层是由具有不同priority_ID的两个NALU流构成的，则这个层需要2个不同的标签。这里，“相同层的流”指的是具有相同dependency_ID、temporal_level和quality_level(简言之，DTQ)的NALU的流。相反，如果P值用于不同DTQ组，则每组应该有其自己的标签。
编码器和解码器应该具有标签和DTQ组之间的映射表。即使可以任意地构建标签，如果可能的话，最好使标签表示没有映射表的H.264/AVC标准的DTQ值。
1字节长的SNALH
在临时的视频会话过程中，或者当存储视频序列时，如果层数(或者NALH的组数)是有限的，则同样数量的标签被确定并被用作SNALH。根据实施例，在数量小于250的假设下，NALH可以被压缩成8位。1字节长的SNALH的实施例表示在图4中。
2字节长的SNALH
为了保持同H.264/AVC标准的兼容性，第一字节与2006年1月时的标准中第一字节相同。其余的NALH字节被压缩成一个字节长的标签。2字节长的SNALH的实施例表示在图5中。
SNALH的拓展用途
“SNALH的拓展用途”是指在不同于本发明上述实施例的各种目的下使用SNLAH。有“NALH拓展”、“可扩展方法拓展”、“媒体拓展”和“协议拓展”。
“NALH拓展”法保持传统的NALH格式并增加SNALH。即，在图4和图5中，标签被附加在具有完整NALH的传统NALU的前面。根据这个方法，即使NALH由于增加了SNALH而变得更大，人们也能够通过降低解码器和MANE中的复杂性来享受SNALH的优点。
“可扩展方法拓展”是指允许比传统标准更多的DTQ组合。由于按传统标准用3、3、2位来代表D、T、Q，所以，可能的层数分别是8、8、4。根据本发明的实施例，由于标签是由映射表定义的，所以，如果参与服务的实体都同意，则层数可以自由拓展。
“媒体拓展”是指将本发明实施例提出的标签应用于视频流之外的媒体流，例如音频流。在MVC(多视角视频编码)会话中，标签可被分配给各视角。此外，标签可被分配给用于各个视角或者层的FEC(转发擦除校正，Forward Erasure Correction)分组流。如果网络是分组有损型(packet-lossy)的，则奇偶分组流被转发，而在无损网络中它们被丢弃。
“协议拓展”是指将上述标签应用于其他协议，并进行或者不进行轻微修改。作为实施例，图4或者5中的SNALH可以被复制到IPv6头中20位长的流标签以及MPLS中的标签字段。
保证对H.264/AVC兼容性的方法
图5中的SNAL兼容于H.264/AVC标准。如果如图10所示只使用了14个标签，则图4中的SNALH变成与H.264/AVC标准兼容。如果对于与H.264/AVC相关的14种NAL类型，NRI和F值是固定的，则14个标签被确定。所以，上述14个标签之外的标签应该用于SVC流之外的流。
对SEI消息的兼容性
通过使用SEI(补充增强信息)消息传送的Scalability_info和layer_ID可以用作标签。在这个情况中，编码器和解码器不需要另外的标签。
<编码器的实现>
解码器应该被告知编码器使用了SNALH这个信息。该信息可以通过使用SPS(序列参数集)进行通知。在存储经编码序列的情况中，使用了SNALH的这个信息应该被存储。
存储和传输标签映射表
标签被分配的个数与视频流中辨别出的流(NALU组)的数量一样多。将流映射到标签的关系被构建为映射表。映射表被构建为将全部或者部分NALH组分配给标签。作为实施例，这个信息可以通过使用SPS或者PPS(图像参数集)被传递给解码器。作为实施例，标签可以是SVC层或者MVC视角的序列号。
NALH的产生
在每一个NALH中，传统长度的NALH被SNALH取代。
<解码器的实现>
解码器应该被通知编码器使用了SNALH这个信息。该信息可以通过使用SPS进行通知。在播放经编码序列的情况中，使用了SNALH这个信息应该被读取并正确解析。
构建标签映射表
在解码器初始化过程中，编码器给出的映射被读取。解码器初始化视频解码模块的个数与要进行解码的流的数量一样多，并分别建立与标签的关系。这时，SVC层和MVC视角之间的引用关系也被建立起来。
NALU处理
一旦接收到NALU，解码器就解析图4或图5中那样的SNALH，并将NALU的载荷存储在对应解码模块的缓存中。按照传统标准，由于在解析并评估D、T、Q值之后解码模块的决定变为可能，所以，传统标准比本发明复杂得多。进行决定的算法描述在图11中。图11示出，解码器只是通过评估SNALH中的单个标签，而没有使用传统NALH的D、T、Q等多个值，就能传送该载荷给正确的解码模块。
<MANE(媒体意识网络元件，Media Aware Network Element)的实现>
根据本发明的实施例，当MANE决定它转发哪些流时，MANE依赖于它的抽取表。因此，根据本发明的实施例，MANE无需评估P、D、T、Q值，而是通过使用抽取表中用于每个标签的1位信息来决定是否丢弃。这个抽取表是从服务器或者客户接收到的，或者是在MANE中产生的。MANE可以具有一个以上的抽取表，与网络、终端和用户的差别条件一样多。对于多播会话，不同的抽取表被放置在图12所示的网络分支中。图12示出的是，3个MANE分别具有3个不同的抽取表。这是一个例子。为了简化起见，标签被表示为4位长的值，而且有4个不同的流。例如，在MANE3中，带有标签0101的NALU被丢弃，而带有标签1101、0111和0001的NALU被转发。
抽取表的构建
在视频会话的初始化期间，MANE接收服务器使用SNALH这个信息。为了构建抽取表，MANE可以从服务器或者客户接收抽取表，或者可以通过使用从智能路由器或者无线网络基站接收的控制信息自己生成抽取表。要转发的层或者视角的类型和范围，由用户偏好、终端能力和网络条件确定。终端能力包括显示分辨率和允许的信道带宽。甚至在服务会话过程中，抽取表中的抽取策略也可以在用户偏好、终端能力和网络条件随时间改变时被适应性地修改。这样的决定策略可取地是从服务器接收的。服务器可以向NAME发送修改后的抽取表。
作为图12中的例子，在对于4个不同层有4个标签的情况下，服务器向位于通向HDTV终端路线上的MANE1发送1111，使得具有所有标签的NALU都被转发，而服务器向位于通向移动电话路线上的MANE2发送0001，使得只有对应于最低层即基本层的带标签0001的NALU被转发。同时，服务器向位于通向膝上型计算机路线上的MANE3发送0111，使得具有3个最低的标签的NALU被转发。根据本发明的实施例，最重要位的位“0”或“1”值指示带有最高标签的NALU是否被转发，等等。
希望的是，如果在服务会话过程中客户请求改变服务级别，则服务器发送修改后的抽取表。希望的是，如果信道(或者网络)条件被改变一定数量，则MANE修改抽取表。但是，如果MANE没有足够智能来进行修改，则监视信道条件(可用比特率，分组损耗率)的服务器或者客户将修改后的抽取表发送给MANE。
抽取过程
如果使用SNALH，则MANE基于SNALH中的标签决定抽取。但是，这种方法造成L3(网络层)路由器要处理象视频数据等应用层的负担，损害了协议层之间的独立性原则。因此，希望将上述标签插进IPv6头中的流标签中，使得路由器只评估IP头来决定抽取。
图3和图8比较了传统方法和本发明实施例之间的抽取决定过程。如图3和图8所示，按照传统方式，NALU抽取是基于4个值决定的，而在本发明中，只基于一个标签决定。
更详细地，对于SVC，如果如图3所示使用传统方法，则4个值(P、D、T、Q)被解析并被使用，用于进行4步骤抽取决定；而如果如图8所示使用本发明的方法，则不管值的含义如何，MANE都基于一个值即每个NALU的标签，机械地决定抽取。在图8中，步骤S22是一个使用函数B＝map[label1]决定抽取的例子，这样，如果值“B”是1，则带标签1的NALU被转发；而如果值“B”是0，则带标签1的NALU被丢弃。
用于IPv6标签交换的OoS控制
当我们传输通过使用MPEC-2或者H.264编码的视频数据时，视频分组的重要性相互间是不同的。为了有效控制视频服务的质量。人们应当辨别视频分组重要性的不同。IPv6路由器辨别分组交换模态和标签交换模态等两种不同模态中的不同。就分组交换情况而言，为了选择对应分组的预定义服务策略，路由器应该读取目的地地址、源地址、目的地端口号、源端口号和协议等5元组(turple)。5元组表示为图13中的阴影区域。这样做使得每个分组的处理时间长，并且损害了网络协议层之间的独立性原则，因为端口号是传输层的问题。
根据本发明的实施例，使用标签交换来解决这个问题。在会话初始化期间的过程中，临时标签被分配，并仅用于该会话。该标签被插进作为图14中阴影区域的流标签中。根据该方法，通过仅仅评估IPv6头中的流标签，IPv6能够识别其中包含每个分组的会话以及每个分组的重要性。这个方法类似于ATM(异步传输模式)或者MPLS(多协议标签交换)的分组路由(或交换)方法。
标签交换中的标签包括针对每个分组流的路径信息和资源信息。在呼叫建立后，每个分组的路径和重要性通过使用标签来标识。传统的分组交换要求路由器读取大约600位(包括IPv6头和视频层头)，而根据本发明的实施例，路由器可以通过评估20位长的流标签来标识出路径和重要性。
图15示出了作为本发明实施例的IPv6头中的流标签的例子。根据图15，8位长的路径标识符被从第5位插进20位中，而8位长的资源标识符(SNALH)被从第13位插进20位。资源标识符能够被SNALH取代。如果视频会话包括重要性不同的多个分组流，则路径标识符都是相同的，而资源(或者重要性)标识符在各流间彼此不同地分配。
标签交换
在沿着传输路径包括多个MANE的架构中，每个MANE中使用的标签可能是不同的。在这个情况下，在前的MANE可能就其标签与随后的MANE使用的标签交换。这种交换可以在服务器中在传输之前、在解析每个NALU之后进行。
参照仅仅是示例性的实施例对本发明进行了解释。对于本领域技术人员清楚的是，在本发明中可以作出各种修改和变型，而不会超出本发明的精神或者范围。因此，想要说的是，本发明覆盖了这个发明的修改和变型，只要这些修改和变型落入了权利要求及其等同物的范围内。
工业实用性
本发明在包含视频编码和解码的图象处理领域是有用的。而且，本发明还能用于经过通信网络等等传输经编码视频，尤其是，本发明对于分组交换网络是有用的。

Claims (14)

1.一种构成网络提取层单元的方法，所述网络提取层单元包括网络提取层头，即NALH，和NAL载荷，其中所述NALH包括指示经编码数据的重要性的标签，所述NAL载荷包括所述经编码数据，其中所述标签是基于层信息的组合确定的，所述层信息的组合包括所述经编码数据的优先级中的至少一个、空间可扩展级别中的至少一个、时间可扩展级别中的至少一个、以及质量可扩展级别中的至少一个。
2.如权利要求1所述的方法，其中所述NALH包括指示所述网络提取层单元的类型的字段，或者所述层信息还包括指示所述网络提取层单元的类型的字段。
3.如权利要求1所述的方法，其中所述NALH还包括多个字段，所述多个字段中的每个分别指示所述经编码数据的所述优先级、所述空间可扩展级别、所述时间可扩展级别、以及所述质量可扩展级别。
4.一种用于对输入视频进行编码的方法，所述方法包括下述步骤：
在多个编码模块中根据所述输入视频的层信息，从所述输入视频生成多个层的经编码数据流；
基于所述层信息，将用于标识层的标签映射到所述多个层中所述经编码数据所对应的层；以及
生成网络提取层单元，所述网络提取层单元包括具有标签的NALH以及具有所述经编码数据的NAL载荷，
其中所述层信息代表所述经编码数据的空间可扩展级别、时间可扩展级别和质量可扩展级别的组合。
5.如权利要求4所述的方法，其中映射表在映射所述标签的步骤中被使用，其中在所述映射表中，唯一的标签被映射到空间可扩展级别、时间可扩展级别和质量可扩展级别的组合中的每一个。
6.一种在包括多个解码模块的解码器中处理网络提取层单元的方法，
每个网络提取层单元包括网络提取层头，即NALH，和NAL载荷，其中所述NALH包括指示经编码数据的重要性的标签，所述NAL载荷包括所述经编码数据，以及
所述解码器基于所述网络提取层单元的标签确定所述多个解码模块中的 哪一个解码模块被用来处理所述网络提取层单元。
7.如权利要求6所述的方法，其中所述标签是基于所述经编码数据的空间可扩展级别、时间可扩展级别和质量可扩展级别的组合确定的值。
8.一种根据经编码数据的层信息确定是否在网络的中间节点中转发分组的方法，
所述分组中的每个包括网络提取层头，即NALH，和NAL载荷，其中所述NALH包括指示经编码数据的重要性的标签，所述NAL载荷包括所述经编码数据，
所述网络中间节点从分组抽取所述标签，并且基于所抽取的标签决定是否转发所述分组，并且所述层信息代表所述经编码数据的空间可扩展级别、时间可扩展级别和质量可扩展级别的组合。
9.如权利要求8所述的方法，其中所述网络中间节点包括媒体意识网络元件，即MANE。
10.如权利要求8所述的方法，其中所述网络中间节点使用抽取图确定是否转发所述分组，并且所述抽取图具有指示根据所抽取的标签在预定条件下是否转发所述分组的信息。
11.如权利要求10所述的方法，其中所述抽取图的信息由每个标签1个位来表示。
12.如权利要求10所述的方法，其中所述预定条件包括网络相关条件、终端相关条件和用户相关条件中的至少一种，所述网络相关条件包括信道条件。
13.如权利要求10所述的方法，其中所述抽取图由服务器在服务的开始或者在服务的中间发送。
14.如权利要求8所述的方法，其中所述网络中间节点包括具有IPv6协议的IPv6路由器，所述分组是IPv6分组，并且所述标签被插入所述IPv6分组的头内的流标签中。 
CN200880000151XA 2007-01-12 2008-01-11 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置 Active CN101543018B (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR1020070003809 2007-01-12
KR10-2007-0003809 2007-01-12
KR20070003809 2007-01-12
KR1020070005162 2007-01-17
KR10-2007-0005162 2007-01-17
KR20070005162 2007-01-17
KR20070007119 2007-01-23
KR1020070007119 2007-01-23
KR10-2007-0007119 2007-01-23
PCT/KR2008/000203 WO2008085013A1 (en) 2007-01-12 2008-01-11 Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, qos control algorithm and apparatus for ipv6 label switching using the format

Publications (2)

Publication Number Publication Date
CN101543018A CN101543018A (zh) 2009-09-23
CN101543018B true CN101543018B (zh) 2012-12-26

Family

ID=39608851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880000151XA Active CN101543018B (zh) 2007-01-12 2008-01-11 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置

Country Status (5)

Country Link
US (9) US9344362B2 (zh)
EP (3) EP3484123A1 (zh)
KR (2) KR101468082B1 (zh)
CN (1) CN101543018B (zh)
WO (1) WO2008085013A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
AU2003277198A1 (en) 2002-10-05 2004-05-04 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
JP4773356B2 (ja) 2003-10-06 2011-09-14 デジタル ファウンテン， インコーポレイテッド 単一の送信機または多数の送信機を有する通信システムのためのエラー訂正マルチステージ符号生成器および復号器
CN103124182B (zh) 2004-05-07 2017-05-10 数字方敦股份有限公司 文件下载和流系统
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
JP5027305B2 (ja) 2007-09-12 2012-09-19 デジタル ファウンテン， インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
US8363548B1 (en) * 2008-12-12 2013-01-29 Rockstar Consortium Us Lp Method and system for packet discard precedence for video transport
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US8719309B2 (en) * 2009-04-14 2014-05-06 Apple Inc. Method and apparatus for media data transmission
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
KR101757771B1 (ko) * 2009-12-01 2017-07-17 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
JP6067378B2 (ja) * 2010-01-28 2017-01-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 再送決定する方法及び装置
CN106100803A (zh) * 2010-01-28 2016-11-09 汤姆森特许公司 用于作出重发决定的方法和装置
US20130003579A1 (en) * 2010-01-28 2013-01-03 Thomson Licensing Llc Method and apparatus for parsing a network abstraction-layer for reliable data communication
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US8929198B2 (en) * 2010-11-03 2015-01-06 Broadcom Corporation Vehicle network link module
AU2012205650B2 (en) * 2011-01-14 2016-08-11 Vidyo, Inc. Improved NAL unit header
KR101744355B1 (ko) * 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR20120084202A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
EP2745477B1 (en) * 2011-08-18 2016-04-27 VID SCALE, Inc. Methods and systems for packet differentiation
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US20140344470A1 (en) * 2011-11-23 2014-11-20 Electronics And Telecommunications Research Institute Method and apparatus for streaming service for providing scalability and view information
KR101995221B1 (ko) * 2011-11-24 2019-07-16 삼성전자주식회사 통신 시스템에서 패킷 송수신 장치 및 방법
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9414085B2 (en) 2012-01-20 2016-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Sub-bitstream extraction
KR102047492B1 (ko) * 2012-03-12 2019-11-22 삼성전자주식회사 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
WO2013187698A1 (ko) * 2012-06-12 2013-12-19 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US9635369B2 (en) * 2012-07-02 2017-04-25 Qualcomm Incorporated Video parameter set including HRD parameters
TWI458317B (zh) * 2012-07-02 2014-10-21 Chunghwa Telecom Co Ltd According to the home network equipment distribution IPv6 first code and do QoS control and traffic shunt system and methods
WO2014007596A1 (ko) * 2012-07-06 2014-01-09 삼성전자 주식회사 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9485508B2 (en) 2013-04-08 2016-11-01 Qualcomm Incorporated Non-entropy encoded set of profile, tier, and level syntax structures
KR102067231B1 (ko) 2013-07-15 2020-01-17 지이 비디오 컴프레션, 엘엘씨 네트워크 장치 및 오류 처리
US9825884B2 (en) 2013-12-30 2017-11-21 Cavium, Inc. Protocol independent programmable switch (PIPS) software defined data center networks
US20160330459A1 (en) * 2014-01-03 2016-11-10 Samsung Electronics Co., Ltd. Method for encoding video and apparatus therefor, and method for decoding video and apparatus therefor using effective parameter delivery
CN103825820B (zh) * 2014-01-22 2018-03-30 汉柏科技有限公司 一种基于IPv6流标签的QoE管理方法
US10616380B2 (en) 2014-06-19 2020-04-07 Cavium, Llc Method of handling large protocol layers for configurable extraction of layer information and an apparatus thereof
US9635146B2 (en) 2014-06-19 2017-04-25 Cavium, Inc. Method of using bit vectors to allow expansion and collapse of header layers within packets for enabling flexible modifications and an apparatus thereof
US9516145B2 (en) * 2014-06-19 2016-12-06 Cavium, Inc. Method of extracting data from packets and an apparatus thereof
US9516147B2 (en) 2014-10-30 2016-12-06 Microsoft Technology Licensing, Llc Single pass/single copy network abstraction layer unit parser
US20160330453A1 (en) * 2015-05-05 2016-11-10 Cisco Technology, Inc. Parameter Set Header
KR101687115B1 (ko) * 2015-09-09 2016-12-15 한국과학기술원 통신 시스템의 암호화 패킷 전송 방법
KR102207453B1 (ko) * 2015-10-30 2021-01-25 에스케이텔레콤 주식회사 Mmt 패킷 구성 장치 및 mmt 패킷 구성 방법
WO2017190329A1 (zh) * 2016-05-05 2017-11-09 华为技术有限公司 视频业务的传输方法和装置
WO2018117280A1 (ko) * 2016-12-19 2018-06-28 엘지전자(주) 네트워크 장치 및 네트워크 장치의 큐 관리 방법
CN107391527B (zh) * 2017-03-28 2020-03-27 创新先进技术有限公司 一种基于区块链的数据处理方法及设备
US10798145B1 (en) 2017-04-25 2020-10-06 Benjamin J. Garney Analyzing data streams
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
US11444877B2 (en) * 2019-03-18 2022-09-13 At&T Intellectual Property I, L.P. Packet flow identification with reduced decode operations
US11824653B2 (en) 2021-12-17 2023-11-21 Lenovo (Singapore) Pte. Ltd. Radio access network configuration for video approximate semantic communications
US11917206B2 (en) 2021-12-17 2024-02-27 Lenovo (Singapore) Pte. Ltd. Video codec aware radio access network configuration and unequal error protection coding
US20230199198A1 (en) * 2021-12-17 2023-06-22 Lenovo (Singapore) Pte. Ltd. Video codec importance indication and radio access network awareness configuration

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1822569A (zh) * 2005-02-14 2006-08-23 三星电子株式会社 用于处理多协议标记交换分组的设备和方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100211055B1 (ko) * 1996-10-28 1999-07-15 정선종 내용기반으로 분할된 영상객체들의 스케러블 전송방법
EP1107520A1 (en) * 1999-12-06 2001-06-13 Telefonaktiebolaget Lm Ericsson Method and arrangement in a communication network
JP2002198994A (ja) * 2000-12-26 2002-07-12 Nec Corp Ｇｆｐフレーム転送装置およびｇｆｐフレーム転送方法
FI115687B (fi) * 2002-04-09 2005-06-15 Nokia Corp Pakettidatan siirtäminen langattomaan päätelaitteeseen
JP2004056169A (ja) * 2002-07-16 2004-02-19 Matsushita Electric Ind Co Ltd 画像データ受信装置、画像データ送信装置
CN1729530A (zh) * 2002-12-20 2006-02-01 皇家飞利浦电子股份有限公司 用于划分光盘的用户存储空间的方法,具有已划分存储空间的光盘,以及用于存储信息的方法和装置
CN100568964C (zh) * 2003-02-18 2009-12-09 诺基亚有限公司 图像解码方法
JP3924787B2 (ja) * 2003-02-27 2007-06-06 ソニー株式会社 記録装置、ファイル管理方法、ファイル管理方法のプログラム、ファイル管理方法のプログラムを記録した記録媒体
JP2005229587A (ja) * 2004-01-15 2005-08-25 Matsushita Electric Ind Co Ltd 多重化方式変換装置
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US7657056B2 (en) * 2004-06-05 2010-02-02 Samsung Electronics Co., Ltd. Apparatus for identifying a photographer of an image
CN100362782C (zh) * 2004-08-24 2008-01-16 华为技术有限公司 对丢失数据单元进行恢复的方法
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
US7383278B2 (en) * 2004-12-20 2008-06-03 Microsoft Corporation Systems and methods for changing items in a computer file
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US20060256863A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
KR20080006609A (ko) * 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링
RU2377735C2 (ru) * 2005-04-13 2009-12-27 Нокиа Корпорейшн Способ, устройство и система для эффективного кодирования и декодирования видеоданных
US20060256723A1 (en) * 2005-05-16 2006-11-16 Hellenthal Jan W Scheduling incoming packet traffic on an output link of a network device associated with a data network
EP1773063A1 (en) * 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US8184153B2 (en) * 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
US7974517B2 (en) * 2005-10-05 2011-07-05 Broadcom Corporation Determination of decoding information
AU2007204168B2 (en) * 2006-01-11 2011-02-24 Nokia Technologies Oy Backward-compatible aggregation of pictures in scalable video coding
US7715397B2 (en) * 2006-09-21 2010-05-11 Sprint Communications Company L.P. Data communications method and structure
US7983170B2 (en) * 2006-12-19 2011-07-19 Citrix Systems, Inc. In-band quality-of-service signaling to endpoints that enforce traffic policies at traffic sources using policy messages piggybacked onto DiffServ bits
US8537659B2 (en) * 2006-12-20 2013-09-17 Apple Inc. Method and system for reducing service interruptions to mobile communication devices
JP5188870B2 (ja) * 2008-04-28 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 基地局、移動局及び周波数分割多重通信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1822569A (zh) * 2005-02-14 2006-08-23 三星电子株式会社 用于处理多协议标记交换分组的设备和方法

Also Published As

Publication number Publication date
US20200389400A1 (en) 2020-12-10
US20210250290A1 (en) 2021-08-12
US9344362B2 (en) 2016-05-17
US20240073134A1 (en) 2024-02-29
KR20140133491A (ko) 2014-11-19
KR101468082B1 (ko) 2014-12-03
EP3484123A1 (en) 2019-05-15
US20180083875A1 (en) 2018-03-22
US20210385160A9 (en) 2021-12-09
US10728148B2 (en) 2020-07-28
KR20080066624A (ko) 2008-07-16
EP1994721A1 (en) 2008-11-26
US20150043591A1 (en) 2015-02-12
WO2008085013A1 (en) 2008-07-17
US20210250289A1 (en) 2021-08-12
EP1994721A4 (en) 2013-09-25
EP3041195A1 (en) 2016-07-06
US11374861B2 (en) 2022-06-28
KR101478280B1 (ko) 2014-12-31
US9853893B2 (en) 2017-12-26
US20090175353A1 (en) 2009-07-09
US20210250291A1 (en) 2021-08-12
US20240073133A1 (en) 2024-02-29
US11743185B2 (en) 2023-08-29
US11848864B2 (en) 2023-12-19
CN101543018A (zh) 2009-09-23

Similar Documents

Publication Publication Date Title
CN101543018B (zh) 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置
CN101390399B (zh) 可伸缩视频编码中的图片的后向兼容聚合
CN101622879B (zh) 以rtp净荷格式传输sei消息
CN104639943B (zh) 一种基于h.264编码标准的通用视频加密方法及系统
KR101131374B1 (ko) 비확장성 디코더와 호환성 있는 확장성 비디오 코딩/멀티플렉싱
US9553912B2 (en) Method and apparatus for transmitting media content via a single port or multiple ports
CN101611612A (zh) 聚合媒体数据单元的向后兼容特性
KR102305410B1 (ko) 통신 시스템에서 패킷 송수신 방법 및 장치
CN101809967A (zh) 在分层多播中的编码应用数据单元顺序恢复
JP2014509473A (ja) マルチメディアデータパケットを送信する方法及び装置
CN103650502A (zh) 用于参考画面管理的编码器、解码器及其方法
US20060087970A1 (en) Method for encoding a multimedia content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant