CN103283248B - 具有开环统计复用器的svc至avc重写器 - Google Patents

具有开环统计复用器的svc至avc重写器 Download PDF

Info

Publication number
CN103283248B
CN103283248B CN201180061448.9A CN201180061448A CN103283248B CN 103283248 B CN103283248 B CN 103283248B CN 201180061448 A CN201180061448 A CN 201180061448A CN 103283248 B CN103283248 B CN 103283248B
Authority
CN
China
Prior art keywords
bit
layer
rate
stream
svc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180061448.9A
Other languages
English (en)
Other versions
CN103283248A (zh
Inventor
马克·R·马吉
苏克希·V·凯塔卡普扎
西恩·T·麦卡锡
韦恩·D·米切尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Andrew Wireless Systems UK Ltd
Original Assignee
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Instrument Corp filed Critical General Instrument Corp
Publication of CN103283248A publication Critical patent/CN103283248A/zh
Application granted granted Critical
Publication of CN103283248B publication Critical patent/CN103283248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于处理多个多层比特流的方法包括接收每个都具有基础层和至少一个增强层的多个多层比特流。从该多层比特流中的至少一个中整体地或部分地提取该一个或多个增强层，使得所述多个多层比特流在它们的总带宽方面被共同地减少。该多层比特流中的每一个都被重写为单层比特流。该单层比特流被复用以形成复用的单层比特流。

Description

具有开环统计复用器的SVC至AVC重写器
背景技术
使用流媒体服务器来支持有线电视、IPTV以及无线视频传输提出了许多挑战。例如，诸如标准清晰度（SD）和高清晰度（HD）机顶终端、个人计算机以及PDA和移动电话的不同客户端能够具有不同的显示器、功率、通信以及计算能力。成功的视频流系统需要能够将视频流传输到这些异构客户端。通过示例的方式，在有线电视和IPTV情况下，工业标准传输速率支持标准清晰度和高清晰度两者。因为在相同节目的SD与HD版本之间编码方面的差异，HD版本典型地在服务器上要求4-5倍较高的传输速率和4-5倍更多的存储空间。取决于节目的编码技术和长度，典型的传输速率对于SD节目编排范围在2-4Mbps之间，而对于HD节目编排传输速率范围在8-15Mbps之间，并且典型的文件存储要求对于SD来说范围从大约0.75-1.66GBytes/小时而对于HD来说为3-7GBytes/小时。与此相反，典型地支持低得多的网络接口传输速率和低得多的显示分辨率的无线装置具有约0.256-1Mbps的传输速率和100-400Mbytes/小时的文件存储要求。
用来在不用以不同的格式保持相同节目的多个文件的情况下支持各种各样的不同客户端装置的一个方式是采用可缩放编码技术。对于视频数据的编码，可缩放编码生成多个层，例如基础层和增强层。基础层典型地具有较低的比特率和较低的空间分辨率和质量，而增强层提高了基础层的空间分辨率和质量，从而要求较高的比特率。增强层比特流仅可与基础层相结合地解码，即它包含对被用来生成最后解码视频数据的经解码的基础层视频数据的引用。通过使用可缩放编码，单个文件能够被流式传输到具有不同能力的客户端装置。每个客户端装置然后能够仅解码它需要并且能够支持的那些层。
可缩放编码已被接受用于合并到被制定的视频编码标准中。特别地，H.264/AVC（AVC）视频编码标准的可缩放视频编码（SVC）扩展以空间、质量以及时间可缩放性为特征。与遗留解码装置的后向兼容性通过表示SVC比特流的最低质量的H.264/AVC兼容基础层而被维持。然而，常常期望还将较高质量层提供给遗留H.264/AVC装置。
流媒体服务器可以与统计复用技术结合地使用，以便将内容递送到客户端装置。在统计复用中，每个都包括压缩视频比特流的若干个节目被组合成单个复用的比特流，例如，以用于在单个信道上传输。当统计复用器组合多个比特流时，算法可以被用来适配每个流的比特率但输出复用器的总比特率可以被保持在恒定值。统计复用包含具有从复用器到编码器的反向消息路径的复用架构。这个也常常被称为闭环统计复用。闭环统计复用器典型地在成本上高于开环统计复用器，因为它们要求高性能编码器并且因此典型地仅被用来在服务许多订户的信道上传送比特流。开环统计复用器是不太昂贵的并且因此能够被用来在服务很小的一组订户的信道上传送比特流。
尽管使用SVC流和统计复用两者的内容的递送可以是非常有效的，但是它通常是不实用的，因为如上所指出的，大多数遗留客户端装置没有合并SVC解码器。而是，大多数遗留装置仅能够解码表示最低质量的SVC比特流的AVC兼容基础层。然而，常常期望还将较高质量层提供给遗留H.264/AVC装置。
虽然统计复用能够与AVC流一起被用来递送内容，但是这样的技术不提供能够由SVC流的使用引起的前述优点。此外，如果较低成本的开环统计复用器被用来复用AVC流，则仅能够实现效率方面的非常有限的增加，部分地因为AVC流已经被相对有效地编码了。特别地，在没有视频质量不可接受的降级的情况下，开环统计复用通常不能够将AVC流的比特率降低约10%以上。
发明内容
依照本发明，方法和设备被提供用于处理多个多层比特流。该方法包括：接收每个都具有基础层和至少一个增强层的多个多层比特流；从多层比特流中的至少一个中整体地或部分地提取一个或多个增强层，使得该多个多层比特流在它们的总带宽方面被共同地减少。该多层比特流中的每一个都被重写为单层比特流。该单层比特流被复用以形成复用的单层比特流。
依照本发明的另一方面，设备被提供用于统计地复用和重写可缩放的比特。该设备包括用于接收多个多层比特流的多个比特率提取单元。该比特率提取单元每个都被配置成从多层比特流中的至少一个中整体地或部分地提取一个或多个增强层，使得该多个多层比特流在它们的总带宽方面被共同地减少。多个多层至单层重写器被提供用于将从比特率提取单元接收到的多个多层比特流转换成多个单层比特流。复用器被提供用于复用单层比特流以形成复用的单层比特流。
依照本发明的另一方面，方法被提供用于处理多个多层比特流。该方法包括接收多个可缩放的比特流。一个或多个多层比特流的比特率被适配使得该多个可缩放的比特流共同地具有规定的比特率。具有所规定的比特率的多个可缩放的比特流被转换为多个非可缩放的比特流。该多个非可缩放的比特流被复用以提供复用的非可缩放的比特流。
附图说明
图1示出了能够被用来将视频以及其它内容和服务递送到与各种不同的客户端装置相关联的用户的架构的一个示例。
图2示出了图1中的统计复用重写器的一个示例。
图3是描绘了可以在图2的统计复用重写器中采用的重写器的一个示例的功能框图。
图4是图示了用于处理诸如可缩放视频编码（SVC）流的多个多层比特流的方法的一个示例的流程图。
具体实施方式
图1示出了能够被用来将视频以及其它内容和服务递送到与各种不同的客户端装置相关联的用户的架构200的一个示例，该客户端装置可以包括（不进行限制）PC、PDA、便携式计算机、媒体中心、便携式媒体播放器、移动电话以及机顶盒。在这个说明性示例中，示出了三个客户端装置：移动电话220、机顶终端230、以及个人计算机（PC）240。头端210经由IP网络270与客户端装置220、230以及240中的每一个通信。例如，移动电话220通过IP网络270和诸如GSM或UMTS网络的无线网络与头端210进行通信。机顶终端230通过IP网络270和混合光纤/同轴（HFC）260与头端210进行通信，而PC240通过IP网络270典型地经由因特网服务提供商（未示出）与头端210进行通信。当然，图1中所描绘的架构被呈现仅用于说明性目的。更一般地，各种多样的不同客户装置可以通过其它类型的网络与头端进行通信，该其它类型的网络包括例如全同轴、xDSL（例如，ADSL、ADLS2、ADSL2+、VDSL以及VDSL2)以及卫星系统。
头端210是网络运营商从其递送编排内容并将其它服务提供给客户端装置的设施。如下所述，头端210可以包括用于流传输由可缩放编码器212所编码的编排内容的流传输服务器215。术语“流传输”被用来指示表示媒体内容的数据通过网络而被提供给客户端装置并且内容的播放能够在该内容被整体地递送之前开始（例如，在按需基础上提供数据而不是在播放之前整体地预先递送数据）。
在常规布置中，头端维持并管理每个节目的多个副本。每个副本都包含对不同客户端装置的显示特性定制的节目的不同再现。当执行可缩放编码的可缩放编码器212被采用时，每个客户装置都可以接收由头端210所递送的相同的可缩放编码的传输流。遗憾的是，如先前提到的，SVC流中的增强层不能够由大多数遗留客户端装置解码。尽管如此，保持可缩放编码的许多优点的一个方式是通过将SVC流转换成AVC流，该AVC流能够由各种各样的遗留装置来解码。然而，在转换之前，SVC流可能需要被适配到较低比特率SVC流，使得它们能够被它们将在其上被传输的信道容纳，并且使得它们丢弃不能够由低能力的客户端装置所使用的任何增强层。这两个功能由从流传输服务器215接收SVC流的统计复用重写器（SMR）230来执行。也就是说，SMR230执行统计复用功能和SVC至AVC转换功能。
SMR230的一个示例在图2中被示出。关于其统计复用功能，SMR230接收单独地每个都具有规定比特率的一个或多个SVC流，并且以目标总输出比特率输出复用AVC流。SMR230通过对输入SVC流中的一个或多个进行转码来以开环方式实现目标输出比特率，使得共同地它们总的比特率对应于所期望的输出比特率。在执行其统计复用功能之后，SMR230然后将在下面被描述的过程中将SVC流转换为AVC流。
如图2中所示，SMR230包括提取级310和SVC至AVC重写级320。提取级310包括每个都接收SVC流的一系列比特流提取单元3121、3122、...312n。SVC至AVC重写级320包括一系列SVC至AVC重写器2321、2322、...232n，其每个都分别从比特率提取单元3121、3122、...312n中的相应一个接收比特流。提取级310执行统计复用而SVC至AVC重写级执行SVC至AVC转换。SMR230还包括用于确定将由比特率提取单元3121、3122、...312n分配给SVC流的带宽的比特率分配管理器340和包含分配管理器340在其分析中使用的信道信息的信道模型数据库330。复用器350复用从重写级接收到的AVC流以提供能够在网络中通过信道传送的复用AVC流。
首先转向SMR230的开环统计复用功能，在常规开环统计复用器中典型地通过完全地或部分地解码比特流并且再量化它来实现转码，以实现较低比特率。然而，在SMR230中对SVC流执行转码。如先前讨论的，可缩放编码采用基础层和一个或多个增强层。其中带有具有一个比特率的多个增强层的SVC流能够简单地通过从初始SVC流中截取足够的增强层或其部分而被适配为较低比特率的SVC流。SVC流的适配能够由提取级310中的比特率提取单元使用提取器过程从SVC流中提取具有特定平均比特率的子流来实现。
SMR230中的比特率提取单元3121、3122、...312n能够通过以各种不同的方式从可缩放编码视频流中截取适当的层来执行比特率适配。例如，提取单元能够检查传入的SVC流以确定分组ID（PID）类型、关键帧的位置、比特率以及其它相关信息。特别地，提取单元能够在被指配给携带基础层的分组的PID和被指配给包含每个增强层的分组的PID之间进行区分。以这种方式当SMR230正将内容递送到一个或多个特定客户端装置时，它能够丢弃具有指配给不是该客户端装置所需的增强层的PID的任何分组，或者它能够丢弃分组以实现较低比特率以适应诸如流通过其而被传输的信道的带宽限制的变化网络条件。
在其它实施方式中，比特率提取单元3121、3122、...312n可以从SVC流中提取单独的网络抽象层（NAL）单元，其是经编码的数据被组织到其中的基本单元。例如，SCV流的比特率能够通过丢弃不同的质量细化NAL单元来调整。在一个示例中，优先级标识符由编码器指配给每个编码片NAL单元。SVC语法提供用于将这样的信息包括在比特流中的不同手段。在提取过程期间，具有最低优先级的编码片NAL单元被丢弃，并且如果目标比特率未达到，则下一个优先级类别的编码片NAL单元被丢弃，依次类推，直到目标比特率被达到为止。关于这个技术的附加细节可以在I.Amonou等人“Optimizedrate-distortionextractionwithqualitylayers,”IEEETrans.CircuitsSyst.VideoTechnol.,vol.17,no.9,pp.1186-1193,Sep.2007中找到。
分配给被提取单元3121、3122、...312n接收到的每个流的比特率由包含在信道模型数据库330中的数据来确定。这个数据允许被客户端装置接收到的每个信道的容量和要求被估计。例如，信道模型数据库可以包括规定每个信道能够支持的流的数目、其最大比特率、流是组播还是单播、是否使用前向纠错（FEC）校正、流中的节目编排是优质内容还是非优质内容以及它是否是实况内容或视频点播内容等等的信息。
信道模型数据被发送到比特率分配管理器340。分配管理器340分析这个数据以确定每个提取单元将向SVC流指配的比特的适当分配。分配管理单元340将有关所分配的比特率的信息发送到提取单元中的每一个。该提取单元进而依照由分配管理器340所确定的分配来调整他们正接收的比特流的比特率。比特率分配管理器340可以以任何适当的方式将比特分配给每个流。在一个实施方式中，管理器340将刚好足够的比特分配给每个流使得感知视频质量对于所有流来说是相同的。这假定所有流都具有相同的优先级，当然情况并非总是如此。信道模型通常规定每个流的优先级。在某些流具有较高优先级的情况下，例如，如可能是针对优质信道的情况，则那些信道将趋于比较低优先级信道具有更好的质量。
当所有流具有相等或不同的优先级时，即使它们具有显著不同的复杂度，也可以使用以下模型。在这个示例中分配给流i的比特率Bi能够被确定如下：
B i = B T p i × c i Σ j = 1 N ( p j × c j )
其中
Bi=分配给流i的比特率。
BT=对流1至N的集合可用的总比特率。
pi=流i的优先级。
ci=流i的复杂度。
如先前所提到的，流的优先级可以为由信道模型所供应的数据。
流的复杂度可以通过源编码器作为元数据传送。它还可以由被采用的比特率分配模型内部地进行计算。复杂度是实现特定水平的感知质量所需的比特的数目的测量。用来测量复杂度的一个方式是测量以预定和恒定量化级对内容编码所需的比特的数目。用来测量复杂度的另一方式是测量流的平均量化值，并且测量在流中使用的比特的平均数目，以及将这些值输入到将量化值和比特的数目映射到复杂度值的预定查找表中。这个后面方法可以是比特率分配模型的一部分。
在提取单元已执行如上所述的比特率适配之后，SVC-AVC重写器320执行转换过程以有效地将SVC流转换为AVC流。这个转换过程能够由被称为比特流重写的过程来实现。比特流重写利用了SVC和AVC编解码器之间的相似性，使得比特流的完全转码不是必需的。
图3是描绘了可以作为图2的重写器2321、2322、...232n被采用的重写器的一个示例的功能框图。当然，这个示例被示出用于说明性目的并且更一般地还可以使用其它重写技术。在这个实施方式中基础层101和增强层103在SVC-AVC重写器100处被接收。基础层数据可以被逆量化105并且变换系数可以被缩放106以和增强层的特性匹配。在一些实施例中，经匹配的特性可以包括量化参数特性。增强层103也可以被逆量化111且被添加107到经缩放的基本残差系数以创建组合系数。这些组合系数然后可以被分析以确定150非零变换系数是否存在。如果非零变换系数存在，则在比特流中用信号发送的量化参数可以用于处理152图像的那个部分。如果非零变换系数不存在，则来自先前的或最后的图像部分的量化参数151可以用于处理图像的那个部分。
在一些实施例中，经组合的系数然后被逆变换110以产生空间域强度值。在一些实施例中，基础层信息可以在不需要它时被忽略。为了去除块效应或出于其它原因，空间域强度值然后可以被滤波112。这个滤波可以利用或者取决于参考非零变换系数而选择151、152的量化参数。
关于SVC-AVC重写的附加细节可以在JSVM（联合可缩放视频模型）软件手册版本JSVM9.19.9中找到，该软件手册是针对ISO/IEC运动图像专家组（MPEG）和ITU-T视频编码专家组（VCEG）的联合视频组（JVT）的可缩放视频编码（SVC）项目的参考软件。
在上面呈现的示例中统计复用重写器已被描述为位于递送节目编排内容的网络运营商的头端中。更一般地，应该注意的是，统计复用重写器可以位于遍布网络的任何地方。例如，统计复用重写器可以位于靠近网络的边缘或甚至在客户驻地上。以这种方式网络运营商能够存储内容的一个主版本并将其递送到其中因为不同的、有限的带宽能力和客户装置能力其比特率需要被适配的位置。例如，在可能限于比如说20Mbit/秒的带宽的客户驻地上，能够取决于被同时地再现在多个显示器上的不同节目的数目来调整内容的比特率。因此，当节目是正被再现的唯一节目时较高的比特率能够被分配给节目，而当两个或更多个节目正被再现时较低的比特率可以被分配给每个节目。
作为另一示例，服务几千客户的本地有线电视提供商可以使用其本地环路内的统计复用重写器来递送内容。在所有这些示例中，统计复用重写器能够以成本合算的方式被使用，而不管所牵涉的相对少量的客户，因为统计复用重写器使用开环统计复用并且因此部署比闭环复用装置会便宜很多。
在上面呈现的示例中统计复用重写器接收符合SVC标准的比特流并且输出符合AVC标准的复用比特流。然而，本文所述的方法和技术同样地适用于其它可缩放和非可缩放标准。因此，更一般地，统计复用重写器可以接收两个或更多个多层流并输出复用单层流。
图4是图示了用于处理多个多层比特流的方法的一个示例的流程图。方法在当多个多层比特流被接收到时的步骤410处开始。每个多层比特流都具有基础层和至少一个增强层。在步骤420中，待分配给流中的每一个的比特率被确定。可以在任何适当的基础上，诸如通过检查例如其值可能被存储在信道模型数据库中的一个或多个参数，来作出这个确定。在步骤430中从多层比特流中的至少一个中整体地或部分地提取一个或多个增强层，使得多层比特流的比特率遵照已作出的比特率分配而被适配。接下来，在步骤440中，多层比特流中的每一个都经历至单层比特流的重写过程。单层比特流在步骤450中被复用以形成复用的单层比特流，其随后能够通过网络信道来传送。
如本申请中所用的，术语“组件”、“模块”、“单元”、“系统”、“设备”、“接口”等通常旨在指代计算机相关的实体、或硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以为但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。通过图示的方式，在控制器上运行的应用和该控制器两者都可以是组件。一个或多个组件可以驻留在执行的进程和/或线程内，并且组件可以被定位在一个计算机上和/或分布在两个或更多个计算机之间。
此外，所要求保护的主题可以被实现为方法、装置或制品，该方法、设备或制品使用标准程序设计和/或工程技术来产生软件、固件、硬件或其任何组合以控制计算机实现所公开的主题。如本文所用的术语“制品”旨在包含可从任何计算机可读装置、载体或介质可访问的计算机程序。例如，计算机可读存储介质能够包括但不限于磁存储装置（例如硬盘、软盘、磁带）、光盘（例如，紧致盘（CD）、数字通用盘（DVD）....）、智能卡以及闪速存储器装置（例如，卡、棒、密钥驱动器...）。当然，本领域的技术人员将认识到，在不背离所要求保护的主题的范围或精神的情况下可以对这个配置进行许多修改。
尽管遍及本公开的全体具体地进行描述，但本发明的代表性实施例在广泛范围的应用上具有实用性，并且上述讨论不旨在且不应该被解释为限制性的，而是被作为本发明的方面的说明性讨论来提供。
已在本文中描述和图示的是本发明的实施例以及它们的变化中的一些。本文所用的术语、描述以及图被仅通过说明的方式阐述并且不意味着限制。本领域的技术人员将认识到，在本发明的精神和范围内许多变化是可能的，其中，本发明旨在由所附权利要求和它们的等同物来限定，其中，除非另外指示，否则所有术语意思是在它们最广的合理意义内。

Claims (5)

1.一种用于统计地复用和重写可缩放比特流的设备，包括：
多个比特率提取单元，所述多个比特率提取单元用于接收多个多层可缩放视频编码(SVC)比特流，所述比特率提取单元每个都被配置成从所述多层比特流中的至少一个中整体地或部分地提取一个或多个增强层；
比特率分配管理器，
其中，所述比特率分配管理器从视频服务提供商获得比特率分配管理参数，
其中，所述比特率分配管理器至少部分地基于所述比特率分配管理参数以及关于复用的单层非SVC比特流将在其上被传输的信道的信息，来确定待分配给所述多层比特流中的每一个的比特率；
存储数据库，其中，所述比特率分配管理参数被存储并且可被所述比特率分配管理器访问；
其中，所述比特率分配管理器以趋于在与由所述视频服务提供商指定的所述比特率分配管理参数一致的程度上跨节目使视频质量均等的方式产生同时节目的所述比特率分配；
多个多层至单层重写器，所述多个多层至单层重写器用于将从所述比特率提取单元接收到的所述多个多层比特流转换为多个单层比特流，
其中，所述重写器以与由所述比特率分配管理器确定的所述比特率分配一致的方式为每个节目选择所述增强层中的多个，
其中，所述重写器从所述多层比特流中的至少一个中整体地或部分地提取所述增强层中的一个或多个，使得所述多个多层比特流在它们的总带宽方面被共同地减少，并且使得所述增强层中的每一个中的每个节目以与所述比特率分配和所述比特率分配参数一致的方式被提供；
其中，所述重写器重写提取的增强层中的每一个以产生提取的增强层中的每一个的单层比特流；以及
复用器，所述复用器用于复用所述单层比特流以形成所述非SVC复用的单层比特流。
2.根据权利要求1所述的设备，还包括：
信道模型数据库，所述信道模型数据库用于存储关于所述比特流能够通过其被传送的信道的容量和要求的信息；以及
比特率分配管理器，所述比特率分配管理器用于至少部分地基于所述信道模型数据库中的所述信息来确定将由所述比特率提取单元提取的所述一个或多个增强层。
3.根据权利要求1所述的设备，其中，所述比特率提取单元被配置成在被指配给携带基础层信息的分组的分组ID类型和被指配给携带增强层信息的分组的分组ID类型之间进行区分。
4.根据权利要求1所述的设备，其中，所述多层比特流符合可缩放视频编码(SVC)标准，并且所述单层比特流符合高级视频编码(AVC)标准，并且其中，所述多个比特率提取单元在所述复用器复用所述单层比特流以前接收所述SVC比特流以形成非SVC复用的单层比特流。
5.根据权利要求2所述的设备，其中，所述比特率分配管理器至少部分地基于指配给流中的每一个的优先级将比特率分配给所述多层比特流中的每一个，使得具有普通优先级的多层比特流的每个都被分配了产生普通水平的感知质量所需的比特率。
CN201180061448.9A 2010-12-20 2011-11-21 具有开环统计复用器的svc至avc重写器 Active CN103283248B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/973,458 2010-12-20
US12/973,458 US9118939B2 (en) 2010-12-20 2010-12-20 SVC-to-AVC rewriter with open-loop statistical multiplexer
PCT/US2011/061676 WO2012087478A1 (en) 2010-12-20 2011-11-21 Svc-to-avc rewriter with open-loop statistal multplexer

Publications (2)

Publication Number Publication Date
CN103283248A CN103283248A (zh) 2013-09-04
CN103283248B true CN103283248B (zh) 2016-05-18

Family

ID=45094807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180061448.9A Active CN103283248B (zh) 2010-12-20 2011-11-21 具有开环统计复用器的svc至avc重写器

Country Status (8)

Country Link
US (2) US9118939B2 (zh)
EP (1) EP2656616A1 (zh)
KR (1) KR101501396B1 (zh)
CN (1) CN103283248B (zh)
BR (1) BR112013015576B1 (zh)
CA (1) CA2821685C (zh)
MX (1) MX2013007030A (zh)
WO (1) WO2012087478A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2824745A1 (en) 2009-09-26 2011-03-31 Disternet Technology Inc. System and method for micro-cloud computing
WO2011132883A2 (ko) * 2010-04-19 2011-10-27 엘지전자 주식회사 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
US9118939B2 (en) * 2010-12-20 2015-08-25 Arris Technology, Inc. SVC-to-AVC rewriter with open-loop statistical multiplexer
US20130318251A1 (en) * 2012-05-22 2013-11-28 Alimuddin Mohammad Adaptive multipath content streaming
US9345573B2 (en) 2012-05-30 2016-05-24 Neovasc Tiara Inc. Methods and apparatus for loading a prosthesis onto a delivery system
WO2014034463A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10165227B2 (en) * 2013-03-12 2018-12-25 Futurewei Technologies, Inc. Context based video distribution and storage
US9578342B2 (en) * 2013-06-24 2017-02-21 Dialogic Corporation Rate control algorithm for scalable video encoding with disposable P-frames
KR20160104678A (ko) * 2014-01-02 2016-09-05 브이아이디 스케일, 인크. Ｈｅｖｃ 확장 규격을 위한 서브 비트스트림 추출 프로세스
EP2894860A1 (en) * 2014-01-14 2015-07-15 Thomson Licensing Method and apparatus for multiplexing layered coded contents
WO2017020021A1 (en) * 2015-07-29 2017-02-02 Vid Scale, Inc. Scalable high efficiency video coding to high efficiency video coding transcoding
CN106412620A (zh) * 2015-07-31 2017-02-15 华为技术有限公司 一种码流发送方法及设备
US10225211B2 (en) * 2017-07-20 2019-03-05 Arris Enterprises Llc Statistical multiplexer with service priority weighting
US10778991B1 (en) * 2018-09-25 2020-09-15 Amazon Technologies, Inc. Adaptive group of pictures (GOP) encoding
AU2020318673A1 (en) * 2019-07-23 2022-03-03 Lazar Entertainment Inc. Live media content delivery systems and methods
CN111935436B (zh) * 2020-09-15 2021-02-19 杭州盖视科技有限公司 多视频流在播放端的无缝切换方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529911A (zh) * 2006-10-16 2009-09-09 夏普株式会社 用于对多层比特流数据进行信号指示的方法和系统
WO2010002420A1 (en) * 2008-07-01 2010-01-07 Thomson Licensing Network abstraction layer (nal)-aware multiplexer

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506844A (en) * 1994-05-20 1996-04-09 Compression Labs, Inc. Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth
US6795506B1 (en) * 1999-10-05 2004-09-21 Cisco Technology, Inc. Methods and apparatus for efficient scheduling and multiplexing
US6731685B1 (en) 2000-09-20 2004-05-04 General Instrument Corporation Method and apparatus for determining a bit rate need parameter in a statistical multiplexer
US6847656B1 (en) 2000-09-25 2005-01-25 General Instrument Corporation Statistical remultiplexing with bandwidth allocation among different transcoding channels
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US6959042B1 (en) 2001-10-01 2005-10-25 Cisco Technology, Inc. Methods and apparatus for measuring compressed video signals and applications to statistical remultiplexing
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US8767836B2 (en) 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
US8259793B2 (en) 2007-03-19 2012-09-04 Sony Corporation System and method of fast MPEG-4/AVC quantization
US8121191B1 (en) 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
US8908765B2 (en) 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
IT1394245B1 (it) * 2008-09-15 2012-06-01 St Microelectronics Pvt Ltd Convertitore per video da tipo non-scalabile a tipo scalabile
US20100091841A1 (en) * 2008-10-07 2010-04-15 Motorola, Inc. System and method of optimized bit extraction for scalable video coding
US20100150168A1 (en) 2008-11-17 2010-06-17 Chanchal Chatterjee Method and apparatus for multiplexing of digital video
US9118939B2 (en) * 2010-12-20 2015-08-25 Arris Technology, Inc. SVC-to-AVC rewriter with open-loop statistical multiplexer

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529911A (zh) * 2006-10-16 2009-09-09 夏普株式会社 用于对多层比特流数据进行信号指示的方法和系统
WO2010002420A1 (en) * 2008-07-01 2010-01-07 Thomson Licensing Network abstraction layer (nal)-aware multiplexer

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JSVM Software Manual;TELECOMMUNICATION UNION,Study Group 16;《ITU-T》;20091104;第44页至第48页，第2.5节 *
Statistical multiplexing using SVC;Marc Jacobs等;《Broadband Multimedia Systems and Broadcasting》;20080831;第1页至第6页，摘要、第3页、附图4 *

Also Published As

Publication number Publication date
MX2013007030A (es) 2013-09-13
US9118939B2 (en) 2015-08-25
CN103283248A (zh) 2013-09-04
US20120155554A1 (en) 2012-06-21
KR20130090929A (ko) 2013-08-14
US9674561B2 (en) 2017-06-06
EP2656616A1 (en) 2013-10-30
BR112013015576B1 (pt) 2021-12-14
CA2821685C (en) 2016-07-12
BR112013015576A2 (pt) 2016-10-04
CA2821685A1 (en) 2012-06-28
US20150326858A1 (en) 2015-11-12
WO2012087478A1 (en) 2012-06-28
KR101501396B1 (ko) 2015-03-10

Similar Documents

Publication Publication Date Title
CN103283248B (zh) 具有开环统计复用器的svc至avc重写器
CA2594118C (en) Distributed statistical multiplexing of multi-media
US9357248B2 (en) Method and apparatus for adaptive bit rate content delivery
CA2971859C (en) Multiple stream video compression in multiple bitrate video encoding
US8259735B2 (en) Constant bit rate video stream
US11663688B2 (en) Collusion attack prevention
KR102247976B1 (ko) 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법
CN115398481A (zh) 对图像执行人工智能编码和人工智能解码的设备和方法
CN105430510A (zh) 一种视频点播方法、网关、智能终端及视频点播系统
Gürler et al. Peer-to-peer system design for adaptive 3D video streaming
KR102176404B1 (ko) 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법
KR20210147830A (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
CN105791975A (zh) 多屏互动流媒体平台及系统
Kim et al. Bit-stream extraction to maximize perceptual quality using quality information table in SVC
CA2927653C (en) Cloud encoding system
Huo et al. Tree-structured multiple description coding for multiview mobile tv and camera-phone networks
Verza et al. Multiple description coding using data hiding and regions of interest for broadcasting applications
Baccaglini et al. A Distributed Video Streaming Platform Supporting Multiple Description Coding
Gao et al. Video Coding Optimization and Application System
Quinlan Efficient delivery of scalable media streaming over lossy networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: Georgia, USA

Patentee after: Ai Ruishi Technology Co.

Address before: American Pennsylvania

Patentee before: GENERAL INSTRUMENT Corp.

CP03 Change of name, title or address
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180411

Address after: Georgia, USA

Patentee after: ARRIS ENTERPRISES LLC

Address before: Georgia, USA

Patentee before: Ai Ruishi Technology Co.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220712

Address after: London, England

Patentee after: Iris International Intellectual Property Co.,Ltd.

Address before: State of Georgia, US

Patentee before: ARRIS ENTERPRISES LLC

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240104

Address after: London

Patentee after: Andrew Wireless Systems UK Ltd.

Address before: London

Patentee before: Iris International Intellectual Property Co.,Ltd.