CN102833548A - 经由视频信道传输多个视频流的方法和装置 - Google Patents

经由视频信道传输多个视频流的方法和装置 Download PDF

Info

Publication number
CN102833548A
CN102833548A CN2012103016407A CN201210301640A CN102833548A CN 102833548 A CN102833548 A CN 102833548A CN 2012103016407 A CN2012103016407 A CN 2012103016407A CN 201210301640 A CN201210301640 A CN 201210301640A CN 102833548 A CN102833548 A CN 102833548A
Authority
CN
China
Prior art keywords
frame
programs
coding
pictures
supeframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103016407A
Other languages
English (en)
Other versions
CN102833548B (zh
Inventor
玛丽.L.科默
格雷戈里.W.库克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102833548A publication Critical patent/CN102833548A/zh
Application granted granted Critical
Publication of CN102833548B publication Critical patent/CN102833548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • H04N21/23655Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种用于经由视频信道传输多个视频流的方法和装置。提供用于对对应于多个节目的多个流进行编码的装置,其包括用于对要经由通信信道传输的多个流进行编码的编码器,所述编码器对于多个节目中的内编码的帧施加相对定位以满足对应于多个流的各个流延迟要求;所述编码器包括速率控制器,其从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述编码器在创建超级画面组之后为各帧选择编码模式;所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。

Description

经由视频信道传输多个视频流的方法和装置
本申请是申请日为2006年07月27日、申请号为200680027710.7、发明名称为“经由视频信道传输多个视频流的方法和装置”的专利申请的分案申请。
相关申请的交叉引用
本申请要求2005年7月28日提交的、名称为“METHOD ANDAPPARATUS FOR MULTIPLE VIDEO STREAMS OVER A VIDEOCHANNEL”的美国临时申请序列号No.60/703156的权益,通过引用将其整体合并于此。
技术领域
本发明一般地涉及视频编码,更具体地涉及对多个视频流进行编码以便经由视频信道传输的方法和装置。
背景技术
当经由单个信道传输多个视频节目时,通过实施联合速率(joint rate)控制器以在各节目之间分配比特、而非为每个节目独立地执行速率控制,可以更有效地使用信道带宽。利用联合速率控制,分配比特使得所有节目的总的比特率满足信道带宽限制。通常地,对于在画面组(GOP)内如何分布比特存在很少的限制,但是如果存在低延迟约束,情况就不同了。为了实现低延迟,GOP的总比特数量和这些比特在GOP上的分布都必须受到约束。
发明内容
本发明处理现有技术的这些和其它劣势和缺点,针对对经由视频信道传输的多个视频流进行编码的方法和装置。
根据本发明的原理,描述了对于对应于多个节目的多个流进行视频编码方法和装置。该装置包括用于对要经由通信信道传输的多个流进行编码的编码器。该编码器对于多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求。
根据本发明的一个方面,提供了一种用于对对应于多个节目的多个流进行编码的装置,所述装置包括用于对要经由通信信道传输的多个流进行编码的编码器,其中所述编码器对于多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;并且其中所述编码器包括速率控制器,用于从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组,所述编码器在创建超级画面组之后为各帧选择编码模式;所述装置基于画面组GOP对多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;并且所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。
根据本发明的另一方面,提供了一种用于对对应于多个节目的多个流进行编码的装置,所述装置包括用于对要经由通信信道传输的多个流进行编码的编码器,其中所述编码器对于多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;并且其中所述编码器包括速率控制器,用于从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧、同时保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组,所述编码器在创建超级画面组之后为各帧选择编码模式,每个超级帧包括来自多个节目的具有同一时间索引的一组帧。
根据本发明的另一方面,提供了一种用于对对应于多个节目的多个流进行编码的方法,所述方法包括:对要经由通信信道传输的多个流中的几个流进行编码,其中所述编码步骤包括对于多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组;以及在创建超级画面组之后为各帧选择编码模式;其中所述内编码的帧的相对定位是基于画面组GOP施加的;并且其中所述内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。
根据本发明的再一方面,提供了一种视频处理方法,包括:对N个视频节目中的每一个进行编码,以提供N个编码的视频节目,其中N>1;以及从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组;以及在创建超级画面组之后为各帧选择编码模式;经由信道传输所述N个编码的视频节目;其中所述传输步骤在时间上对所述N个编码的视频节目中的内编码的(I)帧进行交错,以使所述信道上的比特率峰值最小化;并且其中所述内编码的帧的相对定位是基于画面组GOP施加的;并且其中所述内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。
根据本发明的又一方面,提供了一种视频处理装置,包括:用于对N个视频节目中的每一个进行编码的部件,以提供N个编码的视频节目,其中N>1;以及用于以下操作的部件,即从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组,所述用于编码的部件在创建超级画面组之后为各帧选择编码模式;用于经由信道传输所述N个编码的视频节目的部件;其中在时间上对所述N个编码的视频节目中的内编码的I帧进行交错,以使所述信道上的比特率峰值最小化;并且其中所述装置基于画面组GOP对多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;并且所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。
结合附图阅读下面的示例实施例的详细描述,本发明的这些和其它方面、特征和优点将会变得显而易见。
附图说明
根据下面的示例性附图,可以更好地理解本发明,附图中:
图1是根据本发明的实施例的、本原理可应用于的示例性视频编码器的框图;
图2是根据本发明的实施例的、示例性视频流的图;
图3是根据本发明的实施例的、本原理可应用于的示例性联合编码系统的图;以及
图4是根据本发明的实施例的、对经由单个通信信道传输的多个视频流进行编码的示例性方法的流程图。
具体实施方式
本发明指向对多个视频流进行编码以便在视频信道传输的方法和装置。有利地,本发明解决使用联合速率控制同时控制多节目应用中的比特率和延迟的问题。在一实施例中,本发明在对不可缩放(non-scalable)的视频流进行编码期间,利用低延迟联合速率控制来有效地分配比特。
本说明书例示了本发明的原理。因此将了解:本领域技术人员将能够设计各种配置,其虽然未在这里明确描述或示出,但其体现本发明的原理并被包括在本发明的精神和范围内。
这里所述的所有示例和条件语句意在教学目的,以帮助读者理解本发明的原理和发明人贡献的构思以促进本领域技术,并且被解释为不限于这样具体描述的示例和条件。
此外,这里叙述本发明原理、方面和实施例的所有陈述、以及其特定的例子,意在包含其结构上和功能上二者的等价物。另外,其意在:这样的等价物包括当前已知的等价物以及将来开发的等价物二者,即无关结构如何的任何执行相同功能的所开发的元件。
因此,例如,本领域技术人员将了解这里提出的框图代表体现本发明原理的说明性电路的概念视图。类似地,将了解:任何流程图、作业图、状态转换图、伪代码等等代表可基本上在计算机可读介质中表示并可由计算机或处理器执行(无论这样的计算机或处理器是否明确地示出)的各种进程。
在图中示出的各种元件的功能可通过使用专用硬件以及能够联合适合的软件执行软件的硬件提供。当由处理器提供时,所述功能可由单个专用处理器、单个共享处理器、或其中的一些被共享的多个单个处理器提供。此外,术语“处理器”或“控制器”的明确的使用不应解释为只代表能够执行软件的硬件,其也可以隐含地、不受限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储。
也可包括其它的传统的和/或常规的硬件。类似地,图中所示的任何开关只是概念性的。其功能可通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑间的相互作用、或甚至手动地执行,特定的技术可由实施者选择,其可从上下文中被具体地理解。
在本发明的权利要求中,表示为用于执行特定功能的部件的任何元件意在包含执行以下功能的任何方法,所述功能例如包括:a)执行该功能的电路元件的组合,或者b)任何形式的软件,因此包括固件、微码等等,其与用于执行该软件的适合的电路结合以执行该功能。由这样的权利要求限定的本发明归于这样的事实:由各种所述部件提供的功能性以权利要求要求的方式组合并结合。因此应认为:可提供那些功能性的任何部件等价于这里所示的那些部件。
转向图1,用附图标记100总的表示可应用本发明原理的示例性视频编码器。编码器100的输入以信号通信与求和点(summing junction)110的正相输入连接。求和点110的输出以信号通信与块变换器(block transformer)120连接。变换器120以信号通信与量化器130的第一输入连接。量化器130的输出以信号通信与可变长度编码器(“VLC”)140连接,其中VLC 140的输出是编码器100的外部可用的输出。速率控制器177的第一输入从求和点的输出提供,速率控制器177的第二输入从VLC 140的输出提供,速率控制器177的输出以信号通信与量化器130的第二输入连接。
量化器130的输出进一步以信号通信与反量化器150连接。反量化器150以信号通信与反块变换器160连接,反块变换器160继而以信号通信与参考画面存储器170连接。参考画面存储器170的第一输出以信号通信与运动估计器180的第一输入连接。编码器100的输入进一步以信号通信与运动估计器180的第二输入连接。运动估计器180的输出以信号通信与运动补偿器190的第一输入连接。参考画面存储器170的第二输出以信号通信与运动补偿器190的第二输入连接。运动补偿器190的输出以信号通信与求和点110的反相输入连接。
如上所述,本发明原理有利地指向对多个视频流进行编码并且经由具有低延迟约束的单个信道传输该多个视频流。联合速率控制器以满足关于总的信道带宽和单个节目延迟的约束、而不允许任何单个编码缓冲器溢出(overflow)或下溢(underflow)的方式,将比特分配给每个节目的每个帧。
在一实施例中,将趋于比间编码(P,B)的画面/帧大的内编码(I)的画面/帧从一个节目到下一个节目进行交错(stagger),以帮助满足低延迟要求。与没有延迟约束的情况相比,在需要低延迟时,对于每个单个编码画面的峰值大小存在更紧的界限。为此,对于不同的节目在不同的时刻出现通常明显大于经运动补偿的P和B帧的I帧,这会是有利的。已经提出了允许I帧处于不同的节目的不同时刻的传统速率控制方法。然而,与本发明的实施例相关联的原理不同,传统速率控制方式不施加I帧的相对定位。这是因为,与本发明不同,传统速率控制方法不试图约束延迟。
转向图2,用附图标记200总的表示根据本发明的原理的示例性视频流。具体地,图2图示对于其中每个节目使用GOP图案IBPBP的情况的L个节目的画面组(GOP)结构,并且均匀分散I帧,使得在时间上任意特定时刻出现最小数量的I帧。也就是说,定位I帧使得在L个节目中在给定时刻不超过预先指定的I帧阈值数量。
转向图3,用附图标记300总的表示可应用本发明原理的示例性联合视频编码系统。联合视频编码系统300可包括一个或多个编码器,如参照图1所示出和描述的编码器。假定存在可以对特定的信道带宽联合编码的L个节目。在图3中,T表示来自速率控制器340的目标比特数,R表示产生的压缩比特数,Q表示平均量化参数。
联合视频编码系统300包括编码器310、编码器320、编码器330、速率控制器340、多路复用器(MUX)350以及缓冲器360。
编码器310、320和330的第一输入可作为联合编码系统300的输入。速率控制器340的第一、第二和第三输出以信号通信分别与编码器310、320和330的第二输入连接。编码器310、320和330的第一输出以信号通信分别与速率控制器340的第一、第二和第三输入连接。编码器310、320和330的第二输出以信号通信分别与多路复用器350的第一、第二和第三输入连接。
多路复用器350的输出以信号通信与缓冲器360的第一输入连接。速率控制器340的双向输入/输出以信号通信与缓冲器360的双向输入/输出连接。缓冲器360的输出可作为联合视频编码系统300的输出。
现在将给出关于例示本发明原理的示例实施例的描述,其后是对于图4的该示例实施例的进一步描述。
如上所述,假定存在可以对于特定的信道带宽联合编码的L个节目。为了确定对于每个帧的目标比特分配,比特分配算法以分级的方式操作。首先,创建超级(super)GOP,其包括来自每个节目的GOP。为了示例性的目的,假定每个流的GOP大小为N。接着,如下计算每个超级帧的目标比特分配T(n)(其中每个超级帧是一组帧,包括在同一时刻(即,具有相同的时间索引)从L个节目的每一个中取的帧,超级帧中包括的每个帧也被包括在对应的超级画面组中):
T n = Σ l = 1 L 1 K l , n , t C l , n , t Σ l = 1 L [ N l , I C l , I K I + N l , P C l , P K P + N l , B C l , B K B ] T r - - - ( 1 )
其中应用下列指代:l是节目的数量(1到L);n是GOP中的帧位置(0到N-1);t是画面类型{I,P,B},并且是n和l的函数,即t=t(n,l);C(l,n,t)是帧n的复杂性度量(complexity measure);K(l,n,t)是画面类型补偿因数{K(I),K(P),K(B)};N(l,I)、N(l,P)、N(l,B)分别是I、P、B画面的剩余数量;以及T(r)是剩余比特数量。
可经由以下方程计算节目的目标比特分配T(l,n):
T l , n = 1 K l , n , t C l , n , t Σ l = 1 L 1 K l , n , t C l , n , t T n - - - ( 2 )
在此情况下,速率控制器也为各帧选择编码模式t(l,n)。具体地,在时间上分散各I帧使得在特定超级帧中不会碰到多个I帧,并且更容易地实现高质量低延迟的结果。t(l,n)的一个可能的实施例是具有IBPBPB序列的GOP的下列示例性算法:
t(l,n)=I,如果(n-m(l)+N)mod N)=0
=B  如果(n-m(l)+N)mod N)mod 2=1
=P  其它情况
其中m(l)=每个节目的起始偏置。例如,如果N=2L,则应用下列:
m(1)=0
m(2)=2
m(x)=2(x-1)
m(L)=N-2
当然,应了解:在维持本发明的范围的同时,当N等于或者不严格等于L的倍数时,可选择其它分布。
转向图4,用附图标记400总的表示对经由单个通信信道传输的多个视频流进行编码的示例性方法。每个流对应于在其中实现的各自的视频节目。如上所述,假定存在能对于特定的信道带宽联合编码的L个节目。方法400提供有利的比特分配,在为每个帧确定目标比特分配方面胜过现有技术编码方法。
方法400包括开始方框405,其将控制传递给功能方框410。功能方框410创建包括来自每个节目的GOP的超级GOP,并将控制传递给功能方框415。为了示例性的目的,假定每个流的GOP大小为N。功能方框415为各帧选择编码模式t(l,n),并将控制传递给功能方框420。关于由功能方框415实施的选择处理,具体地说,在时间上分散各I帧,使得在特定超级帧中不会遇到多个I帧(例如,特定超级帧中I帧的数量在预先指定的阈值内),并且可以更容易地实现高质量低延迟结果。功能方框420例如使用公式(1)为每个超级帧计算目标比特分配T(n)(其中每个超级帧是一组帧,包括在同一时刻(即,具有相同的时间索引)从L个节目的每一个中取的帧,超级帧中包括的每个帧也被包括在对应的超级画面组中),并将控制传递给功能方框425。功能方框425使用超级帧的目标比特分配为每个节目计算目标比特分配T(l,n),并将控制传递给功能方框430。功能方框425可使用例如公式(2)为每个节目计算目标比特分配。功能方框430基于(每功能方框415的)编码模式选择和(每功能块425的)每个节目的目标比特分配,对各帧进行编码,并将控制传递给结束方框块435。
现在将给出本发明的许多附带的优点/特征中的一些的描述,其中的一些前面已经进行了描述。例如,一个优点/特征是用于对对应于多个节目的多个流进行编码的视频编码器,其中该视频编码器包括用于对经由单个通信信道传输的多个流中的每个进行编码的编码器。该编码器对于多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求。另一个优点/特征是如上所述的视频编码器,其中基于画面组(GOP)对内编码的帧施加相对定位。此外,另一个优点/特征是如上所述的视频编码器,其中对于内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。另外,另一个优点是如上所述的视频编码器,其中该编码器从多个节目创建超级画面组,并且在保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内的同时,在超级画面组中包括的超级帧内在时间上分散内编码的帧。超级画面组包括来自多个节目中的每个的至少一个画面组。每个超级帧包括在多个节目中具有同一时间索引的一组帧。
本发明的这些和其它特征和优点可被本相关技术领域普通技术人员基于这里的教学容易地确定。应理解:本发明的教学可由各种形式的硬件、软件、固件、专用处理器或其组合来实施。
最优选地,将本发明的教学实施为硬件和软件的组合。此外,所述软件优选地实施为确实包含在程序存储单元上的应用程序。所述应用程序可被上载到包括任何合适结构的机器,并由其执行。优选地,所述机器在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接口的硬件的计算机平台上被实施。所述计算机平台也可包括操作系统和微指令代码。这里所述的各种处理和功能可以是可由CPU执行的微指令代码的部分、或应用程序的部分、或其任意的组合。另外,诸如附加数据存储单元和打印单元的各种其它的外部单元可与计算机平台相连接。
还应理解:由于在附图中描述的一些系统组成组件和方法优选地实施为软件,依赖本发明被安排的方式系统组件或处理功能块之间的实际连接可能不同。给出这里的教学,本相关领域普通技术人员将能够思考本发明的这些和相似的实施或配置。
虽然这里参照附图描述了示例实施例,应理解本发明不限于那些确切的实施例,在不偏离本发明的范围或精神的情况下,本相关领域普通技术人员可在其中做出各种改变和修改。所有这样的改变和修改意在包括在附加的权利要求中提出的本发明的范围内。

Claims (6)

1.一种装置,用于对对应于多个节目的多个流进行编码,所述装置包括用于对要经由通信信道传输的多个流进行编码的编码器(300),其中所述编码器对于多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;并且其中
所述编码器(300)包括速率控制器(340),用于从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组,所述编码器在创建超级画面组之后为各帧选择编码模式;
所述装置基于画面组GOP对多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;并且
所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。
2.一种装置,用于对对应于多个节目的多个流进行编码,所述装置包括用于对要经由通信信道传输的多个流进行编码的编码器(300),其中所述编码器对于多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;并且
其中所述编码器(300)包括速率控制器(340),用于从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧、同时保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组,所述编码器在创建超级画面组之后为各帧选择编码模式,每个超级帧包括来自多个节目的具有同一时间索引的一组帧。
3.一种方法,用于对对应于多个节目的多个流进行编码,所述方法包括:对要经由通信信道传输的多个流中的几个流进行编码(425),其中所述编码步骤包括对于多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;
从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组;以及
在创建超级画面组之后为各帧选择编码模式;
其中所述内编码的帧的相对定位是基于画面组GOP施加的;并且
其中所述内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。
4.如权利要求3所述的方法,其中所述编码步骤包括:
从多个节目创建(410)超级画面组;以及
在时间上在超级画面组中包括的超级帧内分散(415)内编码的帧,同时保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组,每个所述超级帧包括来自多个节目的具有同一时间索引的一组帧。
5.一种视频处理方法,包括:
对N个视频节目中的每一个进行编码,以提供N个编码的视频节目,其中N>1;以及
从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组;以及
在创建超级画面组之后为各帧选择编码模式;
经由信道传输所述N个编码的视频节目;
其中所述传输步骤在时间上对所述N个编码的视频节目中的内编码的(I)帧进行交错,以使所述信道上的比特率峰值最小化;并且
其中所述内编码的帧的相对定位是基于画面组GOP施加的;并且
其中所述内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。
6.一种视频处理装置,包括:
用于对N个视频节目中的每一个进行编码的部件,以提供N个编码的视频节目,其中N>1;以及
用于以下操作的部件,即从多个节目创建超级画面组,取得包括来自多个节目的具有同一时间索引的一组帧的超级帧,并且在时间上在超级画面组中包括的超级帧内分散内编码的帧,从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内,所述超级画面组包括来自多个节目中的每个的至少一个画面组,所述用于编码的部件在创建超级画面组之后为各帧选择编码模式;
用于经由信道传输所述N个编码的视频节目的部件;
其中在时间上对所述N个编码的视频节目中的内编码的I帧进行交错,以使所述信道上的比特率峰值最小化;并且其中
所述装置基于画面组GOP对多个节目中的内编码的帧施加相对定位,以满足对应于多个流的各个流延迟要求;并且
所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。
CN201210301640.7A 2005-07-28 2006-07-27 经由视频信道传输多个视频流的方法和装置 Active CN102833548B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US70315605P 2005-07-28 2005-07-28
US60/703,156 2005-07-28
CN200680027710.7A CN101233759A (zh) 2005-07-28 2006-07-27 经由视频信道传输多个视频流的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200680027710.7A Division CN101233759A (zh) 2005-07-28 2006-07-27 经由视频信道传输多个视频流的方法和装置

Publications (2)

Publication Number Publication Date
CN102833548A true CN102833548A (zh) 2012-12-19
CN102833548B CN102833548B (zh) 2015-07-22

Family

ID=37635749

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200680027710.7A Pending CN101233759A (zh) 2005-07-28 2006-07-27 经由视频信道传输多个视频流的方法和装置
CN201210301640.7A Active CN102833548B (zh) 2005-07-28 2006-07-27 经由视频信道传输多个视频流的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200680027710.7A Pending CN101233759A (zh) 2005-07-28 2006-07-27 经由视频信道传输多个视频流的方法和装置

Country Status (6)

Country Link
US (1) US8160140B2 (zh)
EP (1) EP1908296A2 (zh)
JP (2) JP2009504036A (zh)
CN (2) CN101233759A (zh)
BR (1) BRPI0613969A2 (zh)
WO (1) WO2007014384A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006027441A1 (de) * 2006-06-12 2007-12-13 Attag Gmbh Verfahren und Vorrichtung zum Erzeugen eines digitalen Transportstroms für ein Video-Programm
JP4934524B2 (ja) * 2007-06-25 2012-05-16 パナソニック株式会社 データ通信装置及びデータ通信方法
US8432804B2 (en) * 2007-11-29 2013-04-30 Hewlett-Packard Development Company, L.P. Transmitting video streams
FR2925996B1 (fr) * 2007-12-31 2011-04-15 Radiotelephone Sfr Systeme et procede d'adaptation des flux de contenu video a la variabilite des conditions de transmission d'un reseau radiotelephonique et a la dynamique du contenu de la source video
US20110090921A1 (en) * 2008-07-01 2011-04-21 Shemimon Manalikudy Anthru Network abstraction layer (nal)-aware multiplexer
US9406252B2 (en) 2009-12-31 2016-08-02 Broadcom Corporation Adaptive multi-standard video coder supporting adaptive standard selection and mid-stream switch-over
US20120047535A1 (en) * 2009-12-31 2012-02-23 Broadcom Corporation Streaming transcoder with adaptive upstream & downstream transcode coordination
KR101738357B1 (ko) * 2011-01-03 2017-05-23 에스케이플래닛 주식회사 디지털 방송에서 동일 채널에서의 화면 단절 방지 장치 및 방법
US10523978B1 (en) * 2018-02-27 2019-12-31 Amazon Technologies, Inc. Dynamic quality adjustments for media transport
WO2020101547A1 (en) * 2018-11-14 2020-05-22 Saab Ab Video data burst control for remote towers

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0761048B1 (en) * 1994-04-22 2003-07-09 Thomson Consumer Electronics, Inc. A system for dynamically allocating a scarce resource
GB2301973B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Motion compensated video processing
EP0923243B1 (en) * 1997-07-25 2010-09-15 Sony Corporation Editing device, editing method, splicing device, splicing method, encoding device, and encoding method
WO2000041395A1 (en) 1999-01-06 2000-07-13 Sarnoff Corporation Latency-based statistical multiplexing
US6704359B1 (en) * 1999-04-15 2004-03-09 Diva Systems Corp. Efficient encoding algorithms for delivery of server-centric interactive program guide
KR101061572B1 (ko) 2002-11-15 2011-09-02 톰슨 라이센싱 스태거링된 통계 멀티플렉싱을 위한 방법 및 시스템
US7784076B2 (en) * 2004-10-30 2010-08-24 Sharp Laboratories Of America, Inc. Sender-side bandwidth estimation for video transmission with receiver packet buffer
WO2006057938A2 (en) 2004-11-22 2006-06-01 Thomson Research Funding Corporation Method and apparatus for channel change in dsl system

Also Published As

Publication number Publication date
CN102833548B (zh) 2015-07-22
CN101233759A (zh) 2008-07-30
US8160140B2 (en) 2012-04-17
BRPI0613969A2 (pt) 2011-02-22
JP2013051733A (ja) 2013-03-14
WO2007014384A2 (en) 2007-02-01
US20090135906A1 (en) 2009-05-28
EP1908296A2 (en) 2008-04-09
WO2007014384A3 (en) 2007-05-31
JP2009504036A (ja) 2009-01-29

Similar Documents

Publication Publication Date Title
CN102833548A (zh) 经由视频信道传输多个视频流的方法和装置
JP7164692B2 (ja) 低遅延のためのサンプルアレイ符号化
CN101010964B (zh) 在可分级视频编码中的使用帧速率上变换技术的方法与设备
CN101902647B (zh) 编码用于具有多个图像块的画面的视频数据的视频编码器
CN100559862C (zh) 解码多运动块画面的视频信号数据的视频解码器及其方法
KR100341063B1 (ko) 실시간 영상 통신을 위한 율제어 장치 및 그 방법
CN1949877B (zh) 自适应量化控制器及其方法
CN101647278B (zh) 用于视频编码标准的改进的视频速率控制
CN100505879C (zh) 低复杂度空间可缩放解码的方法和设备
CN101502123A (zh) 编码装置
JP5770476B2 (ja) ビデオ符号化に於いてレート制御を正確にする方法及び装置
JP2008523720A5 (zh)
CN1631041A (zh) 视频变码中的速率控制方法和系统
CN102550028A (zh) 用于对来自数字化图像序列的符号编码的方法
KR101140269B1 (ko) 영상신호 생성장치, 영상신호 생성방법, 영상신호 생성프로그램 및 그 프로그램을 기록한 컴퓨터 독취가능한 기록매체
CN108076342A (zh) 用于编码视频的方法和编码器系统
KR101478834B1 (ko) 비디오 신호 트랜스코딩 방법 및 장치
CN102547259A (zh) 一种基于码率控制的视频编码方法和装置
CN101668213B (zh) 解码具有多个图像块的画面的视频数据的视频解码器
JP2005507620A (ja) 圧縮
Hou et al. Two efficient rate control algorithms for Motion JPEG2000

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190211

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190211

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right