CN104160694B - 已编码视频流的混合 - Google Patents

已编码视频流的混合 Download PDF

Info

Publication number
CN104160694B
CN104160694B CN201280071124.8A CN201280071124A CN104160694B CN 104160694 B CN104160694 B CN 104160694B CN 201280071124 A CN201280071124 A CN 201280071124A CN 104160694 B CN104160694 B CN 104160694B
Authority
CN
China
Prior art keywords
encoded
video flowing
mixed
video
subflow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280071124.8A
Other languages
English (en)
Other versions
CN104160694A (zh
Inventor
尤西·耶尔维宁
阿托·马孔恩
迪特马尔·菲德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN104160694A publication Critical patent/CN104160694A/zh
Application granted granted Critical
Publication of CN104160694B publication Critical patent/CN104160694B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H04N21/2323—Content retrieval operation locally within server, e.g. reading video streams from disk arrays using file mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开描述了一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的视频流混合器，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。混合器包括以下组件：视频流分割器(20)，被配置为将已编码主视频流分割为已编码非混合子流和已编码补充子流，已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合；视频流解码器(22)，被配置为解码补充子流和每个从视频流；视频信号混合器(24)，被配置为混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号；视频编码器(26)，被配置为将已混合视频信号编码为已编码混合子流；视频流组合器(28)，被配置为组合已编码非混合子流与已编码混合子流。

Description

已编码视频流的混合
技术领域
本公开涉及已编码视频流的混合。
背景技术
在对已编码视频流进行混合的现有方案中，所有的流均被完全解码。之后，对已解码视频流进行混合，最后，将已混合帧编码为已混合编码视频流。即使在与整个帧相比，要混合的区域相对较小的情况下，也使用相同的过程。
发明内容
本公开的目的在于更有效地混合已编码视频流。
这一目的可根据所附的权利要求来实现。
本公开的第一方案涉及一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的方法，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。该方法包括以下步骤：
·将已编码主视频流分割为已编码非混合子流和已编码补充子流，其中已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合。
·解码补充子流和每个从视频流。
·混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号。
·将已混合视频信号编码(S4)为已编码混合子流。
·组合已编码非混合子流与已编码混合子流。
本公开的第二方案涉及一种视频流混合器，用于根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。该视频流混合器包括以下组件：
·视频流分割器，被配置为将已编码主视频流分割为已编码非混合子流和已编码补充子流，其中已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合；
·视频流解码器，被配置为解码补充子流和每个从视频流；
·视频信号混合器，被配置为混合已解码补充子流和每个已解码从视频流，形成已混合视频信号；
·视频编码器，被配置为将已混合视频信号编码为已编码混合子流；
·视频流组合器，被配置为组合已编码非混合子流与已编码混合子流。
本公开的第三方案涉及一种媒体资源功能处理器，其包括根据第二方案所述的视频流混合器。
本公开的第四方案涉及一种媒体资源功能，其包括根据第三方案所述的媒体资源功能处理器。
本公开的第五方案涉及一种视频会议系统，其包括根据第四方案所述的媒体资源功能。
本公开的第六方案涉及一种视频会议系统，其包括根据第二方案所述的视频流混合器。
本公开的优点在于，与现有技术方案相比，需要较少的处理功率。尤其是诸如视频会议等应用的情形，其中，将相同的已编码主视频流与多个已编码从视频流以不同的组合方式进行混合。
附图说明
参考以下结合附图的描述，可以更好地理解本公开及其目的和优点，其中：
图1是示出了基于IP(互联网协议)网络的视频会议系统的示意图。
图2是示出了视频会议系统中的相互连接的方框图。
图3示出了现有技术视频会议系统中对已编码视频流的混合。
图4示出了基于本公开的视频会议系统中对已编码视频流的混合的示例。
图5示出了根据本公开对已编码视频流的混合的示例。
图6是根据本公开生成已混合编码视频流的方法的流程图。
图7示出了已编码视频流的示例的结构。
图8A-C示出了多种视频帧配置。
图9是根据本公开的视频流混合器的实施例的方框图。
图10是根据本公开的视频流混合器的实施例的方框图。
图11是视频流分割器的实施例的方框图。
图12是视频流组合器的实施例的方框图。
图13是根据本公开的视频流混合器的实施例的方框图。
图14是示出了基于本公开的视频会议系统的示意图。
具体实施方式
以下的说明描述了在视频会议上下文中对已编码视频流的混合。然而，可以理解，相同的原理可用于需要对已编码视频流进行混合的其他应用中。一个例子是广告，其中与不同的小的个性化的广告(对不同用户是不同的)一起提供公共视频。
此外，以下说明基于ITU-T标准H.264。然而，可以理解，相同的原理可用于但不限于其他标准，诸如H.263、MPEG4、VP8等。
将参考IMS(IP多媒体子系统)网络的媒体资源功能(MRF)描述本公开。然而，应当理解，相同的原理可应用于针对视频会议的其他视频混合器。
图1是示出了基于IP网络的视频会议系统的示意图。该示例中，使用视频会议设备的两个参会者A和B通过IP网络与使用计算机的参会者C和使用移动电话的参会者D相连。视频会议由媒体资源功能MRF管理，MRF包括由媒体资源功能控制器MRFC控制的媒体资源功能处理器MRFP。
图2是更详细地示出了视频会议系统中的相互连接的方框图。在该示例中，假设参会方A是当前活跃的发言人。这意味着对应的已编码视频流A将与来自其他参会者的已编码视频流B、C、D以多种组合方式进行混合。该混合由媒体资源功能处理器MRFP执行，使得其他参会者接收活跃发言人A占据大部分而其他参会者以小窗口显示的视频。例如，参会者D接收活跃发言人A占据大部分而参会者B和C以小窗口显示的视频。参会者不会在接收到的视频中看到自己。当前活跃的发言人参会者A接收其他参会者之一(典型地，第二活跃的发言人，示例中为参会者B)占据大部分的视频。可以使用发言权控制协议来协调其他参会者所看到的人选。
图3示出了现有技术视频会议系统中对已编码视频流的混合。已编码主视频流A用作放置已编码从视频流的背景(canvas)。现有技术的方法从解码所有视频流A-D开始。然后，按照A+B+C、A+B+D、A+C+D的组合方式混合已解码视频。参考图2的示例，虽然图3未示出，也生成了B+C+D的组合。混合后，将已混合视频编码为已编码混合视频流10、12、14。
图4示出了基于本公开的视频会议系统中对已编码视频流的混合的示例。在图3示出的现有技术方法中，可以看到视频流A的绝大部分在混合后并未改变。然而，对于每次混合，仍必须解码和重编码整个视频流。在图4中，将已编码主视频流分割为不涉及混合的已编码部分16和涉及混合的已编码部分18。后一部分18被解码并与已解码从视频流B、C、D混合。对不同的混合进行编码，并与已编码部分16组合。
图5示出了根据本公开对已编码视频流的混合(不必是来自视频会议系统)的示例。将已编码主视频流分割为不涉及混合的已编码部分16和涉及混合的已编码部分18。后一部分18被解码并与已解码从视频流B、C混合。对混合进行编码，并与已编码部分16组合。
图6是根据本公开生成已混合编码视频流的方法的流程图。该方法根据已编码主视频流和至少一个已编码从视频流生成已混合编码视频流，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。步骤S1将已编码主视频流(例如，图5中的流A)分割为：
·已编码非混合子流，与主窗口中的子窗口(例如，图5中的窗口16)相关联且不涉及混合，以及
·已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口(例如，图5中的窗口18)相关联并涉及混合。
步骤S2解码补充子流和每个从视频流，例如，图5中的B和C。步骤S3混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号。步骤S4将已混合视频信号编码为已编码混合子流。步骤S5组合已编码非混合子流与已编码混合子流。从解码器的角度看，已组合视频与现有技术相同。
至此，说明书并未明确地参照任何编码标准。现在，将参考ITU-T标准H.264来描述示例实施例。
图7示出了根据H.264进行编码的视频流的结构。该示例中，视频帧被编码为以IP分组发送的切片。每个分组除了包括有效载荷(包含实际切片信息)外还包括IP、UDP(用户数据报文协议)、RTP(实时传输协议)报头。其他配置也是可行的，但该示例足以用来解释本公开的构思)。切片包括切片报头和实际数据。切片报头包括参数集合，其中一个参数为“first_mb_in_slice”(切片中的第一个宏块)。这里“mb”指代宏块，其典型地表示为16×16像素。在参考文献[1]中可以找到更为详细的内容。
在本公开的一个实施例中，确定涉及混合的宏块和不涉及混合的宏块。之后，将已编码主视频流(例如，图5中的A)分为不涉及混合的宏块的至少一个非混合切片、以及涉及混合的宏块的至少一个补充切片。
在本公开的一个实施例中，在解码前对每个补充切片的宏块重新编号。在混合和编码后，重置已重新编号的宏块的编号。
当按这里所描述的方式分割主视频流时，非混合子流和补充子流应当相互“绝缘”。这意味着一个子流中的任何部分不参照另一子流中的任何部分。例如，必须限制编码期间的运动矢量搜索，使其不会参照分界线另一侧的宏块。换句话说，属于部分18中的宏块的运动向量不应当参照属于部分16的帧区域(反之亦然)。一种实现这种不同部分之间相互“绝缘”的方法是将边界线的位置告知创建主视频流的创始编码器，例如，通过信号发送底部部分18的第一个宏块的索引。然后，创始编码器对主视频流编码，使宏块不会参照边界线另一侧的区域。然后，视频流分割器20可将主视频流分为两个独立的流。如果创始编码器没有收到该告知信息，将改为对流进行转码(解码和编码)，以包括相互“绝缘”的两部分。这仅需要执行一次，因而如果要产生多个混合，该实施例仍比现有技术有效。
图8A-C示出了多种视频帧配置。在所有情形中，假设顶部和底部如上所描述那样相互“绝缘”，或者是通过在创始编码器以分界线编码，或者是通过在视频流分割器之前进行转码。
图8A的示例包括以直线边界(虚线)分隔的顶部切片和底部切片。这种情况下，可以简单地通过设置底部切片的first-mb_in_slice参数来“骗”过解码器，让其认为该帧仅包括底部切片，而对底部切片进行解码。例如，如果底部切片的第一个宏块的编号为66，将其设置为1(假定解码器认为该编号为第一个宏块)。在混合和编码后，将第一个宏块重置为66，从而可将已编码混合作为底部切片添加至已编码顶部切片(并未被解码)。所有其他参数与原始主流相同。
图8B的示例包括以非直线分界线分隔的顶部切片和底部切片。然而，由于宏块的大小以及整个视频帧的高度、宽度是已知的，这种情况下也可唯一地确定边界。因而，如图8A那样执行解码、混合、编码。
图8C的示例包括一个顶部切片和两个底部切片。顶部切片和底部切片以非直线分界线分隔。这种情况下，在解码前，在两个底部切片中，first_mb_in_slice参数必须分别设置为1以及1+上方底部切片中的宏块数。类似地，混合和编码后，重置两个底部切片的编号。
图9是根据本公开的视频流混合器60的实施例的方框图。接收已编码主视频流(例如，图5中的流A)的视频流分割器20被配置为将已编码主视频流分割为：
·已编码非混合子流，与主窗口中的子窗口(16)相关联且不涉及混合，以及
·已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口(18)相关联并涉及混合。
视频流解码器22被配置为解码补充子流和每个从视频流(例如，图5中的流B、C)。视频信号混合器24被配置为混合已解码补充子流和每个已解码从视频流，形成已混合视频信号。(假设已解码从视频流混合前已被缩放为“小”窗口)。视频编码器26被配置为将已混合视频信号编码为已编码混合子流。视频流组合器28被配置为组合已编码非混合子流与已编码混合子流。
图10是根据本公开的视频流混合器60的实施例的方框图。混合区域检测器32被配置为确定涉及混合的宏块和不涉及混合的宏块。切片分离器34被配置为将主视频流(例如，图5中的流A)分为不涉及混合的宏块的至少一个非混合切片和涉及混合的宏块的至少一个补充切片。
图11是视频流分割器20的实施例的方框图。在该实施例中，切片分离器34包括被配置为在解码前对每个补充切片的宏块重新编号的宏块重编号单元36。开关SW将涉及混合的切片引导至宏块重编号单元36，将不涉及混合的切片引导至视频流组合器28。
图12是视频流组合器28的实施例的方框图。宏块编号重置单元38被配置为在混合和编码后重置已重新编号的宏块的编号，切片组合器40被配置为组合非混合切片和已混合切片。
这里所描述的步骤、功能、程序和/或模块可使用任何常规技术在硬件中实现，诸如，分立的电路或集成电路技术，包括通用电子电路和专用电路。
替代地，这里所描述的步骤、功能、程序和/或模块中的至少一部分可由通过合适的处理装置执行的软件来实现。例如，处理装置可包括：一个或多个微处理器、一个或多个数字信号处理器(DSP)、一个或多个应用专用集成电路(ASIC)、视频加速硬件或一个或多个合适的可编程逻辑器件，例如，现场可编程门阵列(FPGA)。这些处理元件的组合也是可行的。
同样，可以理解，可以重用媒体资源功能中已有的通用处理能力。例如，可通过重新编程已有软件或增加新的软件组件来实现。
图13是根据本公开的视频流混合器60的实施例的方框图。该实施例基于处理器110(例如，微处理器)，其执行用于分割已编码主视频流的软件120，用于解码补充子流和每个从视频流的软件130，用于混合已解码流的软件140，用于编码已混合视频信号的软件150，以及用于组合已编码非混合子流和已编码混合子流的软件160。软件存储在存储器170中。处理器110通过系统总线与存储器通信。通过与处理器110和存储器130相连的控制输入输出(I/O)总线的I/O控制器180接收输入的主视频流和从视频流。在该实施例中，将I/O控制器180所接收的切片存储在存储器170中，并在此由软件120-160处理。软件120可实现视频流分割器20的功能。软件130可实现视频流解码器22的功能。软件140可实现视频信号混合器24的功能。软件150可实现视频编码器26的功能。软件160可实现视频流组合器28的功能。从软件160获得的已组合编码视频流由I/O控制器180从存储器170通过I/O总线输出。
图14是示出了基于本公开的视频会议系统的示意图。其包括具有媒体资源功能处理器MRFP的媒体资源功能MRF，MRFP包括根据本公开的视频流混合器60。
本公开对于处理功率和存储资源有限的的情形是有益的，如大多数DSP平台。本公开提出了一种将系统所需要的总处理功率降低为现有技术暴力方式所需处理功率的一部分的方法。特别是对于生成多个混合的视频会议的情形。确切的处理增益取决于视频帧中不涉及混合的那部分的大小以及要生成的混合的数量。
本公开对在相同处理器中没有足够功率来完全解码所有帧、创建多个混合以及编码较大混合的情形特别有利。在现有技术中，如果一个处理器只能执行一次编码且不是所有处理器都能访问相同的存储器，则需要执行多次解码。
本公开的另一个优点在于其环境友好的，因为较少的处理和存储需求直接对应于较少的能耗。
可以理解，本领域技术人员可以在不脱离随附权利要求定义的本公开的范围的前提下，对本公开进行多种修改和改变。
参考文献
[1]ITU-T H264“Slice header semantics”section 7.4.3
缩略语
ASIC 应用专用集成电路；
DSP 数字信号处理器；
FPGA 现场可编程门阵列；
IMS IP多媒体子系统；
IP 互联网协议；
MRF 媒体资源功能；
RTP 实时传输协议；
UDP 用户数据报文协议。

Claims (11)

1.一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的方法，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联，所述方法包括以下步骤：
将已编码主视频流(A)分割(S1)为
-已编码非混合子流，与主窗口中的第一子窗口(16)相关联且不涉及混合，和
-已编码补充子流，与主窗口中形成对第一子窗口的补充的第二子窗口(18)相关联并涉及混合；
解码(S2)补充子流和每个从视频流(B，C)；
混合(S3)已解码补充子流和每个已解码从视频流，以形成已混合视频信号；
将已混合视频信号编码(S4)为已编码混合子流；
组合(S5)已编码非混合子流与已编码混合子流。
2.根据权利要求1所述的方法，包括步骤：
确定涉及混合的宏块和不涉及混合的宏块；
将已编码主视频流(A)分为不涉及混合的宏块的至少一个非混合切片、和涉及混合的宏块的至少一个补充切片。
3.根据权利要求2所述的方法，包括步骤：
在解码前，对每个补充切片的宏块重新编号；
在混合和编码后，重置已重新编号的宏块的编号。
4.一种视频流混合器，用于根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联，所述视频流混合器包括：
视频流分割器(20)，被配置为将已编码主视频流(A)分割为
-已编码非混合子流，与主窗口中的第一子窗口(16)相关联且不涉及混合，和
-已编码补充子流，与主窗口中形成对第一子窗口的补充的第二子窗口(18)相关联并涉及混合；
视频流解码器(22)，被配置为解码补充子流和每个从视频流(B，C)；
视频信号混合器(24)，被配置为混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号；
视频编码器(26)，被配置为将已混合视频信号编码为已编码混合子流；
视频流组合器(28)，被配置为组合已编码非混合子流与已编码混合子流。
5.根据权利要求4所述的视频流混合器，包括：
混合区域检测器(32)，被配置为确定涉及混合的宏块和不涉及混合的宏块；
切片分离器(34)，被配置为将已编码主视频流(A)分为不涉及混合的宏块的至少一个非混合切片、和涉及混合的宏块的至少一个补充切片。
6.根据权利要求5所述的视频流混合器，其中所述切片分离器(34)包括宏块重编号单元(36)，被配置为在解码前，对每个补充切片的宏块重新编号。
7.根据权利要求6所述的视频流混合器，其中所述视频流组合器(28)包括：
宏块编号重置单元(38)，被配置为在混合和编码后，重置已重新编号的宏块的编号；
切片组合器(40)，被配置为组合非混合切片和已混合切片。
8.一种媒体资源功能处理器(MRFP)，包括根据权利要求4-7任一项所述的视频流混合器(60)。
9.一种媒体资源功能(MRF)，包括根据权利要求8所述的媒体资源功能处理器(MRFP)。
10.一种视频会议系统，包括根据权利要求9所述的媒体资源功能(MRF)。
11.一种视频会议系统，包括根据权利要求4-7任一项所述的视频流混合器(60)。
CN201280071124.8A 2012-03-13 2012-03-13 已编码视频流的混合 Expired - Fee Related CN104160694B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2012/050278 WO2013137784A1 (en) 2012-03-13 2012-03-13 Mixing of encoded video streams

Publications (2)

Publication Number Publication Date
CN104160694A CN104160694A (zh) 2014-11-19
CN104160694B true CN104160694B (zh) 2018-08-28

Family

ID=49161556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280071124.8A Expired - Fee Related CN104160694B (zh) 2012-03-13 2012-03-13 已编码视频流的混合

Country Status (6)

Country Link
US (1) US9386066B2 (zh)
EP (1) EP2826236A4 (zh)
JP (1) JP6001157B2 (zh)
KR (1) KR101686723B1 (zh)
CN (1) CN104160694B (zh)
WO (1) WO2013137784A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914962B2 (ja) * 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US9648072B2 (en) 2012-01-31 2017-05-09 Comcast Cable Communications, Llc System and method for data stream fragmentation with scalability
CN106341622B (zh) * 2015-07-06 2020-01-24 阿里巴巴集团控股有限公司 一种多路视频流的编码方法及装置
KR102324609B1 (ko) * 2017-12-22 2021-11-10 한국전자통신연구원 다지점 영상회의 장치 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014106A (zh) * 2006-02-01 2007-08-08 三星电子株式会社 视频播放设备及其控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023706A (ja) 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 多地点会議システム
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
JP2005341325A (ja) 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点テレビ会議システム，多地点テレビ会議制御方法，サーバ装置，多地点テレビ会議制御プログラムおよびそのプログラム記録媒体
US8081684B2 (en) 2005-08-19 2011-12-20 Qualcomm Incorporated Picture-in-picture processing for video telephony
TW200727653A (en) 2006-01-03 2007-07-16 Avermedia Tech Inc Digital media multiplexer and method thereof
EP2337380B8 (en) 2006-10-13 2020-02-26 Auro Technologies NV A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data sets
JP4256421B2 (ja) 2006-11-21 2009-04-22 株式会社東芝 映像合成装置、映像合成方法及び映像合成処理プログラム
US8228980B2 (en) 2009-05-29 2012-07-24 Texas Instruments Incorporated Media gateway with overlay channels
WO2012010188A1 (de) * 2010-07-23 2012-01-26 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren zur zeitlichen synchronisierung der intrakodierung von verschiedenen unterbildern bei der erzeugung einer mischbildervideosequenz
US8704871B2 (en) 2010-08-31 2014-04-22 Polycom, Inc. Method and system for creating a continuous presence video-conference

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014106A (zh) * 2006-02-01 2007-08-08 三星电子株式会社 视频播放设备及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Logo insertion transcoding for H.264/AVC compressed video》;DI XU ET AL.;《16th IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING 》;20091107;第3节第2-3段，图3 *

Also Published As

Publication number Publication date
KR101686723B1 (ko) 2016-12-14
JP2015515190A (ja) 2015-05-21
EP2826236A4 (en) 2015-08-26
EP2826236A1 (en) 2015-01-21
US9386066B2 (en) 2016-07-05
US20150130889A1 (en) 2015-05-14
WO2013137784A1 (en) 2013-09-19
KR20140136013A (ko) 2014-11-27
CN104160694A (zh) 2014-11-19
JP6001157B2 (ja) 2016-10-05

Similar Documents

Publication Publication Date Title
US20210235041A1 (en) Method and system for conducting video conferences of diverse participating devices
JP6449852B2 (ja) 関心領域の符号化のための動き制限タイルセット
US10951874B2 (en) Incremental quality delivery and compositing processing
EP2583463B1 (en) Combining multiple bit rate and scalable video coding
KR102179360B1 (ko) 비디오 스플라이싱을 단순화시키기 위한 버퍼링 정보에 대한 구문 및 의미
US8270470B2 (en) Transcoding method and device
CN104160694B (zh) 已编码视频流的混合
CN108134915B (zh) 用于混合式拓扑媒体会议系统的方法和系统
CN101986708A (zh) 一种视频解码方法及解码器
US9432624B2 (en) Method for improving an MCU&#39;s performance using common properties of the H.264 codec standard
US20130177071A1 (en) Capability advertisement, configuration and control for video coding and decoding
CN102802024A (zh) 在服务器端实现的转码方法以及转码系统
CN107404648A (zh) 一种基于hevc的视频多路转码方法
US10432946B2 (en) De-juddering techniques for coded video
US20130022101A1 (en) Adaptable Video Architectures
US20150063469A1 (en) Multipass encoder with heterogeneous codecs
TWI511527B (zh) 在巨集方塊階層混合視頻串流之方法及裝置
CN109565612A (zh) 发送装置、发送方法、接收装置和接收方法
Tandon et al. Video streaming in ultra high definition (4K and 8K) on a portable device employing a Versatile Video Coding standard
US20080212684A1 (en) Video Decoder with Hybrid Reference Texture
Adikari et al. Side information improvement in DVC with two side information streams and 3D motion refinement
Baskaran et al. Building a real-time multiple H. 264 video streaming system based on intel IPP
Weerakkody et al. Bitplane based Wyner-Ziv coding using unequal error protection
Weerakkody et al. Distributed video coding of Wyner-Ziv frames using trellis coded modulation
Corrales-Garcia et al. Scalable mobile-to-mobile video communications based on an improved WZ-to-SVC transcoder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180828

CF01 Termination of patent right due to non-payment of annual fee