CN101467423B - 视频会议的性能增强 - Google Patents

视频会议的性能增强 Download PDF

Info

Publication number
CN101467423B
CN101467423B CN2007800222715A CN200780022271A CN101467423B CN 101467423 B CN101467423 B CN 101467423B CN 2007800222715 A CN2007800222715 A CN 2007800222715A CN 200780022271 A CN200780022271 A CN 200780022271A CN 101467423 B CN101467423 B CN 101467423B
Authority
CN
China
Prior art keywords
participant
frame
meeting
conference server
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800222715A
Other languages
English (en)
Other versions
CN101467423A (zh
Inventor
T·M·穆尔
D·库克利卡
W·钟
W·V·巴克利
D·莱文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101467423A publication Critical patent/CN101467423A/zh
Application granted granted Critical
Publication of CN101467423B publication Critical patent/CN101467423B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08—User group management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/065—Network architectures or network communication protocols for network security for supporting key management in a packet data network for group communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

会议服务器可以响应于确定会议参与者应成为最活跃的参与者向该会议参与者请求关键帧，且该会议服务器可以响应于从该会议参与者接收到关键帧使该会议参与者成为最活跃的参与者。

Description

视频会议的性能增强
背景
会议服务器通常接受来自会议会话中的多个参与者的信息，并处理该信息并将其定向回各参与者。会议服务器的一个示例是音频/视频会议服务器。音频/视频会议服务器通常接受来自多个会议参与者的音频和/或视频流，对音频进行混合，并选择一个或多个参与者的视频流以向其他参与者显示。被选择来供其他参与者观看的参与者有时被称为最活跃的参与者，因为其可能是发言最大声的或‘拥有发言权的’参与者。
在会议服务器，尤其是音频/视频会议服务器的设计和操作中，性能是主要问题。随着更多的参与者加入会议，提供音频混合、视频解码和编码、带宽缩放、加密和解密等持续增长的负担被置于会议服务器上。
概述
以下概述旨在突出和介绍所公开的各实施例的某些方面，而不限制权利要求的范围。其后，呈现了各示出的实施例的详细描述，其将允许相关领域的技术人员制造和使用各实施例。
为加速到新的最活跃的参与者的视频显示切换，并且因而改善性能，会议服务器可以响应于确定至少一个会议参与者应成为至少一个最活跃的参与者向该会议参与者请求关键帧。会议服务器可以响应于接收到所有或基本上所有关键帧使该会议参与者成为最活跃的参与者。
为进一步改善性能，会议服务器可以只解密一个或多个流分组的每一个的一小部分以确定一个或多个流分组的类型和长度。会议服务器可以从流中丢弃帧以执行适于一个或多个会议参与者的带宽缩放。会议服务器可以解密小部分视频元数据信息，并丢弃从元数据所标识的帧，而非以较低的比特率对流进行解码和重新编码。以此方式，可以通过限制为具有到服务器的低带宽连接的参与者执行带宽缩放所需要的解码和重新编码的量来改善会议服务器的性能。
改善性能的另一方式涉及会议服务器向非最活跃的其他会议参与者发信号以使其他参与者停止向会议服务器传递流信息。这可以涉及会议服务器向其他参与者发出停止传递视频流信息的信号，同时继续从其他参与者接收音频信息并处理该音频信息来确定最活跃的参与者。
改善性能的又一方法可以涉及同步所有会议参与者使用同一加密密钥，并使来自会议参与者的一个或多个流穿过会议服务器而不对这些流执行解密和重新加密。可以将一个或多个现有会议参与者的解密密钥提供给新加入的会议参与者。会议服务器还可以同步所有会议参与者使用同一解密密钥。以此方式，可以显著的降低会议服务器解密和重新加密流所需的处理。
在本申请的文本(例如，详细描述和权利要求书)和附图中描述了其它系统/方法/装置方面。
附图简述
在附图中，出于易于理解和方便的目的，相同的参考标号和缩写标识具有相同或相似的功能的元素和动作。为易于标识关于任何特定元素和动作的讨论，参考标号的一个或多个最高有效位指示其中首次引入该元素的附图号。
图1是音频-视频会议系统的实施例的框图。
图2是切换到新的最活跃的参与者的实施例的流程图。
图3是切换到新的最活跃的参与者的实施例的动作流程图。
图4是同步会议参与者的加密-解密密钥的实施例的流程图。
详细描述
虽然可以，但对“一个实施例”或“一实施例”的引用不必指相同的实施例。
除非上下文清楚地要求，否则贯穿整篇说明书和权利要求书，单词“包括”、“包含”等旨在以包括性的含义而非排他性或穷尽性的含义来解释；即，以“包括但不限于”的意义来解释。使用单数和复数的单词还包括相应的复数或单数。另外，单词“此处”、“以上”、“以下”及类似意思的单词在被用于本申请中时，指的是本申请的整体而非本申请的特定部分。在引用两个或更多项的列表时，权利要求使用单词“或”，该单词覆盖该单词的所有以下解释：列表中的任一项、列表中的所有项和列表中的项的任意组合。
“逻辑”指的是可被应用来影响设备的操作的信号和/或信息。软件、硬件和固件都是逻辑的示例。硬件逻辑可被实现在电路中。一般而言，逻辑可以包括软件、硬件和/或固件的组合。
音频/视频会议系统
图1是音频/视频会议系统的实施例的框图。
该系统可以包括会议服务器102、第一网络106、第二网络107和会议参与者客户机设备109、110和111。
会议服务器102(例如，多点会议服务器，或称MCU)启用两个或更多会议参与者109-111之间的多媒体通信。在一典型实施例中，每一参与者都听见包括来自每一客户机位置的音频的混合的音频。音频混合通常由会议服务器102来执行。通常，会议服务器102将该经混合的合成音频作为发送到每一参与者109-111的输出来提供。在某些实现中，最活跃的参与者的音频未被包括在传递给该最活跃的参与者的音频混合中。
另外，若干或所有会议参与者都可以查看包括来自参与者位置之一或可能两个或更多位置的视频的视频流。在一典型实施例中，所有参与者都看见同一视频内容，尽管演示质量可能出于诸如会议服务器和参与者位置之间的带宽限制等实际原因而各不相同。例如，如果对特定位置可用的带宽是有限的，则传递到该位置的视频可以包括较低的分辨率，每秒较少的帧、或较低色彩的内容。
提供给会议参与者的视频流可以包括来自一个或多个活跃的会议位置的视频。例如，可能存在10个参与者位置，但一个或多个位置可能作大部分的发言。会议服务器102可以基于在给定时刻谁说话声音最大和/或“最活跃”来选择为其呈现视频的位置。另选地，会议主持人可以选择呈现哪一参与者的视频。
可以通过加密从会议参与者109-111到会议服务器102的和从会议服务器102到参与者109-111的音频和视频流来以安全的方式提供会议。
音频/视频会议的参与者109-111可以使用多种不同的通信技术来连接到会议服务器102。通过网络的连接是最常见的。在图1中，会议服务器102被示为具有到两个网络的连接。虽然示出了两个网络，但会议服务器102可以支持比这更少或更小的网络接口。会议服务器102可以支持各种通信接口和速率，例如，从19kbps到每秒10Gb或更高。两个网络106和107可以具有到其各自的参与者设备109-111的不同的带宽容量。因此，可以访问会议服务器102来向各参与者执行视频和/或音频流的带宽缩放。
参与者设备109、110和111可以包括各种技术，如个人计算机、膝上型计算机、个人数字助理(PDA)、蜂窝电话、或具有支持会议的逻辑、处理、存储器和通信能力的其它设备。如果会议是以安全的方式来执行的，则客户机设备可以支持视频和音频流的加密和解密。客户机设备可以包括专用会议设备，即，以提供会议作为首要目的来构建的设备。为方便起见，此处客户机设备可被称为会议参与者而非使用会议参与者设备这一更长的名称。取决于上下文，术语‘会议参与者’可以指的是设备或使用该设备的一个或多个人。
会议服务器102可以包括执行此处所描述的各个动作的逻辑104。
切换到新的最活跃的参与者
图2是切换到新的最活跃的参与者的实施例的流程图。
在202，做出会议是否存在新的最活跃的参与者的判定。如果确定存在新的最活跃的参与者，则在204，会议服务器请求该新的最活跃的参与者的视频关键帧。视频关键帧是可被用作后续帧的基础的完整的视频帧，其中后续帧被定义为相对于该关键帧或前导帧的差别。例如，MPEG-2(运动图像专家组公布ISO/IEC 13818)关键帧可被称为‘I帧’，且定义为差别的后续帧被称为‘P帧’。在I帧之后发送的第一个P帧被定义为与前导I帧的差别(哪些像素改变了)。下一后续P帧被定义为与前导P帧的差别，依此类推。定义为与前导I帧的差别、且与该I帧之间有P帧的帧可被称为‘超P帧’。可以从会议服务器向被标识为新的最活跃参与者的参与者的客户机设备提供关键帧请求。
在206，会议服务器确定其是否接收到所请求的视频关键帧。如果是，则在208，会议服务器切换会议显示(即，输出视频流)以显示新的最活跃的参与者。
在某些情况下，最活跃的会议参与者可以不接收会议显示，而是可以改为显示由该最活跃的会议参与者相机所产生的视频的本地版本。可以这么做来节省会议服务器接收和处理来自最活跃的参与者的视频流，随后将该视频流发送回最活跃的参与者以供显示所利用的资源。然而，在输出视频流含有关于两个或更多参与者的视频或以其它方式与从最活跃的参与者发送到服务器的视频流实质上不相同(例如，四屏或分屏显示)的情况下，会议服务器可以向最活跃的参与者发送会议显示。
在210，会议服务器可以向一个或多个会议参与者发出停止传递视频分组的信号以节省通信和处理带宽。通常，不向会议参与者发出停止发送音频分组的信号。会议服务器可以继续混合来自所有参与者的音频并向所有参与者提供该经混和的音频。会议服务器可以继续处理来自所有参与者的音频以确定是否要做出到新的最活跃的会议参与者的切换。
在212，该过程终止。
在某些实施例中，选择了多个最活跃的参与者。例如，会议服务器可以提供具有示出两个活跃的参与者的分开的屏幕的会议显示。
在202，可以确定没有新的最活跃的参与者，或一个，或可能若干个新的活跃的参与者。在204，可以向每一新的最活跃的参与者发送关键帧请求。在206，会议服务器确定新的最活跃的参与者是否已提供所有或基本上所有关键帧以便可以开始显示该参与者的视频。在208，会议服务器在会议显示器上为一个或多个新的最活跃的参与者呈现视频。
在某些实施例中，在210，会议服务器可以向一个或多个非最活跃的会议参与者发出停止发送视频P帧但至少以其通常频率或更偶尔地继续发送I帧的信号。在这种情况下，会议服务器可以高速缓存所接收到的I帧以供可能稍后在视频切换期间使用。
确定供视频显示的会议参与者
确定会议参与者应当是至少一个最活跃的参与者可以涉及确定该会议参与者是否是该会议的最活跃的发言者。这可以涉及确定该会议参与者在一个或多个固定的或可变的测量时间间隔上是否产生所有或大部分参与者中最大量的音频能量。例如，两个发言者在两分钟的时间间隔内可能高度活跃，而只选择一个参与者来显示。如果一人发言更有力(更大声)并且因而提供具有最大能量的音频流，则可以选择该个人的视频以供显示。可以涉及超过一个的测量时间间隔。例如，可以在某一较长的时间间隔(如，两分钟)上测量能量，但在判定算法中对在较短的最新近的时间间隔(如，最后30秒)内测量的能量给予更多权重。可以选择测量时间间隔来避免切换过于频繁，以致观看视频的会议参与者为太过频繁的切换所打扰。
确定该会议参与者是最活跃的发言者的另一方法可以涉及确定该参与者在一个或多个固定的或可变的测量时间间隔上是否正说出所有或大多数其他参与者的大部分的话语。例如，两个发言者在一测量时间间隔上可能相当活跃，而将选择一个最活跃的参与者来使其视频呈现在会议显示上。如果第一发言者轻轻地说了大部分的话，则可以选择该人，即使其他发言者具有较大的音频能量。
在某些情况下，确定会议参与者应成为至少一个最活跃的参与者可以仅仅涉及确定会议主持人已选择该会议参与者来向其他会议参与者显示。
加速到新的会议参与者的显示切换
会议服务器可以响应于确定至少一个会议参与者应成为至少一个最活跃的参与者向该会议参与者请求关键帧。会议服务器可以响应于从该会议参与者接收到所有或基本上所有所请求的关键帧使该会议参与者成为最活跃的参与者。
会议服务器可以响应于从该会议参与者接收到所有或基本上所有所请求的关键帧使其他会议参与者看到该会议参与者的视频。
向至少一个会议参与者请求关键帧可以涉及会议服务器向该会议参与者发出向会议服务器提供视频I帧的信号。该会议参与者预期基本无延迟地提供I帧，即使该会议参与者当前正生成位于P帧或超P帧的视频流。以此方式，可以加速到新的最活跃的会议参与者的切换，因为会议服务器可以更快地显示新的最活跃的参与者的视频，且在新的最活跃的会议参与者的视频流的自然过程期间不必等待关键帧出现。
在某些实施例中，会议服务器可以缓冲作为非最活跃的会议参与者的至少一个会议参与者的至少一个关键帧。会议服务器可以响应于确定至少一个会议参与者应成为至少一个最活跃的参与者向该会议参与者请求超P帧。一旦接收到超P帧，会议服务器可以将其与所缓冲的关键帧进行组合以产生该会议参与者的视频图像。随后可以将该该视频图像提供给其他会议参与者。以此方式，可以加速到新的最活跃的会议参与者的切换，因为会议服务器可以更快地显示新的最活跃的参与者的视频。在这种情况下，在新的最活跃的会议参与者的视频流的自然过程期间，会议服务器不必等待关键帧出现，而是相反，可以将所请求的超P帧和所缓冲的I帧相组合以产生新的最活跃的参与者的可显示的视频。
某些实现可以涉及对等安排，其中一个会议参与者提供会议服务器的功能并指导其他参与者的活动以启用音频/视频会议。例如，作为会议服务器的一个参与者可以确定另一参与者是最活跃的，并可以向其他参与者发布消息/信号以启用此处所描述的加速的视频切换。例如，作为该会话的会议服务器的参与者可以指示当前最活跃的参与者停止向其他参与者发送视频，并向新的最活跃的参与者发出请其发送I帧和开始发送视频的信号。同样，或另选地，作为会议服务器的参与者可以向其他参与者发出停止显示来自当前最活跃的参与者的视频并开始显示来自新的最活跃的参与者的视频的信号。
通过使用如在2005年5月9日提交的题为“Method and System forProviding and Interface Through Which an Application can Access a MediaStack”(用于提供应用程序可用以访问媒体栈的接口的方法和系统)的美国专利申请号11/124,902的专利申请中所描述的一个或多个接口，作为会议服务器的参与者，和/或其他参与者，可以与音频/视频输入和输出和/或由此产生的数据进行接口，该专利申请的内容通过引用结合于此。
节省处理和通信带宽
会议服务器可以向非最活跃的其他会议参与者发信号以使其他参与者停止向会议服务器传递流信息。这可通过例如使端口驱动程序无需处理无用的传入视频分组而节省服务器上的通信带宽和处理带宽。
会议服务器可以向其他参与者发出停止传递视频流信息的信号，但可以继续从其他参与者接收音频流信息且可以处理该音频流信息来确定最活跃的参与者。
切换到新的最活跃的参与者
图3是切换到新的最活跃的参与者的实施例的动作流程图。在302，参与者‘A’向会议服务器提供音频。在304，参与者‘B’向会议服务器提供音频和视频且是最活跃的会议参与者。在306，参与者‘C’向会议服务器提供音频。尽管出于描述的目的而被顺序地示出，但动作302-306实际上可以基本上同步地发生。
在306，确定参与者‘C’是新的最活跃的参与者。
在308，会议服务器向参与者‘C’提供帧请求。该帧请求可以是对于I帧的，或在某些实施例中，可以是对于超P帧的。请求该帧通常涉及使得参与者‘C’开始或重新开始其视频流的传递。
在310，参与者‘C’向会议服务器提供关键帧。在312，会议服务器向参与者‘A’提供停止视频信号。在该示例中，参与者‘A’此时未在发送视频，因为参与者‘A’不是最活跃的会议参与者。因此，在某些实施例中，向参与者‘A’发送停止视频信号的动作可以不发生。
在314，会议服务器向参与者‘B’提供停止视频信号。在316，参与者‘A’继续向会议服务器提供音频流，且在318，参与者‘B’继续向会议服务器提供音频流。尽管出于描述的目的而被顺序地示出，但动作316-318实际上可以基本上同步地发生。
在320，参与者‘C’，即新的最活跃的参与者向会议服务器提供音频和视频流。解密、解码并混合参与者‘A’、‘B’和‘C’的音频流。在326，解密参与者‘B’的少量视频帧信息并且所解密的信息至少被用来确定该视频帧的类型。例如，可以解码少量视频‘元数据’信息并用其来确定帧类型。在328，可以使用帧类型信息来丢弃从提供给参与者‘B’的视频流中所选择的帧以提供带宽缩放，例如，在参与者‘B’经由低带宽链接耦合到会议服务器时。丢弃视频帧还可用于当在会议服务器处在流中检测到传播错误时防止该传播错误。
例如，在某些情况下，可以从经加密的数据的头两个字节来查明帧类型信息。解密帧分组所涉及的时间可以涉及生成每一分组的解密密钥的时间和实际解密该分组的时间。第二个时间与被解密的数据量成比例。对于SRTP(安全实时传输协议)和许多其它形式的加密，一旦知道每一分组的解密密钥，则从数据的开始逐个比特地完成解密。这是因为从该每一分组的密钥中可以生成伪随机比特流，并将其与加密数据进行异或(XOR)以实现解密。
在某些实施例中，为获得帧类型，首先生成每一分组的密钥。随后，并非生成该分组长度的伪随机流，相反，生成包含帧类型的头几个字节(例如，头两个字节)。随后可以解密这两个字节而不解密该分组的其余部分，且无需为该分组的其余部分生成伪随机比特流。
在322，会议服务器向参与者‘A’提供经混和的音频和视频。在324，会议服务器向参与者‘B’提供经混和的音频和视频。在322，会议服务器向参与者‘C’提供经混和的音频(未提供视频，因为参与者‘C’是最活跃的会议参与者并且可以本地地显示视频)。尽管出于描述的目的而被顺序地示出，但动作322-332实际上可以基本上同步地发生。
同步会议参与者的加密/解密密钥
图4是用于同步会议参与者的加密/解密密钥的过程的实施例的流程图。
在402，新的参与者加入会议。在404，做出关于该新的参与者是否是第一个会议参与者的判定。如果在404确定该新的参与者是第一个会议参与者，则在406，可以在会议服务器和该新的参与者之间协商会议加密/解密密钥。否则，在408，向该新的参与者提供会议服务器和现有参与者已在使用的加密/解密密钥。在410，该过程终止。
视频流穿过以节省处理带宽
可以通过同步所有会议参与者使用同一加密密钥并使来自会议参与者的一个或多个流穿过会议服务器而不对这些流执行解密和重新加密来节省会议服务器的处理带宽。加密和解密通常是处理密集型操作，所以较少的加密/解密处理有助于节省处理带宽。
可以通过向新加入的会议参与者提供一个或多个现有会议参与者的加密密钥来便于加密密钥的同步。可以使用各种公知密钥交换协议来实现密钥同步。
还可以同步会议参与者来使用同一解密密钥，例如，通过向新加入的会议参与者提供一个或多个现有会议参与者的解密密钥。
上述详细描述通过使用框图、流程图和/或示例阐明了设备和/或过程的各种实施例。就这些框图、流程图和/或示例包含一个或多个功能和/或操作而言，本领域技术人员可以理解，这些框图、流程图或示例中的每一功能和/或操作都可由各种各样的硬件、软件、固件、或实际上其任意组合来单独地和/或共同地实现。此处所描述的本主题的若干部分可用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其它集成格式来实现。然而，本领域技术人员将认识到，此处所公开的实施例的某些方面整体地或部分地能以标准集成电路来等效地实现为运行在一个或多个计算机上的一个或多个计算机程序(例如，运行在一个或多个计算机系统上的一个或多个程序)、运行在一个或多个处理器上的一个或多个程序(例如，运行在一个或多个微处理器上的一个或多个程序)、固件、或实际上其任意组合，并且本领域技术人员根据本发明使用其技能能容易地为软件和/或固件设计电路和/或编写代码。另外，本领域技术人员将理解，此处所描述的本主题的机制能够作为程序产品以各种形式来分发，且不论用来实际实现该分发的信号承载介质的特定类型如何，此处所描述的本主题的说明性实施例同样适用。信号承载介质的示例包括但不限于以下：诸如软盘、硬盘驱动器、CD ROM、数字带、和计算机存储器等可记录类型的介质；以及诸如使用TDM或基于IP的通信链路(例如，分组链路)等的数字和模拟通信链路等传输类型的介质。
在一般意义上，本领域技术人员可以认识到，此处所描述的、可由各种各样的硬件、软件、固件、或其任意组合来单独地和/或共同地实现的各个方面可被视为由各类“电子线路”所组成。因此，此处使用的“电子线路”包括但不限于，具有至少一个分立电路的电子线路、具有至少一个集成电路的电子线路、具有至少一个专用集成电路的电子线路、形成由计算机程序配置的通用计算设备的电子线路(例如，由至少部分地实现此处所描述的过程和/或设备的计算机程序配置的通用计算机，或由至少部分地实现此处所描述的过程和/或设备的计算机程序配置的微处理器)、形成存储器设备的电子线路(例如，各种形式的随机存取存储器)、和/或形成通信设备的电子线路(例如，调制解调器、通信交换机、或光电设备)。

Claims (14)

1.一种多参与者视频会议中的方法，包括：
会议服务器接收并处理来自所有会议参与者的音频信息，并接收和处理来自被标识为最活跃的参与者的第一会议参与者的视频流，所述视频流包括I帧和P帧；
所述会议服务器响应于确定没有在传递视频流的第二会议参与者应成为最活跃的参与者提供用于向所述第二会议参与者请求I帧的帧请求，所述帧请求致使所述第二会议参与者向所述会议服务器发送I帧并且开始传递包括I帧和P帧的视频流；
所述会议服务器响应于从所述第二会议参与者接收到所述I帧而将所述第二会议参与者标识为最活跃的参与者；
所述会议服务器向所述第一会议参与者发出停止传递P帧但是继续发送I帧的信号；
所述会议服务器接收并处理来自被标识为最活跃的参与者的所述第二会议参与者的包括I帧和P帧的视频流；以及
所述会议服务器接收并高速缓存从所述第一会议参与者接收的I帧。
2.如权利要求1所述的方法，其特征在于，还包括：
所述会议服务器响应于确定所述第一会议参与者应再次成为最活跃的参与者向所述第一会议参与者请求超P帧，以及
所述会议服务器将从所述第一会议参与者接收的超P帧与经高速缓存的I帧相组合以产生视频图像以提供给所述第二会议参与者。
3.如权利要求1所述的方法，其特征在于，还包括：
所述会议服务器确定所述第二会议参与者是所述会议的最活跃的发言者。
4.如权利要求1所述的方法，其特征在于，还包括：
所述会议服务器只解密一个或多个流帧分组的每一个的两个字节以确定由被标识为最活跃的参与者的参与者提供的一个或多个流帧的类型；以及
所述会议服务器从被标识为最活跃的参与者的参与者提供的视频流中丢弃所述一个或多个流帧以执行适于一个或多个其他会议参与者的带宽缩放。
5.如权利要求4所述的方法，其特征在于，还包括：
所述会议服务器解密视频元数据信息以确定由被标识为最活跃的参与者的参与者提供的流帧的类型。
6.如权利要求4所述的方法，其特征在于，还包括：
所述会议服务器丢弃所述一个或多个流帧以提供由被标识为最活跃的参与者的参与者提供的视频流的有效降低的比特率。
7.如权利要求2所述的方法，其特征在于，还包括：
响应于再次将所述第一会议参与者标识为最活跃参与者，所述会议服务器向所述第二会议参与者发信号以使得所述第二会议参与者停止传递P帧但是继续发送I帧。
8.如权利要求1所述的方法，其特征在于，还包括：
所述会议服务器继续从所有会议参与者接收音频信息并处理所述音频信息来确定新的最活跃的参与者。
9.如权利要求1所述的方法，其特征在于，还包括：
同步所有会议参与者使用同一加密密钥；以及
使来自所述会议参与者的一个或多个流穿过会议服务器而不对所述流执行解密和重新加密。
10.如权利要求9所述的方法，其特征在于，所述同步所有会议参与者使用同一加密密钥还包括：
将一个或多个现有会议参与者的加密密钥提供给新加入的会议参与者。
11.如权利要求1所述的方法，其特征在于，还包括：
同步所有会议参与者使用同一解密密钥。
12.如权利要求11所述的方法，其特征在于，所述同步所有会议参与者使用同一解密密钥还包括：
将一个或多个现有会议参与者的解密密钥提供给新加入的会议参与者。
13.一种多参与者会议中的方法，包括：
会议服务器接收并处理来自所有会议参与者的音频信息，并接收和处理来自被标识为最活跃的参与者的第一会议参与者的视频流，所述视频流包括I帧和P帧；
所述会议服务器响应于确定没有在传递视频流的第二会议参与者应成为最活跃的参与者提供用于向所述第二会议参与者请求I帧的帧请求，所述帧请求致使所述第二会议参与者向所述会议服务器发送I帧并且开始传递包括I帧和P帧的视频流；
所述会议服务器响应于从所述第二会议参与者接收到所述I帧而将所述第二会议参与者标识为最活跃的参与者并且向所述第一会议参与者发出停止传递P帧但是继续发送I帧的信号；
所述会议服务器接收并处理来自被标识为最活跃的参与者的所述第二会议参与者的包括I帧和P帧的视频流；
所述会议服务器接收并高速缓存从所述第一会议参与者接收的I帧；
所述会议服务器响应于确定所述第一会议参与者应再次成为最活跃的参与者向所述第一会议参与者请求超P帧；以及
所述会议服务器将从所述第一会议参与者接收的超P帧与经高速缓存的I帧相组合以产生视频图像以提供给所述第二会议参与者。
14.如权利要求13所述的方法，其特征在于，还包括：
响应于使得所述第一会议参与者再次成为最活跃的会议参与者，所述会议服务器向所述第二会议参与者发送停止传递P帧但是继续发送I帧的信号；以及
所述会议服务器接收并高速缓存从所述第二会议参与者接收的I帧。
CN2007800222715A 2006-06-16 2007-02-21 视频会议的性能增强 Expired - Fee Related CN101467423B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/454,593 2006-06-16
US11/454,593 US7822811B2 (en) 2006-06-16 2006-06-16 Performance enhancements for video conferencing
PCT/US2007/004644 WO2007145686A1 (en) 2006-06-16 2007-02-21 Performance enhancements for video conferencing

Publications (2)

Publication Number Publication Date
CN101467423A CN101467423A (zh) 2009-06-24
CN101467423B true CN101467423B (zh) 2013-06-19

Family

ID=38832051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800222715A Expired - Fee Related CN101467423B (zh) 2006-06-16 2007-02-21 视频会议的性能增强

Country Status (8)

Country Link
US (1) US7822811B2 (zh)
EP (1) EP2033460A1 (zh)
KR (1) KR20090019825A (zh)
CN (1) CN101467423B (zh)
BR (1) BRPI0712228A2 (zh)
CA (1) CA2652400A1 (zh)
RU (1) RU2008149526A (zh)
WO (1) WO2007145686A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8203591B2 (en) * 2007-04-30 2012-06-19 Cisco Technology, Inc. Method and system for optimal balance and spatial consistency
US8117446B2 (en) * 2007-07-09 2012-02-14 Interwise Ltd. Method and system for secured real time protocol in scalable distributed conference applications
KR100867004B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 시청자 참여를 위한 양방향성 ｉｐｔｖ 방송 서비스 방법및 그 시스템
US8243119B2 (en) * 2007-09-30 2012-08-14 Optical Fusion Inc. Recording and videomail for video conferencing call systems
US20090210789A1 (en) * 2008-02-14 2009-08-20 Microsoft Corporation Techniques to generate a visual composition for a multimedia conference event
US8477661B2 (en) * 2009-08-14 2013-07-02 Radisys Canada Ulc Distributed media mixing and conferencing in IP networks
CN102098485A (zh) * 2009-12-09 2011-06-15 宏正自动科技股份有限公司 用户视频会议系统、远程管理系统及进行视频会议的方法
NO333235B1 (no) * 2010-05-25 2013-04-15 Cisco Systems Int Sarl System og fremgangsmate for konferanser med skalerbar mediesvitsjing
US11606537B2 (en) * 2010-05-25 2023-03-14 Cisco Technology, Inc. System and method for scalable media switching conferencing
US8731152B2 (en) * 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
EP2448265A1 (en) 2010-10-26 2012-05-02 Google, Inc. Lip synchronization in a video conference
US8655945B2 (en) * 2010-11-16 2014-02-18 International Business Machines Corporation Centralized rendering of collaborative content
US9210302B1 (en) 2011-08-10 2015-12-08 Google Inc. System, method and apparatus for multipoint video transmission
US8666042B2 (en) * 2011-11-02 2014-03-04 Cisco Technology, Inc. Techniques for performing key frame requests in media servers and endpoint devices
US9232244B2 (en) * 2011-12-23 2016-01-05 Cisco Technology, Inc. Efficient frame forwarding in large scale real-time screen content sharing meetings
CN102572356B (zh) 2012-01-16 2014-09-03 华为技术有限公司 记录会议的方法和会议系统
US8917309B1 (en) * 2012-03-08 2014-12-23 Google, Inc. Key frame distribution in video conferencing
US8791982B1 (en) 2012-06-27 2014-07-29 Google Inc. Video multicast engine
US9118940B2 (en) * 2012-07-30 2015-08-25 Google Technology Holdings LLC Video bandwidth allocation in a video conference
US9288435B2 (en) * 2013-03-27 2016-03-15 Google Inc. Speaker switching delay for video conferencing
TWI602437B (zh) * 2015-01-12 2017-10-11 仁寶電腦工業股份有限公司 視訊與音訊處理裝置及其視訊會議系統
US10122767B2 (en) * 2015-05-29 2018-11-06 Nagravision S.A. Systems and methods for conducting secure VOIP multi-party calls
US9900769B2 (en) 2015-05-29 2018-02-20 Nagravision S.A. Methods and systems for establishing an encrypted-audio session
US9891882B2 (en) 2015-06-01 2018-02-13 Nagravision S.A. Methods and systems for conveying encrypted data to a communication device
US10356059B2 (en) 2015-06-04 2019-07-16 Nagravision S.A. Methods and systems for communication-session arrangement on behalf of cryptographic endpoints
US9609275B2 (en) 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
US10085029B2 (en) 2015-07-21 2018-09-25 Qualcomm Incorporated Switching display devices in video telephony
KR20170012979A (ko) 2015-07-27 2017-02-06 삼성전자주식회사 영상 공유 서비스를 위한 전자 장치 및 방법
GB201520509D0 (en) 2015-11-20 2016-01-06 Microsoft Technology Licensing Llc Communication system
US10250848B2 (en) * 2016-06-03 2019-04-02 Avaya Inc. Positional controlled muting
CN108881801B (zh) * 2018-06-29 2020-11-24 苏州科达科技股份有限公司 视频会议的码流传输方法、系统、电子设备、存储介质
CN110070878B (zh) * 2019-03-26 2021-05-04 苏州科达科技股份有限公司 音频码流的解码方法及电子设备
US20220067993A1 (en) * 2020-08-31 2022-03-03 Popshop Technologies, Inc. Live streaming object image capture and image conversion to product catalog
US11368510B1 (en) 2021-04-30 2022-06-21 Zoom Video Communications, Inc. Video frame generation
US20220377059A1 (en) * 2021-05-21 2022-11-24 Zoom Video Communications, Inc. Long-term key management for end-to-end encryption of videoconferences
CN113434187B (zh) * 2021-06-18 2022-10-28 聚好看科技股份有限公司 服务器及白板版本兼容方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804781B1 (en) * 2003-05-12 2004-10-12 Hewlett-Packard Development Company, L.P. System and method for security of information in a memory
CN1618233A (zh) * 2002-01-30 2005-05-18 摩托罗拉公司 视频会议系统和操作方法
CN1643505A (zh) * 2002-03-20 2005-07-20 汤姆森特许公司 视频会议系统结构
US6989856B2 (en) * 2003-10-08 2006-01-24 Cisco Technology, Inc. System and method for performing distributed video conferencing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488570A (en) * 1993-11-24 1996-01-30 Intel Corporation Encoding and decoding video signals using adaptive filter switching criteria
US5805705A (en) * 1996-01-29 1998-09-08 International Business Machines Corporation Synchronization of encryption/decryption keys in a data communication network
US6128649A (en) * 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
JP3775455B2 (ja) 1997-12-12 2006-05-17 富士ゼロックス株式会社 会議端末装置および会議関連情報の送信方法
US6795106B1 (en) * 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
GB2378601B (en) * 2001-08-08 2004-03-31 Motorola Inc Video transmission system,video transmission unit and method of communicating video data
FI114129B (fi) * 2001-09-28 2004-08-13 Nokia Corp Konferenssipuhelujärjestely
IL158276A (en) * 2003-10-02 2010-04-29 Radvision Ltd Method for dynamically optimizing bandwidth allocation in variable bitrate (multi-rate) conferences
US7860005B2 (en) * 2004-01-30 2010-12-28 Hewlett-Packard Development Company, L.P. Methods and systems that use information about a frame of video data to make a decision about sending the frame

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1618233A (zh) * 2002-01-30 2005-05-18 摩托罗拉公司 视频会议系统和操作方法
CN1643505A (zh) * 2002-03-20 2005-07-20 汤姆森特许公司 视频会议系统结构
US6804781B1 (en) * 2003-05-12 2004-10-12 Hewlett-Packard Development Company, L.P. System and method for security of information in a memory
US6989856B2 (en) * 2003-10-08 2006-01-24 Cisco Technology, Inc. System and method for performing distributed video conferencing

Also Published As

Publication number Publication date
BRPI0712228A2 (pt) 2012-01-17
KR20090019825A (ko) 2009-02-25
RU2008149526A (ru) 2010-06-20
US7822811B2 (en) 2010-10-26
US20070294346A1 (en) 2007-12-20
CA2652400A1 (en) 2007-12-21
CN101467423A (zh) 2009-06-24
EP2033460A1 (en) 2009-03-11
WO2007145686A1 (en) 2007-12-21

Similar Documents

Publication Publication Date Title
CN101467423B (zh) 视频会议的性能增强
EP2479986B1 (en) Audio processing in a multi-participant conference
US7240121B2 (en) Content providing apparatus and content providing method
KR100405052B1 (ko) 전화선을 통한 고속 영상 전송
US20070127671A1 (en) System and method for audio multicast
US8649519B2 (en) Method and apparatus for secure distribution of digital content
CN107770600A (zh) 流媒体数据的传输方法、装置、设备和存储介质
CN108881801B (zh) 视频会议的码流传输方法、系统、电子设备、存储介质
WO2012055291A1 (zh) 音频数据传输方法及系统
US7415005B1 (en) Ad hoc selection of voice over internet streams
JP2003521175A (ja) 情報送信を解読する方法及びシステム
WO2019225788A1 (ko) 복수의 채널을 이용하여 동적 비트레이트의 비디오를 송출 및 재생하는 방법 및 시스템
US11431855B1 (en) Encoder pools for conferenced communications
US7460671B1 (en) Encryption processing apparatus and method for voice over packet networks
US20120026281A1 (en) Data processing apparatus for segmental processing of input data, systems using the apparatus and methods for data transmittal
KR20030048464A (ko) 공유된 전송 매체용 데이터 스크램블링 시스템
KR20060131973A (ko) 분산되어 제공된 멀티미디어 오브젝트들을 동기시키기 위한시스템 및 관련 단말, 방법 그리고 컴퓨터 프로그램 제품
CN113382280B (zh) 用于互动直播系统的方法和装置、电子设备
JP6289178B2 (ja) 通話会議システム
JP4522332B2 (ja) 映像音声配信システムおよび方法およびプログラム
US11153361B2 (en) Addressing packet loss in a voice over internet protocol network using phonemic restoration
KR100259769B1 (ko) 다자간 영상 회의를 위한 전송스트림 다중화 장치
Dewi et al. Utilization of the Agora video broadcasting library to support remote live streaming
Macha et al. Ad Hoc Selection of Voice over Internet Streams
US20060230101A1 (en) Telecommunications system for diffusing a multimedia flux through a public communication network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150504

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150504

Address after: Washington State

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130619