CN108028905A - 用于网络会议系统内的多源协作的虚拟视频驱动器桥系统 - Google Patents

Abstract

一种系统和方法，用于从多个源接收视频、合成那些源并且然后将合成的视频作为源再发布至虚拟摄像机驱动器端点。在一个实施例中，本方法包括在共享显示器上显示由工作面图像表示的多个媒体流。共享显示器工作面图像然后被再编码，并且经再编码的合成图像被传送至客户端计算机，其中经再编码的图像被转码以模拟连接至客户端计算机的设备。经转码的媒体流然后被传送至电话会议系统。

Description

用于网络会议系统内的多源协作的虚拟视频驱动器桥系统

相关申请

本申请要求2015年7月28日提交的、申请号为62/197，763的美国临时申请的优先权，并且其全部内容并入本文。

背景技术

视频分配系统通常关注于将视频从一个系统传输至一个或多个接收器端点。例如，传统的互联网视频服务器将视频传输至连接并请求视频被串流至其设备的一组客户端。可选地，服务器可将视频再传送至其他服务器以实现负载平衡或确保视频以比可能来自网络上单个固定源要低的延迟被传送至客户端。

当将视频的单一源传输至一个或多个参与者时，这些方式是合适的，但当很多源被传送至潜在的很多终端时，这些方法无法很好地扩展。其通常也受限于单向视频串流，其中发送器将视频传送至一个或多个端点，但端点不能同时彼此共享视频。这些系统处理的使用案例是视频点播服务器或提供一个视频至很多用户的视频共享系统。

在网络会议软件的情况下，用户能够与连接至共享视频会话的其他用户共享视频源(即，视频摄像机或其桌面)。这些系统使用共同的端点。

发明内容

本文公开了一种系统，其从多个源接收视频、将那些源合成并且然后将合成的视频作为源再发布至虚拟摄像机驱动器端点。本文公开的实施例顾及允许多个用户将各种视频源共享至相同的显示器的协作视频串流系统和方法。

在现有技术系统中，源计算机可将视频和其他媒体共享至共享显示器工作面，使得多个源产生于正在查看显示器的用户的可视化和协作会话中。此独特的方式对于在单个集成工作面上协作查看多个媒体源是重要的——但不能以显而易见的方式支持更多传统的视频分配系统。

例如，考虑三个用户使用三个不同的客户端设备将媒体串流至共享显示器。那些用户的每个已连接至从连接的客户端的每个接收输入媒体(视频)流的室内主控制器。这些视频流被解码并显示在呈现给会议室内的三个用户的工作面图像内。假如另外两个用户正在使用传统的网络会议系统参加会议。这两个用户没有通过客户端连接至显示器，但希望经由他们的网络会议应用查看共享屏幕。

在该场景下，被附接至多源视频共享系统的客户端能够通过网络连接将媒体源串流至共享工作面。那些相同的客户端可被用作为网络会议应用中的会议端点。本公开的实施例的至少一个目标在于允许将共享工作面图像与传统的网络会议系统相结合。

因为共享工作面可包含从很多客户端设备合成的多个视频源，本实施例允许网络会议系统在单个视频流中同时共享很多内容源，其并不为传统的网络会议系统所支持。这样，网络会议的端点的每个可能共享很多内容源。

附图说明

图1A是示出本系统的示意性组件的图示；

图1B提供图1A中展示的系统的更详细的视图；

图2是展示在本系统的示意性实施例中执行的一组示意性步骤的流程图；以及

图3是展示由本文公开的系统的至少一个实施例执行的一组示意性步骤的流程图。

具体实施方式

本系统和方法在多个源计算机被连接至特定的协作会话的环境中操作，其中来自至少一个源计算机的一个或多个媒体源显示在中央共享显示器上，并且还显示在至少一台源计算机上。

本方法允许共享工作面将其自身呈现给网络会议端点作为传统的摄像机源。

因此，接受会议摄像机作为有效的输入源的任何网络会议可在没有特定的应用集成的情况下获取共享工作面。

图1A展示本系统100的示意性组件，其包括主显示系统102和经由诸如互联网的网络130与系统102通信的一个或多个客户端显示设备106(*)[其中符号“*”指示任意设备]。如图1所示，在示意性实施例中，主计算机102包括与数据存储110和共享显示器103相关联的主控制器104。主控制器104可包括执行主软件105以提供本文描述的功能的数字处理器。应当理解的是，在不脱离本文范围的情况下，可使用离散逻辑电路或其他形式的固件、软件或硬件实施主软件105和主控制器104。用户可以在主计算机共享显示器103上一起查看共享工作面图像135以共享视图。工作面图像135被存储于主计算机102可访问的存储器中。

每个客户端计算机106可以是具有数字处理器121和显示器108的任何类型的计算机控制的设备，诸如台式或笔记本计算机、平板电脑或智能电话等。驻存于每个源计算机106的存储器111中的客户端软件应用107可被实施为暂时或非暂时性计算机可读指令，当其被数字处理器121执行时实施下文详细描述的功能和任务。应当理解的是，在不脱离本文范围的情况下，可使用离散逻辑电路或其他形式的固件、软件或硬件实施软件应用107和数字处理器121。

图1B中展示了图1A的更详细的视图。如图1B所示，客户端计算机106(1)包括客户端软件107，其包括操作系统(OS)133、虚拟设备网络接口(VDNI)110和网络会议端点应用131。

网络会议端点131是在能够连接至网络会议服务并共享各种源的客户端计算机106上运行的软件(或如上所论述的离散逻辑电路)。其通常包括客户端计算机屏幕和一个或多个连接的摄像机。用户通过选择要共享的不同的源并且训练网络会议系统常用的其他特征对网络会议端点进行操作。举例来说，用户可发起与远程用户的通话(在正上方示出)，在聊天窗口中键入，并且激活连接的网络摄像机以允许远程观察者查看用户。本文所论述的实施例至少通过引入作为安装在客户端计算机106上的软件的虚拟设备网络接口(VDNI)110扩展传统的网络会议系统，该虚拟设备网络接口110接收视频并将其自身呈现给网络会议端点131作为用于网络会议的有效视频源。

在一个示例中，VDNI 110充当虚拟摄像机，模拟视频(或其他类型的)摄像机设备。VDNI 110也可以模拟虚拟显示器。任一设备作为已经被插入计算机的物理设备都将“似乎是”主计算机102。一旦插入(通过网络130连接至主显示接收器)，设备可用作用于在主计算机102上运行的网络会议软件的源。

VDNI 110在多源共享系统101和网络会议端点例如网络会议应用131之间提供便捷的抽象层。VDNI 110的作用是从共享工作面135接收媒体帧(图像或视频)并将该数据转码(再编码)为与VDNI 110一致的格式的视频流142。视频流142充当由VDNI 110模拟的设备的内容源。例如，如果VDNI充当虚拟摄像机，共享工作面图像135被接收并编码为由被模拟的摄像机设备捕捉的实况视频流。

VDNI 110与多源内容共享系统101之间的通信通过网络130发生，并且实施允许VDNI110直接与共享系统的主计算机102通信的协议。这允许主计算机102和VDNI 110之间的通信协议独立于在客户端计算机106(*)上使用的特定网络会议端点。

在支持例如视频摄像机源的客户端计算机上运行的任何网络会议软件允许用户与虚拟摄像机进行交互以启用其视频，将其选为源，并将该源传送至在网络会议会话中连接的远程用户。

“显示主机至客户端(Display Host-to-Client)”通信协议管理客户端连接并将显示在共享显示器103上的图像帧数据传输至客户端计算机106，用于对图1A中箭头141所指示的视频流进行编码。客户端VDNI 110接收该视频流141并将其转换成表示以符合现有视频设备的格式存储的图像流的虚拟视频设备协议。例如，当主机/客户端通过网络130进行通信时，显示主机至客户端协议可包括部分帧。这些帧可以被缓冲，然后被转码为根据已知设备驱动格式呈现给客户端计算机软件107的标准视频流(即，H.264)。采用另一协议来接收经转码的VDNI数据(由图1B中的箭头143指示)，并使用网络会议标准通过广域网WAN144将其发送至网络会议计算机126。众所周知的方法用于本系统中使用的各种协议转换。

图2是展示在本系统的示意性实施例中执行的一组示意性步骤的流程图。在系统操作中，一个或多个用户通过连接至主计算机102并使用媒体共享应用将视频内容串流至主计算机102来将媒体共享至共享显示系统以用于协作可视化。然后，第三方网络会议应用131选择VDNI 110作为客户端计算机之一(例如图1A中的计算机106(1))的输入源。

如图2所示，在步骤205中，客户端计算机106将视频流传送至主计算机102。在步骤210，在客户端计算机106之一(例如，图1A中的计算机106(1))上的VDNI进程110注册主软件105，模拟特定类型的设备，诸如视频摄像机或显示设备。主软件105注意到最近连接了新的设备，并且VDNI进程110连接至主显示器103。

在步骤215，主计算机102接收并组合来自两个或更多个客户端计算机106的视频，用于在共享工作面图像135内显示。在步骤220，(来自客户端计算机的)合成视频图像140被传递至驻存于捕获共享工作面图像135的主计算机102中的视频源代理108。

在步骤225，通常是视频流的合成图像135由主软件105编码，然后经由显示主机至客户端协议被再传送至注册客户端计算机106上的VDNI 110。在步骤230中，共享工作面图像可选择地显示在连接的显示设备(例如共享显示器103)上，以提供各种客户端源的协作视图。

在步骤235，视频源代理将经编码的视频源(工作面视频图像135或工作面图像的序列)141传送至客户端计算机VDNI 110。在步骤240，VDNI以适合于它正在模拟的设备(虚拟显示器或虚拟视频摄像机)的格式揭示所接收的视频。VDNI 110将视频流转码为表示主计算机102上的有效设备的设备编码的视频格式142。

在步骤245，使用已经嵌入到网络会议软件中的接口控件的第三方网络会议应用131然后选择VDNI 110作为支持共享该设备的客户端计算机106之一的输入源。最后，在步骤250，经转码的VDNI数据通过WAN144被发送至网络会议计算机126。

在一个实施例中，本方法包括图3中所示的以下步骤。在步骤305，多个媒体流被主计算机102接收并在工作面图像135上表示，工作面图像135在步骤310被显示在共享显示器103上。在步骤315，共享显示器工作面图像135被再编码，经再编码的合成图像141被传送至VDNI 110。在步骤320，经再编码的图像被转码以模拟连接至VDNI 110的设备。在步骤325，经转码的媒体流然后经由电话会议系统被传送至网络会议计算机126。

以上对本发明的某些实施例的描述并非意在穷举或将本发明限制于所公开的精确形式。权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的特定实施例，而是由下面的权利要求确定本发明的范围。

Claims (16)

1.一种用于多源协作的系统，包括：

客户端计算机，包括视频设备网络接口，适用于：

接收表示由主计算机托管的工作面图像的合成图像，所述工作面图像包括来自与所述主计算机通信的至少两个客户端计算机的各个视频流，

将所述合成图像转码为模拟连接至虚拟设备网络接口的设备的经转码的视频流，并且

将所述经转码的视频流传送至网络会议计算机以在其上显示。

2.根据权利要求1所述的系统，所述客户端计算机是与所述主计算机通信的所述至少两个客户端计算机中的一个。

3.根据权利要求1所述的系统，所述合成图像是所述工作面图像的序列。

4.根据权利要求1所述的系统，所述合成图像是从网络源代理接收的。

5.根据权利要求4所述的系统，根据显示主机至客户端协议所述合成图像被从所述网络源代理接收作为经编码的视频流。

6.根据权利要求1所述的系统，传送的步骤包括将从经模拟的设备可得的经转码的视频流显示至所述网络会议计算机。

7.根据权利要求6所述的系统，所述经模拟的设备是视频摄像机。

8.根据权利要求6所述的系统，所述经模拟的设备是显示设备。

9.根据权利要求6所述的系统，所述经模拟的设备是与所述主计算机相关联的设备。

10.一种用于网络会议系统内的多源协作的方法，包括：

从至少两个客户端计算机中的每个接收媒体流；

将所述媒体流表示在合成工作面图像上；

将多个媒体流显示在共享显示器上作为共享显示器工作空间图像；

对所述共享显示器工作空间图像进行转码以模拟连接至虚拟设备网络接口的设备；以及

经由电话会议系统将经转码的媒体流传送至网络会议计算机。

11.根据权利要求10所述的方法，还包括：在转码的步骤之前再编码共享显示器工作面图像。

12.一种用于网络会议系统内的多源协作的方法，包括：

组合从两个或更多个客户端计算机接收的视频；

将媒体流表示在工作面图像内；

将共享工作面的合成视频图像发送至视频源代理；

对合成图像进行编码并且经由显示主机至客户端协议将图像再传送至虚拟设备网络接口；

在连接的显示设备上显示共享工作面图像以提供所述媒体流的协作视图；

经由所述视频源代理将经编码的视频源传送至客户端计算机虚拟设备网络接口；

其中所述虚拟设备网络接口以适合于被模拟的设备的格式揭示所接收的视频；

其中所述虚拟设备网络接口将视频流转码为表示主计算机上的有效设备的设备编码的视频格式；

其中网络会议应用选择所述虚拟设备网络接口作为支持共享该设备的客户端计算机之一的输入源；以及

将所述设备编码的视频格式发送至网络会议计算机。

13.根据权利要求12所述的方法，其中所述经编码的视频源是工作面视频图像。

14.根据权利要求12所述的方法，其中所述经编码的视频源是工作面图像的序列。

15.根据权利要求12所述的方法，其中所述被模拟的设备是显示设备。

16.根据权利要求12所述的方法，其中所述被模拟的设备是视频摄像机。