CN107509052B - 双流视频会议方法、装置、电子设备及系统 - Google Patents

Abstract

本申请提供一种双流视频会议方法、装置、电子设备及系统，所述方法应用于显示设备中，所述显示设备搭载有第一操作系统和第二操作系统；通过第一操作系统接收源端设备共享的桌面数据，并将所述桌面数据从第一操作系统发送给第二操作系统，以使得所述第二操作系统将所述桌面数据解码渲染后发送至会议终端；接收会议终端发过来的融合后的视频数据，并通过第一操作系统将所述视频数据渲染至显示屏。源端设备共享的桌面数据未占用显示设备的显示屏，在源端设备的桌面数据通过显示设备传给会议终端时，该显示设备仍可展示融合后的信息，减少了显示设备的数量，从而大大降低了双流视频会议系统的成本。

Description

双流视频会议方法、装置、电子设备及系统

技术领域

本申请涉及视频会议技术领域，尤其涉及一种双流视频会议方法、装置、电子设备及系统。

背景技术

在开会时，通常会将笔记本等源端设备的PPT等资料投放到屏幕更大的显示设备上展示。目前已经有会议平板，屏幕尺寸大、能够接收源端设备共享的桌面数据，还能够在会议平板操作源端设备等(触摸交互)，因此，会议平板在会议场景中被广泛使用。

随着科技的发展，视频会议已越来越普遍，而在会议中，人们不仅需要用大屏幕展示会议信息的PPT等资料，还希望看到异地的会议对象、听到会议现场的声音。目前双流会议系统已经能够达到该目的。

所谓双流，即在会议中所有视频会议硬件终端(后续简称“会议终端”)同时接收和发送两路视频流，一路是主视频流，用来传送摄像头等摄取的会场画面；一路是辅视频流，主要用来发送计算机桌面内容以共享PPT或Word文档等。

为了使用会议平板的上述功能，主会场的源端设备需要与会议平板连接，由会议平板展示源端设备共享的桌面数据，再将会议平板展示的桌面数据传送给会议终端，由会议终端发送给分会场，会议终端将主会场及分会场的会场画面融合后作为一路视频流，由于会议平板需要显示桌面数据，则需要额外使用一个显示设备显示该融合后的视频流。

由此可知，在召开双流会议时，若希望将源端设备的桌面数据通过会议平板传给会议终端，则会场需要再准备1台显示设备显示会场画面，搭建这样的双流视频会议系统成本高。

发明内容

有鉴于此，本申请提供一种双流视频会议方法、装置、电子设备及系统，旨在解决将源端设备的桌面数据通过会议平板传给会议终端时需要使用两台显示设备成本高的问题。

具体地，本申请是通过如下技术方案实现的：

一种双流视频会议方法，应用于显示设备中，所述显示设备搭载有第一操作系统和第二操作系统；所述方法包括以下步骤：

通过第一操作系统接收源端设备共享的桌面数据，并将所述桌面数据从第一操作系统发送给第二操作系统，以使得所述第二操作系统将所述桌面数据解码渲染后发送至会议终端；

接收会议终端发过来的融合后的视频数据，并通过第一操作系统将所述视频数据渲染至显示屏。

一个实施例中，所述通过第一操作系统接收源端设备共享的桌面数据的步骤之前，还包括：

通过第一操作系统与传屏装置建立通信连接，接收所述传屏装置从源端设备中抓取的桌面数据。

一个实施例中，所述通过第一操作系统将所述视频数据渲染至显示屏的步骤之后，还包括：

通过第二操作系统接收触摸框设备发送过来的触摸信号，并响应所述触摸信号执行相应的触摸操作；

将第二操作系统接收的触摸信号通过第一操作系统、传屏装置转发至源端设备，以在源端设备执行相应的触摸操作。

一个实施例中，所述触摸操作包括以下至少之一：打开或关闭应用程序、滑动或缩放界面、打开或关闭文档、编辑文档。

一个实施例中，所述通过第一操作系统将所述视频数据渲染至显示屏的步骤之后，还包括：

当检测到启动插入批注功能的信号时，在第二操作系统渲染的桌面数据之上新增透明图层；

通过第二操作系统接收触摸框设备发送过来的触摸信号，在所述透明图层中生成与触摸信号对应的书写轨迹；

将第二操作系统中的桌面数据与透明图层的信息封装后发送至会议终端、及将透明图层的信息封装后经第一操作系统、传屏装置转发至源端设备，以在源端设备显示所述透明图层。

本申请还公开了一种双流视频会议装置，应用于显示设备中，所述显示设备搭载有第一操作系统和第二操作系统；所述双流视频会议装置包括：

解码模块，用于通过第一操作系统接收源端设备共享的桌面数据，并将所述桌面数据从第一操作系统发送给第二操作系统，以使得所述第二操作系统将所述桌面数据解码渲染后发送至会议终端；

渲染模块，用于接收会议终端发过来的融合后的视频数据，并通过第一操作系统将所述视频数据渲染至显示屏。

本申请还公开了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如前任意一项所述的双流视频会议方法。

一个实施例中，所述电子设备还包括：采集触摸信号的触摸框设备；

所述触摸框设备将采集的触摸信号发送至处理器。

本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前任意一项所述的双流视频会议方法。

本申请还公开了一种双流视频会议系统，包括：

第一显示设备、第一会议终端和至少一个第二会议终端；

所述第一显示设备包括：显示屏、触摸框设备、搭载有第一操作系统的第一控制模块、搭载有第二操作系统的第二控制模块；所述第一显示设备用于通过第一控制模块接收源端设备共享的桌面数据，并发送给在第二控制模块，通过第二控制模块将所述桌面数据解码渲染后发送至会议终端；

与第一会议终端连接的第二会议终端，用于采集分会场现场的视频数据并发送给所述第一会议终端；

与第一显示设备的第一控制模块及第二控制模块连接的第一会议终端，用于接收第二控制模块解码并渲染的桌面数据、采集主会场现场的视频数据，将接收的桌面数据、主会场现场的视频数据、分会场现场的视频数据融合后的视频数据发送给第一显示设备的第一控制模块；

所述第一控制模块将所述融合后的视频数据渲染至显示屏。

一个实施例中，所述双流视频会议系统还包括：与所述第一控制模块通信连接的传屏装置；

所述传屏装置与源端设备连接，用于获取源端设备的桌面数据，并将该桌面数据根据私有协议封装后发送至所述第一显示设备的第一控制模块；

所述第一控制模块将接收的该桌面数据转发至第二控制模块。

一个实施例中，所述第一会议终端，用于以画中画的形式在桌面数据上叠加视频数据生成融合后的视频数据。

本发明的显示设备搭载有第一操作系统和第二操作系统；通过第一操作系统接收源端设备共享的桌面数据，并将所述桌面数据从第一操作系统发送给第二操作系统，以使得所述第二操作系统将所述桌面数据解码渲染后发送至会议终端；接收会议终端发过来的融合后的视频数据，并通过第一操作系统将所述视频数据渲染至显示屏。由于源端设备共享的桌面数据未占用显示设备的显示屏，从而可以接收会议终端发过来的融合后的视频数据，将该融合后的视频数据渲染至显示屏，在源端设备的桌面数据通过显示设备传给会议终端时，该显示设备仍可展示融合后的信息，减少了显示设备的数量，从而大大降低了双流视频会议系统的成本。

附图说明

图1a是现有的一种双屏双流视频会议的示意图；

图1b是现有的另一种双屏双流视频会议的示意图；

图2是本申请一示例性实施例示出的一种双流视频会议方法的流程图；

图3是本申请一示例性实施例示出的一种双流视频会议方法的流程图；

图4是本申请一示例性实施例示出的一种双流视频会议方法的流程图；

图5a是本申请提供的一种单屏双流视频会议的示意图；

图5b是图5a中融合后的视频画面598的放大示意图；

图5c是图5a中融合后的视频画面599的放大示意图；

图5d是本申请提供的一种视频融合效果示意图；

图6是本申请一示例性实施例示出的一种双流视频会议装置的逻辑框图；

图7是本申请一示例性实施例示出的一种电子设备的逻辑框图；

图8是本申请一示例性实施例示出的一种电子设备的逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着科技的发展，视频会议已越来越普遍，而在会议中，人们不仅需要用大屏幕展示会议信息的PPT等资料，还希望看到异地的会议对象、听到会议现场的声音。目前双流会议系统已经能够达到该目的。

所谓双流，即在会议中所有视频会议硬件终端(后续简称“会议终端”)同时接收和发送两路视频流，一路是主视频流，用来传送摄像头等摄取的会场画面；一路是辅视频流，主要用来发送计算机桌面内容以共享PPT或Word文档等。

如图1a所示，主会场与分会场的会议终端通过网络建立连接，会议终端通过HDMI(High Definition Multimedia Interface，高清晰度多媒体接口)与显示设备连接。主会场的摄像头摄取的现场画面为主视频1、源端设备(电脑等)分享的桌面信息为辅视频1，分会场的摄像头摄取的现场画面为主视频2。

主视频1和辅视频1通过网络传给分会场，分会场通过一台显示设备显示主视频1的画面、通过另一台显示设备显示辅视频1的画面；主视频2通过网络传给主会场，主会场的通过一台显示设备显示主视频2的画面，主会场还用另一台显示设备显示辅视频1的画面。显然，每个会场都需要准备2台显示设备。

现在已经有会议平板等大尺寸的显示设备，不仅能够接收源端设备共享的桌面数据，还能够在会议平板操作源端设备等(触摸交互)，因此，会议平板在会议场景中被广泛使用。

为了使用会议平板的上述功能，如图1b所示，主会场的源端设备需要与会议平板连接，由会议平板展示源端设备共享的桌面数据，再将会议平板展示的桌面数据传送给会议终端，由会议终端发送给分会场，会议终端将主会场及分会场的会场画面融合后作为一路视频流，由于会议平板需要显示桌面数据，则需要额外使用一个显示设备显示该融合后的视频流。

由此可知，在召开双流会议时，若希望将源端设备的桌面数据通过会议平板传给会议终端，则会场需要再准备1台显示设备显示会场画面，搭建这样的双流视频会议系统成本高。为此，本发明提出了一种双流视频会议方法，该方法应用于显示设备中，该显示设备搭载有第一操作系统和第二操作系统；如图2所示，该方法包括以下步骤：

步骤S210：通过第一操作系统接收源端设备共享的桌面数据，并将所述桌面数据从第一操作系统发送给第二操作系统，以使得所述第二操作系统将所述桌面数据解码渲染后发送至会议终端；

本发明的显示设备，具有两个操作系统，但是显示屏仅一个，在使用过程中，只能选择将其中一个操作系统的图形界面信息渲染在显示屏上(相当于用户当前是在该操作系统中进行操作，以下简称前台系统)。如果第一操作系统和第二操作系统可以独立与源端设备通信，可以选择直接由源端设备将桌面数据发送给第一操作系统或第二操作系统处理；但是，由于目前的双系统显示设备中，通常是“安卓系统+Windows系统”的组合模式，而安卓系统能够处理触摸信号等底层应用，因此，在传屏时，通常是源端设备通过传屏装置与安卓系统(第一操作系统)建立通信连接，传屏装置从源端设备中抓取桌面数据后根据私有协议进行封装并发送给第一操作系统，如果安卓系统为前台系统，则在安卓系统中对桌面数据进行解码并渲染到显示屏上；如果Windows系统为前台系统，则桌面数据从安卓系统转发到Windows系统，再在Windows系统中对桌面数据进行解码并渲染到显示屏上。本实施例以第一操作系统为前台系统，从而，源端设备共享的桌面数据会传送到第一操作系统中，但第一操作系统不对该桌面数据进行解码渲染等操作，而是转发给第二操作系统，由第二操作系统将该桌面数据解码渲染后发送至会议终端。

步骤S220：接收会议终端发过来的融合后的视频数据，并通过第一操作系统将所述视频数据渲染至显示屏。

会议终端一般指会议系统终端，会议系统终端是配合前端模拟摄像机采集图像、音频后进行输入输出编解码处理后进行点对点、点对多传输的智能主机、智能中控等设备。会议系统一般分为软终端和硬件终端。软终端是指在PC机器用计算机语言编译的软件终端，在PC机器上安装后，通过网络，可实现与其他终端通信，包括其他在线的软硬终端，PC软终端通过数字摄像机和麦克风采集数字信号，进行编码后进行传输。硬件终端一般是针对前端视频、音频、数据进行采集和编码过程，并实现网络传输的硬件设备。本实施例所用会议终端具有视频融合功能的硬件终端，会议终端将桌面数据与会场画面融合后作为一路视频流，再将融合后的视频流发送至显示设备的第一操作系统，并在第一操作系统中将所述视频数据渲染至显示屏；通常硬件终端是通过HDMI或VGA线与显示设备连接的，可以设置在显示设备接收到HDMI信号时即显示，也可以根据切换显示HDMI信号或操作系统的图形界面信息，当显示设备具有多个HDMI接口时，还可以选择显示哪一个HDMI接口传输的信号等。

由于显示设备的前台系统为第一操作系统，而在第二操作系统中处理桌面数据并不会在显示屏上显示，因此，可以显示融合后的视频流，从而在源端设备的桌面数据通过显示设备传给会议终端时，该显示设备仍可展示融合后的信息，减少了显示设备的数量，从而大大降低了双流视频会议系统的成本。

当然，可以为显示设备设置多种模式，例如，可以选择进入远程视频会议模式时，才按上述方式处理桌面数据，以避免用户需要在本地传屏展示时，以第一操作系统为前台系统，但第一操作系统不对桌面数据进行解码渲染，导致无法显示桌面数据的情况，通过设置多种模式，可以方便用户根据自身需求使用该显示设备。

如前所述，用户将源端设备的桌面数据通过显示设备传给会议终端，就是希望利用显示设备与源端设备间的触摸交互功能，从而本发明所用的显示设备还具有触摸框设备，触摸框设备能够采集触摸信号，作为一种信号输入方式，用户通过在屏幕上进行触摸即可让显示设备执行相应操作，例如，打开或关闭应用程序、滑动或缩放界面、打开或关闭文档、编辑文档等。

然而，触摸框设备采集的触摸信号需要传送到操作系统才能执行相应的触摸操作，目前的双系统电子设备，触摸框设备都是将触摸信号发送给前台系统，然而，本发明中并不是前台系统对桌面数据进行处理的(即实际是由第二操作系统与源端设备在通信)，触摸交互应当是在第二操作系统与源端设备间进行，为实现上述目的，如图3所示，本发明一实施例中，所述通过第一操作系统将所述视频数据渲染至显示屏的步骤之后，还包括：

步骤S310：通过第二操作系统接收触摸框设备发送过来的触摸信号，并响应所述触摸信号执行相应的触摸操作；

即由第二操作系统接收触摸框设备发送过来的触摸信号；当然，在有些电子设备中，触摸框设备是先将触摸信号发送给第一操作系统(或者说，其中的安卓系统)，再在第一操作系统中根据哪个系统是前台系统，决定触摸信号最终是在第一操作系统中还是第二操作系统中执行，为此，针对这种由第一操作系统与触摸框设备直接通信的情况，本发明一实施例可以控制触摸信号从第一操作系统转发到第二操作系统中，以在第二操作系统中根据触摸信号执行相应的触摸操作。

步骤S320：将第二操作系统接收的触摸信号通过第一操作系统、传屏装置转发至源端设备，以在源端设备执行相应的触摸操作。

触摸交互中，必不可少的一个环节是源端设备可以执行与显示设备的触摸操作相同的操作，以上下拖动页面为例，当用户在显示设备PDF文档的滚动条上滑动手指时，PDF文档的页面相应的上下或左右滑动，同时，该触摸信号回传给源端设备，源端设备中PDF文档的页面也会相应的上下或左右滑动。而针对远程视频会议的情况，实际是第二操作系统接收到触摸信号，控制第二操作系统中的PDF文档的页面滑动，第二操作系统中页面的改变使会议终端接收到的桌面数据也相应变化，再以融合后的视频流的方式展示在显示设备上，当然，会议终端还会将变化后的桌面数据发送给分会场的会议终端，从而分会场的与会者也能实时看到会议主讲者对PDF文档(或PPT等)的操作。

通过本方案，在减少显示设备数量的同时，不限制会议主讲者在源端设备附近操作PPT等，而是可以在显示设备上直接操作PPT等，使演讲更灵活便利。

在演讲过程中，会议主讲者不仅会拖动PPT等，还可能希望在PPT等上面以画圈、写字等批注形式强调重点，例如，如图5d所示，会议主讲者在PPT上圈出南非区域并强调此处为明年市场开拓的重点。目前很多显示设备(会议平板)具有批注功能，批注功能的使用方式是，例如，用户在播放PPT时调出批注功能，则PPT上面会增加一透明图层，用户可以在该透明图层上书写，从而达到插入批注的目的。但是，目前的显示设备在使用批注功能时，均是前台系统显示桌面数据、在前台系统中增加透明图层，但本实施例中是第二操作系统与源端设备进行通信，若在第一操作系统中使用批注，显然源端设备无法接收到批注内容，且批注内容无法传送给会议终端，从而分会场的用户也无法看到批注内容，即目前的批注功能无法满足远程视频会议的需求，为此，如图4所示，所述通过第一操作系统将所述视频数据渲染至显示屏的步骤之后，还包括：

步骤S410：当检测到启动插入批注功能的信号时，在第二操作系统渲染的桌面数据之上新增透明图层；

步骤S420：通过第二操作系统接收触摸框设备发送过来的触摸信号，在所述透明图层中生成与触摸信号对应的书写轨迹；

步骤S430：将第二操作系统中的桌面数据与透明图层的信息封装后发送至会议终端、及将透明图层的信息封装后经第一操作系统、传屏装置转发至源端设备，以在源端设备显示所述透明图层。

本发明实施例，在检测到启动插入批注功能的信号时，是在第二操作系统中渲染的桌面数据之上新增透明图层，而不是常规的在前台系统(第一操作系统)中启动批注功能。在生成用于插入批注的透明图层后，第二操作系统接收触摸信号，并在该透明图层中生成与触摸信号对应的书写轨迹，该透明图层的信息一方面封装后经第一操作系统、传屏装置转发至源端设备，从而在源端设备上也可以显示批注内容，另一方面桌面数据与透明图层的信息封装后发送至会议终端，作为融合后的视频流可以显示在本地的显示设备上(如图5d中的圈及写的字)，也可以通过会议终端，将携带有批注的桌面数据发送给分会场。

为了更好地说明上述双流视频会议的方案，以下将通过一个实例进行具体解释。

如图5a所示，主会场的会议终端530通过摄像头540采集会场画面(主视频1)，会议终端530的HDMI输入接口与显示设备510的HDMI输出接口506连接、会议终端530的HDMI输出接口与显示设备510的HDMI输入接口507连接，源端设备520与显示设备510通过传屏装置(图中未示出)通信连接。

主会场的会议终端530与分会场的会议终端531通过网络(服务器)通信连接。分会场的会议终端531通过摄像头541采集会场画面(主视频2)，会议终端531的HDMI输出接口与显示设备511(可以为显示器等显示设备)的HDMI输入接口连接。

在进行远程视频会议时，显示设备510的第一操作系统为前台系统，此时，视频控制模块505将第一控制系统的图形界面信息(视频11)渲染在显示屏501上，

第一控制模块503中的传屏接收模块504接收源端设备520共享的桌面数据(辅视频1)，接收到辅视频1后，不执行解码渲染等操作，而是转发给第二控制模块502，在第二控制模块502中对辅视频1进行解码渲染并发送给视频控制模块505，视频控制模块505将辅视频1通过HDMI输出接口506发送给会议终端530。会议终端530还接收会议终端531发送的主视频2，在会议终端530将辅视频1与主视频2进行视频融合，例如，如图5a及图5b中的画面598所示，以画中画的形式在辅视频1上叠加主视频2。会议终端531接收会议终端530发送的主视频1及辅视频1，在会议终端531将辅视频1与主视频1进行视频融合，例如，如图5a及图5c中的画面599所示，以画中画的形式在辅视频1上叠加主视频1，当然，也可以如图5d所示，在辅视频1上叠加主视频1及主视频2。视频融合方式可以根据用户选择的融合形式确定，本发明对此不作限定。

会议终端530将融合后的视频流(融合视频1)发送至显示设备510的HDMI输入接口507，视频控制模块505可以将融合视频1渲染到显示屏501，当然，也可以根据用户指令切换在显示屏501中显示的是哪一路视频流，例如，显示设备510如果有2个HDMI输入接口(HDMI1、HDMI 2)，用户可以选择显示视频11，或者切换到通道HDMI 1或HDMI 2(即显示从该接口输入的HDMI信号)。

图5a所示为2个会场进行视频会议，但实际上可以有多个会场参加视频会议，其它分会场的情况与图中所示分会场类似，各会场将本地的会场画面通过会议终端发送至服务器，服务器再将会场画面分发至各会场的会议终端。当存在多个会场(例如甲会场、乙会场、丙会场)时，服务器可以将甲会场的会场画面和乙会场的会场画面融合成一路视频流后分发至丙会场，也可以将甲会场的会场画面和乙会场的会场画面作为两路视频流分发至丙会场，以多路视频流分发的形式还便于各会场选择视频融合形式。

上述虽然是以一个会场为主会场、其它会场为分会场的形式进行描述的，但显然，各会场均可以在主会场和分会场间进行切换，当分会场接入源端设备共享桌面数据后，也可以将本地的桌面数据共享给其它会场，本发明对主会场和分会场的选择不作限定。

与前述双流视频会议方法的实施例相对应，本申请还提供了双流视频会议装置的实施例。

本申请双流视频会议装置的实施例可以应用在显示设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在显示设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本申请双流视频会议装置所在显示设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的显示设备通常根据该显示设备的实际功能，例如，如图8所示的触摸框设备，当然，还可以包括其他硬件，对此不再赘述。

请参考图6，一种双流视频会议装置600，应用于显示设备中，所述显示设备搭载有第一操作系统和第二操作系统；所述双流视频会议装置600包括：

解码模块620，用于通过第一操作系统接收源端设备共享的桌面数据，并将所述桌面数据从第一操作系统发送给第二操作系统，以使得所述第二操作系统将所述桌面数据解码渲染后发送至会议终端；

渲染模块610，用于接收会议终端发过来的融合后的视频数据，并通过第一操作系统将所述视频数据渲染至显示屏。

请参考图7，一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如前任意一项所述的双流视频会议方法。

进一步地，请参考图8，所述电子设备还包括：采集触摸信号的触摸框设备；

所述触摸框设备将采集的触摸信号发送至处理器。

本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前任意一项所述的双流视频会议方法。

本发明还提出了一种一种双流视频会议系统，包括：

第一显示设备、第一会议终端、第二会议终端；

所述第一显示设备包括：显示屏、触摸框设备、搭载有第一操作系统的第一控制模块、搭载有第二操作系统的第二控制模块；所述第一显示设备用于通过第一控制模块接收源端设备共享的桌面数据，并发送给在第二控制模块，通过第二控制模块将所述桌面数据解码渲染后发送至会议终端；

与第一会议终端连接的第二会议终端，用于采集分会场现场的视频数据并发送给所述第一会议终端；

与第一显示设备的第一控制模块及第二控制模块连接的第一会议终端，用于接收第二控制模块解码并渲染的桌面数据、采集主会场现场的视频数据，将接收的桌面数据、主会场现场的视频数据、分会场现场的视频数据融合后的视频数据发送给第一显示设备的第一控制模块；

所述第一控制模块将所述融合后的视频数据渲染至显示屏。

进一步地，所述双流视频会议系统还包括：与所述第一控制模块通信连接的传屏装置；

所述传屏装置与源端设备连接，用于获取源端设备的桌面数据，并将该桌面数据根据私有协议封装后发送至所述第一显示设备的第一控制模块；

所述第一控制模块将接收的该桌面数据转发至第二控制模块。

进一步地，所述第一会议终端，用于以画中画的形式在桌面数据上叠加视频数据生成融合后的视频数据。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种双流视频会议方法，其特征在于，应用于显示设备中，所述显示设备搭载有第一操作系统和第二操作系统；所述方法包括以下步骤：

通过第一操作系统与传屏装置建立通信连接，接收所述传屏装置传输的源端设备共享的桌面数据，并将所述桌面数据从第一操作系统发送给第二操作系统，以使得所述第二操作系统将所述桌面数据解码渲染后发送至会议终端；

接收会议终端发过来的由主会场现场的视频数据、分会场现场的视频数据融合后的视频数据，并通过第一操作系统将所述融合后的视频数据渲染至显示屏；

通过第二操作系统接收触摸框设备发送过来的触摸信号，并响应所述触摸信号执行相应的触摸操作；

将所述触摸信号通过所述第一操作系统、所述传屏装置转发至所述源端设备，以在源端设备执行相应的触摸操作。

2.如权利要求1所述的双流视频会议方法，其特征在于，所述触摸操作包括以下至少之一：打开或关闭应用程序、滑动或缩放界面、打开或关闭文档、编辑文档。

3.如权利要求1所述的双流视频会议方法，其特征在于，所述通过第一操作系统将所述融合后的视频数据渲染至显示屏的步骤之后，还包括：

当检测到启动插入批注功能的信号时，在第二操作系统渲染的桌面数据之上新增透明图层；

通过第二操作系统接收触摸框设备发送过来的触摸信号，在所述透明图层中生成与触摸信号对应的书写轨迹；

将第二操作系统中的桌面数据与透明图层的信息封装后发送至会议终端、及将透明图层的信息封装后经第一操作系统、传屏装置转发至源端设备，以在源端设备显示所述透明图层。

4.一种双流视频会议装置，其特征在于，应用于显示设备中，所述显示设备搭载有第一操作系统和第二操作系统；所述双流视频会议装置包括：

解码模块，用于通过第一操作系统与传屏装置建立通信连接，接收所述传屏装置传输的源端设备共享的桌面数据，并将所述桌面数据从第一操作系统发送给第二操作系统，以使得所述第二操作系统将所述桌面数据解码渲染后发送至会议终端；

渲染模块，用于接收会议终端发过来的由主会场现场的视频数据、分会场现场的视频数据融合后的视频数据，并通过第一操作系统将所述融合后的视频数据渲染至显示屏；

通过第二操作系统接收触摸框设备发送过来的触摸信号，并响应所述触摸信号执行相应的触摸操作；

将所述触摸信号通过所述第一操作系统、所述传屏装置转发至所述源端设备，以在源端设备执行相应的触摸操作。

5.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述权利要求1-3中任意一项所述的双流视频会议方法。

6.如权利要求5所述的电子设备，其特征在于，所述电子设备还包括：采集触摸信号的触摸框设备；

所述触摸框设备将采集的触摸信号发送至处理器。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3 中任意一项所述的双流视频会议方法。

8.一种双流视频会议系统，其特征在于，包括：

第一显示设备、第一会议终端和至少一个第二会议终端；

所述第一显示设备包括：显示屏、触摸框设备、搭载有第一操作系统的第一控制模块、搭载有第二操作系统的第二控制模块；所述第一显示设备用于通过第一控制模块与传屏装置建立通信连接，接收所述传屏装置传输的源端设备共享的桌面数据，并发送给第二控制模块，通过第二控制模块将所述桌面数据解码渲染后发送至会议终端；

通过第二控制模块接收触摸框设备发送过来的触摸信号，并响应所述触摸信号执行相应的触摸操作，以及将所述触摸信号通过所述传屏装置转发至所述源端设备，以在源端设备执行相应的触摸操作；

与第一会议终端连接的第二会议终端，用于采集分会场现场的视频数据并发送给所述第一会议终端；

与第一显示设备的第一控制模块及第二控制模块连接的第一会议终端，用于接收第二控制模块解码并渲染的桌面数据、采集主会场现场的视频数据，将接收的桌面数据、主会场现场的视频数据、分会场现场的视频数据融合后的视频数据发送给第一显示设备的第一控制模块；

所述第一控制模块将所述融合后的视频数据渲染至显示屏。

9.如权利要求8所述的双流视频会议系统，其特征在于，所述双流视频会议系统还包括：与所述第一控制模块通信连接的传屏装置；

所述传屏装置与源端设备连接，用于将所述桌面数据根据私有协议封装后发送至所述第一显示设备的第一控制模块。

10.如权利要求8或9所述的双流视频会议系统，其特征在于，所述第一会议终端，用于以画中画的形式在桌面数据上叠加视频数据生成融合后的视频数据。

Images