CN116648696A - 协作信息显示控制方法、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了协作信息显示控制方法、设备和存储介质。该方法中，建立终端设备与会议设备之间的网络连接，在会议过程中，终端设备将实现会议所需的协作信息通过网络连接发送到会议设备进行显示，并将窗口对应的预览图在窗口管理界面进行集中管理，将窗口管理界面中的预览图通过网络连接发送到终端设备进行显示，会议设备可以在窗口管理界面对预览图进行控制切换不同协作信息的显示，终端设备通过对接收到的预览图的操作，控制会议设备中显示窗口的切换实现协作信息的显示切换，可快速切换进行显示的文件或窗口，建立终端设备与会议设备之间的数据双向传输，提高了信息流转效率，降低了控制操作对会议进程的中断频率。

Description

协作信息显示控制方法、电子设备和存储介质 技术领域

本发明实施例涉及交互技术领域，尤其涉及协作信息显示控制方法、电子设备和存储介质。

背景技术

在信息技术背景下的会议场景中，经常出现多人围绕会议设备呈现的焦点信息进行讨论。在这一讨论过程中，焦点信息的来源可能有各个与会者配备的终端设备上传的文件，也有会议设备产生的各种文件，如果有远程接入的与会者，还可能会有远程会议设备产生的文件。

发明人使用现有的会议设备进行会议文件管理时发现，各种文件仅仅在会议设备上呈现时，存在形式上的关联性，但是各种文件实质上还是独立进行保存。各个独立保存的文件在会议前以及会议后进行信息流转时，文件需要从各个分散保存的各个设备通过多人配合操作进行收集，整体上是通过冗长的操作链路进行流转，信息流转效率低下。在会议过程中，对于多个会议参与者集中到会议设备的文件，只能由对应的会议参与者或者由当前的操作者在与对应的会议参与者沟通之后，在会议设备进行必要的各种显示控制，显示控制操作对会议进程的中断频率较高。

发明内容

本发明提供了一种协作信息显示控制方法、电子设备和存储介质，以解决现有协作交互的文件处理方式在会议前后进行信息流转时效率低下，文件显示控制对会议进程中断频率较高的技术问题。

第一方面，本发明实施例提供了一种协作信息显示控制方法，用于终端设备，包括：

建立与会议设备的网络连接，弹出共享控制界面，所述网络连接用于在所述终端设备与所述会议设备的显示控制过程中进行数据收发；

在所述共享控制界面接收文件上传操作，将所述文件上传操作对应选中的第一文件发送到所述会议设备，使得所述会议设备显示所述第一文件的预览图；

接收所述会议设备发送的预览数据，所述预览数据为所述会议设备上显示的第二文件的预览图所对应的预览数据，所述第二文件为其它终端设备发送到所述会议设备的文件；

在所述共享控制界面显示所述第一文件对应的预览图和所述预览数据对应的预览图；

在所述共享控制界面上接收显示触发操作，所述显示触发操作用于在至少一个所述预览图中选中一目标预览图；

向所述会议设备发送显示指令，以使所述会议设备显示第一应用的显示窗口，所述第一应用为用于打开所述目标预览图对应的文件的应用程序。

第二方面，本发明实施例还提供了一种协作信息显示控制方法，用于会议设备，包括：

建立与终端设备的网络连接，弹出窗口管理界面，在服务器建立云端会议空间，所述网络连接用于与所述终端设备进行显示控制过程中的数据收发；

接收所述终端设备发送的第一文件，新建用于显示所述第一文件的显示窗口，在所述窗口管理界面显示所述显示窗口的预览图，将所述第一文件发送到所述云端会议空间，将预览数据发送到所述终端设备，使得所述终端设备显示其它终端设备发送的文件对应的预览图；

当在所述窗口管理界面接收到对所述预览图的触发操作，显示所述触发操作选中的预览图对应的显示窗口；

当接收到所述终端设备基于所述预览图发送的显示指令，显示所述显示指令确认的显示窗口。

第三方面，本发明实施例还提供了一种协作信息显示控制方法，用于协作系统，所述协作系统包括终端设备和会议设备，包括：

所述终端设备建立与所述会议设备的网络连接，所述终端设备弹出共享控制界面，所述会议设备弹出窗口管理界面并在服务器建立云端会议空间；所述网络连接用于在所述终端设备与所述会议设备的显示控制过程中进行数据收发；

所述终端设备在所述共享控制界面接收文件上传操作，将所述文件上传操作对应选中的第一文件发送到所述会议设备；

所述会议设备接收所述终端设备发送的第一文件，新建用于显示所述第一文件的显示窗口，在所述窗口管理界面显示所述显示窗口的预览图，将所述第一文件发送到所述云端会议空间，将预览数据发送到所述终端设备，所述预览数据为所述会议设备上显示的第二文件的预览图所对应的预览数据，所述第二文件为其它终端设备发送到所述会议设备的文件；

所述终端设备接收所述会议设备发送的预览数据；

所述终端设备在所述共享控制界面显示所述第一文件对应的预览图和所述预览数据对应的预览图；

所述终端设备在所述共享控制界面上接收显示触发操作，所述显示触发操作用于在至少一个所述预览图中选中一目标预览图；

所述终端设备向所述会议设备发送显示指令，以使所述会议设备显示第一应用的显示窗口，所述第一应用为用于打开所述目标预览图对应的文件的应用程序；

所述会议设备当在所述窗口管理界面接收到对所述预览图的触发操作，显示所述触发操作选中的预览图对应的显示窗口；

所述会议设备当接收到所述终端设备基于所述预览图发送的显示指令，显示所述显示指令确认的显示窗口。

第四方面，本发明实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述电子设备实现如第一方面和第二方面任一所述的协作信息显示控制方法。

第五方面，本发明实施例还提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面和第二方面任一所述的协作信息显示控制方法。

上述协作信息显示控制方法、设备和存储介质，该方法中，建立终端设备与会议设备之 间的网络连接，在会议过程中，终端设备将实现会议所需的协作信息通过网络连接发送到会议设备通过对应的显示窗口进行显示，并将所有窗口对应的预览图在窗口管理界面进行集中管理，将窗口管理界面中的预览图通过网络连接发送到终端设备进行显示，会议设备可以在窗口管理界面对预览图进行控制切换不同协作信息的显示，终端设备通过对接收到的预览图的操作，控制会议设备中显示窗口的切换实现协作信息的显示切换，实现了终端设备与会议设备之间协作信息和控制指令的双向传输，可快速切换进行显示的文件或窗口，操作简单、便捷、效率较高，提高了信息流转效率，降低了控制操作对会议进程的中断频率。

附图说明

图1为本发明实施例提供的一种协作信息显示控制方法的方法流程图；

图2为交互平板的界面示意图；

图3为现有技术多人沟通时交互平板与终端设备的架构示意图；

图4为本发明实施例协作交互时交互平板与终端设备的架构示意图；

图5为本发明实施例提供的共享控制界面的初始状态示意图；

图6为本发明实施例提供的共享控制界面上传文件和显示预览图的示意图；

图7为本发明实施例提供的共享控制界面显示交互平板接收的文件的列表的示意图；

图8为本发明实施例提供的共享控制界面接收会议控制操作的示意图；

图9为本发明实施例提供的共享控制界面显示会议状态信息的示意图；

图10为本发明实施例提供的共享控制界面接收投屏控制操作的示意图；

图11为本发明实施例提供的显示窗口管理管理界面的示意图；

图12为本发明实施例提供的交互平板显示窗口的示意图；

图13为本发明实施例提供的用于终端设备的协作信息显示控制方法的方法流程图；

图14为本发明实施例提供的用于会议设备的协作信息显示控制方法的方法流程图；

图15为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

需要注意的是，由于篇幅所限，本申请说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。

下面对各实施例进行详细说明。

会议、教学、讨论、头脑风暴等多人交互场景下，多个参与者之间的信息传递在很长一段历史时期都通过说话、视觉和听觉实现，这种信息传递能给参与者很好的沟通体验，但是对沟通过程中的信息记录依赖于参与者按个人习惯和能力进行记录，实际传递的信息可能会丢失。

随着信息技术的发展，多人交互场景下的信息展示和信息记录有了更丰富的手段，尤其是基于会议设备的多人交互，每个参与者可以将需要展示的内容集中到会议设备进行展示，并且在会议设备接收和保存协作沟通过程中的各种信息。会议设备可以是基于会议场景专门开发的硬件产品(例如交互平板)，也可以是使用已有的设备(大尺寸的智能电视)进行内容展示，整体而言，实现本方案中协作信息显示控制方法的会议设备具有尺寸较大、具备独立运行的操作系统、可接入网络的特点，从而可以实现协作信息向多人展示，与终端设备的必要数据传输，与远程设备的网络连接等设计需求。

本方案中所说的交互平板，可以是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备，其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。

一般而言，如图2所示，交互平板11包括至少一块显示屏12。例如，交互平板11配置有一块具有触摸功能的显示屏12，且该显示屏12可以是电容屏、电阻屏或者电磁屏。在本实施例中，进一步的，用户可以通过手指或触控笔触控显示屏12的方式实现触控操作，相应的，交互平板12检测触控位置，并根据触控位置进行响应，以实现触控功能。典型的，交互平板11安装有至少一种操作系统，其中，操作系统包括但不限定于安卓系统、Linux系统及Windows系统。

交互平板作为主要用于支持多人沟通场景的交互设备，其中的软件主要用于实现多人沟通场景下的功能需求。例如，交互平板可以安装至少一个具有文稿演示功能的应用程序，其中，该应用程序可以为操作系统自带的应用程序；同时，也安装有从第三方设备或者服务器中下载的应用程序。可选的，具有文稿演示功能的程序除了显示已经编辑好的内容这一基础功能，还具有其他演示过程中的编辑功能，如插入表格、插入图片、插入图形、绘制表格、绘制图形等功能，以实现信息展示过程中的用户信息输入和输入内容的实时展示，进而提高文稿演示过程中的信息展示和交互效果。例如，交互平板可以安装至少一个具有白板功能的应用程序，用户可以基于该应用程序实现多人协作沟通场景下的实时书写记录、修改和保存。仅基于交互平板的多人沟通实现，需要将用于沟通过程中进行展示的内容文件集中到交互平板，然后在交互平板逐一打开展示，并在沟通过程中基于白板进行记录批注等，这种集中仅仅是多人沟通过程中内容文件在交互平板中的集中，从用户获取内容文件的需求实现而言，还是需要对应的提供者配合提供内容文件，每个内容文件实质依然作为离散的文件存在。

为进一步提高多人沟通场景下文件传递方面的便利性，交互平板11可以安装一应用程序，实现对投屏画面的接收和显示，由此使用图3所示的架构支持多人沟通场景下的数据传输，即多人沟通的参与者中的一个或多个，将个人的终端设备连接到交互平板。在图3所述的具体场景中，终端设备可以是个人计算机21，也可以是移动终端22，单个参与者可以只连接个人计算机21或移动终端22，也可以同时连接个人计算机21和移动终端22。参与者将需要在交互平板11进行显示的内容文件发送到交互平板11，或者直接在个人的终端设备进行显示并投屏到交互平板11进行显示。在这种架构支持下，多人沟通不再仅仅是聚焦于交互平板11的沟通，而是所有参与者在各自的个人终端进行操作，以实现更好的沟通效果，多人沟通过程也是协作交互的过程。在本方案中，以基于个人计算机21通过鼠标进行操作进行示例 性描述。

不管是仅基于交互平板的多人沟通，还是基于终端设备与交互平板连接的多人沟通，为更好地支持多人沟通，交互平板中不同的应用程序可能会有配合使用，例如在进行文稿演示时，可以在文稿演示画面之上，通过白板功能的实时输入功能对文稿演示的内容实现补充说明。在预先准备好的内容文件的基础，沟通过程中会产生新的内容文件，或者对已有的内容文件进行更新。

在现有多人沟通场景下的文件管理体系中，每个内容文件都是独立的个体，例如会议日程会生成会议文件由在线会议的软件进行管理；白板使用过程中产生的白板文件保存到交互平板；各种文件编辑软件对应生成的各类文件也是保存到交互平板；云白板产生到白板文件保存到云盘。在这种文件管理体系下，信息技术对多人沟通的帮助也仅限于沟通前的召集和准备以及沟通时内容的展示。如果要在沟通结束后获取文件，需要从交互平板本地和/或云盘访问不同的存储路径，逐一获取多个内容文件，进行整理汇总，内容文件的整理汇总需要通过冗长的操作链路进行流转，信息流转效率低下。

而且终端设备在将内容文件发送到交互平板之后，不能再对后续的展示过程进行控制，而在多人沟通场景下，通常有不同的参与者轮流作为主讲人基于各自对应的内容文件进行展示，或者有一个主讲人对多人提供的内容文件进行展示的过程，在现有技术中，主讲人和内容文件的切换都只能在交互平板进行，或者由终端设备断开与交互平板的连接后，其它终端设备再接入交互平板来实现切换，那么主讲人的切换和文件的切换都会占用宝贵的沟通时间。尤其是参与者对交互平板或内容文件不熟悉时，更是很难通过显示控制操作实现对内容文件的快速准确切换，严重影响会议进程的流畅性。

对于用户而言，协作交互的数据管理主要在个人的终端设备实现，在本方案的具体实施方式中，主要基于终端设备以鼠标操作的方式实现进行描述，但是应当理解，基于触控类设备不影响实施本方案并取得相同的技术效果。

图1为本发明实施例提供的一种协作信息显示控制方法的方法流程图，如图所示，该协作信息显示控制方法，包括：

步骤S101：终端设备建立与会议设备的网络连接，终端设备弹出共享控制界面，会议设备弹出窗口管理界面并在服务器建立云端会议空间；网络连接用于在终端设备与会议设备的显示控制过程中进行数据收发。本申请实施例的描述中，会议设备以交互平板为例进行描述。

本方案中，为进一步优化协作交互过程中的数据处理机制，如图4所示，在图3中现有硬件组成框架的基础上，基于局域网建立现场的多个终端设备与交互平板的网络连接，并基于网络连接的成功建立，各自对应显示用于进行协作信息控制的界面。本实施例中，该网络连接主要为无线通信连接。可选的，终端设备和交互平板在地理位置上相距较近，因此，终端设备和交互平板可以采用近距离无线通信(即适用于近距离范围内的无线通信)的方式建立连接并进行数据传输。例如，通过连接码(例如传屏码)的方式建立连接。具体来说，终端设备和交互平板位于同一局域网中，用户在终端设备和交互平板的一个终端中生成一个连接码，该连接码为一串由字母、数字和/或符号组成的字符串，当用户在终端设备和交互平板的另一个终端中输入该连接码时，终端设备和交互平板在局域网中基于相同的连接码确认连 接。再如，通过二维码的方式建立连接。具体来说，用户通过交互平板生成用于连接的二维码，之后，用户通过终端设备的应用程序扫描该二维码，扫描成功后，终端设备和交互平板确认连接。又如，通过蓝牙配对的方式建立连接。或者，交互平板设置有NFC标签，终端设备具备NFC读取能力，可以读取解析NFC标签中记录的信息，通过Bonjour技术，发现局域网中的交互平板，匹配出指定的交互平板的IP地址，从而实现与交互平板的连接。需说明，实际应用中，还可以采用其他的近距离无线通信方式建立连接。

如图5所示，在终端设备中具体为共享控制界面23，共享控制界面23中设置有多个一级控件，每个一级控件的触发对应用于实现一种协作控制操作。有的协作控制操作可以一键触发操作，则点击对应一级控件即可对应发送控制指令；有的协作控制操作可能需要多个具体动作综合完成，或者有多个不同的子操作，则点击对应的一级控件会导致共享控制界面23中具体显示内容的变化，对一个显示下一级控件或信息，在图5中，从上往下依次是文件上传和播放控制、投屏、会议录制、截屏、音视频会议和获取文件的控件，以上仅是一种示例性的配置方式，在具体实现时也可以调整一级控件的配置方式，例如将文件上传和文件播放拆分为两个一级控件等。在共享控制界面23中，除了显示各个控件，还可以显示交互平板的标识(例如图5中显示的“701会议室”)和窗口关闭控件。

如图11所示，在交互平板中具体为窗口管理界面13，窗口管理界面13用于显示所有在当前协作交互中需要展示的显示窗口的预览图131，当然，在初始状态下，窗口管理界面13中没有预览图131的存在。

终端设备基于共享控制界面23中的操作生成的对交互平板的控制相关数据，以及交互平板需要向终端设备发送的数据，均通过网络连接向对方发送，即显示控制过程中的数据收发通过网络连接进行，后续对数据传输过程的描述在未做特别说明的情况下，均是通过网络连接进行。本方案中的网络连接基于局域网建立。

在具体建立网络连接的过程中，交互平板开机完毕后即在预留的端口开启websocket服务器等待终端设备的连接。本实施例中提供两种终端设备发现交互平板的方式，第一种是交互平板开机后即显示有连接码，在终端设备输入连接码之后，终端设备通过传屏的设备发现技术，基于连接码得到交互平板的局域网IP地址，终端设备基于IP地址向交互平板发送连接请求，交互平板根据该请求通过预留的端口建立与终端设备的websocket连接作为网络连接。第二种是交互平板设置有NFC标签，终端设备具备NFC读取能力，可以读取解析NFC标签中记录的信息，通过Bonjour技术，发现局域网中的交互平板，匹配出指定的交互平板的IP地址，后续的具体连接过程与第一种方式相同。在一个空间中，一个交互平板可以通过同一局域网接入所有参与者的多个终端设备，每个终端设备的具体连接方式相同。在局域网中建立的网络连接是本方案中实现协作的焦点数据传输和控制指令传输的数据通道基础。

在本方案中，共享控制界面和窗口管理界面均是用于实现相关功能的软件的部分或全部界面，终端设备和交互平板在安装对应软件的基础上实现前文所所说的网络连接建立过程，终端设备和交互平板中的软件可以理解为不同但配套使用的软件。在终端设备和交互平板中，相关软件均需要通过账号登录且配置为保存密码自动登录的状态，当终端设备和交互平板监听到网络连接的建立，即打开并登录对应的软件，弹出显示对应的显示窗口。交互平板安装 的软件通过配置给该交互平板的账号密码登录，终端设备安装的软件通过参与者个人的账号密码登录，也就是说，在一个空间中不同的两次多人沟通，交互平板中软件登录的账号密码一般保持不变，终端设备中软件登录的账号密码根据参与者的变化而变化。

如图4所示，交互平板11除了与多个终端设备建立网络连接，还与服务器31之间存在网络连接，并且一般是广域网的连接，交互平板11在网络连接建立之后，即确认有协作交互的进行，需要进行协作信息的展示，为实现对协作交互过程的全记录，将该协作交互定义为会议，在服务器31建立对应于该协作交互的云端会议空间，后续将协作交互过程中生成的关联数据均保存到云端会议空间。云端会议空间是从服务器31请求的专用存储空间，用于云端存储上传的数据，并可以允许获得授权的用户进行访问，具体的数据存储和访问机制在现有技术中已有实现，访问时的数据呈现方式可以使用现有的云端数据呈现方式实现。

步骤S102：终端设备在共享控制界面接收文件上传操作，将文件上传操作对应选中的第一文件发送到会议设备。

文件上传操作是组合的操作，具体包括触发预设控件确认进行文件上传、显示文件浏览窗口、从文件浏览窗口中选中第一文件、确认将第一文件上传。如图5所示，在终端设备初始显示的共享控制界面23中，当检测到对“共享会议文件并播放”控件的触发操作，切换共享控制界面23的显示内容，如图6所示，共享控制界面23切换后显示共享文件的控件(“上传文件”)，触发共享文件的控件之后可以浏览本地文件夹，选中待上传的文件发送到交互平板。本方案中第一文件的上传是实现协作信息显示控制的数据基础。另外，也可以设置通过拖拽的方式将要共享的第一文件，拖到共享控制界面的文件共享区域，从而来实现文件上传。

步骤S103：会议设备接收终端设备发送的第一文件，新建用于显示第一文件的显示窗口，在窗口管理界面显示显示窗口的预览图，将第一文件发送到云端会议空间，将预览数据发送到终端设备，预览数据为会议设备上显示的第二文件的预览图所对应的预览数据，第二文件为其它终端设备发送到会议设备的文件。

交互平板在接收到终端设备发送的文件之后，保存到本地的临时文件夹，并新建用于显示接收到的文件的显示窗口，例如接收到一个图片文件，则新建用于显示该图片文件的显示窗口；接收到一个文档文件，则新建用于显示该文档文件的显示窗口。最新建的显示窗口可以默认显示在交互平板的最顶层，也可以默认显示于底层，根据用户操作的控制操作进行显示。根据窗口的显示，另外对窗口进行截图，将截图作为窗口的预览图显示于窗口管理界面，并将预览图发送到终端设备进行显示，伴随预览图的发送还可以有预览图的唯一标识、文件名称或窗口名称的发送，以供确认后续操作对应的目标窗口。交互平板和终端设备均可以根据预览图对交互平板的显示窗口进行切换，后续可以在此基础上实现终端设备对交互平板的显示控制。

在对应文件新建窗口显示之外，还将文件发送到云端会议空间进行保存，交互平板收到文件即进行保存，可以在协作交互过程中实现文件的无感上传，避免了协作交互结束时集中上传耗时过长的情况。

步骤S104：终端设备接收会议设备发送的预览数据；在共享控制界面显示第一文件对应的预览图和预览数据对应的预览图。

如图5所示，终端设备接收到的所有文件对应的预览图并不是直接在共享控制界面23的初始界面进行显示，而是当协作交互的参与者需要调整交互平板中显示窗口时，触发“获取文件”控件，切换共享控制界面23的显示内容，如图6所示，该界面显示终端设备所有接收到预览数据对应的预览图。在显示预览图的同时可关联显示对一个的文件名或窗口名，具体可以对应显示在预览图的显示区域内、上侧或下侧。在具体显示过程中，图6也可以同时显示终端设备本身共享的文件以及接收到的所有预览数据对应的预览图，还可以同时显示“上传文件”的控件，方便用户进一步上传待共享的文件，如果交互平板发送预览图时还对应发送对应的用户账号，那么在共享控制界面23还可以突出显示自身发送的文件对应的预览图。

步骤S105：终端设备在共享控制界面上接收显示触发操作，显示触发操作用于在至少一个预览图中选中一目标预览图。

步骤S106：终端设备向会议设备发送显示指令，以使会议设备显示第一应用的显示窗口，第一应用为用于打开目标预览图对应的文件的应用程序。

当在图6中某个预览图的显示区域检测到触发操作，则获取该预览图的相关信息，具体可以是预览图本身，或者伴随预览图发送的标识信息等，然后基于选中的目标预览图的信息，向交互平板发送显示指令，显示指令中除了控制类型，还包括通过相关信息确认的控制目标。

步骤S107：会议设备在窗口管理界面接收到对预览图的触发操作，显示触发操作选中的预览图对应的显示窗口。

步骤S108：会议设备当接收到终端设备基于预览图发送的显示指令，显示第一应用的显示窗口，第一应用为用于打开目标预览图对应的文件的应用程序。

本方案中，交互平板切换显示的显示窗口主要有两种方式，第一种是直接在交互平板操作进行切换，第二种是根据终端设备发送的显示指令进行切换。

对于第一种切换方式，如图11所示，对于交互平板显示的显示窗口管理界面，其中显示有多个窗口的预览图131，当在其中某个预览图131的显示区域检测到触发操作，则确认需要显示对应的显示窗口，从而调整交互平板中的显示内容，将选中的显示窗口置顶显示。在显示窗口之后，可以在新显示的显示窗口下一层显示窗口管理界面13；也可以是将窗口管理界面13最小化显示。如果是将窗口管理界面13最小化显示，之前显示的显示窗口保持原来的相对显示层级，在之前显示的显示窗口的基础上置顶显示选中的显示窗口，用户可以根据需要调整窗口的显示层级关系和显示位置。通过窗口管理界面13对窗口的显示进行切换，实现了对所有窗口的快速预览和快速切换，提高了在交互平板进行窗口显示切换时的操作速度。

对于第二种切换方式，根据显示指令的确认待显示的显示窗口的相关信息后进行切换，具体切换后的显示过程与第一种切换方式相同。基于显示指令的显示窗口切换，使得终端设备能够在发送文件的基础上，对交互平板中显示的显示窗口进行控制，多人协作交互过程中，每个参与者可以通过自身使用熟练的终端设备快速选择切换到需要展示的显示窗口，尤其是当自身发送文件对应的预览图有突出显示时，可以更进一步提高操作效率和操作精度。而且可以实现任一参会人员对所有参会人所上传的文件的集中控制展示，可以快速、便捷地切换需要展示的文件，提高了会议过程文件展示的切换效率。

在窗口显示时，如图12所示，还可以在显示窗口的上一层级显示有界面切换控件15； 界面切换控件15中可以显示用于表明该控件的作用的信息(例如“切换”)，还可以显示所有窗口的数量，也即窗口管理界面中预览图的数量(例如图12中显示窗口数量为3)，在界面切换控件15的基础上，如果用户有调整当前显示的显示窗口的需要，可以对界面切换控件15进行触发操作，根据对界面切换控件的触发操作，显示窗口管理界面。进而可以执行步骤S107实现窗口的切换。

需要说明的是，本方案中的显示窗口显示本身与没有窗口管理界面的显示并无不同，例如可以对窗口进行关闭、编辑、缩放、调整显示位置等，窗口管理界面可以理解为在正常显示的基础上提供的用于切换显示的菜单界面，对应的，如果某个窗口关闭，可以在窗口管理界面中结束显示对应的预览图；如果当前置顶显示的显示窗口最小化，则显示下一层级的显示窗口，由此可以保证对窗口显示本身的调整与现有技术相同，用户不需要适应新的交互模式。

步骤S109：终端设备在共享控制界面接收会议录制操作，根据会议录制操作向会议设备发送录制指令，以使会议设备获取视频流和音频流生成对应的录屏文件。

步骤S110：会议设备接收终端设备发送的录制指令，响应于录制指令，获取视频流和音频流并发送到服务器，以使服务器生成对应的录屏文件并保存到云端会议空间。

如图5所示，当在共享控制界面23接收到对“会议录制”控件的触发操作，则确认接收到会议录制操作，会议录制的控制过程没有复杂的数据往来过程，终端设备只需要发送录制指令，会议设备对应进行数据记录即可。

在具体的会议录制过程，对于终端设备而言，可以在“会议录制”控件显示当前处于录制状态，并显示已录制的时长，以供用户查看录制相关信息。对于交互平板而言，需要抓取用于在屏幕显示的视频流和声音采集设备采集的音频流和/或文件播放输出的音频流，并将视频流和音频流发送到服务器器，由服务器对视频流和音频流进行处理，生成对应的录屏文件保存到云端会议空间，由服务器生成录屏文件，降低了交互平板的数据处理量，也避免了协作交互结束后将录屏文件做整体发送时，因为录屏文件较大而单独为发送录屏文件耗费较长时间。

步骤S111：终端设备在共享控制界面接收截屏操作，根据截屏操作向会议设备发送截屏指令，以使会议设备截取屏幕画面生成截屏文件。

步骤S112：会议设备接收终端设备发送的截屏指令，响应于截屏指令，截取屏幕画面生成截屏文件，将截屏文件发送到对应的终端设备并上传到云端会议空间。

与录屏指令的发送响应过程类似，截屏的控制过程也没有复杂的数据往来过程，在图5所示的共享控制界面23检测到对“截屏”控件的触发操作，即确认接收到截屏操作，对应生成截屏指令，终端设备只需要发送截屏指令，交互平板接收截屏指令后，截取屏幕画面生成截屏文件，并将截屏文件上传到云端会议空间。在具体进行截图时，会议设备还将截屏文件发送截屏指令对应的终端设备，对应的终端设备也会对截屏文件进行保存。终端设备可以根据参与者自身的需要，选择截屏并获取对应的截屏文件，对整体的协作交互过程不产生干扰。而且还可以将该截屏文件进行保存，作为会议过程的记录文件。

步骤S113：会议设备将会议状态信息发送到终端设备进行显示。

步骤S114：终端设备接收会议设备发送的会议状态信息，并在共享控制界面显示会议状态信息。

会议设备将最新的会议状态信息发送到终端设备进行显示，具体可以是实时发送，也可以是会议状态信息有变化时发送，终端设备对接收到的会议状态信息进行显示。具体的会议状态信息包括是否处于音视频会议中、会议码、会议成员等。其中是否处于音视频会议中，在图5所示的共享控制界面23中，可以直接在“音视频会议”控件处显示，例如直接在该控件处显示“会议中”，其它信息可以不需要在初始页面显示，在图5“音视频会议”控件检测到触发操作之后，进入下一级控件显示会议状态信息。

步骤S115：终端设备在共享控制界面接收会议控制操作，根据会议操作向会议设备发送会议控制指令，以使会议设备根据会议控制指令更改音视频会议状态。

具体来说，更改音视频会议状态包括以下的至少一种：调用音视频软件进行音视频会议、邀请新的参会人、管理参会人的状态信息、和结束音视频会议。

如果交互平板当前没有处于会议状态，那么在图5所示共享控制界面23中的“音视频会议”控件检测到触发操作之后，切换共享控制界面23的显示内容，切换后的共享控制界面23如图8所示，用户可以选择发起新的音视频会议和加入已有的音视频会议，如果在“发起会议”控件检测到触发操作，则生成发起新的音视频会议的会议控制指令；如果在“加入会议”控件检测到触发操作，则需要进一步接收会议码，并生成加入已有的音视频会议的会议控制指令，该会议控制指令中还携带有会议码。

如果交互平板当前处于会议状态，那么在图5所示共享控制界面23中的“音视频会议”控件检测到触发操作之后，切换共享控制界面23的显示内容，切换后的共享控制界面23如图9所示，显示有会议码，用户可以操作复制会议码，将会议码通过各种在线通信方式发送到其他用户，其他用户可以基于会议码加入交互平板当前进行的音视频会议；还显示有“麦克风”控件、“摄像头”控件和“挂断”控件，在对应的控件测到触发操作之后，分别生成切换麦克风的使能状态(从而实现静音或声音发送)、切换摄像头的使能状态(从而实现发送或者不发送视频图像)和结束音视频会议的会议控制指令；另外还显示有当前的会议成员列表，也可以在“邀请”控件被触发时，获取当前账户的通讯录，根据通讯录接收到的目标选择操作，生成向目标联系人发起会议邀请的会议控制指令。

在具体实现音视频会议的过程中，对于终端设备而言，如果当前处于共享控制界面的初始状态下，则可以在共享控制界面上接收会议发起操作；根据会议发起操作，向会议设备发送第一会议控制指令；接收会议设备发送的会议状态信息；在共享控制界面显示会议状态信息，由此实现音视频会议的发起。即在图5的基础上触发“音视频会议”控件，从而进入图8或图9的状态，显示当前没有处于音视频会议状态，或者显示当前的音视频会议的状态信息。

在图8的基础上，可以根据第二会议控制指令发起音视频会议，即根据会议状态信息确定会议设备未处于音视频会议中，则在共享控制界面上显示联系人列表；在共享控制界面接收对联系人列表的选择操作后，生成第二会议控制指令；向会议设备发送第二会议控制指令，使得会议设备根据第二会议控制指令，发起音视频会议，并向对应的联系人发起会议邀请。

在图9的基础上，可以根据会议控制操作邀请其它联系人加入音视频会议，即根据会议 状态信息确定会议设备处于音视频会议中，则在共享控制界面上显示会议状态信息，在共享控制界面接收会议控制操作，根据会议控制操作，邀请其它联系人加入会议设备当前的音视频会议中。

在图9的基础上，还可以根据第三会议控制指令结束音视频会议或者管理参会人的状态信息，具体在前文已有描述。

步骤S116：会议设备接收终端设备发送的会议控制指令，响应于会议控制指令，调用音视频软件进行音视频会议或结束音视频会议。

会议设备根据接收到的会议控制指令的类型进行对应的响应，整体而言，本方案中不必在实现窗口管理界面的软件中专门实现音视频软件功能，可以根据会议控制指令的类型以及其中携带的信息，调用音视频软件，通过进程间通信发起音视频会议。

如果会议控制指令是发起音视频会议，则调用音视频软件创建会议，并执行步骤S113更新会议状态信息。如果会议控制指令是加入音视频会议，则调用音视频会议，根据会议控制指令中携带的会议码加入对应的会议，此时如图4所示，交互平板直接通过广域网与远端的终端设备建立音视频会议。其它对应麦克风、摄像头、挂断等控制，均可以通过相同的原理实现，相较于本方案，现有的对交互平板的音视频会议的控制方式，当需要发起新的音视频会议，或者对音视频会议进行控制时，必须在交互平板进行操作才能完成控制，操作者需要靠近交互平板才能完成音视频会议的控制过程，影响了会议进程的连续性。本方案有效提高了会议控制过程中的操作效率。

步骤S117：终端设备在共享控制界面接收投屏控制操作，根据投屏控制操作向会议设备发送投屏数据，以使会议设备生成用于显示投屏数据的显示窗口。

步骤S118：会议设备接收终端设备发送的投屏数据，新建用于显示投屏数据的显示窗口，在窗口管理界面显示各显示窗口的预览图。

如图5所示，在终端设备初始显示的共享控制界面23中，当检测到对“投屏”控件的触发操作，切换共享控制界面23的显示内容，如图10所示，共享控制界面23切换后显示终端设备的可选投屏窗口，包括完整屏幕投屏，屏幕中显示窗口的独立投屏(例如本地窗口一和本地窗口二)，根据在可选投屏窗口中的触发操作，确认对应的投屏窗口，生成对应的投屏数据，并将投屏数据发送到交互平板进行显示。交互平板对投屏数据的显示窗口处理机制与前文所说的文件的显示窗口处理机制相同。

如果投屏过程中存在多人投屏，考虑到投屏时通常没有在会议设备的操作需求，在会议设备接收到多个投屏数据时，将投屏数据对应的显示窗口进行分屏显示，更贴合实际交互需求，当然，分屏显示只是有新的投屏数据加入时默认进行分屏显示，如果在终端设备或者会议设备有更具体的显示控制指令的生成，则对应响应投屏数据的显示窗口的变化，结束默认的分屏显示。

在投屏数据的显示基础上，终端设备在共享控制界面接收全屏投屏控制操作，根据全屏投屏控制操作向会议设备发送全屏控制指令，使得会议设备全屏显示会议终端的投屏画面。全屏控制指令具体可以在投屏数据对应的显示窗口中添加控件，当该控件被触发时，向会议设备发送全屏控制指令，使得会议设备全屏显示全屏控制指令确认的投屏数据。在具体实现 过程中，也可以是默认控制全屏显示终端设备自身发送的投屏数据对应的显示窗口。在全屏显示过程中，同样也可以显示界面切换控件，结束当前显示窗口的全屏显示，恢复显示窗口管理界面，并通过窗口管理界面进行窗口显示的其它显示控制。

如果所有的投屏数据中止发送，会议设备则恢复显示窗口管理界面，对应更新窗口管理界面中的预览图，继续进行其它的窗口显示控制。

步骤S119：会议设备根据终端设备的请求，发送显示过程中接收到的文件的列表和选中的文件。

步骤S120：终端设备在共享控制界面接收文件保存操作，根据文件保存操作，接收和显示会议设备在当前显示控制过程中接收到的文件的列表，并保存从列表中选中的文件。

在步骤S119和步骤S120中，终端设备的文件保存操作可能有两次具体操作，第一次是在图5共享控制界面23所示的“获取文件”控件检测到触发操作时，向交互平板请求接收到的文件的列表，交互平板接收到该请求之后，对应向终端设备发送对应列表，共享控制界面23中的显示在图5基础上切换为图7，在共享控制界面23中显示接收到的列表；第二次是在图7所示的列表中检测到对某个文件的选择操作时，向交互平板请求对应的文件，交互平板接收到该请求之后，对应向终端设备发送文件。在图7中，列表中的每个文件名前显示有勾选框，对某个文件的选择操作通过对该文件前显示的勾选框进行操作完成对应选择，然后通过触发“一键获取”控件，向交互平板发送获取勾选框对应文件的请求，交互平板接收到该请求之后，对应向终端设备发送选中的文件。当然，列表中也可以不设置勾选框，而直接在文件名对应的显示区域接收选择操作，选中的文件和未选中的文件的显示区域通过背景色、立体、阴影等进行区分。文件名对应还显示有上传时间和上传来源的信息，以供请求文件时确认是需要获取的目标文件。

列表中不仅包括其它终端设备向交互平板发送的文件，也包括了整个协作交互过程中生成的录屏文件。协作结束后，当终端设备的用户即协作交互的参与者，需要保存文件或者录屏文件时，通过在终端设备的操作，直接快速从交互平板下载文件，信息流传过程中无需他人配合提供文件，提高了信息流转效率。而且前述步骤中，终端设备控制会议设备进行录屏，生成的录屏文件并不直接发送给终端设备，而是保存到云端会议空间，由服务器生成录屏文件，降低了交互平板在协作过程的数据处理量。当协作结束后，当终端设备的用户及协作交互的参与者，需要保存相应录屏文件时，再点击获取录屏文件并保存，避免了协作过程保存录屏文件而导致数据量过大，影响协作交互过程的情况。

步骤S121：会议设备在窗口管理界面接收应用添加操作，打开应用添加操作确认的应用的显示窗口，在窗口管理界面添加窗口的预览图。

在窗口管理界面显示时如果检测到对交互平板侧边栏中应用的触发操作，则确认接收到应用添加操作，打开应用添加操作确认的应用的显示窗口，并在窗口管理界面添加对应的预览图，从而在窗口管理界面实现对协作交互相关所有的显示窗口的综合管理。

可以理解的是，窗口管理界面中的管理对象是在交互平板中显示的服务于协作交互的显示窗口，而这里的显示窗口不限于终端设备发送的文件对应的显示窗口，也包括投屏生成的显示窗口和交互平板本身运行的应用的显示窗口。通过本方案中的显示窗口控制方式，可以 在终端设备实现对交互平板中协作交互相关窗口显示过程的全面控制，提高了协作交互效率。

步骤S122：会议设备接收终端设备发送的连接中断指令，将云端会议空间的连接信息发送到终端设备。

步骤S123：会议设备将显示控制过程中生成的关联数据更新到云端会议空间，删除本地数据记录。

发送连接信息实际是发送到建立过网络连接的终端设备对应的账号。该账号在其他终端设备登录后，依然可以访问或直接显示云端会议空间中存储的数据。除了前文所说的终端设备控制操作对应的各种关联数据，步骤S121中应用生成的文件也作为关联数据进行保存，实现关联数据的全面更新，保证后续用户基于账号登录能查看到协作交互过程产生的完整数据。对于交互平板而言，协作交互产生的关联数据已经在云端会议空间已经有了完整保存，对应可以删除本地数据记录。

在本方案中，所有通过网络连接与交互平板进行数据传输的终端设备，相互之间具备平等的通讯地位，即每个终端设备的数据收发过程相同，交互平板向终端设备的数据发送也是向每个终端设备均进行平等发送。例如交互平板发送某个窗口的预览图，是发送到所有当前连接的终端设备。

步骤S124：终端设备将会议过程，本地记录的文件和/或数据按照时间顺序进行保存，形成会议纪要。会议过程中，终端设备还可以记录会议过程的概要、发布的任务、接收的任务等，或者对会议过程接收到的文件、录屏数据等进行保存，形成会议纪要文件，便于后续进行复盘跟踪。

需要说明的是，本方案中的步骤S101-步骤S108并不是一次协作交互过程中，每个终端设备和交互平板必须存在或依序执行的过程，而是作为一个完整的方案，实现既定的协作交互控制目标应当具备对应的操作过程。例如在当前的协作交互过程中，某个终端设备始终没有基于步骤S103中实现文件上传的过程，但是不影响其作为其他终端设备上传的文件控制这，可以在对应的共享控制界面实现步骤S105和步骤S106中的操作，交互平板对应也有步骤S108中响应，当然也不影响当其需要上传文件时，可以实现步骤S103中的上传过程。也就是，本方案中的步骤S101-步骤S108是对方案的整体策略实现的描述，而不是单次协作交互过程中，在每个终端设备和交互平板的必然实现。其他实现步骤的限定与步骤S101-步骤S108的限定类似。而且附图中对各种控件的文字标识仅是示例性说明，不表示排他性限定。

上述方法，建立终端设备与会议设备之间的网络连接，在会议过程中，终端设备将实现会议所需的协作信息通过网络连接发送到会议设备通过对应的显示窗口进行显示，并将所有窗口对应的预览图在窗口管理界面进行集中管理，将窗口管理界面中的预览图通过网络连接发送到终端设备进行显示，会议设备可以在窗口管理界面对预览图进行控制切换不同协作信息的显示，终端设备通过对接收到的预览图的操作，控制会议设备中显示窗口的切换实现协作信息的显示切换，实现了终端设备与会议设备之间协作信息和控制指令的双向传输，可快速切换进行显示的文件或窗口，操作简单、便捷、效率较高，提高了信息流转效率，降低了控制操作对会议进程的中断频率。

以上是终端设备和会议设备进行协作信息显示控制的整体描述，对于其中一端而言，均可以作为独立的产品形态存在，以下对终端设备和会议设备对应实施协作信息控制方法的过程分别进行描述。

请参考图13，其是用于终端设备的协作信息显示控制方法的方法流程图，如图13所示，该方法，包括：

步骤S201：建立与会议设备的网络连接，弹出共享控制界面，网络连接用于在终端设备与会议设备的显示控制过程中进行数据收发。

步骤S202：在投屏控制界面共享控制界面接收文件上传操作，将文件上传操作对应选中的第一文件发送到会议设备，使得会议设备显示第一文件的预览图。

步骤S203：接收会议设备发送的预览数据，预览数据为会议设备上显示的第二文件的预览图所对应的预览数据，第二文件为其它终端设备发送到会议设备的文件。

步骤S204：在投屏控制界面共享控制界面显示第一文件对应的预览图和预览数据对应的预览图。

步骤S205：在共享控制界面上接收显示触发操作，显示触发操作用于在至少一个预览图中选中一目标预览图。

步骤S206：向会议设备发送显示指令，以使会议设备显示第一应用的显示窗口，第一应用为用于打开目标预览图对应的文件的应用程序。

在具体实现本方案的过程中，步骤S201可以通过步骤S2011和步骤S2012实现：

步骤S2011：通过接收会议设备的连接码或识别会议设备的NFC标签，获取会议设备的IP地址；

步骤S2012：基于IP地址建立与会议设备的websocket连接作为网络连接。

在上述实施例的基础上，该方法，还包括：

步骤S207：在共享控制界面接收会议录制操作，根据会议录制操作向会议设备发送录制指令，以使会议设备获取视频流和音频流生成对应的录屏文件。

在上述实施例的基础上，该方法，还包括：

步骤S208：在共享控制界面接收截屏操作，根据截屏操作向会议设备发送截屏指令，以使会议设备截取屏幕画面生成截屏文件。

步骤S209：接收会议设备发送的截屏文件，并保存截屏文件。

在上述实施例的基础上，该方法，还包括：

步骤S210：接收会议设备发送的会议状态信息，并在共享控制界面显示会议状态信息；

步骤S211：在共享控制界面接收会议控制操作，根据会议操作向会议设备发送会议控制指令，以使会议设备根据会议控制指令更改音视频会议状态；

更改音视频会议状态包括以下的至少一种：调用音视频软件进行音视频会议、邀请新的参会人、管理参会人的状态信息、和结束音视频会议。

在上述实施例的基础上，步骤S210可以通过步骤S2101-步骤S2104实现：

步骤S2101：在共享控制界面上接收会议发起操作。

步骤S2102：根据会议发起操作，向会议设备发送第一会议控制指令。

步骤S2103：接收会议设备发送的会议状态信息。

步骤S2104：在共享控制界面显示会议状态信息。

在上述实施例的基础上，步骤S211可以包括：

步骤S2111：根据会议状态信息确定会议设备未处于音视频会议中，则在共享控制界面上显示联系人列表。

步骤S2112：在共享控制界面接收对联系人列表的选择操作后，生成第二会议控制指令。

步骤S2113：向会议设备发送第二会议控制指令，使得会议设备根据第二会议控制指令，发起音视频会议，并向对应的联系人发起会议邀请。

或者，包括：

步骤S2114：根据会议状态信息确定会议设备处于音视频会议中，则在共享控制界面上显示会议状态信息。

步骤S2115：在共享控制界面接收会议控制操作，根据会议控制操作，邀请其它联系人加入会议设备当前的音视频会议中。

在上述实施例的基础上，该方法，还包括：

步骤S212：向会议设备发送第三会议控制指令，以使会议设备根据会议控制指令结束音视频会议或者管理参会人的状态信息。

在上述实施例的基础上，该方法，还包括：

步骤S213：在共享控制界面接收投屏控制操作，根据投屏控制操作向会议设备发送投屏数据，以使会议设备生成用于显示投屏数据的显示窗口。

在上述实施例的基础上，该方法，还包括：

步骤S214：在共享控制界面接收全屏投屏控制操作，根据全屏投屏控制操作向会议设备发送全屏控制指令，使得会议设备全屏显示会议终端的投屏画面。

在上述实施例的基础上，该方法，还包括：

步骤S215：在共享控制界面接收文件保存操作，根据文件保存操作，接收和显示会议设备在当前显示控制过程中接收到的文件的列表，并保存从列表中选中的文件。

本实施例中各个步骤的具体实现在前文已有详细描述，在此不做重复说明。

请参考图14，其是用于会议设备的协作信息显示控制方法的方法流程图，如图14所示，该方法，包括：

步骤S301：建立与终端设备的网络连接，弹出窗口管理界面，在服务器建立云端会议空间，网络连接用于与终端设备进行显示控制过程中的数据收发；

步骤S302：接收终端设备发送的第一文件，新建用于显示第一文件的显示窗口，在窗口管理界面显示显示窗口的预览图，将第一文件发送到云端会议空间，将预览数据发送到终端设备，使得终端设备显示其它终端设备发送的文件对应的预览图；

步骤S303：当在窗口管理界面接收到对预览图的触发操作，显示触发操作选中的预览图对应的显示窗口；

步骤S304：当接收到终端设备基于预览图发送的显示指令，显示该显示指令确认的显示 窗口。

在上述实施例的基础上，该方法，还包括：

步骤S305：在显示窗口的上一层级显示有界面切换控件；

步骤S306：根据对界面切换控件的触发操作，显示窗口管理界面。

在上述实施例的基础上，步骤S301，包括：

根据终端设备基于IP地址的连接请求，与终端设备建立websocket连接作为网络连接。

在上述实施例的基础上，该方法，还包括：

步骤S307：接收终端设备发送的录制指令，响应于录制指令，获取视频流和音频流并发送到服务器，以使服务器生成对应的录屏文件并保存到云端会议空间。

在上述实施例的基础上，该方法，还包括：

步骤S308：接收终端设备发送的截屏指令，响应于截屏指令，截取屏幕画面生成截屏文件，将截屏文件发送到对应的终端设备并上传到云端会议空间。

在上述实施例的基础上，该方法，还包括：

步骤S309：将会议状态信息发送到终端设备进行显示；

步骤S310：接收终端设备发送的会议控制指令，响应于会议控制指令，调用音视频软件进行音视频会议或结束音视频会议。

在上述实施例的基础上，该方法，还包括：

步骤S311：接收终端设备发送的投屏数据，新建用于显示投屏数据的显示窗口，在窗口管理界面显示显示窗口的预览图，并将预览图发送到终端设备进行显示。

在上述实施例的基础上，该方法，还包括：

步骤S312：接收到多个投屏数据时，将投屏数据对应的显示窗口进行分屏显示。

在上述实施例的基础上，该方法，还包括：

步骤S313：接收全屏控制指令，将全屏控制指令确认的投屏数据进行全屏显示。

在上述实施例的基础上，该方法，还包括：

步骤S314：当投屏数据中止发送时，恢复显示窗口管理界面。

在上述实施例的基础上，该方法，还包括：

步骤S315：根据终端设备的请求，发送显示过程中接收到的文件的列表和选中的文件。

在上述实施例的基础上，该方法，还包括：

步骤S316：在窗口管理界面接收应用添加操作，打开应用添加操作确认的应用的显示窗口，在窗口管理界面添加显示窗口的预览图。

在上述实施例的基础上，该方法，还包括：

步骤S317：接收终端设备发送的连接中断指令，将云端会议空间的连接信息发送到终端设备；

步骤S318：将显示控制过程中生成的关联数据更新到云端会议空间，删除本地数据记录。

本实施例中各个步骤的具体实现在前文已有详细描述，在此不做重复说明。

图15为本发明实施例提供的一种电子设备的结构示意图。如图15所示，该电子设备包 括处理器410、存储器420、输入装置430、输出装置440以及通信装置450；电子设备中处理器410的数量可以是一个或多个，图15中以一个处理器410为例；电子设备中的处理器410、存储器420、输入装置430、输出装置440以及通信装置450可以通过总线或其他方式连接，图15中以通过总线连接为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的协作信息显示控制方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的协作信息显示控制方法。

存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。

上述电子设备包含协作信息显示控制装置，可以用于执行任意协作信息显示控制方法，具备相应的功能和有益效果。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例中提供的协作信息显示控制方法中的相关操作，且具备相应的功能和有益效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。

因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编 程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (27)

1. 一种协作信息显示控制方法，用于终端设备，其特征在于，包括：

   建立与会议设备的网络连接，弹出共享控制界面，所述网络连接用于在所述终端设备与所述会议设备的显示控制过程中进行数据收发；

   在所述共享控制界面接收文件上传操作，将所述文件上传操作对应选中的第一文件发送到所述会议设备，使得所述会议设备显示所述第一文件的预览图；

   接收所述会议设备发送的预览数据，所述预览数据为所述会议设备上显示的第二文件的预览图所对应的预览数据，所述第二文件为其它终端设备发送到所述会议设备的文件；

   在所述共享控制界面显示所述第一文件对应的预览图和所述预览数据对应的预览图；

   在所述共享控制界面上接收显示触发操作，所述显示触发操作用于在至少一个所述预览图中选中一目标预览图；

   向所述会议设备发送显示指令，以使所述会议设备显示第一应用的显示窗口，所述第一应用为用于打开所述目标预览图对应的文件的应用程序。
2. 根据权利要求1所述的协作信息显示控制方法，其特征在于，所述建立与所述会议设备的网络连接，包括：

   通过接收所述会议设备的连接码或识别所述会议设备的NFC标签，获取所述会议设备的IP地址；

   基于所述IP地址建立与所述会议设备的无线连接作为网络连接。
3. 根据权利要求1所述的协作信息显示控制方法，其特征在于，还包括：

   在所述共享控制界面接收会议录制操作，根据所述会议录制操作向所述会议设备发送录制指令，以使所述会议设备获取视频流和音频流生成对应的录屏文件。
4. 根据权利要求1所述的协作信息显示控制方法，其特征在于，还包括：

   在所述共享控制界面接收截屏操作，根据所述截屏操作向所述会议设备发送截屏指令，以使所述会议设备截取屏幕画面生成截屏文件；

   接收所述会议设备发送的所述截屏文件，并保存所述截屏文件。
5. 根据权利要求1所述的协作信息显示控制方法，其特征在于，还包括：

   接收所述会议设备发送的会议状态信息，并在所述共享控制界面显示所述会议状态信息；

   在所述共享控制界面接收会议控制操作，根据所述会议操作向所述会议设备发送会议控制指令，以使所述会议设备根据所述会议控制指令更改音视频会议状态；

   所述更改音视频会议状态包括以下的至少一种：调用音视频软件进行音视频会议、邀请新的参会人、管理参会人的状态信息、和结束音视频会议。
6. 根据权利要求5所述的协作信息显示控制方法，其特征在于，所述接收所述会议设备发送的会议状态信息，并在所述共享控制界面显示所述会议状态信息，具体包括：

   在所述共享控制界面上接收会议发起操作；

   根据所述会议发起操作，向所述会议设备发送第一会议控制指令；

   接收所述会议设备发送的会议状态信息；

   在所述共享控制界面显示所述会议状态信息。
7. 根据权利要求6所述的协作信息显示控制方法，其特征在于，所述在所述共享控制界 面接收会议控制操作，根据所述会议操作向所述会议设备发送会议控制指令，以使所述会议设备根据所述会议控制指令更改音视频会议状态，包括：

   根据所述会议状态信息确定所述会议设备未处于音视频会议中，则在所述共享控制界面上显示联系人列表；

   在所述共享控制界面接收对联系人列表的选择操作后，生成第二会议控制指令；

   向所述会议设备发送所述第二会议控制指令，使得所述会议设备根据所述第二会议控制指令，发起音视频会议，并向对应的联系人发起会议邀请；

   或者，

   根据所述会议状态信息确定所述会议设备处于音视频会议中，则在所述共享控制界面上显示所述会议状态信息，

   在所述共享控制界面接收会议控制操作，根据所述会议控制操作，邀请其它联系人加入所述会议设备当前的音视频会议中。
8. 根据权利要求7所述的协作信息显示控制方法，其特征在于，所述方法还包括：

   向所述会议设备发送第三会议控制指令，以使所述会议设备根据所述会议控制指令结束音视频会议或者管理参会人的状态信息。
9. 根据权利要求1所述的协作信息显示控制方法，其特征在于，还包括：

   在所述共享控制界面接收投屏控制操作，根据所述投屏控制操作向所述会议设备发送投屏数据，以使所述会议设备生成用于显示所述投屏数据的显示窗口。
10. 根据权利要求9所述的协作信息显示控制方法，其特征在于，所述方法还包括：

    在所述共享控制界面接收全屏投屏控制操作，根据所述全屏投屏控制操作向所述会议设备发送全屏控制指令，使得所述会议设备全屏显示所述会议终端的投屏画面。
11. 根据权利要求1所述的协作信息显示控制方法，其特征在于，还包括：

    在所述共享控制界面接收文件保存操作，根据所述文件保存操作，接收和显示所述会议设备在当前显示控制过程中接收到的文件的列表，并保存从所述列表中选中的文件。
12. 一种协作信息显示控制方法，用于会议设备，其特征在于，包括：

    建立与终端设备的网络连接，弹出窗口管理界面，在服务器建立云端会议空间，所述网络连接用于与所述终端设备进行显示控制过程中的数据收发；

    接收所述终端设备发送的第一文件，新建用于显示所述第一文件的显示窗口，在所述窗口管理界面显示所述显示窗口的预览图，将所述第一文件发送到所述云端会议空间；

    将预览数据发送到所述终端设备，使得所述终端设备显示所述预览数据对应的预览图；其中，所述预览数据为所述会议设备上显示的第二文件的预览图所对应的预览数据，所述第二文件为其它终端设备发送到所述会议设备的文件，所述终端设备还显示所述第一文件的预览图；

    当在所述窗口管理界面接收到对所述预览图的触发操作，显示所述触发操作选中的预览图对应的显示窗口；

    当接收到所述终端设备基于所述预览图发送的显示指令，显示所述显示指令确认的显示窗口。
13. 根据权利要求12所述的协作信息显示控制方法，其特征在于，还包括：

    在所述显示窗口的上一层级显示有界面切换控件；

    根据对所述界面切换控件的触发操作，显示所述窗口管理界面。
14. 根据权利要求12所述的协作信息显示控制方法，其特征在于，所述建立与终端设备的网络连接，包括：

    根据所述终端设备基于IP地址的连接请求，与所述终端设备建立无线连接作为网络连接。
15. 根据权利要求12所述的协作信息显示控制方法，其特征在于，还包括：

    接收所述终端设备发送的录制指令，响应于所述录制指令，获取视频流和音频流并发送到服务器，以使所述服务器生成对应的录屏文件并保存到所述云端会议空间。
16. 根据权利要求12所述的协作信息显示控制方法，其特征在于，还包括：

    接收所述终端设备发送的截屏指令，响应于所述截屏指令，截取屏幕画面生成截屏文件，将所述截屏文件发送到对应的终端设备并上传到所述云端会议空间。
17. 根据权利要求12所述的协作信息显示控制方法，其特征在于，还包括：

    将会议状态信息发送到所述终端设备进行显示；

    接收所述终端设备发送的会议控制指令，响应于所述会议控制指令，调用音视频软件进行音视频会议或结束音视频会议。
18. 根据权利要求12所述的协作信息显示控制方法，其特征在于，还包括：

    接收所述终端设备发送的投屏数据，新建用于显示所述投屏数据的显示窗口，在所述窗口管理界面显示所述显示窗口的预览图。
19. 根据权利要求18所述的协作信息显示控制方法，其特征在于，还包括：

    接收到多个投屏数据时，将所述投屏数据对应的显示窗口进行分屏显示。
20. 根据权利要求19所述的协作信息显示控制方法，其特征在于，还包括：

    接收全屏控制指令，将所述全屏控制指令确认的投屏数据进行全屏显示。
21. 根据权利要求18-20任一项所述的协作信息显示控制方法，其特征在于，还包括：

    当所述投屏数据中止发送时，恢复显示所述窗口管理界面。
22. 根据权利要求12所述的协作信息显示控制方法，其特征在于，还包括：

    根据所述终端设备的请求，发送显示过程中接收到的文件的列表和选中的文件。
23. 根据权利要求12所述的协作信息显示控制方法，其特征在于，还包括：

    在所述窗口管理界面接收应用添加操作，打开所述应用添加操作确认的应用的显示窗口，在所述窗口管理界面添加所述显示窗口的预览图。
24. 根据权利要求12所述的协作信息显示控制方法，其特征在于，还包括：

    接收所述终端设备发送的连接中断指令，将所述云端会议空间的连接信息发送到所述终端设备；

    将所述显示控制过程中生成的关联数据更新到所述云端会议空间，删除本地数据记录。
25. 一种协作信息显示控制方法，用于协作系统，所述协作系统包括终端设备和会议设备，其特征在于，包括：

    所述终端设备建立与所述会议设备的网络连接，所述终端设备弹出共享控制界面，所述 会议设备弹出窗口管理界面并在服务器建立云端会议空间；所述网络连接用于在所述终端设备与所述会议设备的显示控制过程中进行数据收发；

    所述终端设备在所述共享控制界面接收文件上传操作，将所述文件上传操作对应选中的第一文件发送到所述会议设备；

    所述会议设备接收所述终端设备发送的第一文件，新建用于显示所述第一文件的显示窗口，在所述窗口管理界面显示所述显示窗口的预览图，将所述第一文件发送到所述云端会议空间，将预览数据发送到所述终端设备，所述预览数据为所述会议设备上显示的第二文件的预览图所对应的预览数据，所述第二文件为其它终端设备发送到所述会议设备的文件；

    所述终端设备接收所述会议设备发送的预览数据；

    所述终端设备在所述共享控制界面显示所述第一文件对应的预览图和所述预览数据对应的预览图；

    所述终端设备在所述共享控制界面上接收显示触发操作，所述显示触发操作用于在至少一个所述预览图中选中一目标预览图；

    所述终端设备基于所述目标预览图，向所述会议设备发送显示指令；

    所述会议设备接收到所述显示指令，显示第一应用的显示窗口，所述第一应用为用于打开所述目标预览图对应的文件的应用程序，或者，

    所述会议设备在所述窗口管理界面接收到对所述预览图的触发操作，显示所述触发操作选中的预览图对应的显示窗口。
26. 一种电子设备，其特征在于，包括：

    一个或多个处理器；

    存储器，用于存储一个或多个程序；

    当所述一个或多个程序被所述一个或多个处理器执行，使得所述电子设备实现如权利要求1-24任一所述的协作信息显示控制方法。
27. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-24任一所述的协作信息显示控制方法。