CN117294748A - 一种第三方会议终端控制方法及代理服务器 - Google Patents

Abstract

本申请提供一种第三方会议终端控制方法及代理服务器，第三方会议终端与代理服务器建立长连接后，设置第三方会议终端的状态为在线状态，并向会议应用终端广播第三方会议终端的在线状态。如果第三方会议终端与代理服务器断开长连接，则设置第三方会议终端的状态为离线状态，并向会议应用终端广播第三方会议终端的离线状态。同样的如果会议应用终端与应用管理服务器断开长连接，则设置会议应用终端的状态为离线状态，并向其它会议应用终端和第三方会议终端广播会议应用终端的离线状态。这样即使第三方会议终端未与应用管理服务器建立长连接，也能够实现第三方会议终端响应会议系统中的会议管理和控制信令的效果，进而提升用户使用体验。

Description

一种第三方会议终端控制方法及代理服务器

技术领域

本申请涉及通信技术领域，尤其涉及一种第三方会议终端控制方法及代理服务器。

背景技术

视频会议是指位于两个或多个地点的人们，通过通信设备和网络，进行面对面交谈的会议。根据参会地点数目不同，视频会议可分为点对点会议和多点会议。使用视频会议系统，参会者可以听到其它会场的声音、看到其它会场现场参会人的形象、动作和表情，还可以发送电子演示内容，使与会者有身临其境的感觉。

不同视频会议产品、会议终端通常都遵循相同的音视频解码方式，因此目前的视频会议可以实现将第三方终端(与其他参会方未使用相同的会议应用的终端)接入同一会议系统，并且实现音视频的互通。

然而目前的视频会议系统只能做到音视频互通，第三方终端无法响应会议系统中的会议管理和控制信令等功能。例如会议主持人在会议过程中更改视频画面布局，第三方终端则无法作出相应的响应，造成用户使用体验较差。

发明内容

本申请提供了一种第三方会议终端控制方法及代理服务器，用于解决目前的视频会议系统只能做到音视频互通，第三方终端无法响应会议系统中的会议管理和控制信令等功能，造成用户使用体验较差的问题。

第一方面，本实施例提供一种代理服务器，所述代理服务器用于执行：

在第三方会议终端与所述代理服务器建立长连接后，设置所述第三方会议终端的状态为在线状态，并向至少一个会议应用终端广播所述第三方会议终端的在线状态，其中所述第三方会议终端为未与应用管理服务器建立长连接的终端，所述会议应用终端为已与所述应用管理服务器建立长连接的终端，所述应用管理服务器与所述代理服务器为不同的服务器；

如果所述第三方会议终端与所述代理服务器断开长连接，则设置所述第三方会议终端的状态为离线状态，并向至少一个所述会议应用终端广播所述第三方会议终端的离线状态；

如果所述会议应用终端与所述应用管理服务器断开长连接，则设置所述会议应用终端的状态为离线状态，并向其它所述会议应用终端和所述第三方会议终端广播所述会议应用终端的离线状态。

第二方面，本实施例提供一种第三方会议终端控制方法，所述控制方法应用于代理服务器，所述方法包括：

在第三方会议终端与所述代理服务器建立长连接后，设置所述第三方会议终端的状态为在线状态，并向至少一个会议应用终端广播所述第三方会议终端的在线状态，其中所述第三方会议终端为未与应用管理服务器建立长连接的终端，所述会议应用终端为已与所述应用管理服务器建立长连接的终端，所述应用管理服务器与所述代理服务器为不同的服务器；

如果所述第三方会议终端与所述代理服务器断开长连接，则设置所述第三方会议终端的状态为离线状态，并向至少一个所述会议应用终端广播所述第三方会议终端的离线状态；

如果所述会议应用终端与所述应用管理服务器断开长连接，则设置所述会议应用终端的状态为离线状态，并向其它所述会议应用终端和所述第三方会议终端广播所述会议应用终端的离线状态。

本申请实施例提供的第三方会议终端控制方法及服务器，第三方会议终端与代理服务器建立长连接后，设置第三方会议终端的状态为在线状态，并向至少一个会议应用终端广播第三方会议终端的在线状态。第三方会议终端为未与应用管理服务器建立长连接的终端，会议应用终端为已与应用管理服务器建立长连接的终端。应用管理服务器与代理服务器为不同的服务器。如果第三方会议终端与代理服务器断开长连接，则设置第三方会议终端的状态为离线状态，并向至少一个会议应用终端广播第三方会议终端的离线状态。同样的如果会议应用终端与应用管理服务器断开长连接，则设置会议应用终端的状态为离线状态，并向其它会议应用终端和第三方会议终端广播会议应用终端的离线状态。这样利用代理服务器，即使第三方会议终端未与应用管理服务器建立长连接，也能够向会议应用终端发送第三方会议终端的状态，同样也能够利用代理服务器接收到会议应用终端的状态，从而实现第三方会议终端响应会议系统中的会议管理和控制信令的效果，进而提升用户使用体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了根据一些实施例的显示设备与控制装置之间操作场景；

图2示出了根据一些实施例的控制设备100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了根据一些实施例的应用场景示意图；

图6示出了根据一些实施例的会议系统框架示意图；

图7示出了根据一些实施例的又一种会议系统框架示意图；

图8示出了根据一些实施例的又一种应用场景示意图；

图9示出了根据一些实施例的会议终端与服务器交互信令图；

图10示出了根据一些实施例的又一种会议终端与服务器交互信令图；

图11示出了根据一些实施例的又一种会议终端与服务器交互信令图；

图12示出了根据一些实施例的又一种会议终端与服务器交互信令图；

图13示出了根据一些实施例中显示设备的用户界面示意图；

图14示出了根据一些实施例中又一种显示设备的用户界面示意图；

图15示出了根据一些实施例中又一种显示设备的用户界面示意图；

图16示出了根据一些实施例的又一种会议终端与服务器交互信令图；

图17示出了根据一些实施例的又一种会议终端与服务器交互信令图；

图18示出了根据一些实施例中第三方会议终端控制方法流程图；

图19示出了根据一些实施例中又一种第三方会议终端控制方法流程图。

具体实施方式

为使本申请一些实施例的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请一些实施例技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请一些实施例中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请一些实施例的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请一些实施例中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，举例来说，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中访问的术语“遥控器”，是指显示设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制显示设备。一般访问红外线和/或射频(RF)信号和/或蓝牙与显示设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。举例来说：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。

本申请中的电子设备可以是显示设备，也可以是其他具有语音助手功能的电子设备，以下以显示设备为示例进行方案的阐述。图1为本申请一些实施例提供的显示设备与终端设备之间操作场景的示意图。如图1中示出，用户可通过移动终端300和终端设备100操作显示设备200。

在一些实施例中，终端设备100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线方式或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作和数据通信的目的。也可以将移动终端300上显示音视频内容传输到电子设备200上，实现同步显示功能。

如图1中还示出，显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。

显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

图2为本申请一些实施例提供的图1中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器400进行通信的组件。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。

在一些实施例中，用户接口280，为可用于接收控制输入的接口。

图3为本申请一些实施例提供的图1中终端设备的硬件配置框图。如图3所示，终端设备100包括控制器111、通信接口130、用户输入/输出接口、存储器、供电电源。

终端设备100被配置为控制显示设备200，以及可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起到用户与显示设备200之间交互中介作用。

在一些实施例中，终端设备100可是一种智能设备。如：终端设备100可根据用户需求安装控制显示设备200的各种应用。

在一些实施例中，如图1所示，移动终端300或其他智能显示设备，可在安装操控显示设备200的应用之后，可以起到终端设备100类似功能。

控制器111包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器111用于控制终端设备100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。

通信接口130在控制器111的控制下，实现与显示设备200之间控制信号和数据信号的通信。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。

用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。

在一些实施例中，终端设备100包括通信接口130和输入输出接口140中至少一者。终端设备100中配置通信接口130，如：WiFi、蓝牙、NFC等模块，可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码，发送至显示设备200。

存储器190，用于在控制器的控制下存储驱动和控制终端设备100的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。

供电电源180，用于在控制器的控制下为终端设备100各元件提供运行电力支持。

图4为本申请一些实施例提供的图1中显示设备中软件配置示意图，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)、应用程序框架(Application Framework)层(简称“框架层”)、安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一种应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等；也可以是第三方开发者所开发的应用程序。

框架层为应用程序层的应用程序提供应用编程接口(Aplication PogrammingIterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。

如图4所示，本申请一些实施例中应用程序框架层包括管理器(Managers)、内容提供者(Content Provider)和视图系统(View System)等。

在一些实施例中，活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能。

在一些实施例中，窗口管理器用于管理所有的窗口程序。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被访问时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。

在一些实施例中，内核层还包括用于进行电源管理的电源驱动模块。

在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。

视频会议是指位于两个或多个地点的人们，通过通信设备和网络，进行面对面交谈的会议。根据参会地点数目不同，视频会议可分为点对点会议和多点会议。使用视频会议系统，参会者可以听到其它会场的声音、看到其它会场现场参会人的形象、动作和表情，还可以发送电子演示内容，使与会者有身临其境的感觉。

不同视频会议产品、会议终端通常都遵循相同的音视频解码方式，因此目前的视频会议可以实现将第三方终端(与其他参会方未使用相同的会议应用的终端)接入同一会议系统，并且实现音视频的互通。

然而目前的视频会议系统只能做到音视频互通，第三方终端无法响应会议系统中的会议管理和控制信令等功能。例如会议主持人在会议过程中更改视频画面布局，第三方终端则无法作出相应的响应，造成用户使用体验较差。

如图5所示的应用场景图中，会议系统包括：应用管理服务器400和多个参会终端200A-200C，应用管理服务器400和多个参会终端200A-200C之间可以通过通信网络进行连接。针对任一参会终端，用户可以通过该终端上的客户端或者web应用，使用预先注册的用户标识和密码登录应用管理服务器400，从而建立起应用管理服务器400与该参会终端之间的长连接通道，使得该参会终端与应用管理服务器之间可以进行交互。其中，用户标识可以唯一确定使用参会终端的用户，即应用管理服务器400可以根据该用户标识唯一确定对应的用户。其中，用户标识可以包括但不限于用户的身份信息、用户的账号信息或者用户群体的账号信息。

此外，为了区分不同的参会终端，应用管理服务器400可以将参会终端的终端标识进行存储，即该终端标识可以唯一标识对应的参会终端，使得应用管理服务器400可以确定与该终端标识对应的参会终端之间的长连接通道，实现应用管理服务器400与参会终端之间的交互。其中，本申请实施例对终端标识的具体实现形式不做限定，终端标识具体可以包括设备地址、设备类型与设备的端口号等。

应用管理服务器400具体可以是会议应用管理服务器(例如会议应用APP的服务器)。线上会议中的终端状态更新方法包括如下步骤：在终端200A加入线上会议后，设置终端200A的状态为在线状态，并向已加入线上会议的其它终端(终端200B、终端200C等)广播终端200A的在线状态。其中，线上会议可以是视频会议、语音会议等，也可以是视频通话、语音通话等。终端为参会者使用的终端，终端200A、终端200B…均包括但不限于手机、笔记本、平板电脑、个人计算机、车载终端等电子设备。

在线上会议中，应用管理服务器400需要了解各个参会终端的状态，包括在线状态、离开状态、离线状态等，并将每个参会终端的状态广播至其他参会终端，这样，使得其他参会终端可以了解某个参会终端的终端，而某个参会终端也可以了解其他参会终端的状态。进一步地，在参会终端的状态变化时更新其状态。

本申请实施例中，应用管理服务器400和终端200A、终端200B、终端200C可以基于长连接进行交互，例如进行会议信令的收发等。应用管理服务器400与终端建立长连接的步骤可以包括：接收终端发送的长连接请求后，与终端建立长连接。通过建立的长连接接收终端发送的加入会议信令，以确定终端加入线上会议。在具体实施中，终端在加入线上会议之前，需要与应用管理服务器400建立长连接，例如websokcet连接，通过建立的长连接可以进行会议信令的收发。例如，终端可以向应用管理服务器400发送携带用户标识和终端标识的长连接请求，以使应用管理服务器确定加入会议的终端及其对应的用户，如果用户标识验证通过，可以与终端建立长连接。

上述实施例中的终端200A、终端200B以及终端200C均为与应用管理服务器400建立长连接的终端(即通过预先注册的用户标识和密码登录应用管理服务器的终端)，如图6所示的框架图中的1和2，可以通过会议信令服务(NMSS,Net Meeting sevice sever网络管理服务器)发起或加入会议，获得会议参会者列表。随后根据会议号加入媒体服务房间发布自己的音视频流(例如媒体服务发布音视频流和获得其它终端的音视频流)，并根据uuid(会议参会者唯一标识)订阅其他会议参会者的音视频流，会议主持人对本会议进行管理和控制：例如设置画面布局、开关他人麦克风/摄像头等、会议嘉宾/观众身份管理。

然而第三方会议终端(即未通过预先注册的用户标识和密码登录应用管理服务器的终端)未根据上述实施例中的方法与应用管理服务器400建立长连接，第三方会议终端则无法从会议信令服务获取信令。因此在会议应用中无法看到第三方会议终端的画面，更无法对第三方会议终端进行会议管控。只能利用媒体接入服务与其他会议终端实现音视频互通，但是无法响应会议系统中的会议管理和控制信令等功能。

为了解决上述实施例中的问题，如图7所示框架图中2和3，在会议系统中，设置会议信令代理服务器(即本申请的代理服务器)，利用代理服务器不仅能够使得第三方会议终端和会议应用终端(与应用管理服务器建立长连接的终端)一样维持在会议中给的状态，与会议应用终端进行音视频互通，还能够发送、接收并处理会议过程中的管理和控制信令。

如图8所示应用场景中，会议系统包括：应用管理服务器400、多个会议应用终端200A-200C，代理服务器600以及第三方会议终端200D，应用管理服务器400和会议应用终端200A-200C之间可以通过通信网络进行连接，但是不可与第三方会议终端200D通过通信网络进行连接。针对任一会议应用终端200A，用户可以通过该终端上的客户端或者web应用，使用预先注册的用户标识和密码登录应用管理服务器，从而建立起应用管理服务器400与200A-200C之间的长连接通道，使得会议应用终端200A-200C与应用管理服务器400之间可以进行交互。第三方会议终端200D不可与应用管理服务器400进行交互。因此本申请引入代理服务器600，第三方会议终端200D利用代理服务器600与应用管理服务器400进行交互，进而与会议应用终端200A-200C进行交互。

具体的交互过程如图9所示的信令图中，第三方会议终端200D与代理服务器600建立长连接之后，代理服务器600设置第三方会议终端200D的状态为在线状态。代理服务器600向至少一个会议应用终端200A-200C广播第三方会议终端200D的在线状态(可以是代理服务器600将第三方会议终端200D的在线状态发送至应用管理服务器400，然后由应用管理服务器400向其他会议应用终端200A-200C广播第三方会议终端200D的在线状态)。

如果第三方会议终端200D与代理服务器600断开长连接，则代理服务器600设置第三方会议终端200D的状态为离线状态，并向至少一个会议应用终端200A-200C广播第三方会议终端200D的离线状态。同样的如果会议应用终端200A-200C中的任意终端与应用管理服务器400断开长连接，则应用管理服务器400设置会议应用终端200A-200C的状态为离线状态，并由代理服务器600向第三方会议终端200D广播会议应用终端200A-200C的离线状态。

本申请实施例中会议应用终端200A-200C与第三方会议终端200D均维持在会议中，会议应用终端各自维持会议状态，具体的会议应用终端200A-200C加入会议成功后，周期性地向应用管理服务器400发送ping(Packet Internet Groper，因特网包探索器)信令(即心跳信令)。应用管理服务器400如果检测到与会议应用终端200A-200C的websocket连接未断开，但是应用管理服务器400在预设时间范围内(例如90秒)内未收到会议应用终端200A-200C的ping信令，则认为会议应用终端200A-200C的心跳信令超时，可以确定会议应用终端200A-200C异常离开会议，设置会议应用终端200A-200C的状态为离线状态，并向其它终端(包括会议应用终端和第三方会议终端)的离线状态。

代理服务器600则为第三方会议终端200D维持会议终端，具体的第三方会议终端200D加入会议后，周期性地向代理服务器600发送ping信令。如果代理服务器600在预设时间范围内未收到第三方会议终端200D的ping信令，则认为第三方会议终端200D的心跳信令超时，可以确定第三方会议终端200D异常离开会议，设置第三方会议终端的状态为离线状态，并向其它终端(会议应用终端)的离线状态。

需要说明的是，第三方会议终端200D和会议应用终端200A-200C采用相同的音视频编解码方式，因此第三方会议终端200D和会议应用终端200A-200C可通过DAS(Deviceaccess server，媒体接入服务)交互音视频流。第三方会议终端200D可以根据会议号获取参会者的音视频流，并且用户可以在第三方会议终端200D上看到会议画面。但是此时会议应用终端200A-200C无法看到第三方会议终端200D的画面，也无法对第三方会议终端200D进行会议管控。

本申请设置的代理服务器600，可以是第三方会议终端200D在接入DAS后通知NMProxy(Net Meeting Proxy，网络会议代理)(即代理服务器600)，由代理服务器600执行将加入会议信令发送至NMSS(即应用管理服务器400)实现第三方会议终端200D加入会议中，维持第三方会议终端200D在会议中的状态，并且接收和响应会议中自定义的信令消息。另外使用会议应用的各个会议应用终端200A-200C也可以接收到第三方会议终端200D入会议的信令，并根据uuid拉取第三方会议终端200D的音视频流，在会议应用中也可以播放第三方会议终端200D的画面。

本申请实施例提供的代理服务器600，第三方会议终端200D与代理服务器600建立长连接后，设置第三方会议终端200D的状态为在线状态，并向至少一个会议应用终端200A-200C广播第三方会议终端200D的在线状态。第三方会议终端200D为未与应用管理服务器400建立长连接的终端，会议应用终端200A-200C为已与应用管理服务器400建立长连接的终端。应用管理服务器400与代理服务器600为不同的服务器。如果第三方会议终端200D与代理服务器600断开长连接，则设置第三方会议终端200D的状态为离线状态，并向至少一个会议应用终端200A-200C广播第三方会议终端200D的离线状态。同样的如果会议应用终端200A-200C与应用管理服务器400断开长连接，则设置会议应用终端200A-200C的状态为离线状态，并向其它会议应用终端200A-200C和第三方会议终端200D广播会议应用终端200A-200C的离线状态。这样利用代理服务器600，即使第三方会议终端200D未与应用管理服务器400建立长连接，也能够向会议应用终端200A-200C发送第三方会议终端200D的状态，同样也能够利用代理服务器600接收到会议应用终端200A-200C的状态，从而实现第三方会议终端200D可以响应会议系统中的会议管理和控制信令的效果，进而提升用户使用体验。

在一些实施例中，会议应用终端200A-200C与应用管理服务器400维持长连接，第三方会议终端200D与代理服务器600维持长连接，会议应用终端200A-200C在与应用管理服务器400维持长连接之后，获得会议参会者列表，并订阅其他会议参会者的音视频信令，其中包括所有会议应用终端200A-200C的音视频信令和第三方会议终端200D的音视频信令。第三方会议终端200D也可以从代理服务器600获取会议应用终端200A-200C的音视频信令。需要说明的是代理服务器600和应用管理服务器400只交互音视频信令和会议控制信令，音视频流的交互仍然在媒体接入服务(DAS)和媒体服务(MFS)之间进行。

具体的，如图10所示的信令图中，会议应用终端200A的音视频信令的交互过程(会议应用终端200A-200C与应用管理服务器400维持长连接，第三方会议终端200D与代理服务器600维持长连接)可以是如下：

会议应用终端200A将第一音视频信令发送至应用管理服务器400，应用管理服务器400将第一音视频信令广播至其他会议应用终端200B和200C的同时，将第一音视频信令发送至代理服务器600。然后代理服务器600将会议应用终端200A的第一音视频信令发送至第三方会议终端200D。这样能够实现同时在会议应用终端200B、200C以及第三方会议终端200D上根据会议应用终端200A的第一音视频信令播放音视频流(由媒体接入服务接收并转发会议应用终端的音视频流)。如图11所示的信令图中，第三方会议终端200D的音视频信令的交互过程(会议应用终端200A-200C与应用管理服务器400维持长连接，第三方会议终端200D与代理服务器600维持长连接)可以是如下：

第三方会议终端200D将第二音视频信令发送至代理服务器600，代理服务器600将第二音视频信令发送至应用管理服务器400，再由应用管理服务器400将第二音视频信令广播至会议应用终端200A-200C。这样能够实现同时在会议应用终端200A-200C上根据第三方会议终端200D的第二音视频信令播放音视频流(由媒体接入服务接收并转发第三方会议终端的音视频流)。

在一些实施例中，本申请的会议应用还能够实现管控功能，使用会议应用的会议应用终端200A-200C可以直接执行管控操作，但是第三方会议终端200D无法直接执行管控操作。代理服务器600接收到会议应用终端200A-200C发送的会议控制信令后，将会议控制信令发送至第三方会议终端200D，第三方会议终端200D执行与会议控制信令对应的管控操作。

举例来说，如图12所示的信令图中，会议应用终端200A-200C中，200A为会议应用的主持终端，会议应用终端200B和200C为参会终端。会议应用终端200A-200C均各自维持会议状态，NMProxy为第三方会议终端200D维持会议状态。主持终端200A设置会议布局为六分屏，将设置会议布局为六分屏的控制信令发送至NMSS。

NMSS一方面将设置会议布局为六分屏的控制信令广播至参会终端200B和200C，参会终端200B和200C根据设置会议布局为六分屏的信令执行调整布局的操作；NMSS另一方面将设置会议布局为六分屏的控制信令发送至NMProxy。NMProxy接收到该控制信令后，根据六分屏的画面布局重新计算各个画面的位置坐标，并通过会议的参会者列表根据主持人优先、开麦克风优先、开摄像头优先的原则选择6个参会端放置到六分屏的布局中，另外还将设置在六分屏布局中的streamID(音视频流ID)和位置坐标(六个参会终端在调整布局后的画面中的坐标)发送至DAS。

DAS根据接收到的视频流ID列表重新拉流，并按照设置好的位置坐标重新布局后，将这些信息发送至第三方会议终端200D，最后第三方会议终端200D在显示器上展示调整后的会议布局，如图13所示的用户界面中的会议布局。主持终端200A优先展示在布局后的页面中，终端200B和终端200C为会议应用终端，终端200D-200F为第三方会议终端。

在一些实施例中，如果会议应用终端200C新加入会议，则NMProxy会接收到会议应用终端200C的开始共享信令，并将会议应用终端200C的音视频流发送到DAS，由DAS发送至第三方会议终端200D。第三方会议终端200D接收到该控制信令和音视频流后，在显示器上展示共享画面。这样第三方会议终端200D则能够接收到主持终端或者其它会议应用终端发送的开始(或结束)共享信令，实现对第三方会议终端200D在会议系统中的会议管理和控制功能。

在一些实施例中，如果在主持终端上关闭会议应用终端200C的摄像头，或者在会议应用终端200C上关闭摄像头(如图14所示的用户界面)，则NMProxy会接收到关闭会议应用终端200C摄像头的控制信令，并将会议应用终端200C从streamID列表中移除，第三方会议终端200D根据该控制信令不再展示会议应用终端200C的画面。这样第三方会议终端200D则能够接收到主持终端或者其它会议应用终端发送的打开(或关闭)摄像头信令，实现对第三方会议终端200D在会议系统中的会议管理和控制功能。

在一些实施例中，如果在主持终端上关闭会议应用终端200C的麦克风，或者在会议应用终端200C上关闭麦克风(如图15所示的用户界面)，则NMProxy会接收到关闭会议应用终端200C麦克风的控制信令，NMProxy将会议应用终端200C的音频状态设置为mute(静音)后，将更新后的streamID列表发送至DAS，DAS再将更新后的streamID列表发送至第三方会议终端，第三方会议终端200D根据更新后的streamID列表不再接收会议应用终端200C的音频流，在第三方会议终端200D上则将听不到会议应用终端200C的声音。这样第三方会议终端200D则能够接收到主持终端或者其它会议应用终端发送的打开(或关闭)麦克风信令，实现对第三方会议终端200D在会议系统中的会议管理和控制功能。

在一些实施例中，如果在主持终端上修改会议应用终端200C的昵称或者在会议应用终端200C上修改会议应用终端200C的昵称，则NMProxy会接收到修改会议应用终端200C昵称的控制信令。NMProxy根据该控制信令修改会议应用终端200C的昵称之后，将更新后的streamID列表发送至DAS，DAS再将更新后的streamID列表发送至第三方会议终端200D。在第三方会议终端200D上则会显示修改昵称后的会议应用终端200C。这样第三方会议终端200D则能够接收到主持终端或者其它会议应用终端发送的修改昵称信令，实现对第三方会议终端200D在会议系统中的会议管理和控制功能。

在一些实施例中，如果在主持终端上设置全员看D(第三方会议终端200D)，则NMProxy会接收到全员看D的控制信令，NMProxy根据该控制信令移除现有的streamID列表，只将第三方会议终端200D的streamID添加到列表。第三方会议终端200D接收到该只包含第三方会议终端200D的streamID列表后，只在第三方会议终端200D上展示第三方会议终端200D的画面。这样第三方会议终端200D则能够接收到主持终端发送的全员看TA(或取消全员看TA)信令，实现对第三方会议终端200D在会议系统中的会议管理和控制功能。

如果参会者加入或离开会议，或者主持终端将参会者请出会议，或者将参会者设置为嘉宾/观众，NMProxy均能够根据对应控制信令更新streamID列表(添加或移除参会者streamID列表，或者修改streamID列表中的信息)，并将更新后的streamID列表发送至第三方会议终端200D，以使第三方会议终端200D根据更新的streamID列表显示画面，从而实现对第三方会议中单200D的管控目的。

上述实施例中通过代理服务器600转发会议控制信令控制音视频信令从而实现对第三方会议终端200D的管理和控制，但是会议控制信令和音视频信令分别属于不同的系统端，因此在第三方会议终端200D加入会议时，会出现会议控制信令和音视频信令时序不一致的情况。

为了解决上述问题可以分为两种情况对控制信令和音视频信令进行处理，如图16所示的信令图中，第三方会议终端200D加入会议之后，NMProxy的状态由init(初始态)置为start(开启状态)，如果首先接收到的是会议控制信令，由于此时音视频信令还未到达，此时无法将streamID列表和音视频信令进行匹配，因此先不根据会议控制信令将streamID列表发送至DAS，而是缓存会议控制信令的同时等待音视频信令到达。

在等待音视频信令到达的过程中，如果继续有新的会议控制信令发送至NMProxy，则在等待音视频信令到达的同时，继续缓存新的会议控制信令。如果NMProxy接收到音视频信令，NMProxy根据当前缓存的所有会议控制信令更新streamID列表，并将streamID列表与接收到的音视频信令匹配，最后第三方会议终端200D根据streamID列表播放接收到的音视频信令。

例如NMProxy在等待音视频信令过程中，首先接收当前streamID列表(可以是接收到当前会议应用终端的开始共享指令生成streamID列表)，之后接收到第一会议控制指令(例如开启会议应用终端200B的麦克风)，再接收到第二会议控制指令(例如关闭会议应用终端200C的麦克风)。在接收到音视频信令时，根据第一会议控制指令和第二会议控制指令生成叠加的会议控制指令，之后根据叠加的会议控制指令更新streamID列表(开启会议应用终端200B的麦克风和关闭会议应用终端200C的麦克风)。最后在第三方会议终端200D上执行相应的管控操作后，能够在第三方会议终端200D上听到会议应用终端200B采集的声音，不能够听到会议应用终端200C采集的声音。

如图17所示的信令图中，第三方会议终端200D加入会议之后，NMProxy的状态由init(初始态)置为start(开启状态)，如果首先接收到的是音视频信令，则可以首先同步参会者信息，并发布streamID列表。由于此时会议控制信令还未到达，此时无法将streamID列表和音视频信令进行匹配，因此也不将streamID列表发送至DAS，而是缓存音视频信令的同时等待会议控制信令到达。

在NMProxy接收到会议控制信令之后，NMProxy根据会议控制信令更新streamID列表，此时NMProxy还在持续接收音视频信令，NMProxy将更新的音视频信令和更新streamID列表发送至第三方会议终端200D。最后在第三方会议终端200D上执行相应的管控操作后，能够在第三方会议终端200D上很根据更新streamID列表播放最新的音视频信令。

本申请提供一种第三方会议终端控制方法。图18是根据一示例性实施例示出的一种第三方会议终端控制方法的流程图。该歌曲信息识别方法适用于图8所示的系统中的显示设备代理服务器600。如图18所示，该第三方会议终端控制方法，可以包括以下步骤：

在步骤S101中，在第三方会议终端200D与所述代理服务器600建立长连接后，设置所述第三方会议终端200D的状态为在线状态，并向至少一个会议应用终端200A-200C广播所述第三方会议终端200D的在线状态，其中所述第三方会议终端200D为未与应用管理服务器400建立长连接的终端，所述会议应用终端200A-200C为已与所述应用管理服务器400建立长连接的终端，所述应用管理服务器400与所述代理服务器600为不同的服务器；

在步骤S102中，如果所述第三方会议终端200D与所述代理服务器600断开长连接，则设置所述第三方会议终端200D的状态为离线状态，并向至少一个所述会议应用终端200A-200C广播所述第三方会议终端200D的离线状态。

在步骤S103中，如果所述会议应用终端200A-200C与所述应用管理服务器400断开长连接，则设置所述会议应用终端200A-200C的状态为离线状态，并向其它所述会议应用终端200A-200C和所述第三方会议终端200D广播所述会议应用终端200A-200C的离线状态。

上述方法实施例为对第三方会议终端在线状态控制过程，在上述方法的基础上，本申请提供又一种第三方会议终端控制方法。图19是根据一示例性实施例示出的一种第三方会议终端控制方法的流程图。该第三方会议终端控制方法适用于图8所示的系统中的代理服务器600。如图19所示，该第三方会议终端控制方法，可以包括以下步骤：

在步骤S201中，接收所述会议应用终端200A-200C发送的第一音视频信令。

在步骤S202中，所述应用管理服务器400将所述第一音视频信令广播至其它所述会议应用终端200A-200C的同时，将所述第一音视频信令发送至所述第三方会议终端200D，以使在所述会议应用终端200A-200C和所述第三方会议终端200D上同时根据所述第一音视频信令播放音视频流。

在步骤S203中，接收所述第三方会议终端200D发送的第二音视频信令。

在步骤S204中，将所述第二音视频信令发送至所述会议应用终端200A-200C，以使在所述会议应用终端200A-200C和所述第三方会议终端200D上同时根据所述第二音视频信令播放音视频流。

在一些实施例中，所述方法还包括：接收所述会议应用终端200A-200C发送的会议控制信令，其中会议控制信令用于指示对参会终端的管控操作；

将所述会议控制信令发送至所述第三方会议终端200D，以使所述第三方会议终端200D执行与所述会议控制信令对应的管控操作。

本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“控制器”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。举例来说，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (10)

1.一种代理服务器，其特征在于，所述代理服务器用于执行：

在第三方会议终端与所述代理服务器建立长连接后，设置所述第三方会议终端的状态为在线状态，并向至少一个会议应用终端广播所述第三方会议终端的在线状态，其中所述第三方会议终端为未与应用管理服务器建立长连接的终端，所述会议应用终端为已与所述应用管理服务器建立长连接的终端，所述应用管理服务器与所述代理服务器为不同的服务器；

如果所述第三方会议终端与所述代理服务器断开长连接，则设置所述第三方会议终端的状态为离线状态，并向至少一个所述会议应用终端广播所述第三方会议终端的离线状态；

如果所述会议应用终端与所述应用管理服务器断开长连接，则设置所述会议应用终端的状态为离线状态，并向其它所述会议应用终端和所述第三方会议终端广播所述会议应用终端的离线状态。

2.根据权利要求1所述的代理服务器，其特征在于，所述代理服务器还用于执行：

接收所述会议应用终端发送的第一音视频信令；

所述应用管理服务器将所述第一音视频信令广播至其它所述会议应用终端的同时，将所述第一音视频信令发送至所述第三方会议终端，以使在所述会议应用终端和所述第三方会议终端上同时根据所述第一音视频信令播放音视频流。

3.根据权利要求1所述的代理服务器，其特征在于，所述代理服务器还用于执行：

接收所述第三方会议终端发送的第二音视频信令；

将所述第二音视频信令发送至所述会议应用终端，以使在所述会议应用终端和所述第三方会议终端上同时根据所述第二音视频信令播放音视频流。

4.根据权利要求1所述的代理服务器，其特征在于，所述代理服务器还用于执行：

接收所述会议应用终端发送的会议控制信令，其中会议控制信令用于指示对参会终端的管控操作；

将所述会议控制信令发送至所述第三方会议终端，以使所述第三方会议终端执行与所述会议控制信令对应的管控操作。

5.根据权利要求4所述的代理服务器，其特征在于，所述会议控制信令至少包括：开始/结束共享信令、开启/关闭图像采集器信令、开启/关闭声音采集器信令、修改会议昵称信令。

6.根据权利要求4所述的代理服务器，其特征在于，所述代理服务器还用于执行：

在第三方会议终端与所述代理服务器建立长连接后，如果接收到第一会议控制信令时未接收到所述会议应用终端发送的音视频信令，则缓存所述第一会议控制信令的同时，等待所述会议应用终端发送的音视频信令；

如果接收到第二会议控制信令时仍然未接收到所述会议应用终端发送的音视频信令，则缓存所述第二会议控制信令的同时，继续等待所述会议应用终端发送的音视频信令；

如果接收到所述会议应用终端发送的所述音视频信令，则将所述第一会议控制信令和所述第二会议控制信令叠加后得到第三会议控制信令，并将所述第三方会议控制信令和所述音视频信令发送至第三方会议终端，以使所述第三方会议终端执行与所述第三方会议控制信令对应的管控操作之后，根据所述音视频信令播放音视频流。

7.根据权利要求4所述的代理服务器，其特征在于，所述代理服务器还用于执行：

在第三方会议终端与所述代理服务器建立长连接后，如果接收到音视频信令时未接收到所述会议应用终端发送的会议控制信令，则缓存所述音视频信令的同时，等待所述会议应用终端发送的会议控制信令；

如果接收到所述会议应用终端发送的会议控制信令，则将所述会议控制信令和缓存的所述音视频信令发送至所述第三方会议终端，以使所述第三方会议终端执行所述会议控制信令对应的管控操作之后，根据所述音视频信令播放音视频流。

8.一种第三方会议终端控制方法，其特征在于，所述控制方法应用于代理服务器，所述方法包括：

在第三方会议终端与所述代理服务器建立长连接后，设置所述第三方会议终端的状态为在线状态，并向至少一个会议应用终端广播所述第三方会议终端的在线状态，其中所述第三方会议终端为未与应用管理服务器建立长连接的终端，所述会议应用终端为已与所述应用管理服务器建立长连接的终端，所述应用管理服务器与所述代理服务器为不同的服务器；

如果所述第三方会议终端与所述代理服务器断开长连接，则设置所述第三方会议终端的状态为离线状态，并向至少一个所述会议应用终端广播所述第三方会议终端的离线状态；

如果所述会议应用终端与所述应用管理服务器断开长连接，则设置所述会议应用终端的状态为离线状态，并向其它所述会议应用终端和所述第三方会议终端广播所述会议应用终端的离线状态。

9.根据权利要求8所述的第三方会议终端控制方法，其特征在于，所述方法还包括：

接收所述会议应用终端发送的第一音视频信令；

所述应用管理服务器将所述第一音视频信令广播至其它所述会议应用终端的同时，将所述第一音视频信令发送至所述第三方会议终端，以使在所述会议应用终端和所述第三方会议终端上同时根据所述第一音视频信令播放音视频流。

10.根据权利要求8所述的第三方会议终端控制方法，其特征在于，所述方法还包括：

接收所述第三方会议终端发送的第二音视频信令；

将所述第二音视频信令发送至所述会议应用终端，以使在所述会议应用终端和所述第三方会议终端上同时根据所述第二音视频信令播放音视频流。