CN113542660A - 一种实现会议多画面高清显示的方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种实现会议多画面高清显示的方法、系统及存储介质，属于视频编解码的领域，该方法包括：S1：建立终端设备与外接扩展设备之间的连接；S2：终端设备进入会议，对会议中的终端设备进行排序，实现选流业务；其中，对各个终端设备的排序顺序为：指定焦点视频者、语音激励者、共享视频者、当前终端设备、入会顺序；S3：将选流业务转发给外接终端设备，并对外接扩展设备进行布局、绑定和选流。本发明能够在不影响画面质量、支持最大分屏和最大画面显示的同时解决资源利用问题。

Description

一种实现会议多画面高清显示的方法、系统及存储介质

技术领域

本发明属于视频编解码的领域，具体涉及一种实现会议多画面高清显示的方法、系统及存储介质。

背景技术

目前，随着信息技术的发展，对视频会议室需求越来越高，在各大企业及政府职能部门都会涉及到会议室多屏，多画面，高清晰的需求，有的是几百人的会议室报告厅，有的是几十人的会议室及各地不同分会场终端加入，由于与会会场个数多，且分布各地，为使与会者能与其他会场与会人员进行面对面的直接交流，在同一时间内能看到其他会场的与会人员，普遍采用了多屏幕，多画面的技术，与会者通过观看多个屏幕的多个画面，可以同时与多个会场的与会人员进行交流。

而传统的会议室一般是由一个硬件终端实现采集，编码，解码，显示的过程，由于受硬件性能的限制，一般只能满足单屏或双屏最大25分屏显示且无法满足4k、8k高清显示。

现有的会议室系统一般采用一个硬件终端外接多个显示屏幕，实现多屏幕多画面的功能，通过会议控制实现每个屏幕显示的视频信息，如果与会人想将某个与会人显示在某个指定的屏幕上，或如果会场过大，会导致有的某个会场参加会议的人无法观看到屏幕上的画面，或因受硬件性能的限制，无法满足多个屏幕多个画面实现4K、8K高清视屏效果。

因此，现有技术中存在着无法在有限的硬件条件下最大限度地提高资源利用率，无法满足客户对高清(4k、8k)视频质量、多屏幕、多画面的需求的问题。

有鉴于此，特提出本发明。

发明内容

本发明的目的是提供一种实现会议多画面高清显示的方法、系统及存储介质，能够在不影响画面质量、支持最大分屏和最大画面显示的同时解决资源利用问题。

为了实现上述目的，本发明提供的一种实现会议多画面高清显示的方法，包括以下步骤：

S1：建立终端设备与外接扩展设备之间的连接；

S2：终端设备进入会议，对会议中的终端设备进行排序，实现选流业务；其中，对各个终端设备的排序顺序为：指定焦点视频者、语音激励者、共享视频者、当前终端设备、入会顺序；

S3：将选流业务转发给外接终端设备，并对外接扩展设备进行布局、绑定和选流。

进一步地，所述步骤S1包括以下步骤：

S101：启动websocket server；

S102：外接扩展设备获取终端设备的IP，发送连接请求给终端设备，建立基于websocket的长连接；

S103：外接扩展设备与终端设备通过心跳机制，保持连接状态。

进一步地，所述步骤S2中，对于语音激励者，通过获取会议中的说话声音最大的与会者的终端设备，实时变更语音激励者对应的终端设备。

进一步地，所述步骤S2包括以下步骤：

S201：获取当前会议参与者的与会人列表，并获取与会人的终端服务器的入会的顺序；

S202：获取会议中的焦点视频者、语音激励者、共享屏幕者和本终端设备，对步骤S201中的终端服务器的顺序进行重新排序；

S203：获取终端设备连接的外接扩展设备，确定当前终端设备连接的外接扩展设备数，对外接扩展设备进行编号排序。

进一步地，所述步骤S202中，对终端服务器的顺序进行重新排序包括：将焦点视频者、语音激励者、共享屏幕者和本终端设备按顺序排列在前端，将剩余的终端服务按照入会顺序向后依次排列。

进一步地，所述步骤S3包括以下步骤：

S301：对外接扩展设备进行布局，将屏幕分成四个小窗口；

S302：对每个小窗口分配需要显示的终端设备并进行绑定；

S303：发送选流业务的信息给外接扩展设备，将选流业务的信息处理后转发给终端设备，完成选流业务；

S304：将选流业务的信息发送给媒体服务，媒体服务会根据选流业务的信息将视频流发送给外接扩展设备。

进一步地，所述步骤S301中，外接扩展设备根据布局坐标及外接扩展设备的屏幕分辨率，通过坐标及长宽比计算每个小窗口的大小。

进一步地，所述步骤S302中，外接扩展设备根据绑定的信息，将每个小窗口对应绑定的视频流显示在小窗口上，完成绑定操作。

本发明还提供了一种实现会议多画面高清显示的系统，包括：

第一通信模块，用于建立终端设备与外接扩展设备之间的连接；

第二通信模块，用于将终端设备进入会议，对会议中的终端设备进行排序，实现选流业务；其中，对各个终端设备的排序顺序为：指定焦点视频者、语音激励者、共享视频者、当前终端设备、入会顺序；

第三通信模块，用于将选流业务转发给外接终端设备，并对外接扩展设备进行布局、绑定和选流。

本发明还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实现会议多画面高清显示的方法的步骤。

本发明提供的一种实现会议多画面高清显示的方法、系统及存储介质，具有如下有益效果：

1、本发明可以在多流混屏时，采用智能化布局算法，优先保证会议中高优先级视频的显示需要，并按需请求对应大小的视频流，有效节省网络带宽。

2、本发明可以在硬件条件不足的情况小，外接多个扩展设备，减少终端设备因解码，显示导致性能不足的问题，将解码显示附加到每个扩展屏幕上，根据扩展屏幕的性能可以任意选择当前外接扩展设备显示多少个画面，实现编码与解码分别在不同的硬件设备上处理，减少因性能问题导致的视频延迟、卡顿、甚至死机的现象。

3、本发明可以在大会场的每个角落放置一个外接扩展设备且连接一个显示屏幕，使每个参会人都能清楚的看到会议中每个终端的视频信息。

附图说明

图1是本发明实施提供一种实现会议多画面高清显示的方法的流程图。

图2是本发明实施提供一种实现会议多画面高清显示的方法的步骤S1的流程图。

图3是本发明实施提供一种实现会议多画面高清显示的方法的步骤S2的流程图。

图4是本发明实施提供一种实现会议多画面高清显示的方法的步骤S3的流程图。

图5是本发明实施提供一种实现会议多画面高清显示的方法的进行选流业务的示例图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施方式对本发明作进一步的详细说明。

本发明提供了一种实现会议多画面高清显示的方法，应用于终端设备中，用于调配会议中的各个终端设备并与外接扩展设备相连接。该终端设备和外接扩展设备都可以是TV、android盒子、手机、pad等。外接扩展设备哪个通过HDMI与屏幕相连接，用于显示会议内容。

如图1-5所示，本方法包括以下步骤：、

S1：建立终端设备与外接扩展设备之间的连接。

其中，通过第一通信模块实现上述步骤。具体地，如图2所示，步骤S1 包括以下步骤：

S101：终端设备开启，启动websocket server，等待外接扩展设备连接；其中，webSocket是一种在单个TCP连接上进行全双工通信的协议。

S102：外接扩展设备获取终端设备的IP(通过动态主机配置协议(DHCP) 获取终端设备的IP，或者通过连接固定的终端设备IP)，发送连接请求给终端设备，建立基于websocket的长连接；

S103：长连接建立成功后，外接扩展设备与终端设备通过心跳机制，保持连接状态。

通过上述步骤，终端设备与外接扩展设备一直保持连接，其之间的所有通信通过websocket消息实现通信。

S2：终端设备进入会议模式(可以通过邀请的形式或终端设备主动加入的形式)，对会议模式中的终端设备进行排序，实现选流业务。

其中，通过第二通信模块实现选流业务。具体地，第二通讯模块会根据终端设备连接的外接扩展设备数、参会人数、是否指定布局、是否有共享(共享桌面内容)、是否有语音激励、是否是本终端等条件来处理选流业务，按指定焦点视频者>语音激励者>共享视频者>当前终端设备(本人)>入会顺序进行排序，将某个外接扩展设备的布局、选择视频或数据流通过第一通信模块转发给外接扩展设备。

其中，焦点视频是将会中可以通过将某个与会人设置为焦点，让所有的终端都选看这个与会者，如领导做报告时，所有终端都观看他的视频。语音激励是会中接收的音频数据，通过语音算法获取声音最大的说话者，将该与会者的终端设备做为语音激励者，将其视频填充到多画面中，并对当前的多画面进行实施更新。共享视频是会中发送共享桌面流或者共享文档，通过规则填充多画面中，并实时更新。

外接扩展设备在收到终端设备转发的布局后，绑定(每个外接扩展设备屏幕、每个窗口绑定的与会人的)消息后，外接扩展设备对选流的信息进行处理后，将选流的信息返回给终端设备，终端设备收到选流的返回信息后，通过第二通信模块，实现真正的选流操作。

上述操作能够达到以下效果：1.根据外接扩展设备接入的屏幕真实大小，计算每个小窗口的大小，根据每个小窗口大小选择对应大小的视频流；2.保证每个外接扩展设备每路流收到的第一帧视频流是I帧，便于解码显示。

如图3所示，本步骤S2的具体步骤如下：

S201：获取当前会议参与者的与会人列表，并获取与会人的终端服务器的入会的顺序。

S202：获取会议中的焦点视频者T8、语音激励者T6、共享屏幕者T4和本终端设备T2，对步骤S201中的终端服务器的顺序进行重新排序，即将焦点视频者T8、语音激励者T6、共享屏幕者T4和本终端设备T2按顺序排列在前端，将剩余的终端服务按照入会顺序向后依次排列。

S203：获取终端设备连接的外接扩展设备，确定当前终端设备连接的外接扩展设备数，对外接扩展设备进行编号排序(按第一连接的外接扩展设备称为主屏，第二连接的外接扩展设备称为辅屏一，第三连接的外接扩展设备称为辅屏二，依次类推)；其中，终端设备连接多少个外接扩展设备，决定外接扩展设备屏幕上显示的分屏数(小窗口数量)、分屏绑定的与会者及选看具体哪个视频的业务。

通过上述步骤，能够获取最新的排好序的与会者列表(例如，T8、T6、 T4、T2、T0、T1、T3、T5、T7、T9、T10、……、Tn)，排好序的已连接的外接扩展设备(例如，主屏(10001)、辅屏一(10002)、辅屏二(10003)、……、辅屏n(1000n))。

在一个实施方式中，将焦点视频者T8绑定到主屏(10001)并全屏显示，语音激励者T6绑定到辅屏一(10002)并全屏显示(语音激励者会根据当前会中与会者的说话的状态，通过语音算法获取当前会议中的说话声音最大的与会者，实时变更语音激励者T6绑定的终端设备)，共享屏幕者T4绑定到辅屏二 (10003)上并显示在0区域(屏幕上的小窗口按顺序依次为0区域、1区域、……、 n区域)，本终端设备T2绑定到1区域，终端设备T0绑定到2区域，其他的与会者按照步骤S202重新排序的顺序，依次绑定到外接扩展设备的小窗口上 (依据外接扩展设备的性能，最多支持25个小窗口，超过的参会人每间隔一段时间轮训显示一次)。

当共享屏幕者T4有共享需要显示时切换为演讲者模式(小窗口为一大三小的形式，共享屏幕者T4为大窗口)，方便其与会者的终端商标能很清楚看到共享的内容。

如图5所示，为根据上述方法的示例说明图，从左至右依次为根据步骤 S201、S202和S203步骤获得的顺序，以及最后得出的布局示意图。

S3：终端设备将选流业务转发给外接终端设备，并对外接扩展设备进行布局、绑定和选流。

其中，通过第三通信模块实现上述操作，并且视频流通过第二通信模块转发给外接扩展设备。按照与终端连接的顺序排序，第一个连接的是主屏，第二个连接的是辅屏一，第三个连接的是辅屏二，根据会议终端的性能，依次类推(可以连接多个外接终端设备，视硬件性能而定)。

如图4所示，本步骤S3的具体步骤如下：

S301：终端设备对外接扩展设备进行布局，将屏幕分成四个小窗口，每个小窗口(区域)坐标的示例如下：R0(x＝0，y＝0，w＝0.5，h＝0.5)，R1(x＝0.5， y＝0，w＝0.5，y＝0.5)，R2(x＝0，y＝0.5，w＝0.5，y＝0.5)，R3(x＝0.5，y＝0.5，w＝0.5，y＝0.5)，其中x，y表示顶点坐标，w，h表示长宽比例。外接扩展设备根据布局坐标及外接扩展设备真实的屏幕分辨率，通过坐标及长宽比计算每个小窗口真实的大小，并绘制到屏幕上。

S302：对每个小窗口分配需要显示的终端设备并进行绑定；外接扩展设备收到终端设备转发的绑定信息，每个小窗口(区域)绑定相应的与会人的终端设备的示例如下：R0(rect＝0，termed＝1，name＝T1，mic＝1，camera＝1)， R1(rect＝1，termed＝2，name＝T2，mic＝0，camera＝1)，R2(rect＝2，termed＝3， name＝T3，mic＝1，camera＝1)，R3(rect＝3，termed＝3，name＝T3，mic＝1，camera＝1)，其中rect表示第几个区域，termid表示与会人id，name表示与会人昵称，mic 表示与会人麦克风状态，camera表示相机状态。外接扩展设备根据绑定信息与布局的小窗口一一对应，将每个小窗口对应绑定的终端设备的视频流显示在布局的小窗口上，完成绑定操作。

步骤S303：发送选流业务的信息给外接扩展设备，外接扩展设备通过S301 步骤计算的小窗口大小，将真实的选流业务的信息处理后转发给终端设备，完成选流业务。其中，处理后的选流业务的信息的示例如下：termid＝1， videoType＝9，termed＝2，videoType＝9，termed＝3，videoType＝9，termed＝4， videoType＝9，其中，termid表示与会人id，videoType表示选流的大小，终端设备收到转发的真实的选流业务的信息通过信令消息发送给媒体服务。

S304：将选流业务的信息发送给媒体服务，媒体服务会根据选流业务的信息并且下发真实的视频流信息，终端设备通过第二通信模块将视频流转发给外接扩展设备。其中，上述操作的示例如下：外接扩展设备收到选流termid＝1 的视频流，根据绑定信息找到termid＝1与会人对应的视频流或数据流，创建解码线程，将解码成功的视频流渲染到小窗口上，其他的视频流信息也按上述方法实现解码显示。

基于同样的发明构思，一实施方式中还提供了一种实现会议多画面高清显示的系统，包括：

第一通信模块，用于建立终端设备与外接扩展设备之间的连接，其包括连接管理模块，用于接收并验证终端设备与外接扩展设备的建立连接请求，验证通过后，建立基于websocket的长连接，webSocket是一种在单个TCP连接上进行全双工通信的协议。

第二通信模块，用于将终端设备进入会议，对会议中的终端设备进行排序，实现选流业务；其中，第二通信模块包括会中的控制模块、视频码流传输模块、音频传输模块、布局业务模块、绑定选流业务模块等，其能够将处理的结果通过第一通信模块转发给外接扩展设备，实现每个连接的扩展设备布局、窗口绑定、视频显示、同时扩展设备将处理结果通过第一通信设备反馈给终端设备。

第三通信模块，用于将选流业务转发给外接终端设备，并对外接扩展设备进行布局、绑定和选流。

第三通信模块包含布局模块、绑定选流模块和解码显示模块。

布局模块能够根据当前参会人的个数、会议中的状态(是否有焦点视频者，语音激励者和共享屏幕者)、当前连接的外接扩展设备等给每一个外接扩展设备转发当前会议的布局样式(如，演讲者模式，分屏一，分屏二，分屏三，……，分屏n)；外接扩展设备通过第一通信模块收到布局模块转发的布局样式及坐标以及当前外接的屏幕大小，计算当前屏幕每个小窗口的大小，绘制布局到屏幕并显示。

绑定选流模块能够进行绑定业务及选流业务，外接扩展设备通过第一通信模块收到终端设备转发的小窗口绑定信息(小窗口的绑定数量需与转发的布局窗口数量相等)，将每个小窗口的信息显示在当前布局窗口对应的小窗口上。小窗口显示的内容是：与会人昵称，麦克风状态，相机状态。

外接扩展设备通过第一通信模块收到终端设备转发的选流业务的信息，先处理转发的关闭选流业务的信息，再处理非关闭的选流业务的信息；外接扩展设备根据绑定及布局的小窗口信息，计算出选流大小；扩展设备根据选流数据，开启绑定选流模块(只有选看了某个流，终端设备才会转发该路视频流)，同时将处理后的选流结果通过第一通信模块转发给终端设备；终端设备收到外接扩展设备转发的选流业务的信息，对比之前选流的记录，处理选流或变更选流的操作；第二通信模块根据选流业务的信息，向媒体服务请求打开或关闭某路视频流。媒体服务收到请求后，将真实的视频流下发给终端设备，终端设备通过之前的绑定和选流记录，将视频流转发给相应的外接扩展设备，完成转发流功能。

解码显示模块，能够通过信令消息把选择的视频码流转发给对应的外接扩展设备，外接扩展设备收到视频流或数据流后，根据当前绑定的窗口信息，创建对应的解码线程并进行解码，解码成功后，通过OPENGL渲染到指定的小窗口。

基于同样的发明构思，一实施方式中还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述一实施方式所述的开关分合指示牌状态的识别方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本文中应用了具体个例对发明构思进行了详细阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离该发明构思的前提下，所做的任何显而易见的修改、等同替换或其他改进，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现会议多画面高清显示的方法，其特征在于，包括以下步骤：

S1：建立终端设备与外接扩展设备之间的连接；

S2：终端设备进入会议，对会议中的终端设备进行排序，实现选流业务；其中，对各个终端设备的排序顺序为：指定焦点视频者、语音激励者、共享视频者、当前终端设备、入会顺序；

S3：将选流业务转发给外接终端设备，并对外接扩展设备进行布局、绑定和选流。

2.根据权利要求1所述的实现会议多画面高清显示的方法，其特征在于，所述步骤S1包括以下步骤：

S101：启动websocket server；

S102：外接扩展设备获取终端设备的IP，发送连接请求给终端设备，建立基于websocket的长连接；

S103：外接扩展设备与终端设备通过心跳机制，保持连接状态。

3.根据权利要求1所述的实现会议多画面高清显示的方法，其特征在于，所述步骤S2中，对于语音激励者，通过获取会议中的说话声音最大的与会者的终端设备，实时变更语音激励者对应的终端设备。

4.根据权利要求1所述的实现会议多画面高清显示的方法，其特征在于，所述步骤S2包括以下步骤：

S201：获取当前会议参与者的与会人列表，并获取与会人的终端服务器的入会的顺序；

S202：获取会议中的焦点视频者、语音激励者、共享屏幕者和本终端设备，对步骤S201中的终端服务器的顺序进行重新排序；

S203：获取终端设备连接的外接扩展设备，确定当前终端设备连接的外接扩展设备数，对外接扩展设备进行编号排序。

5.根据权利要求4所述的实现会议多画面高清显示的方法，其特征在于，所述步骤S202中，对终端服务器的顺序进行重新排序包括：将焦点视频者、语音激励者、共享屏幕者和本终端设备按顺序排列在前端，将剩余的终端服务按照入会顺序向后依次排列。

6.根据权利要求1所述的实现会议多画面高清显示的方法，其特征在于，所述步骤S3包括以下步骤：

S301：对外接扩展设备进行布局，将屏幕分成四个小窗口；

S302：对每个小窗口分配需要显示的终端设备并进行绑定；

S303：发送选流业务的信息给外接扩展设备，将选流业务的信息处理后转发给终端设备，完成选流业务；

S304：将选流业务的信息发送给媒体服务，媒体服务会根据选流业务的信息将视频流发送给外接扩展设备。

7.根据权利要求1所述的实现会议多画面高清显示的方法，其特征在于，所述步骤S301中，外接扩展设备根据布局坐标及外接扩展设备的屏幕分辨率，通过坐标及长宽比计算每个小窗口的大小。

8.根据权利要求1所述的实现会议多画面高清显示的方法，其特征在于，所述步骤S302中，外接扩展设备根据绑定的信息，将每个小窗口对应绑定的视频流显示在小窗口上，完成绑定操作。

9.一种实现会议多画面高清显示的系统，其特征在于，包括：

第一通信模块，用于建立终端设备与外接扩展设备之间的连接；

第二通信模块，用于将终端设备进入会议，对会议中的终端设备进行排序，实现选流业务；其中，对各个终端设备的排序顺序为：指定焦点视频者、语音激励者、共享视频者、当前终端设备、入会顺序；

第三通信模块，用于将选流业务转发给外接终端设备，并对外接扩展设备进行布局、绑定和选流。

10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-8中任一项所述的实现会议多画面高清显示的方法的步骤。

Images