CN110928513A - 一种超大分辨率合成指挥应用系统 - Google Patents

Abstract

本发明公开了一种超大分辨率合成指挥应用系统，至少包括操作端，对应用服务器发送指令；分布式的多台应用服务器，每台应用服务器加载整个应用的一部分，整体拼接后构成拼接大屏幕；分布式的流媒体服务器，将获取的流媒体数据解码处理分散到多台流媒体服务器上解码，并发送到对应的应用服务器上，由对应的应用服务器接收数据解码后的数据，并显示在拼接大屏幕上；通讯服务器用于实现操作端、多台应用服务器、多台流媒体服务器之间统一的通讯和调度。该技术充分利用拼接大屏幕拼接后的物理像素；利用多台应用服务器结合分布式技术实现超大规模显示的资源负载均衡调度；分离操作端和超大显示端，实现对超大显示的灵活交互。

Description

一种超大分辨率合成指挥应用系统

技术领域

本发明涉及信息技术领域，尤其涉及一种超大分辨率合成指挥应用系统。

背景技术

目前在各类调度运营中心都安装有拼接大屏幕，且都运行着各种指挥应用系统，目前绝大部分的指挥应用系统都是单机运行，其系统运行架构如图1所示：合成指挥应用运行在应用服务器上，应用服务器通过拼接控制器的双链路DVI接口输入到拼接控制器，拼接控制器再输出信号驱动M*N块单元分辨率是1920*1080的单元拼接构成的超大屏幕。

这样的系统往往都存在如下几个问题：

(1)分辨率利用率不高：应用服务器2是一台电脑，通过显卡输出显示，其分辨率受显卡限制，通常一块4路DP输出的显卡支持的最大分辨率为3840*2160*4，而拼接大屏幕5拼接规模是不确定的，有的项目有48个1080P拼接，有的有80个拼接，这些拼接规模后的分辨率都远远大于一台应用服务器的显示分辨率，这造成了大屏幕物理像素的浪费；

(2)应用服务器2单机性能成为瓶颈：由于拼接大屏幕5显示像素很多，显示面积很大，比如要求显示画面的内容很多，这个时候在一台应用服务器2上运行一个超级大的应用来支撑这个大屏幕，整个画面的加载速度、画面切换速度都会出现卡顿，应用服务器2的CPU以及内存资源都会满足不了超大分辨率显示的性能要求，例如，大屏幕上加载合成指挥的地图分辨率变大、地图上的热点资源变多如有2万个热点时，地图的缩放和移动就会因为一台应用服务器2硬件资源的有限而变得卡顿，不流畅；在合成指挥调度应用系统中典型的视频监控应用场景显示视频也都是由应用服务器2进行软解码显示，一台应用服务器2即要加载地图，又要加载地图资源，还要解码多路视频，则解码视频画面的数量也是很有限的，通常最多只有8路1080P。

(3)交互不方便：传统的这种系统设计，相当于把应用服务器2的桌面移到了大屏幕5上进行放大显示，而大屏幕5的物理尺寸又是很大的，几米高*几米宽，人站在大屏幕5前很微小，导致鼠标根本就不容易找到，大屏幕5用鼠标进行操作来实现交互更为困难。

而随着指挥中心建设规模越来越大，合成指挥集成的业务数据类型越来越多，以上三个不足就逐步成为用户的核心痛点。

因此，本领域技术人员致力于开发超大分辨率合成指挥应用系统，以解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种超大分辨率合成指挥应用系统，以解决背景技术中的问题。

为了解决上述问题，本发明提供了一种超大分辨率合成指挥应用系统，至少包括：

操作端，作为该应用系统的指挥中心，对应用服务器发送指令，实现对大屏幕显示内容的调度和交互；

应用服务器，所述应用服务器至少包括两台，利用分布式技术将整体应用分布到多台所述应用服务器上，每台所述应用服务器加载整个应用的一部分，整体拼接后构成拼接大屏幕；

流媒体服务器，所述流媒体服务器至少包括两台，利用分布式技术将获取的流媒体数据解码处理分散到多台所述流媒体服务器上解码，并发送到对应的所述应用服务器上，由对应的所述应用服务器接收数据解码后的数据，并显示在所述拼接大屏幕上；

通讯服务器，用于实现所述操作端、多台所述应用服务器、多台所述流媒体服务器之间统一的通讯和调度。

进一步的，所述应用系统至少还包括一地图服务器，所述地图服务器获取需要显示、调度区域的地图数据信息，并通过所述通讯服务器传输到多台所述应用服务器上进行拼接调度。

进一步的，所述拼接大屏幕上的显示至少由两个图层组成，一个图层为背景地图，另一个图层为前景叠加内容。

进一步的，所述背景地图至少包括底层的基础地图以及地图上的撒点信息，所述背景地图信息通过所述地图服务器获得。

进一步的，所述前景叠加的内容至少包括一数据可视化面板、一视频画面窗口和一文字字幕。

进一步的，每一个所述数据可视化面板具有对应的面板ID，所述应该系统中存储每个面板ID号，以及对应的显示坐标X\Y、宽度W和高度H。

进一步的，对所述数据可视化面板的处理流程为：当在所述操作端操作要显示所述数据可视化面板时，则发送该数据可视化面板对应的面板ID号以及显示参数(X\Y\W\H)给所有的所述应用服务器，所有的所述应用服务器收到这些参数后，计算是否落在各自负责渲染的显示区域，如果是则渲染出该可视化面板；如果有发现数据可视化面板跨在多个所述应用服务器负责渲染的显示区域中间时，则每个所述应用服务器都渲染出完整的该面板ID号的数据可视化面板，分割位置计算上下左右移动的像素后，进行快速移动，从而形成在多个所述应用服务器上拼接成一个完整画面的效果。

进一步的，所述文字字母的操作与所述数据可视化面板操作相同。

进一步的，对所述视频画面窗口的处理流程为：所述视频画面窗口则是由分布式的所述流媒体服务器进行解码，还原成YUV(一种颜色编码方法，常使用在各个视频处理组件中)的像素流数据，并且根据所述操作端视频画面窗口对应所述拼接大屏幕上显示画面的位置和大小进行切割和处理后，将切片后的图片帧发送到每个所述应用服务器，每个所述应用服务器只接收切块好的图片，叠加到所述背景地图上层进行贴图显示。

进一步的，所述流媒体服务器解码后的YUV数据直接从流媒体服务器到应用服务器，不经过通信管理服务器，通信管理服务器只维护画面切割的参数传递。

进一步的，所述操作端的界面按所述操作端和所述拼接大屏幕的像素比例缩小，且所述操作端界面上视频不解码显示，只显示窗口位置和ID，各个所述应用面板也只显示应用名称ID号。

通过实施上述本发明提供的超大分辨率合成指挥系统，具有如下技术效果：

(1)本技术方案利用多个应用服务器各自加载部分地图构成超大分辨率地图，可以匹配大屏幕拼接后的物理像素，提高了像素利用率；

(2)本技术方案中不同的应用服务器加载不同区域的数据，分布式处理，可以加载海量信息；突破单台加载过量热点的弊端；

(3)本技术方案利用多个应用服务器渲染可视化数据面板，可以叠加显示各种面板，实现超大规模显示的资源负载均衡调度；

(4)本技术方案利用外部的分布式流媒体服务器进行流媒体图像的解码处理，分摊了应用服务器解码能力，系统可以利用外部的分布式解码结合应用服务器图片贴图显示，解码显示海量的视频窗口画面；

(5)本技术方案将大屏显示端和操作端分离，设置简易化操作端，方便对合成指挥应用系统进行简单高效的操作，在操作端操作，大屏幕看结果，通过通信服务器进行指令的协调与管理，实现对超大显示的灵活交互。

附图说明

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

图1是本发明背景技术现有应用系统运行框架图；

图2是本发明具体实施方式中应该系统运行框架图；

图3是图2中结合操作内容示意图；

图4是图3中操作端及拼接大屏幕界面放大显示图；

图5是地图服务器上各个层级的地图瓦片数据示意图；

图6是可视化面板跨在多个应用服务器显示区域中间完成拼接示意图。

图中：

1、操作端；10、软件界面；

2、应用服务器；20、拼接控制器；

3、流媒体服务器；

4、通讯服务器；

5、拼接大屏幕；50、背景地图；51、数据可视化窗口；52、视频画面窗口；53、文字字幕；

6、地图服务器。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2-3所示的超大分辨率合成指挥应用系统，至少包括：

操作端1，作为该应用系统的指挥中心，对应用服务器2发送指令，实现对拼接大屏幕5显示内容的调度和交互；在本具体实施方案中，操作端1为定制的操作端，操作端1的软件界面10，结合图4所示，按操作电脑和拼接大屏幕5的像素比例缩小，同时操作端1的软件界面10上视频不解码显示，只显示窗口位置和ID，各个应用面板也只显示应用名称ID号，这样，方便对合成指挥应用系统进行简单高效的操作，在操作端1操作，拼接大屏幕5看结果。

通讯服务器4为应用系统中各服务器、操作端之间调度、通讯的部分，与现有的通讯服务器相同，此处不做过多赘述。

流媒体服务器3至少包括两台，利用分布式技术将获取的流媒体数据，例如在视频画面窗口51上显示的视频画面，解码处理分散到多台流媒体服务器3上解码，设定流媒体服务器2的数量表示为N，流媒体服务器3的数量与应用服务器2的数量相对应，流媒体服务器3解码获取的流媒体信息后发送到对应的应用服务器2上，由对应的应用服务器2接收数据解码后的数据，并显示在拼接大屏幕5上。

获取流媒体数据的方式可以包括视频采集设备、音频采集设备等，该方式为传统流媒体采集形式，在实际使用中可多种选择。

地图服务器6用于获取需要显示、调度区域的地图数据信息，例如背景地图50信息，并通过通讯服务器4传输到应用服务器2上进行数据拼接、调度。

应用服务器2至少包括两台，利用分布式技术将整体应用分布到多台应用服务器2上，设定应用服务器2的数量表示与流媒体服务器相同，为N，每台应用服务器2加载整个应用的一部分，整体拼接后构成拼接大屏幕5；如图2-3所示，应用服务器2与拼接大屏幕5之间具有拼接控制器20，拼接控制器20将N台应用服务器2获取的来自地图服务器6、流媒体服务器3的数据输出到拼接大屏幕5中。

拼接大屏幕5上的显示至少由两个图层组成，一个图层为背景地图50，另一个图层为前景叠加内容。

其中，背景地图50至少包括底层的基础地图以及地图上的撒点信息，在设定背景地图是，其处理流程为：

Step1：在地图服务器6上存储各个层级的地图瓦片数据，如图5所示；

Step2：建立操作端1地图的画面参数为Xc,Yc,Wc,Hc,Lc；其中，Xc、Yc,为操作端1地图显示起始坐标；Wc为操作端1地图宽度水平分辨率；Hc为操作端1地图高度垂直分辨率；Lc为操作端1地图的层级；

建立拼接大屏幕5地图的画面参数为Xw,Yw,Ww,Hw,Lw；其中，Xw、Yw,为拼接大屏幕5地图显示起始坐标；Ww为拼接大屏幕5地图宽度水平分辨率；Hw为拼接大屏幕5地图高度垂直分辨率；Lw为拼接大屏幕5地图的层级；

其中，Ww通常为Dw*M；Dw为每个应用服务器2显卡水平分辨率,M为拼接的列数；HW通常为Dh*N；Dh为每个应用服务器2显卡垂直分辨率,N为拼接的行数；

Step3：设计Lw/Lc为一个固定的比例且设计Xw/Xc＝Yw/Yc为一个固定的比例；

Step4：设计由N台应用服务器2根据起始坐标和自己显卡的参数从地图服务器6同步获取地图瓦片数据；

Step5：由N台应用服务器2获取各自区域内地图进行撒点管理，每台应用服务器2管理自己驱动的显示区域，形成撒点信息。

基于上述步骤Step3和Step，当操作端1地图进行缩放时，Lc发生变化，为了维持Lw/Lc的固定比例，Lw也跟着发生变化；N台应用服务器2上加载的地图瓦片数据也发生缩放；当操作端1地图进行移动时,操作端1的Xc\Yc发生变化，为了维持Xw/Xc＝Yw/Yc的固定比例；N台应用服务器2上地图的起始坐标也发生变化，Xw+Dw*M，Yw+Dh*N。

为了满足N台应用服务器2同时请求地图服务器6的地图瓦片数据以及撒点信息，地图服务器6需要配置万兆光纤网络和整个核心交换机连接。

前景叠加的内容至少包括一数据可视化面板51、一视频画面窗口52和一文字字幕52，如图2-3所示。

其中，每一个数据可视化面板51具有对应的面板ID，应该系统中存储每个面板ID号，以及对应的显示坐标X\Y、宽度W和高度H；对数据可视化面板51的处理流程为：当在操作端1操作要显示数据可视化面板51时，则发送该数据可视化面板51对应的面板ID号以及显示参数(X\Y\W\H)给所有的应用服务器2，所有的应用服务器2收到这些参数后，计算是否落在各自负责渲染的显示区域，如果是则渲染出该可视化面板；如果有发现数据可视化面板51跨在多个应用服务器2负责渲染的显示区域中间时，则每个应用服务器2都渲染出完整的该面板ID号的数据可视化面板，分割位置计算上下左右移动的像素后，进行快速移动，从而形成在多个应用服务器2上拼接成一个完整画面的效果，如图6所示。

对视频画面窗口52的处理流程为：视频画面窗口52则是由分布式的流媒体服务器3进行解码，还原成YUV的像素流数据，并且根据操作端1视频画面窗口52对应拼接大屏幕5上显示画面的位置和大小进行切割和处理后，将切片后的图片帧发送到每个应用服务器2，每个应用服务器2只接收切块好的图片，叠加到背景地图50上层进行贴图显示。

解码过程在分布式流媒体服务器3上完成，而且采用分布式技术进行并行解码，一台解码8路1080P，可以根据系统同时显示的视频画面的数量，配置多台流媒体服务器3，进行并行处理，再将并行处理后的YUV数据发送给应用服务器2。

为保证流媒体解码后多路显示的实时性，流媒体服务器3也需要用万兆光纤和核心交换机互联。

流媒体服务器3解码后的YUV数据直接从流媒体服务器3到应用服务器2，不经过通信服务器4，通信服务器4只维护画面切割的参数传递。

对于文字字母53的处理类同于对于数字可视化面板51的处理流程，此处不做赘述。

需要注意的是，在本应用系统中多台应用服务器2也是通过万兆光纤和核心交换机互联。

需要补充说明的是，除非另作定义，此处使用的技术术语或者科学术语应当为本发明领域内具有一般技能的人士所理解的通常意义。本领域技术人员在考虑说明书及实践这里的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何用途或者适应性变化，这些用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求书指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的结构，并且可以在不脱离其范围的前提下进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种超大分辨率合成指挥应用系统，其特征在于，至少包括：

操作端，作为该应用系统的指挥中心，对应用服务器发送指令，实现对大屏幕显示内容的调度和交互；

应用服务器，所述应用服务器至少包括两台，利用分布式技术将整体应用分布到多台所述应用服务器上，每台所述应用服务器加载整个应用的一部分，整体拼接后构成拼接大屏幕；

流媒体服务器，所述流媒体服务器至少包括两台，利用分布式技术将获取的流媒体数据解码处理分散到多台所述流媒体服务器上解码，并发送到对应的所述应用服务器上，由对应的所述应用服务器接收数据解码后的数据，并显示在所述拼接大屏幕上；

通讯服务器，用于实现所述操作端、多台所述应用服务器、多台所述流媒体服务器之间统一的通讯和调度。

2.如权利要求1所述的应用系统，其特征在于，所述应用系统至少还包括一地图服务器，所述地图服务器获取需要显示、调度区域的地图数据信息，并通过所述通讯服务器传输到多台所述应用服务器上进行拼接调度。

3.如权利要求1所述的应用系统，其特征在于，所述拼接大屏幕上的显示至少由两个图层组成，一个图层为背景地图，另一个图层为前景叠加内容。

4.如权利要求3所述的应用系统，其特征在于，所述背景地图至少包括底层的基础地图以及地图上的撒点信息，所述背景地图信息通过所述地图服务器获得。

5.如权利要求3所述的应用系统，其特征在于，所述前景叠加的内容至少包括一数据可视化面板、一视频画面窗口和一文字字幕。

6.如权利要求5所述的应用系统，其特征在于，每一个所述数据可视化面板具有对应的面板ID，所述应该系统中存储每个面板ID号，以及对应的显示坐标X\Y、宽度W和高度H。

7.如权利要求6所述的应用系统，其特征在于，对所述数据可视化面板的处理流程为：当在所述操作端操作要显示所述数据可视化面板时，则发送该数据可视化面板对应的面板ID号以及显示参数(X\Y\W\H)给所有的所述应用服务器，所有的所述应用服务器收到这些参数后，计算是否落在各自负责渲染的显示区域，如果是则渲染出该数据可视化面板；

如果有发现数据可视化面板跨在多个所述应用服务器负责渲染的显示区域中间时，则每个所述应用服务器都渲染出完整的该面板ID号的数据可视化面板，分割位置计算上下左右移动的像素后，进行快速移动，从而形成在多个所述应用服务器上拼接成一个完整画面的效果。

8.如权利要求5所述的应用系统，其特征在于，对所述视频画面窗口的处理流程为：所述视频画面窗口则是由分布式的所述流媒体服务器进行解码，还原成YUV的像素流数据，并且根据所述操作端视频画面窗口对应所述拼接大屏幕上显示画面的位置和大小进行切割和处理后，将切片后的图片帧发送到每个所述应用服务器，每个所述应用服务器只接收切块好的图片，叠加到所述背景地图上层进行贴图显示。

9.如权利要求8所述的应用系统，其特征在于，，所述流媒体服务器解码后的YUV数据直接从流媒体服务器到应用服务器，不经过通信管理服务器，通信管理服务器只维护画面切割的参数传递。

10.如权利要求1所述的应用系统，其特征在于，所述操作端的界面按所述操作端和所述拼接大屏幕的像素比例缩小，且所述操作端界面上视频不解码显示，只显示窗口位置和ID，各个所述应用面板也只显示应用名称ID号。

Images