CN107959699A - 一种基于流式处理的WebSocket数据推送系统及方法 - Google Patents

Abstract

本发明公开了一种基于流式处理的WebSocket数据推送系统及方法，该系统包括流式数据处理模块、数据服务器模块和数据展示接收模块；应用于该数据推送系统的数据推送方法主要包括八个步骤，通过引入大数据Spark Streaming流式处理的过程，并融合WebSocket技术，由WebSocekt自身管理建立数据传输通道，不需要人为建立管理服务器端到Web端的通信链路，从根本上实现了即时的数据服务；根据前端Web页面的展示需求，实时调整需要传输到Web Server端的数据流量，并实现自动的数据推送功能，再由WebServer端根据各个Web端中的数据展示需求，分发推送各种数据到Web端，实现实时数据的稳定、快速展示，同时减小整个系统的数据传输压力和数据处理压力，提高系统可用性、稳定性和高并发访问性。

Description

一种基于流式处理的WebSocket数据推送系统及方法

技术领域

本发明属于数据通信领域，更具体地，涉及一种基于流式处理的WebSocket数据推送系统及方法。

背景技术

光伏发电站由光伏发电处理单元组成，每个处理单元都是一个需要监控的设备，其自身有多达上百个数据点位的实时数据需要上传到光伏电站智能管理系统进行数据处理、存储、展示，光伏电站的规模越大，其以秒级实时上传的数据点个数就越多，当光伏电站智能管理系统大批量的接入光伏电站的数据时，数据处理的压力，网络传输的压力以及数据展示的压力会快速增加，很容易造成整个系统的处理数据减慢、实时性降低甚至系统频繁崩溃的情况。

目前，传统的解决方案是通信系统接收到数据后马上进行解析处理，然后使用HTTP协议或者私有的网络通信协议将解析好的数据全部送到Web Server端，由Web Server端根据前端Web页面的请求消息，筛选需要的最新数据，再通过HTTP协议发送至Web前端页面，由Web页面进行展示。

然而在实时数据量爆炸式增长的情况下，系统接收的数据量很庞大，可以达到每秒处理上万甚至上十万的实时数据点，这么庞大的数据通过网络传输到Web Sever服务器端后，还需要进行数据筛选，在传递到Web客户端进行数据展示，整个过程，会有如下几个问题：

1.经过的解析后的实时数据流非常庞大，需要通过网络传输到Web Server服务器，并且频率很高，最大的时间间隔频率都要求是秒级，这样会占用大量的网络I/O资源，严重的话可能会造成网络拥塞，这需要系统管理员根据业务量的增长，不断的扩充网络设备以及构建负载均衡通道，造成系统运营成本的增加和系统效率减小。

2.大数据量的吞吐会造成数据接收解析处理能力的降低低，实时性减弱。

3.Web Server服务器端接收了大量的数据，但Web前端并不会一次性展示所有的数据，只是其中很小的一部分，因此还需要Web Server消耗大量计算资源和处理时间来筛选Web前端需求的数据，不仅增加了整个系统的处理压力，也减低了系统的实时性，甚至会导致当进行高并发的Web页面访问时，大量的Web客户端请求会使Web Server直接因压力太大而崩溃。

发明内容

为了克服传统方案的不足，本发明提出了一种基于流式处理的WebSocket的数据推送系统及方法，引入大数据Spark Streaming流式处理的过程，并融合WebSocket技术，由WebSocekt自身管理建立数据传输通道，不需要人为建立管理服务器端到Web端的通信链路，从根本上实现了即时的数据服务。根据前端Web页面的展示需求，实时调整需要传输到Web Server端的数据流量，并实现自动的数据推送功能，再由Web Server端根据各个Web端中的数据展示需求，分发推送各种数据到Web端，实现实时数据的稳定、快速展示，同时减小整个系统的数据传输压力和数据处理压力，提高系统可用性、稳定性和高并发访问性。

本发明的技术方案如下：

一种基于流式处理的WebSocket数据推送系统，所述数据推送系统包括流式数据处理模块、数据服务器模块和数据展示接收模块；所述流式数据处理模块输出端与数据服务器输入端连接，数据服务器输出端与数据展示接收模块输入端连接。

所述流式数据处理模块主要负责将各个光伏电站上送的实时数据按照相应的数据协议解析成实时数据流，包括电站实时功率、故障信息、设备状态等数据，并根据WebSocket服务器的数据需求，筛选需要的数据，使用WebSocket传输通道和数据协议，将数据传输到WebSocekt服务器模块。

所述数据服务器模块负责建立和维护整个系统的WebSocket传输通道，接收各个数据接收展示模块的数据需求，将其汇总后通知流式数据处理模块，并接收流式数据模块传输的实时数据，当实时数据进行更新时，服务器端自动将实时数据根据需求推送到各个数据接收展示模块。

所述数据接收展示模块根据前端业务需要，整合需要的实时数据详细信息，通过WebSocket方式，将数据需求发送至数据服务器端，并实时接收服务器端推送过来的实时数据，进行展示。

进一步地，本发明还提供了一种基于WebSocket数据推送系统上的数据推送方法，所述数据推送方法通过以下步骤实现：

S1.数据接收展示模块建立需求数据集，并发送至数据服务器模块；

S2.数据服务器模块接收需求数据集，建立需求数据池，并发送至流式数据处理模块；

S3.流式数据处理模块接收需求数据池，建立需求数据池，等待数据更新；

S4.流式数据处理模块进行实时数据解析，根据需求数据池数据信息进行数据筛选，筛选得到数据并与数据池原有数据比较，比较结果分为两种：

第一种，筛选数据与流式数据处理模块数据池原有数据对比有变化，则更新流式数据处理模块数据池数据；

第二种，对比无变化，则不做更新；

S5.将更新或没有更新的数据发送至数据服务器模块，与数据服务器模块原有数据池数据比较，比较结果分为两种：

第一种，流式数据处理模块数据池与数据服务器模块数据池对比有变化，则更新数据服务器模块数据池；

第二种，对比无变化，则不做更新；

S6.将更新后的数据服务器模块数据池数据传输至数据接收展示模块进行展示；如无更新数据，则不做展示。

进一步地，流式数据处理模块采用基于大数据Spark Streaming的流式处理技术或Storm流式处理技术；

所述大数据Spark Streaming的流式处理技术是一种构建在大数据分布式计算框架Spark上的实时计算框架；所述大数据Spark Streaming的流式处理技术的基本原理是将输入数据流以时间片为单位进行拆分，然后以类似批处理的方式处理每个时间片的数据，再将每个时间片处理的结果整合起来，组成最终的处理结果，达到实时处理流式数据的能力。

进一步地，所述数据服务器模块采用WebSocket技术；

所述WebSocket是基于HTML5的一种新的网络通讯协议和解决方案，实现了浏览器与服务器全双工通信，不同于以前的客户端定时请求数据，服务器端根据请求返回最新数据的轮询方式，客户端与服务器端只需要做一个握手的动作，然后客户端与服务器端之间就形成了一条快速数据通道，两者之间就直接可以数据互相传送，并具有自动消息推送机制，服务端不再需要频繁的接受请求再返回数据，而是只需获取一次数据请求，就可以在有数据时或者数据有更新时，就自动推送消息给客户端，达到低成本高效率的即时通讯能力。

进一步地，所述数据展示接收模块可根据使用系统的用户数增加到至少2个，所有数据展示接收模块并列设置。

进一步地，以上方法在使用实现过程中，会出现如果数据接收展现模块需求的实时数据点发生变化后，对于另外两个模块的需求数据池的变化会产生比较大的影响，很可能会导致数据服务器需要频繁的发送整个需求数据集的信息到流式数据模块的现象，应对这个问题，本发明同时提出一套当需求数据集发生变化后的处理机制，所述数据需求集发生变化的处理方法主要有：

1、数据接收展示模块与数据服务器之间定义特定的需求数据信息变化接口，待数据接收展示模块的实时数据需求发生变化时，触发此接口，将需修改的需求数据信息发送到数据服务器端。

2、数据服务器端与流式数据处理模块之间同样定义了特定的需求数据信息变化接口，当数据服务器端接收到数据接收展示模块的修改需求数据信息的指令后，根据消息修改自身数据池，并通过特定接口同时发送修改需求数据信息的指令到流式数据处理模块，要求流式数据处理模块同步更新需求数据信息。

3、流式数据处理模块接收数据服务器端的修改需求数据信息的指令后，根据消息修改自身的需求数据池，并继续进行数据解析，使用更新后的需求数据池进行数据推送，完成整个需求数据集变化后的处理机制。

更进一步地，所述数据需求集发生变化时主要包括以下处理步骤：

T1.整合需修改的数据信息，发送数据集命令至数据服务器模块；

T2.数据服务器模块接收数据集命令，修改需求数据池，发送数据集命令至流失处理模块；

T3.流式处理模块接收数据集命令，更新自身需求数据池；

T4.继续进行数据解析，发送流程。

更进一步地，所述数据集命令由实时数据点的增加和删除组成。

附图说明

图1为各模块关联关系图；

图2为实时数据流处理传输展示流程图；

图3为修改需求实时数据集流程图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

实施例1

如图1所示，一种基于流式处理的WebSocket数据推送系统，包括流式数据处理模块、数据服务器模块和数据展示接收模块，共有三个数据展示接收模块；流式数据处理模块输出端与数据服务器输入端连接，数据服务器输出端与数据展示接收模块输入端连接；

数据接收展示模块可以根据使用系统的用户数自动增加。

流式数据处理模块采用基于大数据Spark Streaming的流式处理技术或Storm流式处理技术，大数据Spark Streaming的流式处理技术是一种构建在大数据分布式计算框架Spark上的实时计算框架，大数据Spark Streaming的流式处理技术的基本原理是将输入数据流以时间片为单位进行拆分，然后以类似批处理的方式处理每个时间片的数据，再将每个时间片处理的结果整合起来，组成最终的处理结果，达到实时处理流式数据的能力。

数据服务器模块采用WebSocket技术，WebSocket是基于HTML5的一种新的网络通讯协议和解决方案，实现了浏览器与服务器全双工通信，不同于以前的客户端定时请求数据，服务器端根据请求返回最新数据的轮询方式，客户端与服务器端只需要做一个握手的动作，然后客户端与服务器端之间就形成了一条快速数据通道，两者之间就直接可以数据互相传送，并具有自动消息推送机制，服务端不再需要频繁的接受请求再返回数据，而是只需获取一次数据请求，就可以在有数据时或者数据有更新时，就自动推送消息给客户端，达到低成本高效率的即时通讯能力。

如图2所示，各个数据接收展示模块将当期需求的数据点整合后，一次性传输到数据服务器端进行数据请求，数据服务器端接收到各个数据接收展示模块的数据请求后，将其进行整合管理，形成一个专有的请求数据池，然后将请求数据池中的数据信息发送到流式数据处理模块，并等待数据的更新，流式数据处理模块接收到数据服务器端的数据请求后，按照数据服务器端的请求数据同样建立一个请求数据池，当实时数据流解析完成后，再根据请求数据池中的数据信息进行数据筛选，首先选出需要的数据点，并将新的数据值与数据池中已有的数据做比较，如有变化，则更新数据池中有变化的数据值，并将有变化的数据信息和数据值传输到数据服务器端，数据服务器端同样对自身的请求数据池进行更新，如有数据的更新，则将接收到的更新数据转发到数据接收展示模块，进行更新展示，如数据无更新，则从流式数据处理到数据服务器端再到数据接收展示模块都不会进行更新数据的操作，也不会发送无更新的数据信息和数据值，数据接收展示模块将会保持原有数据值不变进行展示。数据接收展示端整合需求数据，与数据服务器端建立WebsSocket通信，请求所需的实时数据。

另外，数据服务器端整合各个数据接收展示端的实时数据需求，建立数据池，并通过WebSocket建立与流式数据处理模块的通讯，向流式数据处理模块请求所需实时数据，最后接收最新的实时数据，进行展示。

流式数据处理模块解析处理实时数据流，根据数据服务器模块的数据请求，建立数据池，筛选实时数据流，筛选出服务器端需求的数据，并将需更新的实时数据发送至数据服务器端。

该方法的具体步骤如下：

S1.数据接收展示模块建立需求数据集，并发送至数据服务器模块；

S2.数据服务器模块接收需求数据集，建立需求数据池，并发送至流式数据处理模块；

S3.流式数据处理模块接收需求数据池，建立需求数据池，等待数据更新；

S4.流式数据处理模块进行实时数据解析，根据需求数据池数据信息进行数据筛选，筛选得到数据并与数据池原有数据比较，比较结果分为两种：

第一种.筛选数据与流式数据处理模块数据池原有数据对比有变化，则更新流式数据处理模块数据池数据；

第二种.对比无变化，则不做更新；

S5.将更新或没有更新的数据发送至数据服务器模块，与数据服务器模块原有数据池数据比较，比较结果分为两种：

第一种.流式数据处理模块数据池与数据服务器模块数据池对比有变化，则更新数据服务器模块数据池；

第二种.对比无变化，则不做更新；

S6.将更新后的数据服务器模块数据池数据传输至数据接收展示模块进行展示；如无更新数据，则不做展示。

如图3所示，当以上数据推送方法在使用实现过程中，会出现如果数据接收展现模块需求的实时数据点发生变化后，对于另外两个模块的需求数据池的变化会产生比较大的影响，很可能会导致数据服务器需要频繁的发送整个需求数据集的信息到流式数据模块的现象，应对这个问题，本发明同时提出一套当需求数据集发生变化后的处理机制，数据接收展示模块与数据服务器之间定义特定的需求数据信息变化接口，待数据接收展示模块的实时数据需求发生变化时，触发此接口，将需修改的需求数据信息发送到数据服务器端。

数据服务器端与流式数据处理模块之间同样定义了特定的需求数据信息变化接口，当数据服务器端接收到数据接收展示模块的修改需求数据信息的指令后，根据消息修改自身数据池，并通过特定接口同时发送修改需求数据信息的指令到流式数据处理模块，要求流式数据处理模块同步更新需求数据信息。

流式数据处理模块接收数据服务器端的修改需求数据信息的指令后，根据消息修改自身的需求数据池，并继续进行数据解析，使用更新后的需求数据池进行数据推送，完成整个需求数据集变化后的处理机制。

当数据展示接收模块所需求的实时数据信息发生变化时，数据展示接收模块只会将需要增加、删除的数据点信息发送给数据服务器端，并定义好相应数据响应接口，数据服务器端接收到数据接收展示模块传来的修改需求数据集的请求后，修改自身需求数据池，并同样将需修改的实时数据信息发送至流式数据处理模块，流式数据处理模块会更新自身的数据池，完成整个需求数据发生改变的流程。

具体步骤如下：

T1.整合需修改的数据信息，发送数据集命令至数据服务器模块；

T2.数据服务器模块接收数据集命令，修改需求数据池，发送数据集命令至流失处理模块；

T3.流式处理模块接收数据集命令，更新自身需求数据池；

T4.继续进行数据解析，发送流程。

显然，上述实施例仅仅是为清楚地说明本发明的技术方案所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护之内。

Claims (10)

1.一种基于流式处理的WebSocket数据推送系统，其特征在于，所述数据推送系统包括用于流式解析高频率、大数据量数据，并传输实时数据至数据服务器模块的流式数据处理模块；用于管理WebSocekt消息传输通道，接收实时数据流、管理数据接收展示模块的数据需求，并将实时数据传输至数据接收展示模块的数据服务器模块；用于整合用户界面上的实时数据需求，并向数据服务器端请求数据，接收数据，并进行展示的数据展示接收模块；所述流式数据处理模块输出端与数据服务器输入端连接，数据服务器输出端与数据展示接收模块输入端连接。

2.根据权利要求1所述的WebSocket数据推送系统，其特征在于，所述数据展示接收模块可根据使用系统的用户数增加到至少2个，所有数据展示接收模块并列设置。

3.根据权利要求1或2所述的WebSocket数据推送系统，其特征在于，所述实时数据包括电站实时功率、故障信息和设备状态数据。

4.一种权利要求1所述的WebSocket数据推送系统的数据推送方法，其特征在于，所述数据推送方法包括以下步骤：

S1.数据接收展示模块建立需求数据集，并发送至数据服务器模块；

S2.数据服务器模块接收需求数据集，建立需求数据池，并发送至流式数据处理模块；

S3.流式数据处理模块接收需求数据池，建立需求数据池，等待数据更新；

S4.流式数据处理模块进行实时数据解析，根据需求数据池数据信息进行数据筛选，筛选得到数据并与数据池原有数据比较，比较结果分为两种：

第一种：筛选数据与流式数据处理模块数据池原有数据对比有变化，则更新流式数据处理模块数据池数据；

第二种：对比无变化，则不做更新；

S5.将更新或没有更新的数据发送至数据服务器模块，与数据服务器模块原有数据池数据比较，比较结果分为两种：

第一种：流式数据处理模块数据池与数据服务器模块数据池对比有变化，则更新数据服务器模块数据池；

第二种：对比无变化，则不做更新；

S6.将更新后的数据服务器模块数据池数据传输至数据接收展示模块进行展示；如无更新数据，则不做展示。

5.根据权利要求4所述的数据推送方法，其特征在于，所述流式数据处理模块采用基于大数据Spark Streaming的流式处理技术或Storm流式处理技术对数据进行处理。

6.根据权利要求4或5所述的数据推送方法，其特征在于，所述数据服务器模块采用WebSocket技术与流式数据处理模块和数据展示接收模块进行通信。

7.根据权利要求4或5所述的数据推送方法，其特征在于，所述数据需求集发生变化时，进行以下步骤的处理：

T1.整合需修改的数据信息，发送数据集命令至数据服务器模块；

T2.数据服务器模块接收数据集命令，修改需求数据池，发送数据集命令至流失处理模块；

T3.流式处理模块接收数据集命令，更新自身需求数据池；

T4.继续进行数据解析，发送流程。

8.根据权利要求6所述的数据推送方法，其特征在于，所述数据需求集发生变化时，进行以下步骤的处理：

T1.整合需修改的数据信息，发送数据集命令至数据服务器模块；

T2.数据服务器模块接收数据集命令，修改需求数据池，发送数据集命令至流失处理模块；

T3.流式处理模块接收数据集命令，更新自身需求数据池；

T4.继续进行数据解析，发送流程。

9.根据权利要求7所述数据推送方法，其特征在于，所述数据集命令由实时数据点的增加命令和删除命令组成。

10.根据权利要求8所述数据推送方法，其特征在于，所述数据集命令由实时数据点的增加命令和删除命令组成。