CN112464123B

CN112464123B - 一种基于微服务的水质监测数据可视化系统及方法

Info

Publication number: CN112464123B
Application number: CN202011392998.6A
Authority: CN
Inventors: 许建龙; 王琨; 黎钰晖; 黄铭威
Original assignee: Shantou University
Current assignee: Shantou University
Priority date: 2020-12-02
Filing date: 2020-12-02
Publication date: 2023-06-09
Anticipated expiration: 2040-12-02
Also published as: CN112464123A

Abstract

本发明实施例公开了一种基于微服务的水质监测数据可视化系统，包括数据源模块、后端模块、前端模块；所述数据源模块包括连接至流计算引擎的传感器网络；所述后端模块包括数据库层、服务层、API网关，所述数据库层使用分布式管理的数据库，所述服务层为运行于容器之上的一组分布式服务，所述API网关提供反向代理服务器；所述前端模块使用多终端界面自适应的Vue框架。本发明实施例还公开了一种用于上述的基于微服务的水质监测数据可视化系统的方法。采用本发明，可以将大规模的水质数据抽象为一组组元数据用于描述数据属性，并使用个性化可定制的高级图表语言对水质数据进行可视化分析。

Description

一种基于微服务的水质监测数据可视化系统及方法

技术领域

本发明涉及水质检测领域，尤其涉及一种基于微服务的水质监测数据可视化系统及方法。

背景技术

近几年来，由于城市生活污染物未得到有效控制，工业污染源未得到严格治理，农业污染日益突出，部分河段水质受污染严重，河水发黑发臭，水环境遭到了严重破坏，对其治理工作变得尤为重要，而水质监测在水环境治理的工作中有着直接且关键性的作用。只有水质监测工作高效率且严谨地进行，水环境治理才能有时间和数据上的保证。然而，在河流水质监测任务中，常面临以下四大挑战：(1)多属性。根据环保部门的要求，结合国家出台的国标，地表水质监测要求的基本污染物24项，全部监测指标合计109种。并且，在不同地区还有对这些监测指标的定制、补充。(2)多频率。水质检测的检测采样时间不固定，包含但不仅限于日检、月检、季检、年检等频率的检测。(3)多方式。检测方式包含实验室检测、在线监测、流动检测等。每一种检测的表属性都不一致。(4)数据量大。由于多频率，多方式检测方式在水质检测任务中的不断发展，水质数据呈现多样化、海量的发展趋势。

针对这些问题，很多学者提出来很多解决方法：

1）在监测系统方面：A.D.Gronewold等人提出GLWCD使用可视化的手段对美国五大湖的水位进行可视化监测。Anne.h等人在前一代GLWCD系统的基础上，提出GLHCD，为了了解不同时间尺度、不同水体的水位变化，通过一个基于flash的动态web界面展示一系列的水温和气候数据。Joeseph P. Smith等人进一步地，在GLD中提出Time SeriesCore ObjectModel(TSCOM)，提升系统应对数据复杂性的能力，增强了可拓展性。然而当前数据的规模已经呈现爆炸式的增长，并且这种增长向着无限量循环增长的方向演进，要解决数据规模与数据可视化的问题，就需要同时实现短时间内数据查找以及通过数据规模采样缩小数据规模，以上方案对此问题并没有进行很好地处理。严安等人在FluxDataONE提出使用元数据描述方法管理对数据库进行有效管理与分析，此方案的优点在于语言互用性和更简单的基于组件的设计。张高峰等人开发了一个名为“监控和管理数据中心（MMDC）”的水污染监测系统，用于基于大数据技术的监测、下载、共享和时间序列分析。Soren Henning等人在针对电力消耗系统提出了一个基于微服务的流式解决方案，该方案具有很强的可拓展性，以上几个方案针对性地对数据的规模进行优化，然而如果希望更直观地获取水质数据的周期性等特征，对数据的可视化处理是至关重要的。

2）在数据可视化方面：动态变化的web界面是数据可视化近来的趋势，由DengQinLi等人开发的ECharts数据可视化工具，能在图形用户界面构建可视化，并且兼顾视觉的灵活性和交互的简单性，这一套高级图标库极大的简化了交互式可视化的构建。该系统支持对从不同类型的网络实体收集的大规模多元时间序列进行交互式分析。林涛等人在TreNet中通过持续时间和斜率来描述一个区间的数据趋势，可以实现数据采样同时利用数据的全局趋势，然而当由局部数据趋势考虑到全局趋势时，势必会遇到数据量激增的问题，此时后端的服务与处理能力将受到严峻的考验。陈林等人开发了一个基于Web的可视化平台，用于监测与管理太湖的水质与污染物，该平台涵盖了太湖所有的湖泊，河口，河流，整合了涵盖流域和湖泊尺度的五个模型，但是在此系统的数据可视化的模块中，用户无法对同一数据集自由地选择自己需要的图表种类，灵活性较差。

总结来说，在水质数据的可视化与分析的研究中学者们不可避免地面临三大挑战:

(1) 可视化系统需要大量地与数据打交道，不可避免的在设计过程中产生高耦合。

(2) 水质检测数据量不断的增大，对服务器的压力和系统的拓展性提出了很高的要求。

(3) 大量的在线水质数据的采集，构成的流计算场景。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于微服务的水质监测数据可视化系统及方法。可将大规模的水质数据抽象为一组组元数据用于描述数据属性，并使用个性化可定制的高级图表语言对水质数据进行可视化分析。

为了解决上述技术问题，本发明实施例提供了一种基于微服务的水质监测数据可视化系统，包括数据源模块、后端模块、前端模块；

所述数据源模块包括连接至流计算引擎的传感器网络，用于获取水质污染数据并建立云端数据库；

所述后端模块包括数据库层、服务层、API网关，所述数据库层使用分布式管理的数据库，所述服务层为运行于容器之上的一组分布式服务，所述API网关提供反向代理服务器，对外接受访问请求，对内将请求转发至相应的处理服务中；

所述前端模块使用多终端界面自适应的Vue框架，其中前端用户界面通过所述API网关的代理调用所述服务层中的功能单元，以实现对于数据库的查找、分析，并将数据结果返回并由前端图表展示。

其中，所述云端数据库包括监测断面基础信息、在线监测数据、实验室检测数据、水质综合数据、应急事件信息、在线监测点地理分布信息、时间和空间信息。

其中，所述服务层使用构建数据流管道的方法对数据进行计算，生成数据摘要信息。

其中，所述服务层还使用分布式计算对一个时间窗口内的数据统计其最大值，最小值，平均值，将不同来源的数据汇入流处理管道中被统一的计算，分布式的计算节点从管道读取相应的数据进处理后，将数据存入数据库中，或者应微服务要求将数据传输给微服务层进一步处理。

其中，所述服务层还使用数据自适应就去对一段区间上的点所反映的趋势信息压缩为一个二元组，用持续时间和变化的快慢来描述区间的趋势信息。

其中，所述服务层还包括远程调用模型，用于远程调用部署在不同服务器上的微服务。

其中，所述前端模块提供污染物指标选择及显示图表样式。

相应地，本发明实施例还提供了一种用于上述的基于微服务的水质监测数据可视化系统的方法，包括以下步骤：

S1：获取水质污染数据并搭建云端数据库；

S2：使用构建数据流管道的方法，其数据源是来自传感器的数据，数据出口链接数据库进行存储，中间过程是对数据进行计算，生成数据摘要信息；

S3：使用分布式计算方法对一个时间窗口内的数据统计其最大值，最小值，平均值，将不同来源的数据汇入流处理管道中被统一计算；

S4：使用分布的计算节点从管道中读取相应的数据，处理后存入数据库中或是应微服务要求将数据传输给微服务层处理；

S5：使用数据自适应的方法将一段区间上的点所反映的趋势信息压缩为一个二元组，用持续时间和变化的快慢来描述区间的趋势信息;

S6：使用远程调用模型，远程调用部署在不同服务器上的微服务；

S7：根据已有的数据库以及库中的污染物列表提供污染物指标选择及显示图表样式。

其中，还包括对于在一组微服务中，每一个服务提供者都向注册中心注册，提供相应服务，服务注册中心收到服务调用时，调用转发到提供服务的服务器上，并且平衡负载，使服务保持高效运行。

其中，所述微服务之间的消息传递选择Apache Dubbo作为通信框架。

实施本发明实施例，具有如下有益效果：

1. 本发明为监测站的提供的水质数据构建了数据流处理管道，在数据量极大的情况下仍可以高效地处理数据。

2. 本发明采用了数据自适应的技术，增强了数据的可拓展性，同时也解决了由于数据量过大导致的像素点难以准确表达数据走向的问题。

3. 本发明在后台架构的设计中采用了先进的微服务体系，大大提升了系统功能的横向拓展性，也更清晰地展示出各个微服务的业务走向与逻辑，为日后的程序功能的更新与优化节约了大量资源与成本。

4. 本发明采用流计算系统，因此可以实现在线实时数据的可视化，相较于传统的数据可视化系统，实用性大大增强。

5. 本发明十分重视用户的可视化需求，用户可以选择任意的时间段进行数据的可视化展示，本方法还为用户提供多种可视化的图表方案，用户甚至可以自己定义图表的展现形式，个性化的可视化功能体现了本系统的灵活性。

附图说明

图1是本发明的系统的结构示意图。

图2是本发明的微服务体系的架构示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1、图2所示。

本发明实施例的一种基于微服务的水质监测数据可视化系统，包括了数据源模块、后端模块、前端模块。

数据源模块：

数据源采集层由各个连接到流计算引擎的传感器网络组成。该层获取水质污染数据并搭建云端数据库，数据类型包括监测断面基础信息、在线监测数据、实验室检测数据、水质综合数据、应急事件信息、在线监测点地理分布信息、时间和空间信息等。

云端数据库包括监测断面基础信息、在线监测数据、实验室检测数据、水质综合数据、应急事件信息、在线监测点地理分布信息、时间和空间信息。

后端模块：

为应对系统日益增长的数据量，本发明对后台部分水平拆分和垂直拆分。在水平方向上，我们将本发明的后台系统按照服务的不同特性功能分为不同种类，针对不同种类的业务需求进行服务拆分，因此后台系统被拆分为数据库层，服务层，API网关层，这样可使不同性能要求的服务互相之间的影响最小化。在垂直方向上，我们将本发明的后台系统按照服务的应用场景进行拆分，也即根据服务调用方进行拆分，如服务层中数据处理服务与数据分析服务被分离，这样可使下游服务的效率大大提升。在各个组件之间独立成为微服务, 具有很强的横向拓展性，适用于分布式部署。其中，数据库层采用分布式管理的数据库。服务层是运行在容器之上的一组分布式服务，他们拥有各自专长的功能，仅负责相当范围内的业务逻辑。API 网关是一个反向代理服务器，对外接受http访问请求，对内则将请求转发到相应的处理服务中。在系统的最顶层，是对外提供数据交互可视化分析的WebUI。

服务层使用构建数据流管道的方法对数据的进行计算，生成数据摘要信息。

服务层还使用分布式计算对一个时间窗口内的数据统计其最大值，最小值，平均值，将不同来源的数据汇入流处理管道中被统一的计算，分布式的计算节点从管道读取相应的数据进处理后，将数据存入数据库中，或者应微服务要求将数据传输给微服务层进一步处理。

使用数据自适应将一段区间上的点所反映的趋势信息压缩为一个二元组，用持续时间和变化的快慢来描述区间的趋势信息。

使用远程调用模型，用于远程调用部署在不同服务器上的微服务。

前端模块：

为方便开发和解决前端的耦合性，采用多终端界面自适应的Vue框架。前端用户界面通过API 网关的代理可以调用服务层中的功能单元，实现对于数据库的查找、分析，该功能单元会将数据结果返回给API Servers并由前端图表展示。为了开发的可维护性和解决前端和后台的解耦合，本系统采用Vue 框架来完成双向数据传递，并且能实现多终端界面自适应展示和用户定制化图表展示。

本发明实施例还提供了应用于上述系统的方法。

由于本发明实时监控系统的数据量是非常庞大的，并且在实际应用中，数据的多样性也在不断的增加，对于传感器数据，本发明为了应对这种多样性、复杂性和数据压力，提出了构建数据流管道的方法，其中数据源是来自传感器的数据，数据出口链接数据库进行存储，中间过程是对数据的进行计算，生成这些数据的数据摘要信息。摘要信息的提取采用MapReduce分布式计算的思想，在传感器数据流流入后端的管道入口设置一个API接口，用于计算数据的各项特征摘要信息。具体说来，在流数据进入数据库前，先设置数据处理的时间窗口长度，并根据时间窗口的长度将数据流分为连续的分段数据，并对每一个时间窗口内的数据计算其最大值，最小值，平均值等特征，由于水质流数据采集频率高、数据量大，在计算各种特征的过程中本发明采用MapReduce的映射与化简的方法，将传统的根据时间步对流数据进行处理的方法优化为使用map函数，每一个数据都是独立被处理，使流数据的处理可以高度并行。最后被计算出来的数据摘要将与窗口的流数据同步流出流处理管道。在这个方法中，不同来源的数据最终都会汇入流处理管道中，被统一的计算，分布式的计算节点从管道出口读取相应的数据，做不同的分析、计算、处理后，将数据存入数据库中，或者应微服务要求将数据传输给微服务层进一步处理。此外构建数据流也能够提高整个系统的可拓展性，除了流计算平台本身是分布式部署的特点以外，流计算系统如Flink，Spark都支持在线的作业提交，因此，可以针对不同时段的特性，动态的增加或者删除计算节点上的作业，实现处理计算的动态多样性。本发明使用流计算的方式，对原始的传感器采集信息进行加工，完成对缺失值的填充，按照规范统一数据格式，并生成一段时间窗口内数据的描述性信息，如其最大值，最小值，平均值等，生成的额外信息与原始数据将在离开流计算系统后存入数据库中，或者根据需要，进入服务部分，成为系统中的实时信息。

由于一次性读取和加载全部数据，将使得后端服务器负载激增，导致前端渲染出现卡顿，影响用户体验。同时，由于屏幕显示是以像素为精度单位的，当数据显示量多于像素点显示能力，会造成数据丢失。为了解决传统的基于较小数据规模的可视化方法出现的问题，本发明针对变化趋势较为平缓的序列提出了数据自适应的方法来实现数据的可拓展性，主要思想是将一段区间上的点所反映的趋势信息压缩为一个二元组，用持续时间和变化的快慢来描述区间的趋势信息。本发明使用区间长度和斜率来代替一个长区间上的趋势，将一段长区间上的数据用简单的折线表示，极大降低了数据展示难度。

上述数据自适应技术的原理可由以下算法描述

其中

为第i个子序列的起始点，/>

为第i个子序列的区间长度，/>

为第i个子序列的斜率。

如以上算法所示，此数据趋势的生成步骤分为以下四步：

(1)设定子序列的长度，选择时间序列中未处理的子序列

(2)将子系列输入进线性回归模型，不断计算loss以梯度下降参数k与b直到收敛，从而提取序列的斜率k

(3)从时间序列中删除子序列

(4)重复以上步骤直到时间序列被完全处理

由此，数据自适应地被描述为{<

>}。

由于本发明在设计时需要考虑的重要因素是其拓展性，但由于后端服务能力会因为数据量增大而逐渐饱和，所以本发明提出了基于RPC(Remote Procedure Call)的远程调用模型，可以远程调用部署在不同服务器上的微服务。

在一组微服务中，每一个服务提供者都向注册中心注册，提供相应服务，服务注册中心收到服务调用时，自动将调用转发到提供服务的服务器上，并且会自动平衡负载，使服务保持高效运行。该设计在计算能力拓展上并不需要修改代码，只需要向服务中心注册即可，具有很好的横向拓展性。此外，程序在调用过程中不需要关心哪个服务运行在哪个服务器上，通过服务中心代理连接，即可完成调用。RPC调用保证了每一个微服务单元专注于自己的业务逻辑，同时屏蔽了底层通信的复杂度，保证了调用过程的透明高效。与传统的单体式应用程序相比，由于单体式应用内的每一个业务功能是不可分割的，如若要对单体式应用进行扩展则必须将整个应用都放入新的运算资源内，因此无形中单体式应用会造成大量的资源浪费，而本发明则很好地解决了这一难题。

对于微服务之间的消息传递，本发明选择Apache Dubbo作为本发明的通信框架，Dubbo提供了良好的自动发现机制，使得服务消费者能够动态的查找服务提供方，此外，Dubbo远程调用方式对异步通信提供了简洁的实现，良好的支持。

图2为本发明的微服务体系结构，外部http请求将被API 网关转发到相应的微服务上，微服务之间相互调用共同完成一组相对复杂的动作、业务逻辑。

可视化系统能否大规模应用并发挥作用的关键体现于能否满足用户的个性化需求。为了满足用户不同需求、并且让用户可自助地实现大数据可视化，鉴于水体监测指标纷杂，而且不同用户关于的指标内容不一样，使用统一的标准化图表无法满足所有用户的可视化需求。

因此本发明提出了可定制化的图表可视化系统。用户可以根据已有的数据库以及库中的污染物列表，选择自己关注的污染物指标，并且可选择折线图、饼状图、bar 图、平行坐标图或者南丁格尔玫瑰图中的一种进行数据可视化。从而获知可以用于分析和展示的数据列，用户可以选择自己想观测的数据列或数据集合，并且可制作各种传统图表和高级可视化图表，或者通过个性化定制得到数据分析报告。

本发明的用户界面基于Apache Echarts的网页可视化系统，网页部分的数据由微服务应用负责生成，经由REST API接口传送到网页。网页部分由Vuejs框架开发，网页应用可以定期或手动从后台拉取数据，显示于网页上，此外，用户可以选择不同的图表展示数据，亦可提供自定义的图表展示功能。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

1.一种基于微服务的水质监测数据可视化系统，其特征在于，包括数据源模块、后端模块、前端模块；

所述后端模块包括数据库层、服务层、API网关，所述数据库层使用分布式管理的数据库，所述服务层为运行于容器之上的一组分布式服务，所述API网关提供反向代理服务器，对外接受访问请求，对内将请求转发至相应的处理服务中；所述服务层使用构建数据流管道的方法对数据进行计算，生成数据摘要信息，所述服务层还使用分布式计算对一个时间窗口内的数据统计其最大值，最小值，平均值，将不同来源的数据汇入流处理管道中被统一的计算，分布式的计算节点从管道读取相应的数据进处理后，将数据存入数据库中，或者应微服务要求将数据传输给微服务层进一步处理，所述服务层还使用数据自适应将一段区间上的点所反映的趋势信息压缩为一个二元组，用持续时间和变化的快慢来描述区间的趋势信息，所述服务层还包括远程调用模型，用于远程调用部署在不同服务器上的微服务；

2.根据权利要求1所述的基于微服务的水质监测数据可视化系统，其特征在于，所述云端数据库包括监测断面基础信息、在线监测数据、实验室检测数据、水质综合数据、应急事件信息、在线监测点地理分布信息、时间和空间信息。

3.根据权利要求2所述的基于微服务的水质监测数据可视化系统，其特征在于，所述前端模块提供污染物指标选择及显示图表样式。

4.一种用于权利要求1所述的基于微服务的水质监测数据可视化系统的方法，其特征在于，包括以下步骤：

S1：获取水质污染数据并搭建云端数据库；

5.根据权利要求4所述的基于微服务的水质监测数据可视化系统的方法，其特征在于，还包括对于在一组微服务中，每一个服务提供者都向注册中心注册，提供相应服务，服务注册中心收到服务调用时，调用转发到提供服务的服务器上，并且平衡负载，使服务保持高效运行。

6.根据权利要求5所述的基于微服务的水质监测数据可视化系统的方法，其特征在于，所述微服务之间的消息传递选择Apache Dubbo作为通信框架。