CN116149849A - 一种面向智慧水务复杂时间尺度数据融合的边缘计算方法 - Google Patents

Abstract

本申请提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法，该方法为：通过传感数据采集数据，获得数据存储源；数据存储源通过边缘计算处理框架对其进行抽取、融合、转换和加载，获得最终数据。该方案以水务系统应用终端进行边缘计算，边缘节点自主集成各水厂业务数据信息进行分析处理，结合业务需要与智慧水务大数据云中心互联，以智慧水务大数据云中心作为云端大数据平台，为水厂管理中的各角色使用者提供大数据分析计算和大数据可视化服务。

Description

一种面向智慧水务复杂时间尺度数据融合的边缘计算方法

技术领域

本发明属于智能水务技术领域，特别涉及一种面向智慧水务复杂时间尺度数据融合的边缘计算方法。

背景技术

水厂作为城市水源处理的核心运转机构，与人们的生活质量息息相关，水源的高效优质的处理，能够有效地提高人们的生活质量，然而水厂在建设与日常运营中，面临着诸多挑战。由于监测数据来自于不同的工业传感器、自动控制系统、智能终端设备、电子标签，相应设备也运行于不同类型的操作系统或者微控制器上，使用不同的数据传输协议，因此数据没有起到有效的联动，各个设备的配置不尽相同，采集指标数据的真实性也难以保证。

在国内市场上也陆续出现一些类似的智慧水厂系统，他们在水厂行业不断落地和成熟稳定发展，比如国内有三维力控公司，他们研发的PSpace系统，能完成主流控制系统实时采集数据并存储及压缩，确保实时及历史数据能查询、汇总分析，并显示相应图表，实现工业领域的应用。还有北京亚控科技研发的KingHistorian，基于工业组态软件自动化技术基础上，实现数据采集存储，保证采集的数据能实时、历史地存储，以用于后期数据的二次使用。与国内发展的情势对比，在国外，智慧水厂的发展一直是一个摸索和变革的过程，国外智慧水厂技术的重点是更加重视水厂企业自身实时数据采集、数据处理和应用[1-6]。他们会投入资金合理优化布局硬件的使用，采取先进的信息技术解决实际的生产经营的问题，加大其他数据的分析研究领域[10]。在智慧水厂的研究中，他们研究开发的智慧水厂相关系统给水厂公司带来了很大的好处。

目前国内引入应用比较多的国外水厂产品有来自英国的Infoworks水力模型，丹麦的DHI模型以及来自美国的KYPIPE、Bently水力分析模型。这些分析模型背后都依托的水厂数据算法分析，通过部署大量的压力和流量的物联传感设备对生产运行的数据进行采集，建立中心数据库。此外还通过与高校联合的研究项目实现数据分析算法的应用，通过数据采集共享整合、构建智慧水厂管理平台、采用先进的智能算法，最终实现企业生产管理从一个依据经验处理的管理模式变成一个高效智能的现代化自动管理模式。

通过以上研究和分析国内外智慧水厂的发展现状[11-15]，我们得到一个结论:国内外的智慧水厂系统发展大多数是基于工业自动化的数据采集基础实现数据采集和数据分析应用。国外的数据模型软件是基于传感器采集的数据进行建立数据收集算法模拟，这些软件除了本身价钱昂贵之外，对水厂的数据运营还是相当薄弱，从国内外纵观智慧水厂的发展研究得出，智慧水厂发展目前暂时没有一个以边缘计算为主要数据处理手段的软件系统标准，如何以大数据为基础结合边缘计算提高水厂复杂时间尺度下的数据融合应用、提高工作效率降低人工成本、升级信息化建设水平，以数据为驱动的水厂运营是本发明的主要价值导向。

随着时间的推移，大数据正在滚雪球，全球的云平台和其他类似的服务，正承受着大量复杂数据处理请求的压力。数据服务中心存在于远离其连接的数据密集型应用程序的地方，需要费力地完成它们的请求。以本发明相关的水厂生产业务数据为例，PLC等智控设备的数据采集频率达到毫秒级别，每时每刻产生海量的业务数据，与之对接的业务管理系统如智慧水务管理平台、综合指标监控系统等在有效数据的使用上，存在获取难、分析难、响应速度慢等问题。

边缘计算的出现一定程度上缓解了大数据带来的负荷，边缘计算发挥着举足轻重的作用，受到了那些注重大数据应用的零售、安防监控、交通运输、医疗制造、智慧水务等各行业客户的青睐。因此，针对上述不足，本发明提出了一种面向智慧水务复杂时间尺度数据融合的边缘计算系统和方法，将大数据云平台和边缘计算结合起来，通过边缘计算对大量智控设备采集上来的水务生数据、脏数据，根据不通业务需求，尤其是不同时间尺度的需求，进行数据清洗和分类存储，大大提升水务系统应用终端在数据应用方面的响应速度和安全性。

目前智慧水厂的数据应用依然缺乏一个多时间维度的统一数据规范化管理。从软硬件设备的角度来看，各种GIS、SCADA、MIS、DMA、建模公司都有自己的一套标准，大致分为数据标准GIS、SCADA等各类数据，不同厂家、不同系统，软硬件难兼容。从数据类型分析，又包含结构化、非结构化、半结构化数据，文本、视频、图像等。尤其在不同生产业务之间，所采集获取的数据时间尺度也不尽相同，秒级、分秒级、毫秒级单位数据参差不齐，集中存储在采集设备的数据仓库中。上层平台面对这些类型繁多、时间尺度复杂的数据如果直接应用，不仅导致其数据价值难以深度显现，而且严重影响数据传输和有效数据加载能力。

发明内容

本说明书实施例的目的是提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法。

为解决上述技术问题，本申请实施例通过以下方式实现的：

本申请提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法，该方法包括：

通过传感数据采集数据，获得数据存储源；

所述数据存储源通过边缘计算处理框架对其进行抽取、融合、转换和加载，获得最终数据。

在其中一个实施例中，获得数据存储源之后，所述方法还包括：确定该数据存储源是否需要上传云平台。

在其中一个实施例中，边缘计算处理框架用于对复杂数据进行分析和预处理的计算框架，由适用于边缘计算的Kettle数据处理工具和提供标准化的数据分片、分布式事务及数据库治理功能的分布式数据库中间件ShardingSphere组成。

在其中一个实施例中，通过边缘计算处理框架对其进行抽取，具体为：部署数据ETL抽取工具，配置数据库连接，其中输入表的核心对象连接配置，输出表为数据库分表，对所述数据库分表进行数据ETL抽取转换加载，获得复杂时间尺度下的数据。

在其中一个实施例中，通过边缘计算处理框架对其进行融合，具体为：对所述复杂时间尺度下的数据根据水厂数据主题域进行指标一级划分，包括：污水、蓄水、风机、加药、设备、实验室、人员；在各主题域下，按照维度进行主题分类，分为时间类、水质元素类、净水操作类、设备参数类、人员信息类、实验数据类，并且对其进行维度编码融合，获得分类融合数据。

在其中一个实施例中，分类融合数据的复杂时间尺度数据编码为ZZ_WD_XXXX，ZZ表示组织维度主题，WD维度唯一标识，维度首次下发其编码号采取连续编码的形式。

在其中一个实施例中，通过边缘计算处理框架对其进行转换和加载，具体为：明确对复杂时间尺度下的数据分类融合规则后，即可按照相应的维度字段，对数据进行分类转换操作，针对某单一时间尺度时，即某一水务业务的特定采集设备上传的规律性时间尺度的数据进行数据转换，结合ETL工具可通过自定义SQL语句，从数据源采集平台层抽取；或者，针对多个维度或合并两个及两个以上的维度时，即多个水务业务的多个采集设备上传的不规律性时间尺度数据进行数据转换，根据目标业务需求，自定义复杂SQL语句，并行多个时间尺度任务，从数据源采集平台层抽取。

在其中一个实施例中，获得最终数据，之后，所述方法还包括所述最终数据由边缘计算框架内置的ETL工具所配置的数据端口，上传至云端已按照时间区间配置完成的分表分库数据库内。

在其中一个实施例中，方法还包括通过自动化定时数据融合调度脚本对数据存储源进行融合。

由以上本说明书实施例提供的技术方案可见，该方案：以水务系统应用终端进行边缘计算，边缘节点自主集成各水厂业务数据信息进行分析处理，结合业务需要与智慧水务大数据云中心互联，以智慧水务大数据云中心作为云端大数据平台，为水厂管理中的各角色使用者提供大数据分析计算和大数据可视化服务。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法的流程图；

图2为本发明实施例提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法中边缘计算处理框架的示意图；

图3为本发明实施例提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法中复杂时间尺度数据编码的示意图；

图4为本发明实施例提供一种单个时间尺度数据融合job任务流示意图；

图5为本发明实施例提供一种多个复杂时间尺度数据融合job任务流示意图；

图6为本发明实施例提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法中数据库分表结果的示意图；

图7为本发明实施例提供的一种基于边缘计算的云端互联整体业务架构流程图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

在不背离本申请的范围或精神的情况下，可对本申请说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本申请的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

本申请中的“份”如无特别说明，均按质量份计。

本发明的主要思路是以水务系统应用终端进行边缘计算，边缘节点自主集成各水厂业务数据信息进行分析处理，结合业务需要与智慧水务大数据云中心互联，以智慧水务大数据云中心作为云端大数据平台，为水厂管理中的各角色使用者提供大数据分析计算和大数据可视化服务。

本发明技术方案的基本内容如下所示：

1)智慧水务大数据云中心：搭建智慧水厂大数据平台，提供云端存储，数据共享，AI智能计算，数据可视化等一系列标准化信息云服务；

2)业务数据边缘处理节点：一种面向海量数据，提供在复杂时间尺度下进行数据融合的终端数据处理服务边缘节点，向大数据中心平台端提供最准确、最及时、最有效的数据来源；

3)云边互联：边缘计算和大数据中心云平台相结合，根据业务需要，边缘节点将复杂时间尺度下的数据融合清洗后，通过ETL方法上传业务数据至大数据云中心平台进行存储和应用。

本发明通过智慧水务大数据云中心平台，构建一种支持边缘计算的面向复杂时间尺度的水务数据融合系统架构来解决智慧水厂的这一核心研究问题。平台集数据采集、大数据存储、数据挖掘及内反馈工艺控制优化于一体。业务传感器及设备数据、基础数据等进行实时采集后，通过边缘计算处理框架，进行数据清理、融合等一系列ETL操作后，上传至大数据平台。结合水厂业务数据采集实时性高、时间复杂度高的特点，应用边缘计算和大数据中心平台处理技术，确保能够实时高效的获取到数据信息，消除数据流的差异性、保证数据流的同步性、建立数据流间的关联性，为智能化分析和决策提供数据支撑，以至数据智能分析结果能够及时反馈至控制和应用层。

本发明实施例提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法，如图1所示，该方法为：

步骤101：通过传感数据采集数据，获得数据存储源；

步骤102：所述数据存储源通过边缘计算处理框架对其进行抽取、融合、转换和加载，获得最终数据，上传并存储至云平台。

具体地，如图2所示，所述边缘计算处理框架用于对复杂数据进行分析和预处理的计算框架，由适用于边缘计算的Kettle数据处理工具和提供标准化的数据分片、分布式事务及数据库治理功能的分布式数据库中间件ShardingSphere组成。

部署数据ETL抽取工具，配置数据库连接，其中输入表的核心对象连接配置，输出表为数据库分表，对所述数据库分表进行数据ETL抽取转换加载，获得复杂时间尺度下的数据。

对所述复杂时间尺度下的数据根据水厂数据主题域进行指标一级划分，包括：污水、蓄水、风机、加药、设备、实验室、人员；在各主题域下，按照维度进行主题分类，分为时间类、水质元素类、净水操作类、设备参数类、人员信息类、实验数据类，并且对其进行维度编码融合，获得分类融合数据。

如图3所示，所述分类融合数据的复杂时间尺度数据编码为ZZ_WD_XXXX，ZZ表示组织维度主题，WD维度唯一标识，维度首次下发其编码号采取连续编码的形式。维度说明的编码使用规则包括:(1)当增加新的维度时，编码号将在已用号码的基础上递增，四位十进制编码号不能满足需求时，可增加编码号长度为五位十进制数，以此类推。(2)当删除已有的维度时，其编码号将不再利用。(3)当修改已有的维度时，其编码号不变。(4)当拆分已有的维度或合并两个及两个以上的维度时(数据应用场景需要)，其编码号的使用原则按照删除原维度，并新增拆分/合并后的维度执行。

明确对复杂时间尺度下的数据分类融合规则后，即可按照相应的维度字段，对数据进行分类转换操作，针对某单一时间尺度时，即某一水务业务的特定采集设备上传的规律性时间尺度的数据进行数据转换，结合ETL工具可通过自定义SQL语句，从数据源采集平台层抽取；或者，针对多个维度或合并两个及两个以上的维度时，即多个水务业务的多个采集设备上传的不规律性时间尺度数据进行数据转换，根据目标业务需求，自定义复杂SQL语句，并行多个时间尺度任务，从数据源采集平台层抽取，具体地数据融合job任务流，如图4、图5所示。

为更加清晰、便捷的为上层大数据云中心平台提供数据存储支持，对云端数据库进行分表分库操作，复杂时间尺度数据经过边缘计算后，根据指定业务需求，按照时间区间分类存入指定表内。

(1)引入shardingsphere依赖，配置中心(Apollo、Nacos)或者本地项目中引入策略配置，添加如下策略：

<dependency>

<groupId>org.apache.shardingsphere</groupId>

<artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>

</dependency>

spring.shardingsphere.datasource.names＝ds0,ds1

spring.shardingsphere.datasource.ds0.type＝com.zaxxer.hikari.HikariDataSourcespring.shardingsphere.datasource.ds0.driver-class-name＝com.mysql.jdbc.Driverspring.shardingsphere.datasource.ds0.url＝jdbc:mysql://xxxxxx:3306/ds0

spring.shardingsphere.datasource.ds0.username＝xxx

spring.shardingsphere.datasource.ds0.password＝xxx

spring.shardingsphere.datasource.ds1.type＝com.zaxxer.hikari.HikariDataSourcespring.shardingsphere.datasource.ds1.driver-class-name＝com.mysql.jdbc.Driver

spring.shardingsphere.datasource.ds1.url＝jdbc:mysql://xxxxxx:3306/ds1

spring.shardingsphere.datasource.ds1.username＝xxx

spring.shardingsphere.datasource.ds1.password＝xxx

spring.shardingsphere.sharding.tables.logical_table.database-strategy.inline.shard ing-column＝sharding_column

spring.shardingsphere.sharding.tables.logical_table.database-strategy.inline.algor ithm-expression＝ds$->{ShardingHash.shardingDBValue(sharding_column,2)}

spring.shardingsphere.sharding.tables.logical_table.actual-data-nodes＝

ds$->{0..1}.logical_table_$->{0..3}

spring.shardingsphere.sharding.tables.logical_table.table-strategy.inline.sharding-column＝sharding_column

spring.shardingsphere.sharding.tables.logical_table.table-strategy.inline.algorith m-expression＝

logical_table_$->{ShardingHash.shardingTBValue(sharding_column,2,4)}

上述配置策略关键点说明如下：

①spring.shardingsphere.datasource.names＝ds0,ds1，表示两个数据源(一般测试分片要至少配置两个)

②

spring.shardingsphere.sharding.tables.logical_table.database-strategy.inline.sharding-column＝sharding_column，表示配置得逻辑表为logical_table(实际上就是平常SQL文件中DML语句对应得表)；数据库得分片字段为sharding_column。

③

spring.shardingsphere.sharding.tables.logical_table.database-strategy.inline.algorithm-expression＝ds$->{ShardingHash.shardingDBValue(sharding_column,2)}，表示数据分片的算法是内联，并且指定了分片表达式(通过Groovy来解析表达式，当然也有简单的表达式例如：sharding_column％2)。

(2)数据库分片策略

根据项目中的情况，来选取库分片字段与表分片字段以及相应的分片算法：

spring.shardingsphere.sharding.tables.plc_data_all.actual-data-nodes＝filedata0.plc_data_all_20210$->{1..9},filedata0.plc_data_all_2021$->{10..12},filedata0.plc_dat a_all_20220$->{1..9},filedata0.plc_data_all_2022$->{10..12}

(3)对应数据库分表结果，如图6所示。

进一步地，所述获得数据存储源之后，该方法还包括：确定该数据存储源是否需要上传云平台。

进一步地，所述获得最终数据，之后，该方法还包括所述最终数据由边缘计算框架内置的ETL工具所配置的数据端口，上传至云端已按照时间区间配置完成的分表分库数据库内。

进一步地，该方法还包括通过自动化定时数据融合调度脚本对数据存储源进行融合。

进一步地，如图7所示，数据源采集层采集基础数据，通过边缘计算数据处理框架，对不同时间尺度的数据进行清洗融合，处理后的数据，以接口调用方式，由边缘计算处理框架根据特定业务数据的时间标识，存储至云中心平台对应的数据表中。

本发明应用在一种基于边缘计算的面向复杂时间尺度的水务数据融合系统架构，包括：至少一个智慧水务大数据云中心、至少一个水厂机构服务站、至少一个业务数据处理设备、至少一个水务系统应用终端；所述至少一个水务系统应用终端通过局域网络，经由至少一个业务数据处理设备对业务请求进行快速响应、业务系统对接、复杂计算大数据平台交互等功能，可以将与接收的数据相关联的处理责任分割或者划分在业务数据处理设备和目标移动设备之间。所述业务数据处理设备，即水务生产中的所涉及的相关智控PLC设备。解决智慧水务大数据平台响应瓶颈及与其他业务系统连接的数据共享问题，提供给水厂机构完善的业务处理系统。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (9)

1.一种面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述方法包括：

通过传感数据采集数据，获得数据存储源；

所述数据存储源通过边缘计算处理框架对其进行抽取、融合、转换和加载，获得最终数据。

2.根据权利要求1所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述获得数据存储源之后，所述方法还包括：确定该数据存储源是否需要上传云平台。

3.根据权利要求1或2所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述边缘计算处理框架用于对复杂数据进行分析和预处理的计算框架，由适用于边缘计算的Kettle数据处理工具和提供标准化的数据分片、分布式事务及数据库治理功能的分布式数据库中间件ShardingSphere组成。

4.根据权利要求3所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述通过边缘计算处理框架对其进行抽取，具体为：部署数据ETL抽取工具，配置数据库连接，其中输入表的核心对象连接配置，输出表为数据库分表，对所述数据库分表进行数据ETL抽取转换加载，获得复杂时间尺度下的数据。

5.根据权利要求4所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述通过边缘计算处理框架对其进行融合，具体为：对所述复杂时间尺度下的数据根据水厂数据主题域进行指标一级划分，包括：污水、蓄水、风机、加药、设备、实验室、人员；在各主题域下，按照维度进行主题分类，分为时间类、水质元素类、净水操作类、设备参数类、人员信息类、实验数据类，并且对其进行维度编码融合，获得分类融合数据。

6.根据权利要求5所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述分类融合数据的复杂时间尺度数据编码为ZZ_WD_XXXX，ZZ表示组织维度主题，WD维度唯一标识，维度首次下发其编码号采取连续编码的形式。

7.根据权利要求6所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述通过边缘计算处理框架对其进行转换和加载，具体为：明确对复杂时间尺度下的数据分类融合规则后，即可按照相应的维度字段，对数据进行分类转换操作，针对某单一时间尺度时，即某一水务业务的特定采集设备上传的规律性时间尺度的数据进行数据转换，结合ETL工具可通过自定义SQL语句，从数据源采集平台层抽取；或者，针对多个维度或合并两个及两个以上的维度时，即多个水务业务的多个采集设备上传的不规律性时间尺度数据进行数据转换，根据目标业务需求，自定义复杂SQL语句，并行多个时间尺度任务，从数据源采集平台层抽取。

8.根据权利要求7所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述获得最终数据，之后，所述方法还包括所述最终数据由边缘计算框架内置的ETL工具所配置的数据端口，上传至云端已按照时间区间配置完成的分表分库数据库内。

9.根据权利要求8所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述方法还包括通过自动化定时数据融合调度脚本对数据存储源进行融合。

Images