CN112232635B - 一种基于分布式云架构的智慧水务数据中台 - Google Patents

Abstract

一种基于分布式云架构的智慧水务数据中台，包括数据采集层、数据后台层、服务中台层、前台应用层和交互层，所述数据采集层通过API方式对各地域项目的信息化系统的数据标准化访问且采集外部终端设备的数据，所述数据后台层包括基础数据库和二次处理数据库，所述服务中台层通过数据处理工具处理数据后台采集的基础数据，所述前台应用层包括综合展示应用、项目管理服务、安全运营服务、评估服务和通用服务，所述交互层包括浏览器、微信小程序和微信公众号，交互的工具包括有大屏、电脑、平板和手机。本发明可实现对“集团级‑项目级”多管理层级项目的水务数据进行标准化采集、存储及管理、分析及挖掘、共享及交换、展现及应用。

Description

一种基于分布式云架构的智慧水务数据中台

技术领域

本发明涉及水务行业信息化技术领域，特别涉及一种基于分布式云架构的智慧水务数据中台。

背景技术

城市水环境系统包括了“原水—输水—制水—供水—用水—排水—污水”一体的业务环节，涉及的信息具有空间性、复杂性、可分析性、时效性、多源性和数据量大等特点，是水环境评价、管理和决策最为宝贵的数据资源。由于这些信息具有空间性、复杂性、可分析性、时效性、多源性和数据量大等特点，是水环境评价、管理和决策最为宝贵的数据资源。但是，水务企业由于缺少有效的组织和管理模式，建设的信息化系统数据采集标准不统一，且各项目存在较大差异化应用需求，各子系统功能单一，软件对接难度大，集成度差，数据共享困难，数据价值不能有效发掘及利用。

目前的水务企业信息化系统存在以下缺陷总结如下：一是各业务系统以各自为中心的单体应用，导致数据标准不统一、数据孤岛、集成难度大、扩展性差和管理颗粒不匹配；二是技术上信息化资产和能力未能有效积累，系统中业务和数据的服务化和复用化程度低，新的系统或者功能模块开发基本需要从头开始，数据分析需要面向原始数据，导致系统灵活性差、建设周期长，成本高，不能支撑模块化服务模式构建；三是数据分析应用不系统化且功能单一，不能满足个性化数据分析应用需求。

目前，还没有一种基于多地域项目分布式部署的数据库基础上的水务信息化平台可解决企业数据标准化采集、存储及管理、分析及挖掘、共享及交换、展现及应用等技术问题。

发明内容

本发明的目的就在于克服上述现有技术中存在的不足，而提供一种基于分布式云架构的智慧水务数据中台，该数据平台可实现对“集团级-项目级”多管理层级项目的水务数据进行标准化采集、存储及管理、分析及挖掘、共享及交换、展现及应用。

如上构思，本发明的技术方案是：一种基于分布式云架构的智慧水务数据中台，包括数据采集层、数据后台层、服务中台层、前台应用层和交互层，所述数据采集层一是通过API方式对各地域项目的信息化系统的数据标准化访问，二是采集外部终端设备的数据，所述数据后台层通过构建统一标准的数据库对结构化数据、半结构化数据和非结构化数据进行统一存储，数据后台层划分为两类数据库，一类是对源业务系统或者源终端采集数据进行存储的基础数据库，另一种是对智慧水务数据中台二次处理和整合分析成果数据进行存储的二次处理数据库，所述服务中台层是基于分布式架构下以API方式提供的微服务，通过数据处理工具对数据后台采集的基础数据进行处理，所述前台应用层包括提供数据化服务的综合展示应用、项目管理服务、安全运营服务、评估服务和通用服务，所述交互层是与平台直接进行交互的用户，交互的方式包括有浏览器、微信小程序和微信公众号，交互的工具包括有大屏、电脑、平板和手机。

进一步，所述数据库采用的是开源、高性能、高可用、可扩展的MongoDB。

进一步，所述基础数据库包括项目实时数据库、文档数据库、设备台账库、视频数据库和图片数据库。

进一步，所述二次处理数据库包括模型库、成果库、产品库和知识库。

进一步，所述数据处理工具根据水务资产分类分为管网类工具、水体类工具、厂站类工具、海绵类工具、流域类工具和通用工具。

进一步，所述管网类工具分为管网数字化移交工具、管网状态评估工具、管网模拟情景分析工具和管网设计后评估工具。

进一步，所述水体类工具分为水体数字化移交工具、水体等级评定工具、水环境污染溯源工具、水体模拟情景分析工具和水环境设计后评估工具。

进一步，所述厂站类工具包括厂站数字化移交工具、厂站设计后评估工具。

进一步，所述海绵类工具包括容积法指标核算工具、LID设计工具、模拟法后评估工具和监测法后评估工具。

进一步，所述流域类工具包括系统化分析工具、流域模拟情景分析工具和联合调度评估工具。

进一步，所述通用工具包括降雨数据管理工具、监测布点设计工具、监测数据校验修复工具、监测数据统计工具、设施设备统计工具、排水户台账管理工具、污染源分析工具、数据综合分析工具。

进一步，所述安全运行服务包括应急管理应用和联合调度应用，所述评估服务包括技术评估应用和考核评估应用，所述通用服务包括文档检索应用和权限管理应用。

本发明提供一种基于分布式云架构的智慧水务数据中台，该数据中台按照统一数据标准，构建数据后台，数据后台包括基础类数据库和二次处理数据库，由管网类工具、水体类工具、厂站类工具、海绵类工具、流域类工具和通用工具构建服务中台，由综合展示应用、项目管理服务、安全运营服务、评估服务和通用服务构建应用前台，该前台提供的应用跟各企业的业务有较强的关联性，是各企业独有的且能复用的，是企业业务和数据的沉淀，既能降低重复建设的成本，又能提高企业的竞争水平。因此本发明可对“集团级-项目级”多管理层级的项目海量数据进行标准化采集、存储、共享、治理、分析及应用。

附图说明

图1为本发明中的智慧水务数据中台系统图。

图2为本发明中的智慧水务数据中台网络架构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明，而非对本发明作任何的限制。

参见附图1，本发明的技术方案是：一种基于分布式云架构的智慧水务数据中台，包括数据采集层、数据后台层、服务中台层、前台应用层和交互层。

数据采集层，是通过建设水务统一的数据采集、编码标准，包括水务项目数据标准、水务设施设备数据标准和水务运营数据标准，实现对数据一次性采集和录入。数据采集层一是通过API方式对各地域项目的信息化系统的数据标准化访问，二是对外部终端设备，包括监测仪表、视频摄像头、自控设备、管线测绘数据、人工采样数据等标准化采集。

数据后台层，是对通过构建统一标准的数据库，对结构化数据、半结构化数据和非结构化数据进行统一存储，数据库采用的是开源、高性能、高可用、可扩展的MongoDB。数据后台层划分为两类数据库，一种是基础数据库，包括项目实时数据库、文档数据库、设备台账库、视频数据库、图片数据库等，这一类数据库是对源业务系统或者源终端采集数据的存储；另一种是二次处理数据库，包括模型库、成果库、产品库、知识库等，这一类数据是对智慧水务数据中台二次处理和整合分析成果数据的存储。

服务中台层，是通过数据处理工具，以企业业务需求为导向对数据后台采集的基础数据进行数据整合、治理、加工，为应用前台提供个性化的数据服务。通过构建形成数据资源整合、业务能力沉淀的“项目级+集团级”的共享服务中台，利用多场景应用检验数据，形成数据优化机制，为企业数字化转型提供支撑。中台本质是基于分布式架构下以API方式提供的微服务。

服务中台的数据处理工具根据水务资产分类分为管网类工具、水体类工具、厂站类工具、海绵类工具、流域类工具和通用工具，其中管网类工具根据业务需求和微服务设计，分为管网数字化移交工具、管网状态评估工具、管网模拟情景分析工具、管网设计后评估工具；水体类工具分为水体数字化移交工具、水体等级评定工具、水环境污染溯源工具、水体模拟情景分析工具、水环境设计后评估工具；厂站类工具包括厂站数字化移交工具、厂站设计后评估工具；海绵类工具包括容积法指标核算工具、LID设计工具、模拟法后评估工具、监测法后评估工具；流域类工具包括系统化分析工具、流域模拟情景分析工具、联合调度评估工具；通用工具包括降雨数据管理工具、监测布点设计工具、监测数据校验修复工具、监测数据统计工具、设施设备统计工具、排水户台账管理工具、污染源分析工具、数据综合分析工具。

前台应用层，是基于服务中台提供的便捷、快速的数据服务能力，对数据中台的数据资产场景化能力快速输出，响应企业的动态需求，为企业的相关人员提供个性化的应用。按照水务行业特点，前台应用层包括提供数据化服务的综合展示应用、项目管理服务、安全运营服务、评估服务和通用服务，所述安全运行服务包括应急管理应用和联合调度应用，所述评估服务包括技术评估应用和考核评估应用，所述通用服务包括文档检索应用和权限管理应用。

交互层，是与平台直接进行交互的用户，主要包括专业技术人员、数据分析人员、数据维护人员和各地方项目的业务人员等，交互的方式包括有浏览器、微信小程序和微信公众号，交互的工具包括有大屏、电脑、平板和手机。

参见附图2，本数据中台网络架构是针对企业“项目级+集团级”分层管理模式特点，采用两级节点的部署方式，在各项目部署分节点，在总部部署核心节点，核心节点采用API集成的方式访问分节点，API集成需在数据保密协议和数据运营服务协议的基础上进行。后台数据库是根据两级节点集群部署。数据中台通过这种分布式架构为项目级和集团级提供微服务。

本发明分布式部署的地方项目包括三亚项目、玉溪项目、漳州项目，核心节点部署在北京。本发明所述智慧水务数据中台包括：

总部数据后台模块。本模块主要存储总部源数据和二次处理或整合分析的成果数据。本实例总部数据库包括文档库、视频库、图片库、产品库、知识库，本模块还具备有信息发布、参数配置、用户权限等子模块。在此模块中可以实现对源数据和成果数据存储、编辑、信息发布、全局参数配置和用户权限统一管理等功能。

地方项目后台模块。本模块主要存储各地方项目源数据和二次处理或整合分析的成果数据。本实例项目数据库包括项目库、资产库、监测库、地图库、文档库、视频库、图片库、污染源库、模型库、产品库、知识库，本模块还具备参数配置子模块。在此模块可以实现对项目上的源数据和成果数据存储、编辑、项目参数配置等功能。

服务中台模块。本实例服务中台工具包括管网类工具、水体类工具、厂站类工具、海绵类工具、流域类工具和通用工具。通过中台工具进行处理的项目包括三亚项目、玉溪项目、漳州项目。以三亚项目的排水管网业务应用场景为例，把排水管网业务应用场景分为三个阶段，前期阶段、设计建设阶段和运营阶段。排水管网前期阶段的应用场景为管网资产标准化处理，按照后台模块的数据标准的要求，利用ArcGIS软件对管网的勘查测绘数据等进行标准化处理，生成标准的管网shp文件，为设计建设阶段应用场景做铺垫。排水管网的设计建设阶段的应用场景包括有管网资产数字化移交和污水系统提质增效，其中管网资产数字化移交应用是利用管网数字化移交工具对管网标准化shp文件进行数字化移交，利用管网状态评估工具对管网数据进行质量检查和数据治理，形成一套可复用的数字化管网数据；污水系统提质增效应用是利用管网模型工具和管网状态评估工具，对管网资产的运营状态进行预测和评估，找到管网潜在薄弱环节，辅助老旧管网改造方案制定。排水管网的运营阶段的应用场景包括管网巡查养护计划制定和管网运营绩效评估，其中巡查养护计划制定应用在管网预测的运行状态和识别薄弱环节结论下制定的；管网运营绩效评估应用是利用管网绩效评估工具实现的。

项目应用前台，本实例的应用前台包括有对三亚项目、玉溪项目和漳州项目的项目管理，项目管理包括有项目填报、任务管理和项目日历查看；项目资产管理包括有设施设备管理、工单管理、统计分析等；综合展示包括有项目一张图、资产一张图和监测一张图。

以上内容不能认定本发明的具体实施只局限这些说明，凡是依照本发明申请专利范围内所做的均等变化和修饰，皆应属于本发明所提交的权利要求书确定的专利保护范围以内。

Claims (1)

1.一种基于分布式云架构的智慧水务数据中台，其特征在于：包括数据采集层、数据后台层、服务中台层、前台应用层和交互层，所述数据采集层一是通过API方式对各地域项目的信息化系统的数据标准化访问，二是采集外部终端设备的数据，所述数据后台层通过构建统一标准的数据库对结构化数据、半结构化数据和非结构化数据进行统一存储，数据后台层划分为两类数据库，一类是对源业务系统或者源终端采集数据进行存储的基础数据库，另一种是对智慧水务数据中台二次处理和整合分析成果数据进行存储的二次处理数据库，所述服务中台层是基于分布式架构下以API方式提供的微服务，通过数据处理工具对数据后台采集的基础数据进行处理，所述前台应用层包括提供数据化服务的综合展示应用、项目管理服务、安全运营服务、评估服务和通用服务，所述交互层是与平台直接进行交互的用户，交互的方式包括有浏览器、微信小程序和微信公众号，交互的工具包括有大屏、电脑、平板和手机；

所述数据库采用的是开源、高性能、高可用、可扩展的MongoDB；

所述基础数据库包括项目实时数据库、文档数据库、设备台账库、视频数据库和图片数据库；

所述二次处理数据库包括模型库、成果库、产品库和知识库；

所述数据处理工具根据水务资产分类分为管网类工具、水体类工具、厂站类工具、海绵类工具、流域类工具和通用工具；

所述管网类工具分为管网数字化移交工具、管网状态评估工具、管网模拟情景分析工具和管网设计后评估工具；

所述水体类工具分为水体数字化移交工具、水体等级评定工具、水环境污染溯源工具、水体模拟情景分析工具和水环境设计后评估工具；

所述厂站类工具包括厂站数字化移交工具、厂站设计后评估工具；

所述海绵类工具包括容积法指标核算工具、LID设计工具、模拟法后评估工具和监测法后评估工具；

所述流域类工具包括系统化分析工具、流域模拟情景分析工具和联合调度评估工具；

所述通用工具包括降雨数据管理工具、监测布点设计工具、监测数据校验修复工具、监测数据统计工具、设施设备统计工具、排水户台账管理工具、污染源分析工具、数据综合分析工具；

所述安全运行服务包括应急管理应用和联合调度应用，所述评估服务包括技术评估应用和考核评估应用，所述通用服务包括文档检索应用和权限管理应用。