CN109376188B - 一种基于主题域的智慧水务大数据融合方法及系统 - Google Patents

一种基于主题域的智慧水务大数据融合方法及系统 Download PDF

Info

Publication number
CN109376188B
CN109376188B CN201811066370.XA CN201811066370A CN109376188B CN 109376188 B CN109376188 B CN 109376188B CN 201811066370 A CN201811066370 A CN 201811066370A CN 109376188 B CN109376188 B CN 109376188B
Authority
CN
China
Prior art keywords
database
data
water
service
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811066370.XA
Other languages
English (en)
Other versions
CN109376188A (zh
Inventor
李志�
李贵生
李骁韬
谢远勇
汪钦堤
林健森
林智敏
陈家琳
陈醒
代艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiheng Technology Co ltd
Original Assignee
Zhiheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiheng Technology Co ltd filed Critical Zhiheng Technology Co ltd
Priority to CN201811066370.XA priority Critical patent/CN109376188B/zh
Publication of CN109376188A publication Critical patent/CN109376188A/zh
Application granted granted Critical
Publication of CN109376188B publication Critical patent/CN109376188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于主题域的智慧水务大数据融合方法,包括根据水务业务覆盖范围以及数据资源内容设计水务数据资源的主题域,并将各个主题域的水务数据资源均接入到数据中心;根据数据流转过程频率、数据处理深度以及数据应用的功能区分,将数据中心由底层至顶层依次划分为接口层、基础层、汇总层以及信息层四个层级,并对各个层级均分配数据库进行管理;数据中心按照由底层至顶层的顺序对接入的各个主题域的水务数据资源进行融合处理,并将融合处理后的数据存储至对应层级的数据库中。本发明优点:可实现智慧水务数据资源的有序、高效融合,保障资源利用过程的便捷、高效。

Description

一种基于主题域的智慧水务大数据融合方法及系统
技术领域
本发明涉及一种数据融合方法,特别涉及一种基于主题域的智慧水务大数据融合方法及系统。
背景技术
智慧水务是智慧城市的重要分支,是水务行业发展的必然趋势。目前,我国智慧水务发展主要还处于概念消化、多方面尝试阶段,尚未有相对成熟的智慧水务成功案例,智慧水务如何规划、如何落地是当前国内水务领域的热点话题。智慧水务数据中心是实现智慧水务数据信息的共享存贮、集中交换和综合服务的重要基础,数据中心的设计是否合理,能否高效支撑智慧水务应用开发,关键都在于数据中心的数据模型设计。
因水务数据往往分布于不同厂家支撑的、不同技术路线实现的、业务定义不一的、定制化程度较高的各类水务业务子系统中,包括实时、非实时、关系型、非关系型等复杂多样的数据形态,这给智慧水务数据模型设计的开展带来了极大的困难;同时,由于当前智慧水务应用仍处于探索阶段,存在数据需求不确定性因素,这使得对水务数据模型框架也提出了较高要求。当前,关于水务行业数据中心的数据模型设计的方法研究并不多见,主要以子系统数据照搬复制为手段建设数据中心,难以达到智慧水务对数据有效融合要求,给智慧水务实施和应用也带来了极大挑战。因此,如何能将各类水务数据资源进行有效的集中与融合,并且屏蔽各厂家、各类业务系统差异化与复杂性,成为实施智慧水务平台应用的关键问题。
发明内容
本发明要解决的技术问题之一,在于提供一种基于主题域的智慧水务大数据融合方法,通过该方法可实现智慧水务数据资源的有序、高效融合,保障资源利用过程的便捷、高效;同时,通过将基础信息、空间数据、实时业务数据有效的融合起来,使水务数据与水务业务关系信息、水务数据与空间关系信息有机结合,降低了未来大数据应用探索不确定因素带来的数据中心重构的风险,弥补了现有水务行业数据中心数据模型有效设计方法缺少、数据中心实施难度大、数据集中而又各自独立、难以实现水务数据的业务式融合的不足。
本发明是这样实现技术问题之一的:一种基于主题域的智慧水务大数据融合方法,所述方法包括如下步骤:
步骤S1、根据水务业务覆盖范围以及数据资源内容设计水务数据资源的主题域,并将各个主题域的水务数据资源均接入到数据中心;
步骤S2、根据数据流转过程频率、数据处理深度以及数据应用的功能区分,将数据中心由底层至顶层依次划分为接口层、基础层、汇总层以及信息层四个层级,并对各个层级均分配数据库进行管理;
步骤S3、数据中心按照由底层至顶层的顺序对接入的各个主题域的水务数据资源进行融合处理,并将融合处理后的数据存储至对应层级的数据库中。
进一步地,在所述步骤S1中,设计的水务数据资源的主题域包括水务对象主题域、水务产品主题域、资源资产主题域、空间区域主题域、业务计费主题域、事件监控主题域或者财务管理主题域;其中,
所述水务对象主题域:用于描述各类参与水务的对象实体;
所述水务产品主题域:用于描述水务平台向客户提供的业务和产品,以及客户对产品的选择和定制;
所述资源资产主题域:用于描述水务公司所拥有的为客户提供服务的所有物理载体或者逻辑载体;
所述空间区域主题域:用于描述水务公司各项业务所涉及的地域分布,包括自然区域、水务公司用于管理使用所设置的管理区域以及建筑体;
所述业务计费主题域:用于描述客户使用服务所产生的账目、账单以及付款记录;
所述事件监控主题域:用于描述参与人在参与和使用水务公司各项业务时所产生的事件记录,以及水务公司为了保障业务正常所做的监控记录和控制记录;
所述财务管理主题域:用于描述水务公司在对客户提供各项服务以及日常运营过程中,支出的各项成本信息。
进一步地,在所述步骤S2中,所述对各个层级均分配数据库进行管理具体为:
在所述接口层中设置一接口数据库进行管理,所述接口数据库包括一空间数据库、一第一关系型数据库以及一第一Nosql数据库;
在所述基础层中设置一基础数据库进行管理,所述基础数据库包括一第二关系型数据库以及一第二Nosql数据库;所述空间数据库、第一关系型数据库以及第一Nosql数据库均与所述第二关系型数据库对接,所述第一Nosql数据库与所述第二Nosql数据库对接,所述第二Nosql数据库与所述第二关系型数据库对接;
在所述汇总层以及信息层中设置一中央数据库进行管理,所述中央数据库包括一视图数据库、一业务数据库、一数据挖掘库以及一业务应用库;所述视图数据库、业务数据库以及数据挖掘库均设置在所述汇总层中,所述业务应用库设置在所述信息层中;所述第二关系型数据库与所述业务数据库对接,所述业务数据库分别与所述视图数据库、数据挖掘库以及业务应用库对接。
更进一步地,所述步骤S3具体为:
在将各个主题域的水务数据资源接入到数据中心后,首先,在接口层对接入的各种数据源进行库表融合处理,具体包括对各种数据源进行抽取、转换、加载或者字段校验处理,并将处理后的数据分类存储至空间数据库、第一关系型数据库以及第一Nosql数据库中;
然后,在基础层对各种数据源进行数据融合处理,具体包括通过规范化的数据标准来对各种数据源进行统一清洗和转化,以实现同维度数据的维值统一;对业务含义进行数据校验与质量管理,并以主题域的方式进行数据的融合加载;将处理后的数据分类存储至第二关系型数据库和第二Nosql数据库中;
接着,在汇总层对各种数据源进行业务融合,具体包括通过业务实体方式来建立业务实体视图,并将业务实体关系与实体事件进行剥离;围绕业务实体开展业务汇总与指标统计,并构建业务场景化标签;将处理后的数据分类存储至视图数据库、业务数据库以及数据挖掘库中;
最后,在信息层对各种水务数据资源进行应用融合,具体包括对业务融合后的数据进行升级抽象,形成用于提供数据服务的各种应用化场景,并为前端提供各种应用需求。
进一步地,所述第一Nosql数据库和第二Nosql数据库均为MongoDB数据库;所述第一关系型数据库和第二关系型数据库均为oracle数据库或者mysql数据库。
本发明要解决的技术问题之二,在于提供一种基于主题域的智慧水务大数据融合系统,通过该系统可实现智慧水务数据资源的有序、高效融合,保障资源利用过程的便捷、高效;同时,通过将基础信息、空间数据、实时业务数据有效的融合起来,使水务数据与水务业务关系信息、水务数据与空间关系信息有机结合,降低了未来大数据应用探索不确定因素带来的数据中心重构的风险,弥补了现有水务行业数据中心数据模型有效设计方法缺少、数据中心实施难度大、数据集中而又各自独立、难以实现水务数据的业务式融合的不足。
本发明是这样实现技术问题之二的:一种基于主题域的智慧水务大数据融合系统,所述系统包括主题域划分模块、层级划分模块以及融合处理模块;
所述主题域划分模块,用于根据水务业务覆盖范围以及数据资源内容设计水务数据资源的主题域,并将各个主题域的水务数据资源均接入到数据中心;
所述层级划分模块,用于根据数据流转过程频率、数据处理深度以及数据应用的功能区分,将数据中心由底层至顶层依次划分为接口层、基础层、汇总层以及信息层四个层级,并对各个层级均分配数据库进行管理;
所述融合处理模块,用于数据中心按照由底层至顶层的顺序对接入的各个主题域的水务数据资源进行融合处理,并将融合处理后的数据存储至对应层级的数据库中。
进一步地,在所述主题域划分模块中,设计的水务数据资源的主题域包括水务对象主题域、水务产品主题域、资源资产主题域、空间区域主题域、业务计费主题域、事件监控主题域或者财务管理主题域;其中,
所述水务对象主题域:用于描述各类参与水务的对象实体;
所述水务产品主题域:用于描述水务平台向客户提供的业务和产品,以及客户对产品的选择和定制;
所述资源资产主题域:用于描述水务公司所拥有的为客户提供服务的所有物理载体或者逻辑载体;
所述空间区域主题域:用于描述水务公司各项业务所涉及的地域分布,包括自然区域、水务公司用于管理使用所设置的管理区域以及建筑体;
所述业务计费主题域:用于描述客户使用服务所产生的账目、账单以及付款记录;
所述事件监控主题域:用于描述参与人在参与和使用水务公司各项业务时所产生的事件记录,以及水务公司为了保障业务正常所做的监控记录和控制记录;
所述财务管理主题域:用于描述水务公司在对客户提供各项服务以及日常运营过程中,支出的各项成本信息。
进一步地,在所述层级划分模块中,所述对各个层级均分配数据库进行管理具体为:
在所述接口层中设置一接口数据库进行管理,所述接口数据库包括一空间数据库、一第一关系型数据库以及一第一Nosql数据库;
在所述基础层中设置一基础数据库进行管理,所述基础数据库包括一第二关系型数据库以及一第二Nosql数据库;所述空间数据库、第一关系型数据库以及第一Nosql数据库均与所述第二关系型数据库对接,所述第一Nosql数据库与所述第二Nosql数据库对接,所述第二Nosql数据库与所述第二关系型数据库对接;
在所述汇总层以及信息层中设置一中央数据库进行管理,所述中央数据库包括一视图数据库、一业务数据库、一数据挖掘库以及一业务应用库;所述视图数据库、业务数据库以及数据挖掘库均设置在所述汇总层中,所述业务应用库设置在所述信息层中;所述第二关系型数据库与所述业务数据库对接,所述业务数据库分别与所述视图数据库、数据挖掘库以及业务应用库对接。
进一步地,所述融合处理模块具体为:
在将各个主题域的水务数据资源接入到数据中心后,首先,在接口层对接入的各种数据源进行库表融合处理,具体包括对各种数据源进行抽取、转换、加载或者字段校验处理,并将处理后的数据分类存储至空间数据库、第一关系型数据库以及第一Nosql数据库中;
然后,在基础层对各种数据源进行数据融合处理,具体包括通过规范化的数据标准来对各种数据源进行统一清洗和转化,以实现同维度数据的维值统一;对业务含义进行数据校验与质量管理,并以主题域的方式进行数据的融合加载;将处理后的数据分类存储至第二关系型数据库和第二Nosql数据库中;
接着,在汇总层对各种数据源进行业务融合,具体包括通过业务实体方式来建立业务实体视图,并将业务实体关系与实体事件进行剥离;围绕业务实体开展业务汇总与指标统计,并构建业务场景化标签;将处理后的数据分类存储至视图数据库、业务数据库以及数据挖掘库中;
最后,在信息层对各种水务数据资源进行应用融合,具体包括对业务融合后的数据进行升级抽象,形成用于提供数据服务的各种应用化场景,并为前端提供各种应用需求。
进一步地,所述第一Nosql数据库和第二Nosql数据库均为MongoDB数据库;所述第一关系型数据库和第二关系型数据库均为oracle数据库或者mysql数据库。
本发明具有如下优点:
通过本发明来对智慧水务数据中心进行建模,并设计了包括水务对象主题域、水务产品主题域、资源资产主题域、空间区域主题域、业务计费主题域、事件监控主题域、财务管理主题域七个主题域,使得在具体实施时,可将各个主题域的水务数据资源直接接入到数据中心,智慧水务应用的开发人员不需要关心具体的数据形态及业务逻辑,只需基于本发明构建的数据模型,按照底层数据接口的标准进行数据抽取及数据处理,便可实现智慧水务数据资源的有序、高效融合,保障资源利用过程的便捷、高效;同时,通过将基础信息、空间数据、实时业务数据有效的融合起来,使水务数据与水务业务关系信息、水务数据与空间关系信息有机结合,降低了未来大数据应用探索不确定因素带来的数据中心重构的风险,弥补了现有水务行业数据中心数据模型有效设计方法缺少、数据中心实施难度大、数据集中而又各自独立、难以实现水务数据的业务式融合的不足,有助于降低智慧水务应用扩展的数据中心开发难度,推动大数据基础设施软件的完善和创新。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种基于主题域的智慧水务大数据融合方法的执行流程图。
图2为本发明中数据中心的层级设计架构图。
图3为本发明中基于主题域的智慧水务数据融合架构图。
具体实施方式
请参阅图1至图3所示,本发明一种基于主题域的智慧水务大数据融合方法的较佳实施例,所述方法包括如下步骤:
步骤S1、根据水务业务覆盖范围以及数据资源内容设计水务数据资源的主题域,并将各个主题域的水务数据资源均接入到数据中心;
请重点参照图3所示,在所述步骤S1中,设计的水务数据资源的主题域包括水务对象主题域、水务产品主题域、资源资产主题域、空间区域主题域、业务计费主题域、事件监控主题域或者财务管理主题域;其中,
所述水务对象主题域:用于描述各类参与水务的对象实体,对象实体具体包括水务公司、客户以及厂商,在具体描述时,需要描述出各个对象实体在智慧水务中所处角色等各类信息;
水务公司:水务公司与客户发生交互时相关参与人信息,是向客户提供产品以及服务的承载体,具体包括水务公司主体以及水务公司相关的各个部门(例如,制水厂、污水厂、管网调度等各个部门);
客户:即用水客户,具体包括可能或者已经获取其资料的所有在服务的客户和已经获取其资料的尚未服务的客户;客户是水务产品的订购者,跟水务公司、平台服务商间存在有商业契约关系;
厂商:水务产业价值链上的设备供应商、设备厂商、服务提供商、第三方产品提供商等依托水务平台的水务孵化伙伴,以及其他共赢合作为客户提供产品及服务的组织。
所述水务产品主题域:用于描述水务平台向客户提供的主要业务和产品,以及客户对产品的选择和定制;水务平台提供的业务和产品包括水务公司提供的供水产品、平台提供的增值数据服务套餐以及合作伙伴提供的第三方产品和服务;
产品包含服务和资费两个方面内容,客户在订购水务公司的产品后,水务公司将根据产品内容提供相应的服务,并按资费产生计费账单;客户订购一个产品时就产生一个用户,一个被唯一标识的用户可以对应多个产品,并可在此基础上对可选服务进行个性化定制;用户是进行服务和计费的载体。
所述资源资产主题域:用于描述水务公司所拥有的为客户提供服务的所有物理载体或者逻辑载体,具体可以包括环境资源、管网资源、设备资源、渠道资源、人力资源等;环境资源又可以包括水源、水文、水利等方面资源;管网资源是为用户提供供水产品服务所部署的管网;设备资源是用于贸易结算、供水监控以及二次供水在制水、输水、配水、供水、污水处理等环节上安装的设备,具体可以包括计量、远传、加压、减压、监测、控制等各种设备。
所述空间区域主题域:用于描述水务公司各项业务所涉及的地域分布,包括自然区域、水务公司用于管理使用所设置的管理区域以及建筑体;每个区域都可以有多个区域特征,区域也可以有层级关系;自然区域包括政府管理区域、行政区域等,管理区域包括水务公司市场区域、独立计量区域DMA等。
所述业务计费主题域:用于描述客户使用服务所产生的账目、账单以及付款记录;主要描述包括各帐目项、费用帐单、用户的付费计划等信息。
所述事件监控主题域:用于描述参与人在参与和使用水务公司各项业务时所产生的事件记录,以及水务公司为了保障业务正常所做的监控记录和控制记录;
产生的事件记录包括用水清单、产品订单和及客户诉求记录等;监控记录包括管网压力、流量、温度、水质等监控记录;控制记录包括管网调度记录、流量阀门控制记录等。
所述财务管理主题域:用于描述水务公司在对客户提供各项服务以及日常运营过程中,支出的各项成本信息。
在本发明中,通过将设置的各主题域有机关联起来,可很好的实现基础信息、空间数据以及实时业务数据的有效融合,并使水务数据与水务业务关系信息、水务数据与空间关系信息有机结合。
步骤S2、根据数据流转过程频率、数据处理深度以及数据应用的功能区分,将数据中心由底层至顶层依次划分为接口层、基础层、汇总层以及信息层四个层级,并对各个层级均分配数据库进行管理(如图2所示);在具体实施时,还可以对每一层级根据侧重点进行解耦化、组件化,并抽象封装成基础产品。
在所述步骤S2中,所述对各个层级均分配数据库进行管理具体为:
在所述接口层中设置一接口数据库进行管理,所述接口数据库包括一空间数据库、一第一关系型数据库以及一第一Nosql数据库;
在所述基础层中设置一基础数据库进行管理,所述基础数据库包括一第二关系型数据库以及一第二Nosql数据库;所述空间数据库、第一关系型数据库以及第一Nosql数据库均与所述第二关系型数据库对接,所述第一Nosql数据库与所述第二Nosql数据库对接,所述第二Nosql数据库与所述第二关系型数据库对接;
在所述汇总层以及信息层中设置一中央数据库进行管理,所述中央数据库包括一视图数据库、一业务数据库、一数据挖掘库以及一业务应用库;所述视图数据库、业务数据库以及数据挖掘库均设置在所述汇总层中,所述业务应用库设置在所述信息层中;所述第二关系型数据库与所述业务数据库对接,所述业务数据库分别与所述视图数据库、数据挖掘库以及业务应用库对接。
所述第一Nosql数据库和第二Nosql数据库均为MongoDB数据库,该MongoDB数据库采用类似json语法,与基础数据元协议一致,具有较高的存储效率;所述第一关系型数据库和第二关系型数据库均为oracle数据库或者mysql数据库。
步骤S3、数据中心按照由底层至顶层的顺序对接入的各个主题域的水务数据资源进行融合处理,并将融合处理后的数据存储至对应层级的数据库中;在具体实施时,对接入的各个主题域的水务数据资源的层级划分如表1所示;
表1基于主题域的水务数据资源层级划分说明表
Figure BDA0001798416910000101
Figure BDA0001798416910000111
所述步骤S3具体为:
在将各个主题域的水务数据资源接入到数据中心后,首先,在接口层对接入的各种数据源进行库表融合处理,具体包括对各种数据源进行抽取、转换、加载或者字段校验处理,并将处理后的数据分类存储至空间数据库、第一关系型数据库以及第一Nosql数据库中;在具有实施时,对于非结构化的数据可以存储到第一Nosql数据库中,对于结构化的数据可以存储到第一关系型数据库中,对于地域分布信息可以存储到空间数据库中;
然后,在基础层对各种数据源进行数据融合处理,具体包括通过规范化的数据标准来对各种数据源进行统一清洗和转化,以实现同维度数据的维值统一;对业务含义进行数据校验与质量管理,并以主题域的方式进行数据的融合加载;将处理后的数据分类存储至第二关系型数据库和第二Nosql数据库中;在具体实施时,可以将处理后的非结构化的数据存储到第二Nosql数据库中,将处理后的结构化的数据存储到第二关系型数据库中;
接着,在汇总层对各种数据源进行业务融合,具体包括通过业务实体方式来建立业务实体视图,并将业务实体关系与实体事件进行剥离;围绕业务实体开展业务汇总与指标统计,并构建业务场景化标签;将处理后的数据分类存储至视图数据库、业务数据库以及数据挖掘库中;在具体实施时,可以将挖掘、分析类数据存储到数据挖掘库中,可以将业务实体视图以业务场景化标签的形式存储到视图数据库中,对业务实体开展业务汇总与指标统计、业务主题域划分等形成的数据可以存储到业务数据库中;
最后,在信息层对各种水务数据资源进行应用融合,具体包括对业务融合后的数据进行升级抽象,形成用于提供数据服务的各种应用化场景,并为前端提供各种应用需求,例如,即席查询、指标库、报表、监控告警等各种应用需求。
请参阅图1至图3所示,本发明一种基于主题域的智慧水务大数据融合系统的较佳实施例,所述系统包括主题域划分模块、层级划分模块以及融合处理模块;
所述主题域划分模块,用于根据水务业务覆盖范围以及数据资源内容设计水务数据资源的主题域,并将各个主题域的水务数据资源均接入到数据中心;
请重点参照图3所示,在所述主题域划分模块中,设计的水务数据资源的主题域包括水务对象主题域、水务产品主题域、资源资产主题域、空间区域主题域、业务计费主题域、事件监控主题域或者财务管理主题域;其中,
所述水务对象主题域:用于描述各类参与水务的对象实体,对象实体具体包括水务公司、客户以及厂商,在具体描述时,需要描述出各个对象实体在智慧水务中所处角色等各类信息;
水务公司:水务公司与客户发生交互时相关参与人信息,是向客户提供产品以及服务的承载体,具体包括水务公司主体以及水务公司相关的各个部门(例如,制水厂、污水厂、管网调度等各个部门);
客户:即用水客户,具体包括可能或者已经获取其资料的所有在服务的客户和已经获取其资料的尚未服务的客户;客户是水务产品的订购者,跟水务公司、平台服务商间存在有商业契约关系;
厂商:水务产业价值链上的设备供应商、设备厂商、服务提供商、第三方产品提供商等依托水务平台的水务孵化伙伴,以及其他共赢合作为客户提供产品及服务的组织。
所述水务产品主题域:用于描述水务平台向客户提供的主要业务和产品,以及客户对产品的选择和定制;水务平台提供的业务和产品包括水务公司提供的供水产品、平台提供的增值数据服务套餐以及合作伙伴提供的第三方产品和服务;
产品包含服务和资费两个方面内容,客户在订购水务公司的产品后,水务公司将根据产品内容提供相应的服务,并按资费产生计费账单;客户订购一个产品时就产生一个用户,一个被唯一标识的用户可以对应多个产品,并可在此基础上对可选服务进行个性化定制;用户是进行服务和计费的载体。
所述资源资产主题域:用于描述水务公司所拥有的为客户提供服务的所有物理载体或者逻辑载体,具体可以包括环境资源、管网资源、设备资源、渠道资源、人力资源等;环境资源又可以包括水源、水文、水利等方面资源;管网资源是为用户提供供水产品服务所部署的管网;设备资源是用于贸易结算、供水监控以及二次供水在制水、输水、配水、供水、污水处理等环节上安装的设备,具体可以包括计量、远传、加压、减压、监测、控制等各种设备。
所述空间区域主题域:用于描述水务公司各项业务所涉及的地域分布,包括自然区域、水务公司用于管理使用所设置的管理区域以及建筑体;每个区域都可以有多个区域特征,区域也可以有层级关系;自然区域包括政府管理区域、行政区域等,管理区域包括水务公司市场区域、独立计量区域DMA等。
所述业务计费主题域:用于描述客户使用服务所产生的账目、账单以及付款记录;主要描述包括各帐目项、费用帐单、用户的付费计划等信息。
所述事件监控主题域:用于描述参与人在参与和使用水务公司各项业务时所产生的事件记录,以及水务公司为了保障业务正常所做的监控记录和控制记录;
产生的事件记录包括用水清单、产品订单和及客户诉求记录等;监控记录包括管网压力、流量、温度、水质等监控记录;控制记录包括管网调度记录、流量阀门控制记录等。
所述财务管理主题域:用于描述水务公司在对客户提供各项服务以及日常运营过程中,支出的各项成本信息。
在本发明中,通过将设置的各主题域有机关联起来,可很好的实现基础信息、空间数据以及实时业务数据的有效融合,并使水务数据与水务业务关系信息、水务数据与空间关系信息有机结合。
所述层级划分模块,用于根据数据流转过程频率、数据处理深度以及数据应用的功能区分,将数据中心由底层至顶层依次划分为接口层、基础层、汇总层以及信息层四个层级,并对各个层级均分配数据库进行管理(如图2所示);在具体实施时,还可以对每一层级根据侧重点进行解耦化、组件化,并抽象封装成基础产品。
在所述层级划分模块中,所述对各个层级均分配数据库进行管理具体为:
在所述接口层中设置一接口数据库进行管理,所述接口数据库包括一空间数据库、一第一关系型数据库以及一第一Nosql数据库;
在所述基础层中设置一基础数据库进行管理,所述基础数据库包括一第二关系型数据库以及一第二Nosql数据库;所述空间数据库、第一关系型数据库以及第一Nosql数据库均与所述第二关系型数据库对接,所述第一Nosql数据库与所述第二Nosql数据库对接,所述第二Nosql数据库与所述第二关系型数据库对接;
在所述汇总层以及信息层中设置一中央数据库进行管理,所述中央数据库包括一视图数据库、一业务数据库、一数据挖掘库以及一业务应用库;所述视图数据库、业务数据库以及数据挖掘库均设置在所述汇总层中,所述业务应用库设置在所述信息层中;所述第二关系型数据库与所述业务数据库对接,所述业务数据库分别与所述视图数据库、数据挖掘库以及业务应用库对接。
所述第一Nosql数据库和第二Nosql数据库均为MongoDB数据库,该MongoDB数据库采用类似json语法,与基础数据元协议一致,具有较高的存储效率;所述第一关系型数据库和第二关系型数据库均为oracle数据库或者mysql数据库。
所述融合处理模块,用于数据中心按照由底层至顶层的顺序对接入的各个主题域的水务数据资源进行融合处理,并将融合处理后的数据存储至对应层级的数据库中;在具体实施时,对接入的各个主题域的水务数据资源的层级划分如表1所示;
表1基于主题域的水务数据资源层级划分说明表
Figure BDA0001798416910000151
Figure BDA0001798416910000161
所述融合处理模块具体为:
在将各个主题域的水务数据资源接入到数据中心后,首先,在接口层对接入的各种数据源进行库表融合处理,具体包括对各种数据源进行抽取、转换、加载或者字段校验处理,并将处理后的数据分类存储至空间数据库、第一关系型数据库以及第一Nosql数据库中;在具有实施时,对于非结构化的数据可以存储到第一Nosql数据库中,对于结构化的数据可以存储到第一关系型数据库中,对于地域分布信息可以存储到空间数据库中;
然后,在基础层对各种数据源进行数据融合处理,具体包括通过规范化的数据标准来对各种数据源进行统一清洗和转化,以实现同维度数据的维值统一;对业务含义进行数据校验与质量管理,并以主题域的方式进行数据的融合加载;将处理后的数据分类存储至第二关系型数据库和第二Nosql数据库中;在具体实施时,可以将处理后的非结构化的数据存储到第二Nosql数据库中,将处理后的结构化的数据存储到第二关系型数据库中;
接着,在汇总层对各种数据源进行业务融合,具体包括通过业务实体方式来建立业务实体视图,并将业务实体关系与实体事件进行剥离;围绕业务实体开展业务汇总与指标统计,并构建业务场景化标签;将处理后的数据分类存储至视图数据库、业务数据库以及数据挖掘库中;在具体实施时,可以将挖掘、分析类数据存储到数据挖掘库中,可以将业务实体视图以业务场景化标签的形式存储到视图数据库中,对业务实体开展业务汇总与指标统计、业务主题域划分等形成的数据可以存储到业务数据库中;
最后,在信息层对各种水务数据资源进行应用融合,具体包括对业务融合后的数据进行升级抽象,形成用于提供数据服务的各种应用化场景,并为前端提供各种应用需求,例如,即席查询、指标库、报表、监控告警等各种应用需求。
通过本发明来对智慧水务数据中心进行建模,并设计了包括水务对象主题域、水务产品主题域、资源资产主题域、空间区域主题域、业务计费主题域、事件监控主题域、财务管理主题域七个主题域,使得在具体实施时,可将各个主题域的水务数据资源直接接入到数据中心,智慧水务应用的开发人员不需要关心具体的数据形态及业务逻辑,只需基于本发明构建的数据模型,按照底层数据接口的标准进行数据抽取及数据处理,便可实现智慧水务数据资源的有序、高效融合,保障资源利用过程的便捷、高效;同时,通过将基础信息、空间数据、实时业务数据有效的融合起来,使水务数据与水务业务关系信息、水务数据与空间关系信息有机结合,降低了未来大数据应用探索不确定因素带来的数据中心重构的风险,弥补了现有水务行业数据中心数据模型有效设计方法缺少、数据中心实施难度大、数据集中而又各自独立、难以实现水务数据的业务式融合的不足,有助于降低智慧水务应用扩展的数据中心开发难度,推动大数据基础设施软件的完善和创新。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。

Claims (8)

1.一种基于主题域的智慧水务大数据融合方法,其特征在于:所述方法包括如下步骤:
步骤S1、根据水务业务覆盖范围以及数据资源内容设计水务数据资源的主题域,并将各个主题域的水务数据资源均接入到数据中心;
步骤S2、根据数据流转过程频率、数据处理深度以及数据应用的功能区分,将数据中心由底层至顶层依次划分为接口层、基础层、汇总层以及信息层四个层级,并对各个层级均分配数据库进行管理;
步骤S3、数据中心按照由底层至顶层的顺序对接入的各个主题域的水务数据资源进行融合处理,并将融合处理后的数据存储至对应层级的数据库中;
在所述步骤S2中,所述对各个层级均分配数据库进行管理具体为:
在所述接口层中设置一接口数据库进行管理,所述接口数据库包括一空间数据库、一第一关系型数据库以及一第一Nosql数据库;
在所述基础层中设置一基础数据库进行管理,所述基础数据库包括一第二关系型数据库以及一第二Nosql数据库;所述空间数据库、第一关系型数据库以及第一Nosql数据库均与所述第二关系型数据库对接,所述第一Nosql数据库与所述第二Nosql数据库对接,所述第二Nosql数据库与所述第二关系型数据库对接;
在所述汇总层以及信息层中设置一中央数据库进行管理,所述中央数据库包括一视图数据库、一业务数据库、一数据挖掘库以及一业务应用库;所述视图数据库、业务数据库以及数据挖掘库均设置在所述汇总层中,所述业务应用库设置在所述信息层中;所述第二关系型数据库与所述业务数据库对接,所述业务数据库分别与所述视图数据库、数据挖掘库以及业务应用库对接。
2.根据权利要求1所述的一种基于主题域的智慧水务大数据融合方法,其特征在于:在所述步骤S1中,设计的水务数据资源的主题域包括水务对象主题域、水务产品主题域、资源资产主题域、空间区域主题域、业务计费主题域、事件监控主题域或者财务管理主题域;其中,
所述水务对象主题域:用于描述各类参与水务的对象实体;
所述水务产品主题域:用于描述水务平台向客户提供的业务和产品,以及客户对产品的选择和定制;
所述资源资产主题域:用于描述水务公司所拥有的为客户提供服务的所有物理载体或者逻辑载体;
所述空间区域主题域:用于描述水务公司各项业务所涉及的地域分布,包括自然区域、水务公司用于管理使用所设置的管理区域以及建筑体;
所述业务计费主题域:用于描述客户使用服务所产生的账目、账单以及付款记录;
所述事件监控主题域:用于描述参与人在参与和使用水务公司各项业务时所产生的事件记录,以及水务公司为了保障业务正常所做的监控记录和控制记录;
所述财务管理主题域:用于描述水务公司在对客户提供各项服务以及日常运营过程中,支出的各项成本信息。
3.根据权利要求1所述的一种基于主题域的智慧水务大数据融合方法,其特征在于:所述步骤S3具体为:
在将各个主题域的水务数据资源接入到数据中心后,首先,在接口层对接入的各种数据源进行库表融合处理,具体包括对各种数据源进行抽取、转换、加载或者字段校验处理,并将处理后的数据分类存储至空间数据库、第一关系型数据库以及第一Nosql数据库中;
然后,在基础层对各种数据源进行数据融合处理,具体包括通过规范化的数据标准来对各种数据源进行统一清洗和转化,以实现同维度数据的维值统一;对业务含义进行数据校验与质量管理,并以主题域的方式进行数据的融合加载;将处理后的数据分类存储至第二关系型数据库和第二Nosql数据库中;
接着,在汇总层对各种数据源进行业务融合,具体包括通过业务实体方式来建立业务实体视图,并将业务实体关系与实体事件进行剥离;围绕业务实体开展业务汇总与指标统计,并构建业务场景化标签;将处理后的数据分类存储至视图数据库、业务数据库以及数据挖掘库中;
最后,在信息层对各种水务数据资源进行应用融合,具体包括对业务融合后的数据进行升级抽象,形成用于提供数据服务的各种应用化场景,并为前端提供各种应用需求。
4.根据权利要求1所述的一种基于主题域的智慧水务大数据融合方法,其特征在于:所述第一Nosql数据库和第二Nosql数据库均为MongoDB数据库;所述第一关系型数据库和第二关系型数据库均为oracle数据库或者mysql数据库。
5.一种基于主题域的智慧水务大数据融合系统,其特征在于:所述系统包括主题域划分模块、层级划分模块以及融合处理模块;
所述主题域划分模块,用于根据水务业务覆盖范围以及数据资源内容设计水务数据资源的主题域,并将各个主题域的水务数据资源均接入到数据中心;
所述层级划分模块,用于根据数据流转过程频率、数据处理深度以及数据应用的功能区分,将数据中心由底层至顶层依次划分为接口层、基础层、汇总层以及信息层四个层级,并对各个层级均分配数据库进行管理;
所述融合处理模块,用于数据中心按照由底层至顶层的顺序对接入的各个主题域的水务数据资源进行融合处理,并将融合处理后的数据存储至对应层级的数据库中;
在所述层级划分模块中,所述对各个层级均分配数据库进行管理具体为:
在所述接口层中设置一接口数据库进行管理,所述接口数据库包括一空间数据库、一第一关系型数据库以及一第一Nosql数据库;
在所述基础层中设置一基础数据库进行管理,所述基础数据库包括一第二关系型数据库以及一第二Nosql数据库;所述空间数据库、第一关系型数据库以及第一Nosql数据库均与所述第二关系型数据库对接,所述第一Nosql数据库与所述第二Nosql数据库对接,所述第二Nosql数据库与所述第二关系型数据库对接;
在所述汇总层以及信息层中设置一中央数据库进行管理,所述中央数据库包括一视图数据库、一业务数据库、一数据挖掘库以及一业务应用库;所述视图数据库、业务数据库以及数据挖掘库均设置在所述汇总层中,所述业务应用库设置在所述信息层中;所述第二关系型数据库与所述业务数据库对接,所述业务数据库分别与所述视图数据库、数据挖掘库以及业务应用库对接。
6.根据权利要求5所述的一种基于主题域的智慧水务大数据融合系统,其特征在于:在所述主题域划分模块中,设计的水务数据资源的主题域包括水务对象主题域、水务产品主题域、资源资产主题域、空间区域主题域、业务计费主题域、事件监控主题域或者财务管理主题域;其中,
所述水务对象主题域:用于描述各类参与水务的对象实体;
所述水务产品主题域:用于描述水务平台向客户提供的业务和产品,以及客户对产品的选择和定制;
所述资源资产主题域:用于描述水务公司所拥有的为客户提供服务的所有物理载体或者逻辑载体;
所述空间区域主题域:用于描述水务公司各项业务所涉及的地域分布,包括自然区域、水务公司用于管理使用所设置的管理区域以及建筑体;
所述业务计费主题域:用于描述客户使用服务所产生的账目、账单以及付款记录;
所述事件监控主题域:用于描述参与人在参与和使用水务公司各项业务时所产生的事件记录,以及水务公司为了保障业务正常所做的监控记录和控制记录;
所述财务管理主题域:用于描述水务公司在对客户提供各项服务以及日常运营过程中,支出的各项成本信息。
7.根据权利要求5所述的一种基于主题域的智慧水务大数据融合系统,其特征在于:所述融合处理模块具体为:
在将各个主题域的水务数据资源接入到数据中心后,首先,在接口层对接入的各种数据源进行库表融合处理,具体包括对各种数据源进行抽取、转换、加载或者字段校验处理,并将处理后的数据分类存储至空间数据库、第一关系型数据库以及第一Nosql数据库中;
然后,在基础层对各种数据源进行数据融合处理,具体包括通过规范化的数据标准来对各种数据源进行统一清洗和转化,以实现同维度数据的维值统一;对业务含义进行数据校验与质量管理,并以主题域的方式进行数据的融合加载;将处理后的数据分类存储至第二关系型数据库和第二Nosql数据库中;
接着,在汇总层对各种数据源进行业务融合,具体包括通过业务实体方式来建立业务实体视图,并将业务实体关系与实体事件进行剥离;围绕业务实体开展业务汇总与指标统计,并构建业务场景化标签;将处理后的数据分类存储至视图数据库、业务数据库以及数据挖掘库中;
最后,在信息层对各种水务数据资源进行应用融合,具体包括对业务融合后的数据进行升级抽象,形成用于提供数据服务的各种应用化场景,并为前端提供各种应用需求。
8.根据权利要求5所述的一种基于主题域的智慧水务大数据融合系统,其特征在于:所述第一Nosql数据库和第二Nosql数据库均为MongoDB数据库;所述第一关系型数据库和第二关系型数据库均为oracle数据库或者mysql数据库。
CN201811066370.XA 2018-09-13 2018-09-13 一种基于主题域的智慧水务大数据融合方法及系统 Active CN109376188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811066370.XA CN109376188B (zh) 2018-09-13 2018-09-13 一种基于主题域的智慧水务大数据融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811066370.XA CN109376188B (zh) 2018-09-13 2018-09-13 一种基于主题域的智慧水务大数据融合方法及系统

Publications (2)

Publication Number Publication Date
CN109376188A CN109376188A (zh) 2019-02-22
CN109376188B true CN109376188B (zh) 2021-10-29

Family

ID=65405238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811066370.XA Active CN109376188B (zh) 2018-09-13 2018-09-13 一种基于主题域的智慧水务大数据融合方法及系统

Country Status (1)

Country Link
CN (1) CN109376188B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059132A (zh) * 2019-04-15 2019-07-26 成都九鼎瑞信科技股份有限公司 一种智能水务管理平台的数据分析展示系统
CN111241067B (zh) * 2020-01-14 2022-05-03 智恒科技股份有限公司 一种水务大数据挖掘建模管理方法、装置、设备和介质
CN111737296B (zh) * 2020-06-15 2024-03-01 中国建设银行股份有限公司 一种业务处理方法、装置、设备及存储介质
CN112100181B (zh) * 2020-09-22 2024-06-11 国网辽宁省电力有限公司电力科学研究院 一种基于沙盘的数据资源管理方法
CN112200541A (zh) * 2020-10-19 2021-01-08 中建水务环保有限公司 水务企业信息化运营管理系统
CN112732846A (zh) * 2021-01-27 2021-04-30 深圳市科荣软件股份有限公司 水务运营分析系统、方法、电子设备及存储介质
CN113609131B (zh) * 2021-07-30 2024-05-31 商飞智能技术有限公司 一种数据存储方法、装置、设备及存储介质
CN116432092A (zh) * 2023-06-15 2023-07-14 北京冠新医卫软件科技有限公司 一种融合模型数据的指标系统及方法
CN116860859B (zh) * 2023-09-01 2023-12-22 江西省信息中心(江西省电子政务网络管理中心 江西省信用中心 江西省大数据中心) 一种多源异构数据的接口创建方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2634759A1 (en) * 2008-06-27 2009-12-27 George Lampropoulos Intelligent online water quality monitoring system using sensor and non-sensor data fusion
CN105892363A (zh) * 2016-05-05 2016-08-24 中科智水(北京)科技有限公司 Nc系列的水务数据采集控制智能终端及水务集中监控系统
CN106302683A (zh) * 2016-08-10 2017-01-04 成都秦川科技发展有限公司 智慧城市体系
CN106446133A (zh) * 2016-09-19 2017-02-22 广东中标数据科技股份有限公司 同时对接两个数据库的方法及装置
CN106709067A (zh) * 2017-01-19 2017-05-24 中国测绘科学研究院 一种基于Oracle数据库的多源异构空间数据流转方法
CN106878237A (zh) * 2015-12-14 2017-06-20 中国电信股份有限公司江苏电子渠道运营中心 多源数据对接系统和方法
CN108388615A (zh) * 2018-02-09 2018-08-10 杭州数梦工场科技有限公司 一种数据交换方法、系统以及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2634759A1 (en) * 2008-06-27 2009-12-27 George Lampropoulos Intelligent online water quality monitoring system using sensor and non-sensor data fusion
CN106878237A (zh) * 2015-12-14 2017-06-20 中国电信股份有限公司江苏电子渠道运营中心 多源数据对接系统和方法
CN105892363A (zh) * 2016-05-05 2016-08-24 中科智水(北京)科技有限公司 Nc系列的水务数据采集控制智能终端及水务集中监控系统
CN106302683A (zh) * 2016-08-10 2017-01-04 成都秦川科技发展有限公司 智慧城市体系
CN106446133A (zh) * 2016-09-19 2017-02-22 广东中标数据科技股份有限公司 同时对接两个数据库的方法及装置
CN106709067A (zh) * 2017-01-19 2017-05-24 中国测绘科学研究院 一种基于Oracle数据库的多源异构空间数据流转方法
CN108388615A (zh) * 2018-02-09 2018-08-10 杭州数梦工场科技有限公司 一种数据交换方法、系统以及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Interactive search fusion methods for video database retrieval;J.R. Smith;《Proceedings 2003 International Conference on Image Processing 》;20031124;全文 *
水务综合信息管理系统的设计与实现;刘涛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615;第I138-579页 *
济南水务数字化供应系统研究;陈峰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115;第I138-477页 *

Also Published As

Publication number Publication date
CN109376188A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109376188B (zh) 一种基于主题域的智慧水务大数据融合方法及系统
WO2020001108A1 (zh) 基于区块链的数据处理方法和装置
WO2019096191A1 (zh) 基于xbrl标准的主数据管理系统的设计方法
CN102682052B (zh) 过滤数据存储上的查询数据
CN101410836B (zh) 向应用提供对存储在数据库中的数据的访问的方法
CN103049482B (zh) 一种分布式异构系统中数据融合存储的实现方法
CN110865801A (zh) 一种基于微服务的电力交易平台业务中台及其应用方法
CN104160381A (zh) 多租户环境中租户特定数据集的管理
CN101969475A (zh) 基于云计算的商业数据可控分发与融合应用系统
CN108052634A (zh) 一种电网生产控制大区与资产管理大区多信息系统的集成方法
CN102567932A (zh) 综合资源管理方法、装置和系统
Rathnayaka et al. Formation of virtual community groups to manage prosumers in smart grids
CN103365971A (zh) 基于云计算的海量数据访问处理系统
CN104580446A (zh) 面向OpenStack开源云平台的云服务实时计费与管理系统
CN102902777A (zh) 跨数据源查询装置和跨数据源查询方法
CN112988919A (zh) 一种电网数据集市构建方法、系统、终端设备及存储介质
CN111666456B (zh) 一种基于多源配网网络的网架拓扑自动构建方法
CN105404826A (zh) 一种动态产生业务对象的权限管理方法
CN117035687A (zh) 一种电网业务固定资产流程配置方法、系统及计算机存储介质
CN105405089A (zh) 基于物联网的城市照明公共服务云平台
CN110825718A (zh) 一种信息系统数据架构模型及其构建方法
Qian et al. Research on key construction technology of building engineering under the background of big data
Yang et al. The Core‐Periphery Structure in the Yangtze River Delta: An Enterprise Linkage Perspective, 1978–2019
CN103729455B (zh) 一种基于主副本存储模式的主数据存储方法
CN117371945A (zh) 一种环境产业的一站式大数据管理服务平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Smart Water Big Data Fusion Method and System Based on Theme Domain

Granted publication date: 20211029

Pledgee: Zhejiang Commercial Bank Co.,Ltd. Fuzhou Branch

Pledgor: ZHIHENG TECHNOLOGY Co.,Ltd.

Registration number: Y2024350000027

PE01 Entry into force of the registration of the contract for pledge of patent right