CN111552683A - 一种基于大数据的水务数据信息管理方法及装置 - Google Patents
一种基于大数据的水务数据信息管理方法及装置 Download PDFInfo
- Publication number
- CN111552683A CN111552683A CN202010324974.0A CN202010324974A CN111552683A CN 111552683 A CN111552683 A CN 111552683A CN 202010324974 A CN202010324974 A CN 202010324974A CN 111552683 A CN111552683 A CN 111552683A
- Authority
- CN
- China
- Prior art keywords
- data
- water affair
- water
- conversion
- affair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 233
- 238000007726 management method Methods 0.000 title claims abstract description 61
- 238000006243 chemical reaction Methods 0.000 claims abstract description 78
- 238000012216 screening Methods 0.000 claims description 20
- 238000013500 data storage Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 238000003908 quality control method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 239000010865 sewage Substances 0.000 claims description 8
- 238000000034 method Methods 0.000 description 18
- 238000013461 design Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000013523 data management Methods 0.000 description 6
- 238000013501 data transformation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于大数据的水务数据信息管理方法及装置，信息管理方法包括：在获取到待管理区域的水务数据后，对水务数据进行数据质量整理，得到水务整理数据；对水务整理数据进行数据转换，得到水务转换数据；分类储存水务转换数据，将属于同一数据类型的水务转换数据储存在同一数据库。本发明能够实现水务数据的统一、集中和标准化管理，大大的提高了管理效率，同时，本发明还对水务数据进行了质量整理，能够去除不真实、不完整和不及时的水务数据，提高了水务数据的真实性以及即时性，另外，通过将属于同一数据类型的数据储存在同一数据库中，能够大大的提高数据查找效率，满足城市水务部门与其它城市管理部门之间数据共享与交换的需求。
Description
技术领域
本发明涉及城市水务数据管理技术领域，具体涉及一种基于大数据的水务数据信息管理方法及装置。
背景技术
城市水务部门担负着城市水务数据的管理，其中，城市水务部门日常运营过程中所涉及到的数据资源包括取水与供水管网运维信息、污水处理与排放监管、城市洪涝预警和应急预案、水环境监控、水安全保障等等，另外，水务部门还需要与环保、住建、国土等相关厅局进行数据共享与交换，所以，水务数据的管理变得尤为重要。
目前来看，很多城市的水务部门对涉水数据的管理存在以下不足：管理分散、管理不完整以及数据存储方式多样，没有统一的标准，可维护性差。随着城市水务朝着智慧水务的方向发展，对水务工作中涉及到的海量、异构、多源的数据资源进行科学高效地管理和利用，成为未来的发展方向，所以，如何高效的管理城市水务数据，成为一个亟待解决的问题。
发明内容
为了解决现有水务数据管理技术所存在管理分散，不完整，数据存储方式多样，没有统一标准，可维护性差的问题，本发明的目的在于提供一种能够对城市水务数据进行集中、统一和标准化管理，极大的提高管理效率的管理方法及装置，管理主设备和计算机可读存储介质。
第一方面，本发明提供了一种基于大数据的水务数据信息管理方法，包括：
在在获取到待管理区域的水务数据后，对所述水务数据进行数据质量整理，得到水务整理数据；
对所述水务整理数据进行数据转换，得到水务转换数据；
分类储存所述水务转换数据，将属于同一数据类型的水务转换数据储存在同一数据库。
基于上述发明内容，首先，本发明先对水务数据进行质量整理，去除不真实、不完整和不及时的水务数据，提高了水务数据的真实性以及即时性，其次，本发明再对经过质量整理后的水务数据进行数据转换，通过数据转换能够将水务整理数据进行集成以及进行数据类型的统一，实现统一和标准化的管理，最后，本发明将经过数据转换的水务整理数据进行分类储存，将属于同一数据类型的数据储存在同一数据库中，实现了水务数据的集中与标准化的储存。通过上述设计，本发明能够将水务数据进行统一、集中和标准化管理，不仅提高了管理效率，还能够通过分类储存的数据库进行快速查找，满足了水务部门与其它部门数据共享和交换的需求。
在一个可能的设计中，对所述水务数据进行数据质量整理包括：
按照预设筛选标准，筛选所述水务数据，得到筛选数据；
按照预设整理标准，整理所述筛选数据，得到所述水务整理数据。
基于上述发明内容，本发明能够对水务数据进行质量整理，去除不真实、不完整和不及时的水务数据，提高了水务数据的真实性以及即时性。
在一个可能的设计中，对所述水务整理数据进行数据转换，包括：
根据数据格式，并按照预设转换规则对所述水务整理数据进行数据转换，得到所述水务转换数据，其中，所述水务转换数据包括结构化水务数据、半结构化水务数据和非结构化水务数据。
基于上述发明内容，对水务整理数据进行数据转换，能够统一水务整理数据的数据存储方式，避免存在数据存储方式多样，造成储存分散、可维护性差的问题。
在一个可能的设计中，分类储存所述水务转换数据，包括：
将所述结构化水务数据储存在关系数据库中，将所述半结构化水务数据储存在NoSQL数据库中，将所述非结构化水务数据储存在海量数据分布式存储库中。
基于上述公开的内容，通过将同一数据类型的水务转换数据存储在同一数据库中，能够实现集中存储，便于水务数据的管理与查找。
在一个可能的设计中，在分类储存所述水务转换数据后，还包括：
在接收到数据查询指令后，输出与数据查询指令对应的水务转换数据。
在一个可能的设计中，所述水务数据包括待管理区域的供水数据、污水数据、洪涝数据、气象数据和水文数据。
第二方面，本发明提供了一种基于大数据的水务数据信息管理装置，包括数据获取模块、数据质量管控模块、数据转换模块和数据储存模块；
所述数据获取模块，用于获取待管理区域的水务数据；
所述数据质量管控模块，通信连接所述数据获取模块，用于对所述水务数据进行数据质量整理，得到水务整理数据；
所述数据转换模块，通信连接所述数据质量管控模块，用于对所述水务整理数据进行数据转换，得到水务转换数据；
所述数据储存模块，通信连接所述数据转换模块，用于分类储存所述水务转换数据，将属于同一数据类型的水务转换数据储存在同一数据库。
在一个可能的设计中，所述基于大数据的水务数据信息管理装置还包括数据查找模块，其中，所述数据查找模块通信连接所述数据储存模块，用于在收到数据查询指令后，输出与数据查询指令对应的水务转换数据。
第三方面，本发明提供了一种基于大数据的水务数据信息管理主设备，包括依次相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行上述第一方面任意一项所述的基于大数据的水务数据信息管理方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行上述任意方面所述的基于大数据的水务数据信息管理方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如上述任意方面所述的基于大数据的水务数据信息管理方法。
本发明的有益效果为：
(1)本发明将水务数据进行数据转换，统一了存储数据类型，同时，还按照数据类型对水务数据进行分类储存，实现了水务数据的集中与标准化储存。通过上述设计，本发明能够实现城市水务数据的统一、集中和标准化管理，避免了传统水务数据管理所存在的因没有统一标准和数据存储方式多样所导致的管理分散和可维护性差的问题，大大的提高了管理效率，另外，本发明还对水务数据进行了质量整理，能够去除不真实、不完整和不及时的水务数据，提高了水务数据的真实性以及即时性。
(2)本发明将水务数据进行统一化标准和集中管理，且将属于同一数据类型的数据储存在同一数据库中。通过上述设计，能够大大的提高数据查找效率，满足城市水务部门与其它城市管理部门之间数据共享与交换的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于大数据的水务数据信息管理方法的流程示意图。
图2是本发明提供的基于大数据的水务数据信息管理装置的结构示意图。
图3是本发明提供的基于大数据的水务数据的信息管理主设备的结构示意图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
应当理解，在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时，表示不存在中间单元。另外，应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。
应当理解，本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解，若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。
应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清。
实施例一
如图1所示，本实施例所提供的基于大数据的水务数据信息管理方法，可以但不限于包括有如下步骤S101～S103。
S101.在获取到待管理区域的水务数据后，对所述水务数据进行数据质量整理，得到水务整理数据。
步骤S101则是获取待管理区域的水务数据，并进行质量整理的过程。在本实施例中，举例水务数据可以但不限于包括有：待管理区域的供水数据、污水数据、洪涝数据、气象数据、水文数据和水环境监测数据；而待管理区域可以但不限于为：某个城市。
在本实施例中，水务数据的获取可以但不限于包括有：从第三方数据库的导入(例如，某城市的供水局的官网、某城市污水内处理厂官网上的数据、某城市的自动水位监测站等)；通过获取待管理区域内各个地区的水务数据，进行人工导入。
由于水务数据的复杂性，不同渠道获取的水务原始数据往往存在不一致、不完整、不真实和不及时等情况，如果不解决数据质量这个问题，不仅对严重影响水务数据的准确性，还使得水务数据的数据量也会随时间越来越大，大大的增加了水务数据管理的工作量，所以，在本实施例中，需要对获取的水务数据进行质量整理，去除不真实、不完整、不及时的水务数据，保证录入的水务数据的真实性。
在本实施例中，对水务数据进行质量整理可以但不限于包括有步骤S101a～S101b。
S101a.按照预设筛选标准，筛选所述水务数据，得到筛选数据。
步骤S101a则是进行水务数据筛选的过程，即去除水务数据中不真实、不完整和不及时的数据，保证录入的水务数据的真实性和准确性。
在本实施例中，举例预设筛选标准可以但不限于为：水务数据时间筛选，真实性筛选以及完整性筛选。其中，水务数据的时间筛选则是获取的水务数据的时间不能超过预设天数(如水务数据的获取时间只能为离当前0～5天，即获取的水务数据，不能为离当前日期5天以前的水务数据，只要大于5天，就应舍弃)；真实性筛选则是对水务数据的真实性进行筛选，避免数据误报、误填等情况(可采用人工进行核实)；而完整性筛选则是必须要一段连续时间内的水务数据，不能仅仅为一个孤立时刻的数据(如，从3月12日8点到15点的污水排量，这一水务数据就应选取，而仅仅只有3月12日9点1分的污水排量，且无任何其它相邻近时间的污水排量，这一数据就不具有参考性，应舍弃)。当然，具体的标准还可根据实际统计情况而定。
对水务数据进行筛选后，即可进行步骤S101b，进行数据整理。
S101b.按照预设整理标准，整理所述筛选数据，得到所述水务整理数据。
步骤S101b则是对筛选后的水务数据进行整理的过程，整理完成后即可得到水务整理数据。在本实施例中，举例预设整理标准可以但不限于为：按照水务数据的格式类型进行整理。例如，rm、rmvb、mpeg1-4、mov、mtv、dat、wmv、avi 3gp、amv、dmv、fl等代表视频类的数据的整理为一类、doc、docx等代表文档类的数据整理为一类、BMP、JEPG等代表图片类的数据的整理为一类等。通过上述设计，能够更加便捷对水务整理数据进行数据转换。
S102.对所述水务整理数据进行数据转换，得到水务转换数据。
步骤S102则是对水务整理数据进行数据转换的过程，在本实施例中，步骤S102具体包括：
根据数据格式，并按照预设转换规则对所述水务整理数据进行数据转换，其中，所述水务转换数据包括结构化水务数据、半结构化水务数据和非结构化水务数据。
由于在步骤S101b中就将水务数据按文件格式进行了整理，所以，在进行数据转换时，即可根据每个文档的格式，并按照要转换为的数据结构的规则进行转换。在本实施例中，需要将水务整理数据转换为结构化水务数据、半结构化水务数据和非结构化水务数据，所以，预设转换规则则是：结构化数据转换规则、半结构化数据转换规则和非结构化数据转换规则。当然，上述数据类型的转换以及转换规则均是现有技术。
在本实施例中，结构化数据、半结构化数据以及非结构化数据均为现有的数据结构类型。
结构化数据是使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的；半结构化数据是结构化数据的一种形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。因此，它也被称为自描述的结构，常见的半结构数据有XML(eXtensibleMarkupLanguage，可扩展标记语言)和JSON(JavaScript Object Notation,JS对象简谱)；非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括图像、音频和视频信息等等。
在本实施例中，数据转换是一种现有技术，它是将数据从一种格式或结构转换为另一种格式或结构的过程，数据转换对于数据集成和数据管理等活动至关重要，数据转换可以包括一系列活动：如转化数据类型；通过删除空值或重复数据来清理数据；丰富数据或执行聚合。具体技术可参见现有文献，例如：
https://blog.csdn.net/Tybyqi/article/details/84775573
数据转换涉及两个阶段：
第一阶段：(1)执行数据发现，以识别源和数据类型；(2)确定需要发生的结构和数据转换；(3)执行数据映射以定义各个字段的映射，修改、连接、过滤和聚合方式。
第二阶段：(1)从原始源提取数据，源的范围可以变换，包括结构化源(如数据库)或流式源(如连接设备的遥测)或使用Web(WorldWide Web，万维网)应用程序的客户的日志文件；(2)执行转换；
(3)将转换后的数据发送到目标商店，目标商店可以是处理结构化和非结构化的数据库或数据仓库。
通过步骤S102即可实现水务整理数据的数据转换，统一水务数据的数据类型，避免因数据类型多样导致的管理分散的问题，转换完成后，即可进行步骤S103，实现水务转换数据的储存。
S103.分类储存所述水务转换数据，将属于同一数据类型的水务转换数据储存在同一数据库。
在本实施例中，会按照转换后的数据类型进行分类储存，按数据类型分类储存，可将水务数据进行集中、统一储存，提高管理效率，避免传统水务数据管理中因数据类型多样而存在的管理分散的问题。
在本实施例中，由于步骤S102将数据转换为结构化水务数据、半结构化水务数据和非结构化水务数据，所以，在进行储存时，即将所述结构化水务数据储存在关系数据库中(关系数据库是是创建在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据)；将所述半结构化水务数据储存在NoSQL(Not OnlySQL，泛指非关系型的数据库)数据库中，将所述非结构化水务数据储存在海量数据分布式存储库中。在本实施例中，关系数据库、NoSQL数据库和海量数据分布式存储库均为现有数据库。
通过步骤S103，即可实现水务数据的集中存储，便于水务数据的管理与查找。
在本实施例中，还可在数据库中进行数据的查找，即接收到外部的数据查询指令后，在各个数据库中进行数据的查找，输出与数据查询指令对应的水务转换数据，实现水务数据的共享。
由此通过步骤S101～S103所详细描述的基于大数据的水务数据信息管理方法，其统一了存储数据类型，并按照数据类型对水务数据进行分类储存，实现了水务数据的集中和标准化储存。通过上述设计，本发明能够实现城市水务数据的统一、集中和标准化管理，大大的提高了管理效率，同时，本发明还对水务数据进行了质量整理，能够去除不真实、不完整和不及时的水务数据，提高了水务数据的真实性以及即时性，另外，通过将属于同一数据类型的数据储存在同一数据库中，能够大大的提高数据查找效率，满足城市水务部门与其它城市管理部门之间数据共享与交换的需求。
实施例二
如图2所述，本实施例提供了一种实现实施例一所述的基于大数据的水务数据信息管理方法的硬件装置，包括数据获取模块、数据质量管控模块、数据转换模块和数据储存模块。
所述数据获取模块，用于获取待管理区域的水务数据。
所述数据质量管控模块，通信连接所述数据获取模块，用于对所述水务数据进行数据质量整理，得到水务整理数据。
所述数据转换模块，通信连接所述数据质量管控模块，用于对所述水务整理数据进行数据转换，得到水务转换数据。
所述数据储存模块，通信连接所述数据转换模块，用于分类储存所述水务转换数据，将属于同一数据类型的水务转换数据储存在同一数据库。
在本实施例中，数据储存模块包括关系数据库、NoSQL数据库和海量数据分布式存储库。主要通过四个接口与数据转换模块，分别是：JDBC(Java DataBase Connecticity，Java数据库连接)、ODBC(Open DataBase Connecticity,开放库连接)等SQL(StructuredQuery Language，结构化查询)标准接口；NOSQL接口；块数据存取接口；文件存取标准接口，如NFS((Network File System)，网络文件系统)、POSIX(Portable Operating SystemInterface of UNIX，可移植操作系统接口)等。
在本实施例中，还设置有数据查找模块，其中，所述数据查找模块通信连接所述数据储存模块，用于在收到数据查询指令后，输出与数据查询指令对应的水务转换数据。
在本实施例中，数据查找模块是基于机器学习、深度学习等分析挖掘算法，结合大数据计算能力，构建分布式机器的学习查找库，该学习查找库包括了学习算法和工具类，包括分类、聚类、协同过滤等算法及调优能力。分布式则是将以前单机运行的机器算法，转化为MapReduce(一种编程模型)模式，将单线算法变成多线并行运算，极大的提升算法可处理的数据量和处理的性能。从而帮助管理人员更加快捷方便地创建智能应用程序，并且可以对这些算法进行扩展，满足复杂业务的数据分析需求。
本实施例提供的硬件装置的工作过程、工作细节和技术效果，可以参见实施例一，于此不再赘述。
实施例三
如图3所示，本实施例提供了一种执行实施例一中所述的基于大数据的水务数据信息管理方法的主设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例一所述的基于大数据的水务数据信息管理方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器(RAM)、只读存储器(ROM)、闪存(Flash Memory)、先进先出存储器(FIFO)和/或先进后出存储器(FILO)等等；所述处理器可以不限于采用型号为STM32F105系列的微处理器；所述收发器可以但不限于为WiFi(无线保真)无线收发器、蓝牙无线收发器、GPRS(GeneralPacket Radio Service，通用分组无线服务技术)无线收发器和/或ZigBee(紫蜂协议，基于IEEE802.15.4标准的低功耗局域网协议)无线收发器等。此外，所述主设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的主设备的工作过程、工作细节和技术效果，可以参见实施例一，于此不再赘述。
实施例四
本实施例提供了一种存储包含有实施例一所述的基于大数据的水务数据信息管理方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如实施例一所述的基于大数据的水务数据信息管理方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的计算机可读存储介质的工作过程、工作细节和技术效果，可以参见实施例一，于此不再赘述。
实施例五
本实施例提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例一所述的基于大数据的水务数据信息管理方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
以上所描述的多个实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备执行各个实施例或者实施例的某些部分所述的方法。
本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。
Claims (10)
1.一种基于大数据的水务数据信息管理方法，其特征在于，包括：
在获取到待管理区域的水务数据后，对所述水务数据进行数据质量整理，得到水务整理数据；
对所述水务整理数据进行数据转换，得到水务转换数据；
分类储存所述水务转换数据，将属于同一数据类型的水务转换数据储存在同一数据库。
2.如权利要求1所述的一种基于大数据的水务数据信息管理方法，其特征在于，对所述水务数据进行数据质量整理包括：
按照预设筛选标准，筛选所述水务数据，得到筛选数据；
按照预设整理标准，整理所述筛选数据，得到所述水务整理数据。
3.如权利要求1所述的一张基于大数据的水务数据信息管理方法，其特征在于，对所述水务整理数据进行数据转换，包括：
根据数据格式，并按照预设转换规则对所述水务整理数据进行数据转换，得到所述水务转换数据，其中，所述水务转换数据包括结构化水务数据、半结构化水务数据和非结构化水务数据。
4.如权利要求3所述的一种基于大数据的水务数据信息管理方法，其特征在于，分类储存所述水务转换数据，包括：
将所述结构化水务数据储存在关系数据库中，将所述半结构化水务数据储存在NoSQL数据库中，将所述非结构化水务数据储存在海量数据分布式存储库中。
5.如权利要求1所述的一种基于大数据的水务数据信息管理方法，其特征在于，在分类储存所述水务转换数据后，还包括：
在接收到数据查询指令后，输出与数据查询指令对应的水务转换数据。
6.如权利要求1所述的一种基于大数据的水务数据信息管理方法，其特征在于：所述水务数据包括待管理区域的供水数据、污水数据、洪涝数据、气象数据和水文数据。
7.一种基于大数据的水务数据信息管理装置，其特征在于：包括数据获取模块、数据质量管控模块、数据转换模块和数据储存模块；
所述数据获取模块，用于获取待管理区域的水务数据；
所述数据质量管控模块，通信连接所述数据获取模块，用于对所述水务数据进行数据质量整理，得到水务整理数据；
所述数据转换模块，通信连接所述数据质量管控模块，用于对所述水务整理数据进行数据转换，得到水务转换数据；
所述数据储存模块，通信连接所述数据转换模块，用于分类储存所述水务转换数据，将属于同一数据类型的水务转换数据储存在同一数据库。
8.如权利要求7所述的一种基于大数据的水务数据信息管理装置，其特征在于：还包括数据查找模块，其中，所述数据查找模块通信连接所述数据储存模块，用于在收到数据查询指令后，输出与数据查询指令对应的水务转换数据。
9.一种基于大数据的水务数据信息管理主设备，其特征在于：包括依次相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～6任意一项所述的基于大数据的水务数据信息管理方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～6任意一项所述的基于大数据的水务数据信息管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010324974.0A CN111552683A (zh) | 2020-04-23 | 2020-04-23 | 一种基于大数据的水务数据信息管理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010324974.0A CN111552683A (zh) | 2020-04-23 | 2020-04-23 | 一种基于大数据的水务数据信息管理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111552683A true CN111552683A (zh) | 2020-08-18 |
Family
ID=71998470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010324974.0A Pending CN111552683A (zh) | 2020-04-23 | 2020-04-23 | 一种基于大数据的水务数据信息管理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111552683A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630091A (zh) * | 2023-07-20 | 2023-08-22 | 赛维斯智慧环境科技(山东)有限公司 | 一种工业实时数据联动解析系统 |
| CN117911194A (zh) * | 2024-02-21 | 2024-04-19 | 山西凌晖科技有限公司 | 一种基于大数据的智慧水务管理方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090327230A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Structured and unstructured data models |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN105868373A (zh) * | 2016-03-31 | 2016-08-17 | 国网江西省电力公司信息通信分公司 | 电力业务信息系统关键数据处理方法及装置 |
| CN106097161A (zh) * | 2016-08-15 | 2016-11-09 | 成都九鼎瑞信科技股份有限公司 | 水务管理系统及其数据处理方法 |
| CN106296458A (zh) * | 2016-08-15 | 2017-01-04 | 成都九鼎瑞信科技股份有限公司 | 水务数据处理方法、装置及水务数据采集系统 |
| CN108460093A (zh) * | 2018-01-30 | 2018-08-28 | 青岛中兴智能交通有限公司 | 一种公安系统的数据处理方法和装置 |
| CN109213756A (zh) * | 2018-10-22 | 2019-01-15 | 北京锐安科技有限公司 | 数据存储、检索方法、装置、服务器和存储介质 |
| CN109495492A (zh) * | 2018-12-05 | 2019-03-19 | 四川奥地建筑设计有限公司 | 用于智能水务行业的通信系统 |
| CN109669933A (zh) * | 2018-12-10 | 2019-04-23 | 平安科技（深圳）有限公司 | 交易数据智能处理方法、装置及计算机可读存储介质 |
| CN109766378A (zh) * | 2018-12-26 | 2019-05-17 | 吕杨 | 一种多源异构水利水文数据共享系统 |
| CN110399380A (zh) * | 2019-06-17 | 2019-11-01 | 中国平安人寿保险股份有限公司 | 一种数据处理方法、电子装置及存储介质 |
| CN110727663A (zh) * | 2019-09-09 | 2020-01-24 | 光通天下网络科技股份有限公司 | 数据清洗方法、装置、设备及介质 |
-
2020
- 2020-04-23 CN CN202010324974.0A patent/CN111552683A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090327230A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Structured and unstructured data models |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN105868373A (zh) * | 2016-03-31 | 2016-08-17 | 国网江西省电力公司信息通信分公司 | 电力业务信息系统关键数据处理方法及装置 |
| CN106097161A (zh) * | 2016-08-15 | 2016-11-09 | 成都九鼎瑞信科技股份有限公司 | 水务管理系统及其数据处理方法 |
| CN106296458A (zh) * | 2016-08-15 | 2017-01-04 | 成都九鼎瑞信科技股份有限公司 | 水务数据处理方法、装置及水务数据采集系统 |
| CN108460093A (zh) * | 2018-01-30 | 2018-08-28 | 青岛中兴智能交通有限公司 | 一种公安系统的数据处理方法和装置 |
| CN109213756A (zh) * | 2018-10-22 | 2019-01-15 | 北京锐安科技有限公司 | 数据存储、检索方法、装置、服务器和存储介质 |
| CN109495492A (zh) * | 2018-12-05 | 2019-03-19 | 四川奥地建筑设计有限公司 | 用于智能水务行业的通信系统 |
| CN109669933A (zh) * | 2018-12-10 | 2019-04-23 | 平安科技（深圳）有限公司 | 交易数据智能处理方法、装置及计算机可读存储介质 |
| CN109766378A (zh) * | 2018-12-26 | 2019-05-17 | 吕杨 | 一种多源异构水利水文数据共享系统 |
| CN110399380A (zh) * | 2019-06-17 | 2019-11-01 | 中国平安人寿保险股份有限公司 | 一种数据处理方法、电子装置及存储介质 |
| CN110727663A (zh) * | 2019-09-09 | 2020-01-24 | 光通天下网络科技股份有限公司 | 数据清洗方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 唐勇等: "《图书馆大数据视角下的学科前沿分析》", 海洋出版社, pages: 209 - 210 * |
| 李静芳;黄士力;洪敏慎;: "水务数据云平台框架设计综述", vol. 35, no. 01, pages 61 - 64 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630091A (zh) * | 2023-07-20 | 2023-08-22 | 赛维斯智慧环境科技(山东)有限公司 | 一种工业实时数据联动解析系统 |
| CN116630091B (zh) * | 2023-07-20 | 2023-10-13 | 赛维斯智慧环境科技(山东)有限公司 | 一种工业实时数据联动解析系统 |
| CN117911194A (zh) * | 2024-02-21 | 2024-04-19 | 山西凌晖科技有限公司 | 一种基于大数据的智慧水务管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339071B (zh) | 一种多源异构数据的处理方法及装置 | |
| CN104767813B (zh) | 基于openstack的公众行大数据服务平台 | |
| CN108446293A (zh) | 一种基于城市多源异构数据构建城市画像的方法 | |
| CN107291807B (zh) | 一种基于图遍历的sparql查询优化方法 | |
| WO2022143045A1 (zh) | 数据血缘关系的确定方法及装置、存储介质、电子装置 | |
| CN105138661A (zh) | 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法 | |
| CN104111996A (zh) | 基于hadoop平台的医保门诊大数据抽取系统及方法 | |
| Mohammed et al. | A review of big data environment and its related technologies | |
| CN101566981A (zh) | 分析处理系统中建立动态虚拟数据仓库的方法 | |
| US20150213035A1 (en) | Search Engine System and Method for a Utility Interface Platform | |
| CN107247799A (zh) | 兼容多种大数据存储的数据处理方法、系统及其建模方法 | |
| CN102902813A (zh) | 日志收集系统 | |
| CN111627552A (zh) | 一种医疗流式数据血缘关系分析、存储方法及装置 | |
| Ding et al. | SeaCloudDM: a database cluster framework for managing and querying massive heterogeneous sensor sampling data | |
| CN116450620B (zh) | 面向多源多域时空基准数据的数据库设计方法及系统 | |
| CN115238015A (zh) | 一种基于微服务的时空大数据平台 | |
| CN108268569A (zh) | 基于大数据技术的水资源监测数据采集与分析系统及方法 | |
| CN115934856A (zh) | 一种构造综合能源数据资产的方法和系统 | |
| Chen et al. | Metadata-based information resource integration for research management | |
| CN114254033A (zh) | 一种基于bs架构的数据处理方法及系统 | |
| Santipantakis et al. | RDF-Gen: generating RDF triples from big data sources | |
| CN111552683A (zh) | 一种基于大数据的水务数据信息管理方法及装置 | |
| CN114596046A (zh) | 一种基于业务中台及数据中台的统一数字模型的集成平台 | |
| CN112328667B (zh) | 一种基于数据血缘的页岩气田地面工程数字化移交方法 | |
| CN117371945A (zh) | 一种环境产业的一站式大数据管理服务平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200818 |