CN113159731A - 污染源自动监控数据智能分析系统及方法 - Google Patents

污染源自动监控数据智能分析系统及方法 Download PDF

Info

Publication number
CN113159731A
CN113159731A CN202110515473.5A CN202110515473A CN113159731A CN 113159731 A CN113159731 A CN 113159731A CN 202110515473 A CN202110515473 A CN 202110515473A CN 113159731 A CN113159731 A CN 113159731A
Authority
CN
China
Prior art keywords
data
monitoring data
environment monitoring
file system
quality analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110515473.5A
Other languages
English (en)
Inventor
郭新望
杨先锋
汪太鹏
刘璐
赵凌飞
赵宇航
刘莹
陈轲
杜旭杰
李彩霞
刘志敏
王凯
王彦汝
郭坤
王相勇
张凯杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Environmental Monitoring Center Henan Environmental Information Center
Henan Snow City Soft Co ltd
Original Assignee
Henan Environmental Monitoring Center Henan Environmental Information Center
Henan Snow City Soft Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Environmental Monitoring Center Henan Environmental Information Center, Henan Snow City Soft Co ltd filed Critical Henan Environmental Monitoring Center Henan Environmental Information Center
Priority to CN202110515473.5A priority Critical patent/CN113159731A/zh
Publication of CN113159731A publication Critical patent/CN113159731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services

Abstract

本发明提供了一种污染源自动监控数据智能分析系统及方法,其中,污染源自动监控数据智能分析系统包括:物联网监测数据库、HDFS文件系统、基于Python技术构建的数据质量分析服务平台、数据质量分析服务数据库;其中,所述物联网监测数据库存储来自安装在污染源周围的各个物联网设备的环境监控数据,所述HDFS文件系统存储定时从所述物联网监测数据库中拉取出的数据,所述数据质量分析服务平台读取所述HDFS文件系统存储的所有数据,并对读取到的所有数据进行分析,以得到分析结果,所述数据质量分析服务数据库对所述分析结果进行存储。通过本发明的技术方案,依托于Python技术构建的数据质量分析服务平台,可大大降低整个系统的构架条件,降低门槛,普适性好。

Description

污染源自动监控数据智能分析系统及方法
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种污染源自动监控数据智能分析系统和一种污染源自动监控数据智能分析方法。
背景技术
数据的质量直接影响着数据的价值,并且直接影响着数据分析的结果以及以此做出的决策的质量。尤其是环境监测领域,监测数据的数据质量是环境管理部门行动决策的先决条件,可信化程度高的数据才是环保部门科学化监测监管的关键。数据质量可从准确性、真实性、完整性、全面性、及时性、即时性、精确性和关联性八个维度衡量,在环境监测业务场景中对及时性和即时性要求不高,但对于其他几个维度的分析评价,传统的基于传统数据库OLTP和OLAP的手段无论从性能还是灵活性已经无法满足要求,应用如今前沿的大数据技术,机器学习才是最佳的选择。然而大数据技术要想在现实业务中落地实施,真正发挥作用,一直存在着困难:学习曲线陡、技术难度高、硬件要求高、建设周期长、研发成本高,结果是只有在大企业和大项目中才去使用,条件相对苛刻,普适性差,无法满足大众需求。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明旨在解决现有的数据质量评价架构条件苛刻、普适性差的问题。
为了解决上述技术问题,本发明的第一方面提出了一种污染源自动监控数据智能分析系统,包括:物联网监测数据库、HDFS文件系统、基于Python技术构建的数据质量分析服务平台、数据质量分析服务数据库;其中,所述物联网监测数据库存储来自安装在污染源周围的各个物联网设备的环境监控数据,所述HDFS文件系统存储定时从所述物联网监测数据库中拉取出的数据,所述数据质量分析服务平台读取所述HDFS文件系统存储的所有数据,并对读取到的所有数据进行分析,以得到分析结果,所述数据质量分析服务数据库对所述分析结果进行存储。
在上述技术方案中,优选地,所述HDFS文件系统存储的所有数据包括历史环境监控数据、最近环境监控数据以及最新环境监控数据,所述数据质量分析服务平台在启动数据质量分析服务时,全部读取所述HDFS文件系统中的历史环境监控数据,并在进行数据分析时动态加载所述HDFS文件系统中的最近环境监控数据以及最新环境监控数据。
在上述任一项技术方案中,优选地,所述数据质量分析服务平台包括数据查询模块、统计分析模块、机器学习模块、数据报告模块、事件人工标注模块、事件时间轴模块、可视化指标模块、数据质量打分模块以及数据质量报告模块。
在上述任一项技术方案中,优选地,还包括:事件订阅服务模块,连接至所述数据质量分析服务平台,基于事件订阅服务实现异步任务的处理。
为解决上述技术问题,本发明的第二方面提出了一种污染源自动监控数据智能分析方法,适用于上述技术方案中所述的智能分析系统的分析方法,包括:基于批处理任务定时从物联网监测数据库中拉取历史环境监控数据,并存储至HDFS文件系统;在检测到数据质量分析服务启动时,将所述HDFS文件系统中的历史环境监控数据全部读取到数据质量分析服务平台中;在基于所述数据质量分析服务平台进行数据分析时,基于服务需求动态加载最近环境监控数据以及最新环境监控数据,并基于Python技术对所述历史环境监控数据、最近环境监控数据和最新环境监控数据进行数据质量分析;将数据质量分析结果存储至数据质量分析服务数据库中。
在上述技术方案中,优选地,所述存储至HDFS文件系统的步骤,具体包括:将所述历史环境监控数据按照日期进行分切,并导出至所述HDFS文件系统。
在上述任一项技术方案中,优选地,所述基于服务需求动态加载最近环境监控数据以及最新环境监控数据的步骤,具体包括:基于批任务处理定时从所述物联网监测数据库中抓取最近时间段内所存储的环境监控数据,以将其作为所述最近环境监控数据,并将所述最近环境监控数据按照日期进行分切导出至所述HDFS文件系统;基于批任务处理定时从所述物联网监测数据库中抓取最新环境监控数据,并导出至所述HDFS文件系统;动态读取所述HDFS文件系统中的最近环境监控数据和最新环境监控数据至所述数据质量分析服务平台。
在上述任一项技术方案中,优选地,还包括:展示包含有多个日期选项的最近时段选择界面;基于在所述最近时段选择界面上对日期的选择操作,确定所述最近时间段。
在上述任一项技术方案中,优选地,还包括:基于物联网设备的标识信息以及监测时间戳,对所述数据质量分析服务平台读取到的数据构建索引。
通过上述技术方案,系统集成有物联网监测数据库、HDFS文件系统、数据质量分析服务平台、数据质量分析服务数据库,其中数据质量分析服务平台是基于Python技术构建,Python技术包括Python语言及其第三方库,Python语言具有简洁性、易读性以及可扩展性的特点,且具有非常丰富的第三方库,依托于成熟的Python技术构建的数据质量分析服务平台,可大大降低整个系统的构架条件,降低门槛,普适性好,在进行数据分析时首先大量加载历史数据,利用大数据进行分析,确保分析结果的准确性,并根据需求动态加载最近数据以及最新数据,实现内存数据的增量更新,增加了整个系统的灵活性,另外在抓取最近数据时可结合实际需求自行选择日期作为最近时间段,此外还为相关数据构建索引以加快查询速度,整个系统在实际应用中至少可满足小时频率的省级的环境监测物联网的数据规模。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚,下面将参照附图详细描述本发明的具体实施例。但需声明的是,下面描述的附图仅仅是本发明本发明示例性实施例的附图,对于本领域的技术人员来讲,在不付出创造性劳动的前提下,可以根据这些附图获得其他实施例的附图。
图1示出了根据本发明的实施例的污染源自动监控数据智能分析系统的示意框图;
图2示出了根据本发明的实施例的污染源自动监控数据智能分析方法的示意流程图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而,示例性实施例能够以多种形式实施,且不应被理解为本发明仅限于在此阐述的实施例。相反,提供这些示例性实施例能够使得本发明更加全面和完整,更加便于将发明构思全面地传达给本领域的技术人员。
以下结合图1和图2对本发明的技术方案做进一步说明:
如图1所示,污染源自动监控数据智能分析系统包括:物联网监测数据库101、HDFS文件系统102、基于Python技术构建的数据质量分析服务平台103、数据质量分析服务数据库104以及事件订阅服务模块105。其中,数据质量分析服务平台103包括数据查询模块、统计分析模块、机器学习模块、数据报告模块、事件人工标注模块、事件时间轴模块、可视化指标模块、数据质量打分模块以及数据质量报告模块。
数据质量分析服务平台是基于Python技术构建,Python技术包括Python语言及其第三方库,Python语言具有简洁性、易读性以及可扩展性的特点,且具有非常丰富的第三方库,丰富的第三方库在平台的数据分析、机器学习、可视化、以及分析平台Web后台服务、数据库、平台事件第三方订阅等各模块扮演了重要作用,如Numpy-开发数据质量指标算法、Pandas-数据的清洗,格式转换,建立查询索引、Statsmodels-时间序列分析、Matplotlib-制作简单统计图表(折线图,散点图)、Seaborn-制作高级统计图表(核密度图,箱位图)、Bokeh-制作可在浏览器中交互的图表、Peewee-平台数据库的增删改查、Cx_Oracle-连接物联网监测数据库获取数据、Schedule-定时任务的管理、Sklearn-机器学习、Tornado-平台后台网站的搭建、Swagger-接口文档的创建、Quart-订阅分析结果事件触发自定义事件。
本实施例中,污染源周围安装多个物联网设备,各个物联网设备将监测到的环境监控数据上传至物联网监测数据库,批处理任务定时从物联网监测数据库拉取数据到日期命名的存储效率高读取速度快的HDFS文件系统,数据质量分析服务启动时将历史数据文件全部读取到内存中,同时根据物联网设备编号和监测时间戳建立索引以加快查询速度,在物联网设备向数据库中存储新数据,批处理任务拉取最新数据到分析服务平台的内存,实现内存数据增量更新,平台中的数据查询,统计分析,机器学习等基于全局数据快速计算,人工标注、事件时间轴、数据质量报告、数据质量打分的数据存储在平台数据库,另外还增加事件订阅服务来实现异步任务的处理。其中,数据质量分析服务平台为了对上亿规模数据实现快速查询、统计分析及指标算法,用到了下面几种数据存储格式:Parquet-面向分析型业务的列式存储格式,把IO只给查询需要用到的数据,只加载需要被计算的列,列式的压缩效果更好、节省空间;Pickle-Python标准库pickle,可以支持二进制格式的文件读写、且高效方便;Hdfs-Hadoop分布式文件系统,大数据中最常用的文件格式。另外可同时支持PostgreSQL、MySQL以及SQLite三种数据库。
以下结合图2对系统中各个部分之间的交互过程进行说明:
S202,基于批处理任务定时从物联网监测数据库中拉取历史环境监控数据,并存储至HDFS文件系统。具体地,可将历史环境监控数据按照日期进行分切,并导出至HDFS文件系统。
S204,在检测到数据质量分析服务启动时,将HDFS文件系统中的历史环境监控数据全部读取到数据质量分析服务平台中。
S206,在基于数据质量分析服务平台进行数据分析时,基于服务需求动态加载最近环境监控数据以及最新环境监控数据,并基于Python技术对历史环境监控数据、最近环境监控数据和最新环境监控数据进行数据质量分析。具体地,基于批任务处理定时从物联网监测数据库中抓取最近时间段内所存储的环境监控数据,以将其作为最近环境监控数据,并将最近环境监控数据按照日期进行分切导出至HDFS文件系统,基于批任务处理定时从物联网监测数据库中抓取最新环境监控数据,并导出至HDFS文件系统,动态读取HDFS文件系统中的最近环境监控数据和最新环境监控数据至数据质量分析服务平台。
S208,将数据质量分析结果存储至数据质量分析服务数据库中。
进一步地,还包括:展示包含有多个日期选项的最近时段选择界面;基于在最近时段选择界面上对日期的选择操作,确定最近时间段。
进一步地,还包括:基于物联网设备的标识信息以及监测时间戳,对数据质量分析服务平台读取到的数据构建索引。
整体系统集成有物联网监测数据库、HDFS文件系统、数据质量分析服务平台、数据质量分析服务数据库,依托于成熟的Python技术构建的数据质量分析服务平台,可大大降低整个系统的构架条件,降低门槛,普适性好,在进行数据分析时首先大量加载历史数据,利用大数据进行分析,确保分析结果的准确性,并根据需求动态加载最近数据以及最新数据,实现内存数据的增量更新,增加了整个系统的灵活性,另外在抓取最近数据时可结合实际需求自行选择日期作为最近时间段,此外还为相关数据构建索引以加快查询速度,在实际应用中至少可满足小时频率的省级的环境监测物联网的数据规模,整个系统通过对数据质量进行合理评价和分析,以便后续结合数据治理来推动环境大数据的建设,最后发掘环境大数据中蕴含的信息和知识,为智慧环保愿景增添新动力。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,本发明不与任何特定计算机、虚拟装置或者电子设备固有相关,各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种污染源自动监控数据智能分析系统,其特征在于,包括:
物联网监测数据库、HDFS文件系统、基于Python技术构建的数据质量分析服务平台、数据质量分析服务数据库;
其中,所述物联网监测数据库存储来自安装在污染源周围的各个物联网设备的环境监控数据,所述HDFS文件系统存储定时从所述物联网监测数据库中拉取出的数据,所述数据质量分析服务平台读取所述HDFS文件系统存储的所有数据,并对读取到的所有数据进行分析,以得到分析结果,所述数据质量分析服务数据库对所述分析结果进行存储。
2.根据权利要求1所述的污染源自动监控数据智能分析系统,其特征在于,所述HDFS文件系统存储的所有数据包括历史环境监控数据、最近环境监控数据以及最新环境监控数据,所述数据质量分析服务平台在启动数据质量分析服务时,全部读取所述HDFS文件系统中的历史环境监控数据,并在进行数据分析时动态加载所述HDFS文件系统中的最近环境监控数据以及最新环境监控数据。
3.根据权利要求1所述的污染源自动监控数据智能分析系统,其特征在于,所述数据质量分析服务平台包括数据查询模块、统计分析模块、机器学习模块、数据报告模块、事件人工标注模块、事件时间轴模块、可视化指标模块、数据质量打分模块以及数据质量报告模块。
4.根据权利要求1至3中任一项所述的污染源自动监控数据智能分析系统,其特征在于,还包括:
事件订阅服务模块,连接至所述数据质量分析服务平台,基于事件订阅服务实现异步任务的处理。
5.一种污染源自动监控数据智能分析方法,适用于权利要求1至4中任一项所述的智能分析系统的分析方法,其特征在于,包括:
基于批处理任务定时从物联网监测数据库中拉取历史环境监控数据,并存储至HDFS文件系统;
在检测到数据质量分析服务启动时,将所述HDFS文件系统中的历史环境监控数据全部读取到数据质量分析服务平台中;
在基于所述数据质量分析服务平台进行数据分析时,基于服务需求动态加载最近环境监控数据以及最新环境监控数据,并基于Python技术对所述历史环境监控数据、最近环境监控数据和最新环境监控数据进行数据质量分析;
将数据质量分析结果存储至数据质量分析服务数据库中。
6.根据权利要求5所述的污染源自动监控数据智能分析方法,其特征在于,所述存储至HDFS文件系统的步骤,具体包括:
将所述历史环境监控数据按照日期进行分切,并导出至所述HDFS文件系统。
7.根据权利要求6所述的污染源自动监控数据智能分析方法,其特征在于,所述基于服务需求动态加载最近环境监控数据以及最新环境监控数据的步骤,具体包括:
基于批任务处理定时从所述物联网监测数据库中抓取最近时间段内所存储的环境监控数据,以将其作为所述最近环境监控数据,并将所述最近环境监控数据按照日期进行分切导出至所述HDFS文件系统;
基于批任务处理定时从所述物联网监测数据库中抓取最新环境监控数据,并导出至所述HDFS文件系统;
动态读取所述HDFS文件系统中的最近环境监控数据和最新环境监控数据至所述数据质量分析服务平台。
8.根据权利要求7所述的污染源自动监控数据智能分析方法,其特征在于,还包括:
展示包含有多个日期选项的最近时段选择界面;
基于在所述最近时段选择界面上对日期的选择操作,确定所述最近时间段。
9.根据权利要求5至8中任一项所述的污染源自动监控数据智能分析方法,其特征在于,还包括:
基于物联网设备的标识信息以及监测时间戳,对所述数据质量分析服务平台读取到的数据构建索引。
CN202110515473.5A 2021-05-12 2021-05-12 污染源自动监控数据智能分析系统及方法 Pending CN113159731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110515473.5A CN113159731A (zh) 2021-05-12 2021-05-12 污染源自动监控数据智能分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110515473.5A CN113159731A (zh) 2021-05-12 2021-05-12 污染源自动监控数据智能分析系统及方法

Publications (1)

Publication Number Publication Date
CN113159731A true CN113159731A (zh) 2021-07-23

Family

ID=76874667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110515473.5A Pending CN113159731A (zh) 2021-05-12 2021-05-12 污染源自动监控数据智能分析系统及方法

Country Status (1)

Country Link
CN (1) CN113159731A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281130A (zh) * 2014-09-22 2015-01-14 国家电网公司 一种基于大数据技术的水电设备监测和故障诊断系统
CN104615526A (zh) * 2014-12-05 2015-05-13 北京航空航天大学 一种大数据平台的监控系统
CN104820670A (zh) * 2015-03-13 2015-08-05 国家电网公司 一种电力信息大数据的采集和存储方法
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
US20170102693A1 (en) * 2013-03-04 2017-04-13 Fisher-Rosemount Systems, Inc. Data analytic services for distributed industrial performance monitoring
CN106950938A (zh) * 2017-05-10 2017-07-14 安徽建筑大学 市政给水管线的智能控制器及市政给水管线运行监控系统
CN109376210A (zh) * 2018-10-24 2019-02-22 海口金政信息科技有限公司 一种智能污染源动态管理系统及方法
CN109542914A (zh) * 2018-12-29 2019-03-29 北京工业大学 空气质量监测系统的大数据分析与处理平台
WO2019062343A1 (zh) * 2017-09-30 2019-04-04 同方威视技术股份有限公司 环境辐射监测站系统
CN112507003A (zh) * 2021-02-03 2021-03-16 江苏海平面数据科技有限公司 一种基于大数据架构的车联网数据分析平台
CN112651553A (zh) * 2020-12-24 2021-04-13 航天科工网络信息发展有限公司 一种城市大气污染预警监管和决策分析的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170102693A1 (en) * 2013-03-04 2017-04-13 Fisher-Rosemount Systems, Inc. Data analytic services for distributed industrial performance monitoring
CN104281130A (zh) * 2014-09-22 2015-01-14 国家电网公司 一种基于大数据技术的水电设备监测和故障诊断系统
CN104615526A (zh) * 2014-12-05 2015-05-13 北京航空航天大学 一种大数据平台的监控系统
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
CN104820670A (zh) * 2015-03-13 2015-08-05 国家电网公司 一种电力信息大数据的采集和存储方法
CN106950938A (zh) * 2017-05-10 2017-07-14 安徽建筑大学 市政给水管线的智能控制器及市政给水管线运行监控系统
WO2019062343A1 (zh) * 2017-09-30 2019-04-04 同方威视技术股份有限公司 环境辐射监测站系统
CN109376210A (zh) * 2018-10-24 2019-02-22 海口金政信息科技有限公司 一种智能污染源动态管理系统及方法
CN109542914A (zh) * 2018-12-29 2019-03-29 北京工业大学 空气质量监测系统的大数据分析与处理平台
CN112651553A (zh) * 2020-12-24 2021-04-13 航天科工网络信息发展有限公司 一种城市大气污染预警监管和决策分析的方法
CN112507003A (zh) * 2021-02-03 2021-03-16 江苏海平面数据科技有限公司 一种基于大数据架构的车联网数据分析平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冼国华: "基于物联网技术的污染源在线监控平台设计与分析", 《广东化工》 *
徐赛华: "污染源在线监测监控系统的设计与实现", 《绵阳师范学院学报》 *
罗庆俊等: "基于物联网的环境监测综合管理平台设计", 《四川环境》 *

Similar Documents

Publication Publication Date Title
CN109684352B (zh) 数据分析系统、方法、存储介质及电子设备
CN104820670B (zh) 一种电力信息大数据的采集和存储方法
CN107016501A (zh) 一种高效的工业大数据多维分析方法
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN112181960B (zh) 一种基于AIOps的智能运维框架系统
CN112183379A (zh) 一种面向报表的多维度管理分析方法及系统
Xia et al. A MapReduce-based parallel frequent pattern growth algorithm for spatiotemporal association analysis of mobile trajectory big data
CN112527886A (zh) 一种基于城市大脑的数据仓库系统
Kalavri et al. Block sampling: Efficient accurate online aggregation in mapreduce
CN112817958A (zh) 电力规划数据采集方法、装置及智能终端
CN115344207A (zh) 数据处理方法、装置、电子设备及存储介质
CN113159731A (zh) 污染源自动监控数据智能分析系统及方法
CN111414355A (zh) 一种海上风电场数据监测存储系统及方法、装置
CN107766452B (zh) 一种适合电力调度数据高速存取的索引系统及其索引方法
CN103809915A (zh) 一种磁盘文件的读写方法和装置
CN114049036A (zh) 数据计算平台、方法、设备及存储介质
CN115391361A (zh) 一种基于分布式数据库的实时数据处理方法及其装置
CN111581254A (zh) 基于互联网金融数据的etl方法及系统
Wang Applied research on agricultural big data
Zhang et al. Research and optimization of meteorological big data storage technology
Pan et al. Multi-dimensional Index Construction of Electric Power Multi-source Measurement Data considering Spatio-temporal Correlation
CN116577845B (zh) 一种数值天气预报程序的交互式试验管理系统
CN116610730B (zh) 基于知识图谱的时空大数据深度分析方法及系统
Wang et al. An approach to smart grid online data mining based on cloud computing
Wu et al. Scene-Based Data Management Method for Power System Using Snapshot Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723