CN103488792A - 云计算的pm2.5监测、存储、处理的方法 - Google Patents

云计算的pm2.5监测、存储、处理的方法 Download PDF

Info

Publication number
CN103488792A
CN103488792A CN201310467825.XA CN201310467825A CN103488792A CN 103488792 A CN103488792 A CN 103488792A CN 201310467825 A CN201310467825 A CN 201310467825A CN 103488792 A CN103488792 A CN 103488792A
Authority
CN
China
Prior art keywords
data
monitoring
cloud computing
platform
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310467825.XA
Other languages
English (en)
Inventor
张真
赵洪涛
吴修文
宋文艳
张乃甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd
Original Assignee
NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd filed Critical NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd
Priority to CN201310467825.XA priority Critical patent/CN103488792A/zh
Publication of CN103488792A publication Critical patent/CN103488792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种云计算的PM2.5监测、存储、处理的方法，包括云计算平台和一个以上的PM2.5监测点；所述云计算平台包括实时数据入库单元、PM2.5监测平台数据存储中心以及管理单元；本发明的优点是：实时性高、可靠性高、可伸缩性强、扩容性高、性价比高且全业务支持。

Description

云计算的PM2.5监测、存储、处理的方法
技术领域
本发明涉及云计算技术领域，具体涉及一种对环境监测数据PM2.5客户端并行处理大数据的云计算的PM2.5监测、存储、处理的方法。
背景技术
由于分散在城市周围需要大量的PM2.5监控点（1000--10000个）需要实时的并发上传大量PM2.5数据，以及需要存储和处理海量的PM2.5的历史数据，采用传统的结局方案显然难以满足数据存储需求和分析处理数据的需要。
发明内容
本发明要解决的技术问题是现有的数据处理系统难以满足大量的PM2.5监控点数据存储需求和分析处理数据的需要。
本发明采用的技术方案是：云计算的PM2.5监测、存储、处理的方法，包括云计算平台和一个以上的PM2.5监测点；所述云计算平台包括实时数据入库单元、PM2.5监测平台数据存储中心以及管理单元；所述PM2.5监测点的输出端均连接实时数据入库单元的输入端；所述实时数据入库单元的输出端连接PM2.5监测平台数据存储中心的输入端，用于将所有PM2.5监测点产生的数据实时存到PM2.5监测平台数据存储中心；所述管理单元和PM2.5监测平台数据存储中心之间为交互式连接；所述监测平台数据存储单元包括数据立方分布式文件子系统和关系型数据库；关系型数据库用于存放用户等数据量比较小的表数据立方分布式文件子系统用于存储海量的原始数据；所述索引采用数据立方存储索引结构，将任意不同的关键字字段分别建立索引。
通过采用数据立方和传统关系型数据库，来解决海量PM2.5监控点实时并发上传的大量PM2.5数据的处理与存储，从而和宏观上反映城市的整体的空气质量的监测站点的监测方式形成互补；在不停机的情况下，增加PM2.5监控点，平台的处理能力自动增加；减少PM2.5监控点，平台的处理能力自动缩减，实现了PM2.5监控点与云计算平台的无缝对接，云计算平台根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。 
为进一步减少成本，采用X86架构计算机构建云计算平台。用软件容错替代硬件容错，可大大节省成本，在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。
本发明的优点是：实时性高、可靠性高、可伸缩性强、扩容性高、性价比高且全业务支持。
附图说明
图1是本发明结构以意图。
具体实施方式
本发明包括云计算平台和一个以上的PM2.5监测点，云计算平台采用X86架构计算机构建；
所述云计算平台包括实时数据入库单元、PM2.5监测平台数据存储中心以及管理单元；
所述PM2.5监测点的输出端均连接实时数据入库单元的输入端；
所述实时数据入库单元的输出端连接PM2.5监测平台数据存储中心的输入端，用于将所有PM2.5监测点产生的数据实时存到PM2.5监测平台数据存储中心；
所述管理单元和PM2.5监测平台数据存储中心之间为交互式连接；
所述监测平台数据存储单元包括数据立方和传统关系型数据库；
数据立方用于存储原始数据；原始PM2.5数据，将全部存储在PM2.5监测平台分布式文件系统，用于存储海量的非结构化数据。
关系型数据库用于存放索引，所述索引采用数据立方存储索引结构，将任意不同的关键字字段分别建立索引，关系型数据库提供包括实时监控空气质量PM2.5，查看历史记录和分析数据等功能。
在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以通过管理单元查询并导出这部分数据以供使用。
采用数据立方的优点是，保证系统既可以在成千上万的机器上跑，也可以在很小规模上运行。
与其它分布式系统相比，使用数据立方的好处在于它的水平的可扩展性，用其它分布式框架所写的程序在从十台机器的级别到成百上千台机器需要大量的重构工作，这也许要程序重写几次，并且其它框的基础元素会限制应用的规模大小。但是数据立方有着线性的可扩展性，一个数据立方程序写完后，在10个结点上运行，如果迁徙到更大的集群上运行，几乎不需要做什么工作，数据立方平台会管理数据和硬件资源并提供与可用资源成比例的可靠性能。
分布式文件系统具备线性扩展功能，只需要将配置好的数据存储节点加入到集群中，并且在集群空闲时执行平衡工具以平衡集群中数据存储节点的数据块负载。
本发明在充分运用数据立方技术优势的基础上，完全可以做到：
1．加监测点只需要简单的配置即可连接到PM2.5监测平台数据存储中心，统一规范标准，名称体现PM2.5监测平台监测点理位置、PM2.5监测平台监测点编号等信息，便于快速检索。
2．客户需要随时更加存储设备和数据分析服务器只需要根据数据立方规范做简单修改配置即可。例如如果后续根据PM2.5监测平台的存储数据量量增加的情况下可以动态的添加存储节点。查询速度变慢只需要动态的添加少量处理节点。最大程度的节省客户成本。
3．与原有系统数据对接支持各个版本的数据库对接接入Oracle ，SQLServer，Mysql均可。
本发明具备特点：
实时性：平台在高效率并行分布式软件的支撑下，可以实时完成PM2.5监测平台数据入库、分析和管理工作，如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。海量数据入库不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。
高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、分布式文件系统元数据节点、分布式文件系统数据存储节点、分布式作业系统等。
可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。
高扩容性：PM2.5监测平台监测前端设备可以根据需求进行增加设备，扩展整个系统的覆盖面积，但不需要继续复杂的操作，可以动态的增加PM2.5监测平台测试的节点，接入到该系统，并能自动组网，具有很强的扩容性。
高性价比：采用X86架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。
全业务支持：采用分布式数据库模式，绝大部分PM2.5海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各种类型的业务。

Claims (2)

1.云计算的PM2.5监测、存储、处理的方法，其特征是，包括云计算平台和一个以上的PM2.5监测点；所述云计算平台包括实时数据入库单元、PM2.5监测平台数据存储中心以及管理单元；
所述PM2.5监测点的输出端均连接实时数据入库单元的输入端；
所述实时数据入库单元的输出端连接PM2.5监测平台数据存储中心的输入端，用于将所有PM2.5监测点产生的数据实时存到PM2.5监测平台数据存储中心；
所述管理单元和PM2.5监测平台数据存储中心之间为交互式连接；
所述监测平台数据存储单元包括数据立方和传统关系型数据库；
数据立方用于存储海量的原始数据；
传统关系型数据库用于存放用户管理等数据量比较小的表；数据立方存储数据量比较大的表，在原始数据入库的同时，将任意不同的关键字字段分别建立索引，可以达到传统数据库上百倍的查询速度。
2.根据权利要求1所述的云计算的PM2.5监测、存储、处理的方法，其特征是，采用X86架构计算机构建云计算平台。
CN201310467825.XA 2013-10-10 2013-10-10 云计算的pm2.5监测、存储、处理的方法 Pending CN103488792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310467825.XA CN103488792A (zh) 2013-10-10 2013-10-10 云计算的pm2.5监测、存储、处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310467825.XA CN103488792A (zh) 2013-10-10 2013-10-10 云计算的pm2.5监测、存储、处理的方法

Publications (1)

Publication Number Publication Date
CN103488792A true CN103488792A (zh) 2014-01-01

Family

ID=49829018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310467825.XA Pending CN103488792A (zh) 2013-10-10 2013-10-10 云计算的pm2.5监测、存储、处理的方法

Country Status (1)

Country Link
CN (1) CN103488792A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760080A (zh) * 2014-02-26 2014-04-30 山东大学 Pm2.5监测系统及其使用方法
CN105784937A (zh) * 2016-03-11 2016-07-20 郑州航空工业管理学院 气体苯系物探测的数据可视化方法及系统
CN108020491A (zh) * 2016-11-02 2018-05-11 厦门格林德智能精仪科技有限公司 一种实现雾霾在线监测的大数据处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060173580A1 (en) * 2001-02-07 2006-08-03 Desrochers Eric M Air quality monitoring systems and methods
CN102508913A (zh) * 2011-11-17 2012-06-20 张真 一种带有数据立方存储索引结构的云计算系统
US20130110400A1 (en) * 2010-06-28 2013-05-02 Green Vision Systems Ltd. Real-time monitoring, parametric profiling, and regulating contaminated outdoor air particulate matter throughout a region, via hyper-spectral imaging and analysis
CN103246268A (zh) * 2013-05-02 2013-08-14 秦皇岛云立方环保工程有限公司 智慧城市云计算环境空间优化管理系统及实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060173580A1 (en) * 2001-02-07 2006-08-03 Desrochers Eric M Air quality monitoring systems and methods
US20130110400A1 (en) * 2010-06-28 2013-05-02 Green Vision Systems Ltd. Real-time monitoring, parametric profiling, and regulating contaminated outdoor air particulate matter throughout a region, via hyper-spectral imaging and analysis
CN102508913A (zh) * 2011-11-17 2012-06-20 张真 一种带有数据立方存储索引结构的云计算系统
CN103246268A (zh) * 2013-05-02 2013-08-14 秦皇岛云立方环保工程有限公司 智慧城市云计算环境空间优化管理系统及实现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
云创大数据: "PM2.5云监测平台", 《HTTP://WWW.CSTOR.CN/TEXTDETAIL_5034.HTML》 *
云创存储: "数据立方云计算一体机产品白皮书", 《HTTP://WWW.CSTOR.CN/DOWNLOADS/%CA%FD%BE%DD%C1%A2%B7%BD%D4%C6%BC%C6%CB%E3%D2%BB%CC%E5%BB%FA%B2%FA%C6%B7%B0%D7%C6%A4%CA%E9-SL03.PDF》 *
王磊 等: "实时云计算数据库-数据立方", 《中兴通讯技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760080A (zh) * 2014-02-26 2014-04-30 山东大学 Pm2.5监测系统及其使用方法
CN105784937A (zh) * 2016-03-11 2016-07-20 郑州航空工业管理学院 气体苯系物探测的数据可视化方法及系统
CN105784937B (zh) * 2016-03-11 2017-09-22 郑州航空工业管理学院 气体苯系物探测的数据可视化方法及系统
CN108020491A (zh) * 2016-11-02 2018-05-11 厦门格林德智能精仪科技有限公司 一种实现雾霾在线监测的大数据处理方法

Similar Documents

Publication Publication Date Title
US10698913B2 (en) System and methods for distributed database query engines
US9280381B1 (en) Execution framework for a distributed file system
US9020802B1 (en) Worldwide distributed architecture model and management
CN109582667A (zh) 一种基于电力调控大数据的多数据库混合存储方法及系统
CN103106249B (zh) 一种基于Cassandra的数据并行处理系统
Aboutorabiª et al. Performance evaluation of SQL and MongoDB databases for big e-commerce data
CN110168516A (zh) 用于大规模并行处理的基于代价的动态计算节点分组优化
Lai et al. Towards a framework for large-scale multimedia data storage and processing on Hadoop platform
CN105045607A (zh) 一种实现多种大数据计算框架统一接口的方法
CN106126601A (zh) 一种社保大数据分布式预处理方法及系统
CN103955510A (zh) 基于etl云平台上传的海量电力营销数据整合方法
CN106055590A (zh) 基于大数据及图数据库的电力网络数据处理方法和系统
CN106294757A (zh) 一种基于超图划分的分布式数据库及其集群分区方法
CN102915255A (zh) 用于大规模数据集并行运算的云计算服务系统和方法
CN114968739A (zh) 运维任务管理方法、运维方法、装置、设备和介质
CN112100227A (zh) 一种基于多级异构数据存储的大数据处理方法
CN103488792A (zh) 云计算的pm2.5监测、存储、处理的方法
CN105138686A (zh) 一种用于多级存储数据的即时应用方法
CN112000703B (zh) 数据入库处理方法、装置、计算机设备和存储介质
Kim et al. Development of the big data management system on national virtual power plant
Lee et al. A big data management system for energy consumption prediction models
CN106776810B (zh) 一种大数据的数据处理系统及方法
Choi et al. Implementation of the big data management system for demand side energy management
Chowdhury et al. An approach for data pipeline with distributed query engine for industrial applications
Tudoran et al. Sage: geo-distributed streaming data analysis in clouds

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140101