CN110460656B - 一种工业环保物联网远程监测云平台 - Google Patents

一种工业环保物联网远程监测云平台 Download PDF

Info

Publication number
CN110460656B
CN110460656B CN201910710435.8A CN201910710435A CN110460656B CN 110460656 B CN110460656 B CN 110460656B CN 201910710435 A CN201910710435 A CN 201910710435A CN 110460656 B CN110460656 B CN 110460656B
Authority
CN
China
Prior art keywords
data
time
layer
timestamp
water
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910710435.8A
Other languages
English (en)
Other versions
CN110460656A (zh
Inventor
徐国
苏丹
李文兴
于振中
熊美琛
曹振武
徐磊
朱丹青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Lingyun IOT Technology Co.,Ltd.
Original Assignee
Anhui Lingyun Iot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Lingyun Iot Technology Co ltd filed Critical Anhui Lingyun Iot Technology Co ltd
Priority to CN201910710435.8A priority Critical patent/CN110460656B/zh
Publication of CN110460656A publication Critical patent/CN110460656A/zh
Application granted granted Critical
Publication of CN110460656B publication Critical patent/CN110460656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0647—Synchronisation among TDM nodes
    • H04J3/065—Synchronisation among TDM nodes using timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms

Abstract

本发明公开了一种工业环保物联网远程监测云平台的系统，包括：IaaS资源层、PaaS平台层和SaaS应用层；IaaS资源层由设备层以及边缘计算层组成；PaaS平台层由大数据分析服务、算法引擎以及基础管理服务组成；SaaS应用层由移动端工业APP应用及云服务平台组成。

Description

一种工业环保物联网远程监测云平台
技术领域
本发明涉及物联网检测和云计算技术领域，具体涉及一种工业环保物联网远程监测云平台。
背景技术
物联网(英语：Internet of Things，缩写IoT)是互联网、传统电信网等信息承载体，让所有能行使独立功能的普通物体实现互联互通的网络。物联网一般为无线网，通过物联网可以用中心计算机对机器、设备进行集中管理、控制，实现物和物相联。同时透过收集这些设备的数据，最后可以聚集成大数据，进行深度挖掘分析。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
Spark是专为大规模数据处理而设计的快速通用的计算引擎。
Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark是在Scala语言中实现的，它将Scala用作其应用程序框架。与Hadoop不同，Spark和Scala能够紧密集成，其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。
时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签(按照时间的顺序变化，即时间序列化)的数据，带时间标签的数据也称为时间序列数据。
时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量)。
目前对于时序大数据的存储和处理往往采用关系型数据库的方式进行处理，但由于关系型数据库天生的劣势导致其无法进行高效的存储和数据的查询。时序大数据解决方案通过使用特殊的存储方式，使得时序大数据可以高效存储和快速处理海量时序大数据，是解决海量数据处理的一项重要技术。该技术采用特殊数据存储方式，极大提高了时间相关数据的处理能力，相对于关系型数据库它的存储空间减半，查询速度极大的提高。时间序列函数优越的查询性能远超过关系型数据库，非常适合在物联网分析应用。
现有技术中对于水站等的检测是分别由不同的检测设备独立完成的，并且各个检测设备采集到的数据是异构的，也是互相独立的，形成一个一个的信息孤岛，用户通常无法对采集的数据进行统一分析，并且通常也无法将所有的采集数据形成统一的整体。
发明内容
解决的技术问题
针对现有技术的不足，本发明的主要目的之一是提供一种集成应用物联网、大数据、云计算、机器学习、时序数据库等相关技术的工业环保物联网远程监测云平台，完成工厂的总体入水量、出水量、各个工艺环节用水量，污水处理环节具体参数的采集与存储、数据挖掘与分析并将结果进行可视化展示，实现针对工厂的水平衡验证、用水分析、成分检测、异常预警等核心功能。
技术方案及有益效果
以上目的本发明通过以下技术方案予以实现：
一种工业环保物联网远程监测云平台的系统，其特征在于，包括：
(1)IaaS资源层
IaaS资源层由设备层以及边缘计算层组成；设备层包括接入平台的用于采集数据的智能流量计、智能水表、液位仪、传感器，其采集的数据包括：工厂主要位置的流量、流速、液位高度，污水处理工艺环节水质的pH值、COD、氨氮含量；边缘计算层包括数据预处理、数据加密、安全认证、实时预警的功能模块；
(2)PaaS平台层
PaaS平台层由大数据分析服务、算法引擎以及基础管理服务组成；大数据分析服务包括实时分析和离线分析；算法引擎提供水平衡模型、异常预警核心功能的算法支持；基础管理服务包括设备管理、数据存储管理的通用性服务；
(3)SaaS应用层
SaaS应用层由移动端工业APP应用及云服务平台组成；通过调用平台层的各种服务，为用户提供基于智能设备大数据的多种分析应用功能，满足具体场景的应用服务。
优选地：建立的水平衡模型为：
首先，以天为单位，统计各水表流经水量如下所示：
生产用水总表-IN1
软板A栋水表-IN2
电解铜用水水表-IN3
软板B栋1F\2F水表-IN4
软板B栋3F\4F水表-IN5
按键水表-IN6
废水处理厂出口水表-OUT1
厂区污水管道出口水表-OUT2
缓冲水池水位表-POOL
在没有污水泄漏时，各变量符合以下关系：
IN1＝OUT1+OUT2+Δ(POOL)+CONSUME+e…………………(1)
其中，Δ(POOL)表示缓冲水池的水量变化，CONSUME表示蒸发、电解等导致的损耗，e为误差；
定义α＝(IN1-OUT1-OUT2-Δ(POOL))/IN1……………(2)
其中α表示当日未流入市政污水管网的水量占生产用水总量的比例；
当α满足如下三个条件任一时判定存在污水泄漏：
α大于给定阈值；
α呈明显上升趋势；
α显著高于同行业平均水平。
一种基于物联网远程监测云平台的工业环保数据处理方法，其特征在于，包括以下步骤：
步骤(1)设备层采集工厂水务实时数据及污水处理环节参数并通过物联网传输给边缘计算层；
步骤(2)边缘计算层将采集的数据和参数添加时间戳和位置数据进行异构数据的统一；
步骤(3)边缘计算层将统一的数据进行压缩；
步骤(4)边缘计算层将压缩数据采用此刻的第一加密算法进行加密；
步骤(5)边缘计算层通过互联网将加密数据传输到平台层；
步骤(6)平台层对收到的加密数据采用与第一加密算法对应的解密算法进行解密，并将解密后的数据进行解压缩，然后分别交由云计算平台的实时分析处理模块和存储处理模块分别进行实时分析和存储处理，其中存储处理包括提取解密数据的时间戳，并判断解密数据的类型，然后根据时间戳和数据类型存储到时序数据库中；
步骤(7)实时分析处理模块或离线分析处理模块对采集到的数据和参数进行分析处理，包括分析是否存在污水泄漏或水平衡验证异常；
步骤(8)如果分析处理中存在污水泄漏或水平衡异常，发送报警信息给相关人员；
步骤(9)将异常数据或参数进行标记并记录；
步骤(10)如果到达预设的时间或者用户手动触发了分析功能，则云计算平台的离线分析处理模块利用时序数据库中的历史数据进行回归预测水平衡模型参数或者进行统计分析处理并形成统计分析报告并显示给用户。
优选地：步骤(3)的压缩具体包括：对于实时性要求较高的数据，进行实时压缩传输；对于实时性要求较低的数据，放入数据发送暂存队列，待空闲时再将发送暂存队列中的数据进行打包批量发送。
优选地：在步骤(2)之后步骤(3)之前，增加一判断步骤，将当前时刻采集到的数据与前一时刻采集到的数据进行比较，判断二者是否相同，若相同，则不执行后续的步骤(3)-(9)，若不相同，则再执行步骤(3)，并在步骤(6)中保存数据到时序数据库时，首先判断要保存的数据对应的数据类型，从而获取数据类型对应的采集周期，然后根据该采集周期确定要保存的数据对应的时间戳与该数据类型的最后一次保存到时序数据库中的数据对应的时间戳之间的未保存的时间戳，将未保存的时间戳以及最后一次保存到时序数据库中的数据对应的采集数据值，以及要保存的数据对应的时间戳和采集数据值，保存到时序数据库中。
优选地：所述方法还包括：
步骤(11)云计算平台根据用户的触发查询符合用户输入条件的数据。
优选地：在步骤(6)将数据保存到时序数据库中时，建立时间戳索引、位置索引，其中时间戳索引包括多个粒度索引文件，每个粒度索引文件分别对应于不同的时间段，例如，分别建立年粒度、季度粒度、月粒度、周粒度和天粒度索引文件，其中每个粒度索引文件包括索引值以及对应的数据存储起始位置，索引值为年索引或季度索引或月索引或天索引；
步骤(11)中进行查询时，首先获取查询条件，判断所述查询条件与缓存池中的已缓存的查询条件是否相匹配，如果有相匹配的查询条件，则直接从缓存池中获取已缓存的查询条件对应的查询数据，并结束查询；如果未有相匹配的查询条件，则判断查询条件中是否包含时间戳查询条件；若包含时间戳条件，则首先筛选出满足时间戳条件的数据，然后再从满足时间戳条件的数据筛选出满足剩余条件的数据；
然后将查询条件的次数加一，并判断查询条件的次数是否超过一预设阈值，如果超过，则进一步判断查询条件的数据是否适于缓存，如果适于则将查询条件以及查询条件对应的查询数据缓存到缓存池中，否则，则结束查询。
优选地：其中的判断查询条件的数据是否适于缓存包括：判断查询条件是否未包含时间戳条件并且数据量位于一定范围区间，是则适于缓存，否则不适于缓存。
优选地：其中的判断查询条件的数据是否适于缓存包括：判断查询条件的时间戳为某一历史时刻至今，或者某一数据值与当前时刻的某一数据进行比较，是则不适于缓存，否则适于缓存。
优选地：步骤(2)中通过时钟同步模块对各采集设备进行时钟同步，以保证时间戳的同步性。
本发明通过以上技术方案能够达到以下技术效果：
(1)利用分布式数据库、关系型数据库以及时序数据库hbase+mysql+influxDB，实现工业物联网大数据存储，信息集成和信息共享；
(2)通过物联网、大数据、云计算和机器学习等先进技术，结合工厂实际情况，搭建自主知识产权的水平衡算法模型，最终实现工厂的水平衡验证、用水分析、成分检测、异常预警等核心功能，并通过日常数据优化算法模型提升分析及预警准确性。
(3)通过成分检测数据，结合行业知识，实时控制污水处理环节参数，提高污水处理效率，帮助工厂节约成本、降低污染排放。
(4)通过更改加密算法，提高了数据安全性。
(5)通过查询条件的缓存和时间戳查询条件的首要筛选，提高了数据查询效率。
(6)通过对重复数据的不传输，即增量传输，提高了传输效率。
附图说明
图1为本发明的一种工业环保物联网远程监测云平台的系统结构；
图2为本发明的基于物联网远程监测云平台的工业环保数据处理方法流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，其示出了一种工业环保物联网远程监测云平台的系统结构，其包含：
(1)IaaS资源层
IaaS资源层主要由设备层以及边缘计算层组成。设备层包括接入平台的智能流量计、智能水表、液位仪、传感器等设备。具体接入数据包括工厂主要位置的流量、流速、液位高度，污水处理工艺环节水质的pH值、COD、氨氮等成分数据。边缘计算层包括数据预处理、数据加密、安全认证、实时预警等功能模块，提升数据处理效率，避免数据传输云端带来的时延性。一部分数据在边缘侧进行处理并直接返回到机器设备，一部分传导云端进行综合利用分析，进一步优化形成决策。
(2)PaaS平台层
PaaS平台层主要由大数据分析服务、算法引擎以及基础管理服务组成。大数据分析服务包括实时分析和离线分析；算法引擎提供水平衡模型、异常预警等核心功能的算法支持；基础管理服务则包括设备管理、订单管理、消息推送等通用性服务。
(3)SaaS应用层
SaaS应用层主要由移动端工业APP应用及云服务平台组成。应用层主要通过调用平台层的各种服务，为用户提供基于智能设备大数据的多种分析应用功能，满足具体场景的应用服务。
其建立的水平衡模型为：
首先，以天为单位，统计各水表流经水量如下所示：
生产用水总表：IN1
软板A栋水表：IN2
电解铜用水水表：IN3
软板B栋1F\2F水表：IN4
软板B栋3F\4F水表：IN5
按键水表：IN6
废水处理厂出口水表：OUT1
厂区污水管道出口水表：OUT2
缓冲水池水位表：POOL
而在正常条件下(没有污水泄漏时)，各变量符合以下关系：
IN1＝OUT1+OUT2+Δ(POOL)+CONSUME+e…………………(1)
其中，Δ(POOL)表示缓冲水池的水量变化，CONSUME表示蒸发、电解等导致的损耗，e为误差(含水表计量误差、管网内残水变化量等)。
定义
α＝(IN1-OUT1-OUT2-Δ(POOL))/IN1…………………(2)
其中α表示当日未流入市政污水管网的水量占生产用水总量的比例。可以从以下三方面检测是否存在污水泄漏，即当满足如下三个条件任一时判定存在污水泄漏：
α大于给定阈值；
α呈明显上升趋势；
α显著高于同行业平均水平。
此外，废水处理厂的水源由按键喷涂废水、FPC1F湿制程废水、电解铜废水等组成，因此对正常的历史数据用lasso回归得到：
OUT1＝b0+b1*IN1+b2*IN2+……+bn*INn…………………(3)
其中n＝6；
当采集到的OUT1显著小于通过上述公式(3)预测到的OUT1值时，说明工厂可能把本应进入污水处理厂的废水排入了厂区污水管道或地下，此时可进行异常报警。
同时设e1、e2是独立的服从正态的随机变量
IN＝OUT+Δ(POOL)+CONSUME+e1…………………(4)
CONSUME＝a+b*production+e2…………………(5)
用确认正常的历史数据(每天)IN，OUT，Δ(POOL)，production，从时序数据库中提取出当前时刻之前预定时间段(例如一个月)内的历史数据作为样本数据，对样本数据进行预处理，并进行训练，回归得到a，b；
得到新的正态变量e＝e1+e2的均值miu和方差xigma；
对采集到的实时数据，代入上述公式(4)和(5)计算出实时数据对应的e’＝e’1+e’2，若|e’-miu|/xigma>3，也判定实时数据异常，进行报警处理。
进一步地，为了提高判定异常的准确性，每隔一段时间或者由管理员手动触发训练回归功能，从而使用最新的历史数据作为样本进行回归，并将回归得到的a，b进行更新保存。
如图2所示，其示出了基于物联网远程监测云平台的工业环保数据处理方法流程，其具体包括以下步骤：
步骤(1)设备层采集工厂水务实时数据及污水处理环节参数并通过物联网传输给边缘计算层；
步骤(2)边缘计算层将采集的数据和参数添加时间戳和位置数据进行异构数据的统一；
步骤(3)边缘计算层将统一的数据进行压缩；
步骤(4)边缘计算层将压缩数据采用此刻的第一加密算法进行加密；
步骤(5)边缘计算层通过互联网将加密数据传输到平台层；
步骤(6)平台层对收到的加密数据采用与第一加密算法对应的解密算法进行解密，并将解密后的数据进行解压缩，然后分别交由云计算平台的实时分析处理模块和存储处理模块分别进行实时分析和存储处理，其中存储处理包括提取解密数据的时间戳，并判断解密数据的类型，然后根据时间戳和数据类型存储到时序数据库中；
步骤(7)实时分析处理模块或离线分析处理模块对采集到的数据和参数进行分析处理，包括分析是否存在污水泄漏或水平衡验证异常；
步骤(8)如果分析处理中存在污水泄漏或水平衡异常，发送报警信息给相关人员；
步骤(9)将异常数据或参数进行标记并记录；
步骤(10)如果到达预设的时间或者用户手动触发了分析功能，则云计算平台的离线分析处理模块利用时序数据库中的历史数据进行回归预测水平衡模型参数或者进行统计分析处理并形成统计分析报告并显示给用户。
进一步地，步骤(4)中的第一加密算法每隔预设时间变更为第二加密算法，并将第二加密算法的标识和采用第二加密算法的传输数据标识发送给云计算平台的解密模块，然后步骤(6)中相应地变更为第二解密算法，并返回响应确认模块给边缘计算层。
进一步地，步骤(3)的压缩具体包括：对于实时性要求较高的数据，进行实时压缩传输；对于实时性要求较低的数据，放入数据发送暂存队列，待空闲时再将发送暂存队列中的数据进行打包批量发送。
进一步地，为了提高数据传输的效率，考虑到有些数据和参数可能并不会随时间改变，因此此时无需进行传输，因此再步骤(2)之后步骤(3)之前，增加一判断步骤，将当前时刻采集到的数据与前一时刻采集到的数据进行比较，判断二者是否相同，若相同，则不执行后续的步骤(3)-(9)，若不相同，则再执行步骤(3)，并在步骤(6)中保存数据到时序数据库时，首先判断要保存的数据对应的数据类型，从而获取数据类型对应的采集周期，然后根据该采集周期确定要保存的数据对应的时间戳与该数据类型的最后一次保存到时序数据库中的数据对应的时间戳之间的未保存的时间戳，将未保存的时间戳以及最后一次保存到时序数据库中的数据对应的采集数据值，以及要保存的数据对应的时间戳和采集数据值，保存到时序数据库中。通过此方式，减少了大量重复数据的传输，避免了传输数据争用传输网络带宽带来的传输效率低，从而提高了整个系统的处理速率。例如，水工厂的流速的采集周期为5s，在16:10:00时将流速数据值1传输给时序数据库后，采集到的流速数据一直保持不变，而在16:10:20时采集到的流速数据值2不同于流速数据值1，那么此时就需要确定16:10:00和16:10:20之间的时间戳，即16:10:05，16:10:10，16:10:15，并将(16:10:05，流速数据值1)，(16:10:10，流速数据值1)，(16:10:15，流速数据值1)，(16:10:20，流速数据值2)保存到时序数据库中。
进一步地，步骤(2)中通过时钟同步模块对各采集设备进行时钟同步，以保证时间戳的同步性。
进一步地，所述方法还包括：
步骤(11)云计算平台根据用户的触发查询符合用户输入条件的数据。
进一步地，在步骤(6)将数据保存到时序数据库中时，建立时间戳索引、位置索引，其中时间戳索引包括多个粒度索引文件，每个粒度索引文件分别对应于不同的时间段，例如，分别建立年粒度、季度粒度、月粒度、周粒度和天粒度索引文件，其中每个粒度索引文件包括索引值以及对应的数据存储起始位置，索引值为年索引或季度索引或月索引或天索引；
步骤(11)中进行查询时，首先获取查询条件，判断所述查询条件与缓存池中的已缓存的查询条件是否相匹配，如果有相匹配的查询条件，则直接从缓存池中获取已缓存的查询条件对应的查询数据，并结束查询；如果未有相匹配的查询条件，则判断查询条件中是否包含时间戳查询条件；若包含时间戳条件，则首先筛选出满足时间戳条件的数据，然后再从满足时间戳条件的数据筛选出满足剩余条件的数据。首先，通过缓存频繁查询的数据，无需再进行查询遍历，而是直接获取缓存的查询数据，其提高了查询效率。进一步地，再根据时序数据的按时间戳顺序的特点，首先根据时间戳索引进行第一次查询得到满足时间戳查询条件的数据或者获得数据的存储范围，然后二次查询只在上述数据范围内进行遍历查找，减少了遍历的数据量，无需遍历所有的数据，从而进一步地提高了查询效率。
然后将查询条件的次数加一，并判断查询条件的次数是否超过一预设阈值，如果超过，则进一步判断查询条件的数据是否适于缓存，如果适于则将查询条件以及查询条件对应的查询数据缓存到缓存池中，否则，则结束流程；
其中的判断查询条件的数据是否适于缓存包括：判断查询条件是否未包含时间戳条件并且数据量位于一定范围区间，是则适于缓存，否则不适于缓存。
其中的判断查询条件的数据是否适于缓存还可以包括：判断查询条件的数据是否会随着时间改变，例如查询条件的时间戳为某一历史时刻至今，或者某一数据值与当前时刻的某一数据进行比较，是则不适于缓存，否则适于缓存。
应当认识到，本发明的可替换的其他实施例对于本领域的技术人员是显而易见的。然而，本发明的范围并不限于以上的所描述的实施例，而是仅仅由本发明的权利要求中所给出的内容限定。

Claims (1)

1.一种基于物联网远程监测云平台的工业环保数据处理方法，其特征在于，
所述云平台包括：
(1)IaaS资源层
IaaS资源层由设备层以及边缘计算层组成；设备层包括接入平台的用于采集数据的智能流量计、智能水表、液位仪、传感器，其采集的数据包括：工厂主要位置的流量、流速、液位高度，污水处理工艺环节水质的pH值、COD、氨氮含量；边缘计算层包括数据预处理、数据加密、安全认证、实时预警的功能模块；
(2)PaaS平台层
PaaS平台层由大数据分析服务、算法引擎以及基础管理服务组成；大数据分析服务包括实时分析和离线分析；算法引擎提供水平衡模型、异常预警核心功能的算法支持；基础管理服务包括设备管理、数据存储管理的通用性服务；
(3)SaaS应用层
SaaS应用层由移动端工业APP应用及云服务平台组成；通过调用平台层的各种服务，为用户提供基于智能设备大数据的多种分析应用功能，满足具体场景的应用服务；
其中，建立的水平衡模型为：
首先，以天为单位，统计各水表流经水量如下所示：
生产用水总表-IN1
软板A栋水表-IN2
电解铜用水水表-IN3
软板B栋1F\2F水表-IN4
软板B栋3F\4F水表-IN5
按键水表-IN6
废水处理厂出口水表-OUT1
厂区污水管道出口水表-OUT2
缓冲水池水位表-POOL
在没有污水泄漏时，各变量符合以下关系：
IN1＝OUT1+OUT2+Δ(POOL)+CONSUME+e…………………(1)
其中，Δ(POOL)表示缓冲水池的水量变化，CONSUME表示蒸发、电解导致的损耗，e为误差；
定义α＝(IN1-OUT1-OUT2-Δ(POOL))/IN1……………(2)
其中α表示当日未流入市政污水管网的水量占生产用水总量的比例；
当α满足如下三个条件任一时判定存在污水泄漏：
α大于给定阈值；
α呈明显上升趋势；
α显著高于同行业平均水平；
所述方法包括以下步骤：
步骤(1)设备层采集工厂水务实时数据及污水处理环节参数并通过物联网传输给边缘计算层；
步骤(2)边缘计算层将采集的数据和参数添加时间戳和位置数据进行异构数据的统一；
步骤(3)边缘计算层将统一的数据进行压缩；
步骤(4)边缘计算层将压缩数据采用此刻的第一加密算法进行加密；
步骤(5)边缘计算层通过互联网将加密数据传输到平台层；
步骤(6)平台层对收到的加密数据采用与第一加密算法对应的解密算法进行解密，并将解密后的数据进行解压缩，然后分别交由云计算平台的实时分析处理模块和存储处理模块分别进行实时分析和存储处理，其中存储处理包括提取解密数据的时间戳，并判断解密数据的类型，然后根据时间戳和数据类型存储到时序数据库中；
步骤(7)实时分析处理模块或离线分析处理模块对采集到的数据和参数进行分析处理，包括分析是否存在污水泄漏或水平衡验证异常；
步骤(8)如果分析处理中存在污水泄漏或水平衡异常，发送报警信息给相关人员；
步骤(9)将异常数据或参数进行标记并记录；
步骤(10)如果到达预设的时间或者用户手动触发了分析功能，则云计算平台的离线分析处理模块利用时序数据库中的历史数据进行回归预测水平衡模型参数或者进行统计分析处理并形成统计分析报告并显示给用户；
步骤(11)云计算平台根据用户的触发查询符合用户输入条件的数据；
步骤(3)的压缩具体包括：对于实时性要求较高的数据，进行实时压缩传输；对于实时性要求较低的数据，放入数据发送暂存队列，待空闲时再将发送暂存队列中的数据进行打包批量发送；
在步骤(2)之后步骤(3)之前，增加一判断步骤，将当前时刻采集到的数据与前一时刻采集到的数据进行比较，判断二者是否相同，若相同，则不执行后续的步骤(3)-(9)，若不相同，则再执行步骤(3)，并在步骤(6)中保存数据到时序数据库时，首先判断要保存的数据对应的数据类型，从而获取数据类型对应的采集周期，然后根据该采集周期确定要保存的数据对应的时间戳与该数据类型的最后一次保存到时序数据库中的数据对应的时间戳之间的未保存的时间戳，将未保存的时间戳以及最后一次保存到时序数据库中的数据对应的采集数据值，以及要保存的数据对应的时间戳和采集数据值，保存到时序数据库中；
在步骤(6)将数据保存到时序数据库中时，建立时间戳索引、位置索引，其中时间戳索引包括多个粒度索引文件，每个粒度索引文件分别对应于不同的时间段，分别建立年粒度、季度粒度、月粒度、周粒度和天粒度索引文件，其中每个粒度索引文件包括索引值以及对应的数据存储起始位置，索引值为年索引或季度索引或月索引或周索引或天索引；
步骤(11)中进行查询时，首先获取查询条件，判断所述查询条件与缓存池中的已缓存的查询条件是否相匹配，如果有相匹配的查询条件，则直接从缓存池中获取已缓存的查询条件对应的查询数据，并结束查询；如果未有相匹配的查询条件，则判断查询条件中是否包含时间戳查询条件；若包含时间戳条件，则首先筛选出满足时间戳条件的数据，然后再从满足时间戳条件的数据筛选出满足剩余条件的数据；
然后将查询条件的次数加一，并判断查询条件的次数是否超过一预设阈值，如果超过，则进一步判断查询条件的数据是否适于缓存，如果适于则将查询条件以及查询条件对应的查询数据缓存到缓存池中，否则，则结束查询；
其中的判断查询条件的数据是否适于缓存包括：判断查询条件是否未包含时间戳条件并且数据量位于一定范围区间，是则适于缓存，否则不适于缓存；或者，判断查询条件的时间戳为某一历史时刻至今，或者某一数据值与当前时刻的某一数据进行比较，是则不适于缓存，否则适于缓存；
步骤(2)中通过时钟同步模块对各采集设备进行时钟同步，以保证时间戳的同步性。
CN201910710435.8A 2019-08-01 2019-08-01 一种工业环保物联网远程监测云平台 Active CN110460656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910710435.8A CN110460656B (zh) 2019-08-01 2019-08-01 一种工业环保物联网远程监测云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910710435.8A CN110460656B (zh) 2019-08-01 2019-08-01 一种工业环保物联网远程监测云平台

Publications (2)

Publication Number Publication Date
CN110460656A CN110460656A (zh) 2019-11-15
CN110460656B true CN110460656B (zh) 2022-04-01

Family

ID=68484583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910710435.8A Active CN110460656B (zh) 2019-08-01 2019-08-01 一种工业环保物联网远程监测云平台

Country Status (1)

Country Link
CN (1) CN110460656B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078755B (zh) * 2019-12-19 2023-07-28 远景智能国际私人投资有限公司 时序数据的存储查询方法、装置、服务器及存储介质
CN111145521A (zh) * 2019-12-28 2020-05-12 同心智能科技有限公司 一种智慧厕所云平台
CN111371833B (zh) * 2020-01-20 2022-10-21 杭州海康威视系统技术有限公司 物联网平台、物联网系统及物联网平台的管理方法
CN111984692B (zh) * 2020-02-28 2022-12-02 合肥力拓云计算科技有限公司 基于工业大数据的化工数据分析系统
CN111614776A (zh) * 2020-05-27 2020-09-01 衢州光明电力投资集团有限公司汇亮电力服务分公司 一种输配电装备云平台
CN111665773B (zh) * 2020-07-02 2021-10-26 长沙钛合电子设备有限公司 物联网系统及构建方法
CN112019626B (zh) * 2020-08-31 2021-06-01 航天新长征大道科技有限公司 一种工业物联网系统及数据处理方法
CN112099400A (zh) * 2020-09-03 2020-12-18 埃安美(苏州)物联技术有限公司 一种基于物联网的环保安全监测控制系统
CN112147362A (zh) * 2020-09-23 2020-12-29 北京泰豪智能工程有限公司 一种水利监测装置
CN112929404A (zh) * 2020-12-29 2021-06-08 四川格瑞特科技有限公司 一种校园楼宇自动化物联网系统
CN113254529A (zh) * 2021-05-12 2021-08-13 兰州兰石集团有限公司 一种基于边缘计算和HiTSDB存储的工业物联网平台
CN113242247B (zh) * 2021-05-17 2022-08-26 佳木斯大学 一种基于边缘计算的工业智能物联模块
CN113379372A (zh) * 2021-05-20 2021-09-10 同济大学 有色金属冶炼流程管控的人机物共融制造平台架构系统
CN113537772A (zh) * 2021-07-15 2021-10-22 青岛海尔工业智能研究院有限公司 基于工业互联网的智慧能源管控平台
CN115371740B (zh) * 2022-10-20 2023-02-10 江苏舜维环境工程有限公司 用于环保处置的侦测平台和侦测方法
CN116506514B (zh) * 2023-06-27 2023-12-12 大唐融合通信股份有限公司 数据压缩方法、装置、设备、服务器和污水云控系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489053A (zh) * 2013-05-13 2014-01-01 湖南云控科技有限公司 一种基于云计算与专家系统的智能水资源管控平台
CN104794578A (zh) * 2015-04-23 2015-07-22 深圳市汇生通科技发展有限公司 基于云计算的智慧水务管理系统
CN106127615A (zh) * 2016-08-31 2016-11-16 桂林创研科技有限公司 一种基于云计算的智慧水务管理系统
CN106375434A (zh) * 2016-08-31 2017-02-01 孟玲 一种工业污水监控系统
CN106680447A (zh) * 2016-12-30 2017-05-17 安徽国通亿创科技股份有限公司 一种基于云平台的污水处理分析智能管控系统
CN107741738A (zh) * 2017-10-20 2018-02-27 重庆华绿环保科技发展有限责任公司 一种污水处理过程监控智能预警云系统及污水处理监测预警方法
CN109102427A (zh) * 2018-08-31 2018-12-28 重庆水利电力职业技术学院 一种基于云计算的智慧水务管理系统及其工作流程
CN109884995A (zh) * 2019-02-01 2019-06-14 北京朗新明环保科技有限公司 一种智慧水务管理平台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11221249B2 (en) * 2017-11-16 2022-01-11 James R. Gray, JR. Environmental sensor platform, system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489053A (zh) * 2013-05-13 2014-01-01 湖南云控科技有限公司 一种基于云计算与专家系统的智能水资源管控平台
CN104794578A (zh) * 2015-04-23 2015-07-22 深圳市汇生通科技发展有限公司 基于云计算的智慧水务管理系统
CN106127615A (zh) * 2016-08-31 2016-11-16 桂林创研科技有限公司 一种基于云计算的智慧水务管理系统
CN106375434A (zh) * 2016-08-31 2017-02-01 孟玲 一种工业污水监控系统
CN106680447A (zh) * 2016-12-30 2017-05-17 安徽国通亿创科技股份有限公司 一种基于云平台的污水处理分析智能管控系统
CN107741738A (zh) * 2017-10-20 2018-02-27 重庆华绿环保科技发展有限责任公司 一种污水处理过程监控智能预警云系统及污水处理监测预警方法
CN109102427A (zh) * 2018-08-31 2018-12-28 重庆水利电力职业技术学院 一种基于云计算的智慧水务管理系统及其工作流程
CN109884995A (zh) * 2019-02-01 2019-06-14 北京朗新明环保科技有限公司 一种智慧水务管理平台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于大数据及云计算技术的污水分析管控平台的研究与设计;戴平;《长春大学学报》;20180830(第08期);全文 *

Also Published As

Publication number Publication date
CN110460656A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110460656B (zh) 一种工业环保物联网远程监测云平台
CN105608758B (zh) 一种基于算法组态和分布式流计算的大数据分析平台装置及方法
CN106651633B (zh) 一种基于大数据技术的用电信息采集系统及其采集方法
CN105608144B (zh) 一种基于多层模型迭代的大数据分析平台装置及方法
CN105069703B (zh) 一种电网海量数据管理方法
CN106294644B (zh) 一种基于大数据技术的海量时序数据收集处理装置及方法
CN110430260A (zh) 一种基于大数据云计算支撑的机器人云平台及工作方法
CN105069025A (zh) 一种大数据的智能聚合可视化与管控系统
Liu et al. Real-time complex event processing and analytics for smart grid
CN107832876B (zh) 基于MapReduce框架的分区最大负荷预测方法
CN102955977A (zh) 一种基于云技术的能效服务方法及其能效服务平台
CN101854652A (zh) 一种电信网络业务性能监控系统
CN106777093A (zh) 基于空间时序数据流应用的Skyline查询系统
Gulisano et al. Online and scalable data validation in advanced metering infrastructures
CN108268569A (zh) 基于大数据技术的水资源监测数据采集与分析系统及方法
CN109873790A (zh) 网络安全检测方法、装置以及计算机可读存储介质
CN113487084A (zh) 一种设备使用寿命的预测方法、装置、计算机设备及计算机可读存储介质
CN111091240A (zh) 一种公共机构电力能效监测系统及服务方法
CN112199252A (zh) 一种异常监控方法、装置及电子设备
CN111798066A (zh) 一种城市尺度下小区流量多维度预测方法及系统
CN114969047A (zh) 一种数据处理系统及方法
CN112288317B (zh) 一种基于多源异构数据治理的工业大数据分析平台和方法
CN102081641A (zh) 基于gpu的实时数据流高速匹配分析系统的设计
Kassela et al. Bigoptibase: Big data analytics for base station energy consumption optimization
CN116910144A (zh) 算力网络资源中心、算力服务系统以及数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200904

Address after: Room 203, building 3, block C, intelligent science and Technology Park, 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province

Applicant after: Anhui Lingyun IOT Technology Co.,Ltd.

Address before: 230601 Intelligent Equipment Science Park No. 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province

Applicant before: HRG INTERNATIONAL INSTITUTE FOR RESEARCH & INNOVATION

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant