CN109460829A - 基于大数据处理及云传输下的智能监测方法及平台 - Google Patents

基于大数据处理及云传输下的智能监测方法及平台 Download PDF

Info

Publication number
CN109460829A
CN109460829A CN201811306879.7A CN201811306879A CN109460829A CN 109460829 A CN109460829 A CN 109460829A CN 201811306879 A CN201811306879 A CN 201811306879A CN 109460829 A CN109460829 A CN 109460829A
Authority
CN
China
Prior art keywords
data
platform
big data
cloud
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811306879.7A
Other languages
English (en)
Inventor
王硕
张方舟
徐江
王学宇
吴晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN201811306879.7A priority Critical patent/CN109460829A/zh
Publication of CN109460829A publication Critical patent/CN109460829A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据处理及云传输下的智能监测系统及方法，包括前端数据采集设备、大数据存储平台、云计算平台、前端设备用户；前端数据采集设备将数据传输至大数据存储平台，进行数据比对后发出警报；云计算平台读取大数据存储平台数据进行故障抓取或上传故障参数值前端设备用户。本发明采用的云平台具有人工智能的学习预测算法，可根据环境的变化实时调整预测参数，相比独立预测设备，适应新可靠性更强。

Description

基于大数据处理及云传输下的智能监测方法及平台
技术领域
本发明涉及一种大数据分析和云平台结合的智能监测方法及平台，可以全面查看一定范围内所有电梯的实时工作状态。
背景技术
大数据技术的战略意义在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
从技术上看，大数据与云计算的关系密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
云计算涉及的云物联：
随着物联网业务量的增加，对数据存储和计算量的需求将带来对“云计算”能力的要求：
(1).云计算：从计算中心到数据中心在物联网的初级阶段，PoP即可满足需求；
(2).在物联网高级阶段，可能出现MVNO/MMO营运商(国外已存在多年)，需要虚拟化云计算技术，SOA等技术的结合实现互联网的泛在服务：TaaS(everyTHING As AService)。
发明内容
1、发明目的。
本发明提出了一种大数据分析和云平台结合的智能监测方法及平台,高效、可靠性高的、交叉的实时数据采集，处理和预测。
2、本发明所采用的技术方案。
本发明提供了一种基于大数据处理及云传输下的智能监测方法：
步骤1、由前端设备采集数据，通过预处理后，传输到大数据存储平台；
步骤2、由大数据平台实时大量的采集存储数据后，利用大数据平台的数据，和人工提前设定好的安全数据范围，对比做出第一次监测预警；
步骤3、若无明显预报的警告数据，则利用大数据平台进一步对数据进行分纳归类，大量的数据不断地打包发送给云计算平台；
步骤4、若有一次成功预判则作为一次学习，具有人工智能算法的云平台，在不间断的预判学习中一次次将预判能力加强，同时作为的服务器。
更进一步，还包括云平台通过人工智能学习预测算法步骤，实时计算数据，加以计算并预测，待预测准确度到达峰值，预测警报；接收端收到警报，做出反应；接收端收到警报，做出反应当控制器接收到一个消息时，它将在活动数据流列表中建立一个带有初始统计连接时隙的新数据流对象，其初始时隙为t毫秒.若该数据流在t毫秒内过期，则控制器得到统计数据，否则控制器将返回，并通过消息联系交换机以重新得到该数据流的统计数据.如果在这一时期内收集到的关于该数据流的监控数据变化并不显著特数的变化没有超过阈值，则时隙t将被增大λ倍；对于低数据传输率的数据流，该过程可以重复执行，直到监控采样时隙达到上界。
本发明提出了一种基于大数据处理及云传输下的智能监测系统，包括前端数据采集设备、大数据存储平台、云计算平台、前端设备用户；
前端数据采集设备将数据传输至大数据存储平台，进行数据比对后发出警报；云计算平台读取大数据存储平台数据进行故障抓取或上传故障参数值前端设备用户。
更进一步，前端设备采集数据发送给大数据平台，大数据平台采集各种数据，初次预判，第一次基础监测；后大数据平台分类打包大量数据给云平台。
更进一步，接收根据环境变化为云平台提供参数。
更进一步，还包括云平台通过人工智能学习预测算法模块，实时计算数据，加以计算并预测，待预测准确度到达峰值，预测警报；接收端收到警报，做出反应当控制器接收到一个消息时，它将在活动数据流列表中建立一个带有初始统计连接时隙的新数据流对象，其初始时隙为t毫秒.若该数据流在t毫秒内过期，则控制器得到统计数据，否则控制器将返回，并通过消息联系交换机以重新得到该数据流的统计数据.如果在这一时期内收集到的关于该数据流的监控数据变化并不显著特数的变化没有超过阈值，则时隙t将被增大λ倍；对于低数据传输率的数据流，该过程可以重复执行，直到监控采样时隙达到上界。
3、本发明所产生的技术效果。
(1)本发明克服现有技术的封闭性，由原先单个的前端数据采集器和计算机进行的简单的预测；演变为互联网+大数据+云计算的形式，进一步提高了预测的准确性。
(2)本发明采用的云平台具有人工智能的学习预测算法，可根据环境的变化实时调整预测参数，相比独立预测设备，适应新可靠性更强。
(3)本发明不要求前端设备具有计算与猜测能力，大数据与云平台的形式大规模运用上可以减少使用成本。
附图说明
图1为本发明的逻辑框图。
图2为本发明逻辑平台数据传输图。
具体实施方式
实施例1
如图1所示，由前端设备采集数据，通过简单的预处理后，传输到大数据存储平台，由大数据平台实时大量的采集存储数据后，利用大数据平台的数据，和人工提前设定好的安全数据范围，对比做出第一次监测预警，若无明显预报的警告数据，则利用大数据平台的特有能力进一步对数据进行分纳归类，大量的数据不断地打包发送给云计算平台。(云计算平台需要具有深度学习和预判能力，由人工提请设计点的人工智能算法驱动)，大量的数据依托云平台强大的计算能力，不间断的被计算，带预测准确度到达一定程度，预测警报。若有一次成功预判则作为一次学习，具有人工智能算法的云平台，在不间断的预判学习中一次次将预判能力加强。
如图2所示，云平台另一个重要作用就是作为各个接收端的服务器，云平台不间断的向接收端提供预测的同时，也接受他们发送过来的请求，实时为接收端提供服务。接收端也可根据环境的变化为云平台提供变化的参数，提高预判的精确性。
前端设备采集数据发送给大数据平台，大数据平台采集各种数据，初次预判，第一次基础监测。后大数据平台分类打包大量数据给云平台，云平台通过人工智能学习预测算法，实时计算数据，加以计算并预测，待预测准确度到达峰值，预测警报。接收端收到警报，做出反应。接收端也可根据环境变化为云平台提供参数，提高预测准确性。

Claims (6)

1.一种基于大数据处理及云传输下的智能监测方法，其特征在于：
步骤1、由前端设备采集数据，通过预处理后，传输到大数据存储平台；
步骤2、由大数据平台实时大量的采集存储数据后，利用大数据平台的数据，和人工提前设定好的安全数据范围，对比做出第一次监测预警；
步骤3、若无明显预报的警告数据，则利用大数据平台进一步对数据进行分纳归类，大量的数据不断地打包发送给云计算平台；
步骤4、若有一次成功预判则作为一次学习，具有人工智能算法的云平台，在不间断的预判学习中一次次将预判能力加强，同时作为的服务器。
2.根据权利要求1所述的基于大数据处理及云传输下的智能监测方法，其特征在于：还包括云平台通过人工智能学习预测算法步骤，实时计算数据，加以计算并预测，待预测准确度到达峰值，预测警报；接收端收到警报，做出反应:
当控制器接收到一个消息时，它将在活动数据流列表中建立一个带有初始统计连接时隙的新数据流对象，其初始时隙为t毫秒.若该数据流在t毫秒内过期，则控制器得到统计数据，否则控制器将返回，并通过消息联系交换机以重新得到该数据流的统计数据.如果在这一时期内收集到的关于该数据流的监控数据变化并不显著特数的变化没有超过阈值，则时隙t将被增大λ倍；对于低数据传输率的数据流，该过程可以重复执行，直到监控采样时隙达到上界。
3.一种权利要求1所述的基于大数据处理及云传输下的智能监测系统，其特征在于：包括前端数据采集设备、大数据存储平台、云计算平台、前端设备用户；
前端数据采集设备将数据传输至大数据存储平台，进行数据比对后发出警报；云计算平台读取大数据存储平台数据进行故障抓取或上传故障参数值前端设备用户。
4.根据权利要求3所述的基于大数据处理及云传输下的智能监测系统，其特征在于：前端设备采集数据发送给大数据平台，大数据平台采集各种数据，初次预判，第一次基础监测；后大数据平台分类打包大量数据给云平台。
5.根据权利要求3所述的基于大数据处理及云传输下的智能监测系统，其特征在于：接收根据环境变化为云平台提供参数。
云平台通过人工智能学习预测算法步骤，实时计算数据，加以计算并预测，待预测准确度到达峰值，预测警报；接收端收到警报，做出反应。
6.根据权利要求3所述的基于大数据处理及云传输下的智能监测系统，其特征在于：还包括云平台通过人工智能学习预测算法模块，实时计算数据，加以计算并预测，待预测准确度到达峰值，预测警报；接收端收到警报，做出反应当控制器接收到一个消息时，它将在活动数据流列表中建立一个带有初始统计连接时隙的新数据流对象，其初始时隙为t毫秒.若该数据流在t毫秒内过期，则控制器得到统计数据，否则控制器将返回，并通过消息联系交换机以重新得到该数据流的统计数据.如果在这一时期内收集到的关于该数据流的监控数据变化并不显著特数的变化没有超过阈值，则时隙t将被增大λ倍；对于低数据传输率的数据流，该过程可以重复执行，直到监控采样时隙达到上界。
CN201811306879.7A 2018-11-05 2018-11-05 基于大数据处理及云传输下的智能监测方法及平台 Pending CN109460829A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811306879.7A CN109460829A (zh) 2018-11-05 2018-11-05 基于大数据处理及云传输下的智能监测方法及平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811306879.7A CN109460829A (zh) 2018-11-05 2018-11-05 基于大数据处理及云传输下的智能监测方法及平台

Publications (1)

Publication Number Publication Date
CN109460829A true CN109460829A (zh) 2019-03-12

Family

ID=65609432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811306879.7A Pending CN109460829A (zh) 2018-11-05 2018-11-05 基于大数据处理及云传输下的智能监测方法及平台

Country Status (1)

Country Link
CN (1) CN109460829A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110611793A (zh) * 2019-08-30 2019-12-24 广州奇化有限公司 基于工业视觉的供应链信息采集与数据分析方法及装置
CN111814882A (zh) * 2020-07-10 2020-10-23 辽东学院 一种基于计算机大数据的数据分类系统
CN114969163A (zh) * 2022-07-21 2022-08-30 北京宏数科技有限公司 一种基于大数据的设备运维方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105863733A (zh) * 2016-05-04 2016-08-17 上海交通大学 适用于煤矿的直通式瓦斯超限监控管理系统及使用方法
CN106789418A (zh) * 2016-12-15 2017-05-31 山东省通信管理局 一种idc机房流量采样监测分析的方法
CN107972695A (zh) * 2017-12-06 2018-05-01 株洲中车轨道交通装备有限公司 一种物联网轨道车辆车轴健康状态智能监测管理系统装置
CN108306870A (zh) * 2018-01-22 2018-07-20 广东奥飞数据科技股份有限公司 一种数据安全监控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105863733A (zh) * 2016-05-04 2016-08-17 上海交通大学 适用于煤矿的直通式瓦斯超限监控管理系统及使用方法
CN106789418A (zh) * 2016-12-15 2017-05-31 山东省通信管理局 一种idc机房流量采样监测分析的方法
CN107972695A (zh) * 2017-12-06 2018-05-01 株洲中车轨道交通装备有限公司 一种物联网轨道车辆车轴健康状态智能监测管理系统装置
CN108306870A (zh) * 2018-01-22 2018-07-20 广东奥飞数据科技股份有限公司 一种数据安全监控系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110611793A (zh) * 2019-08-30 2019-12-24 广州奇化有限公司 基于工业视觉的供应链信息采集与数据分析方法及装置
CN110611793B (zh) * 2019-08-30 2020-12-01 广州奇化有限公司 基于工业视觉的供应链信息采集与数据分析方法及装置
CN111814882A (zh) * 2020-07-10 2020-10-23 辽东学院 一种基于计算机大数据的数据分类系统
CN111814882B (zh) * 2020-07-10 2021-06-22 辽东学院 一种基于计算机大数据的数据分类系统
CN114969163A (zh) * 2022-07-21 2022-08-30 北京宏数科技有限公司 一种基于大数据的设备运维方法及系统
CN114969163B (zh) * 2022-07-21 2022-12-09 北京宏数科技有限公司 一种基于大数据的设备运维方法及系统

Similar Documents

Publication Publication Date Title
CN104616205B (zh) 一种基于分布式日志分析的电力系统运行状态监视方法
Canizo et al. Implementation of a large-scale platform for cyber-physical system real-time monitoring
CN106452881B (zh) 一种基于云加端模式的运维数据处理系统
CN105608144B (zh) 一种基于多层模型迭代的大数据分析平台装置及方法
CN108197261A (zh) 一种智慧交通操作系统
CN105631026A (zh) 一种安全数据分析系统
CN106708016A (zh) 故障监控方法和装置
CN107517131A (zh) 一种基于日志采集的分析预警方法
CN109460829A (zh) 基于大数据处理及云传输下的智能监测方法及平台
CN111858251B (zh) 一种基于大数据计算技术的数据安全审计方法及系统
Peres et al. A highly flexible, distributed data analysis framework for industry 4.0 manufacturing systems
Tang et al. Optimizing system monitoring configurations for non-actionable alerts
CN106789270A (zh) 一种信息系统集中运维管理的实现方法及系统
CN105184886A (zh) 一种云数据中心智能巡检系统及方法
Zyrianoff et al. Scalability of real-time iot-based applications for smart cities
CN114358106A (zh) 系统异常检测方法、装置、计算机程序产品及电子设备
CN107656973A (zh) 一种应用于云审计系统的日志审计子系统
Solmaz et al. ALACA: A platform for dynamic alarm collection and alert notification in network management systems
Di Mauro et al. A framework for Internet data real-time processing: A machine-learning approach
Abro et al. Artificial intelligence enabled effective fault prediction techniques in cloud computing environment for improving resource optimization
Ganapathy Edge computing: Utilization of the internet of things for time-sensitive data processing
Xhafa et al. A software chain approach to big data stream processing and analytics
CN115080363B (zh) 一种基于业务日志的系统容量评估方法及装置
Jo et al. Implementation of cloud monitoring system based on open source monitoring solution
CN106649034A (zh) 一种可视化智能运维方法及平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190312