CN111177276B - 一种基于Spark计算框架的动能数据处理系统及方法 - Google Patents
一种基于Spark计算框架的动能数据处理系统及方法 Download PDFInfo
- Publication number
- CN111177276B CN111177276B CN202010010196.8A CN202010010196A CN111177276B CN 111177276 B CN111177276 B CN 111177276B CN 202010010196 A CN202010010196 A CN 202010010196A CN 111177276 B CN111177276 B CN 111177276B
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- module
- kinetic energy
- computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims description 27
- 238000013500 data storage Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000003860 storage Methods 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000005192 partition Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 235000019504 cigarettes Nutrition 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 2
- 230000010076 replication Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Manufacturing & Machinery (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及一种基于Spark计算框架的动能数据处理系统，包括用于监测工业车间动能数据的数据采集模块、对发布至Kafka消息队列的数据流进行数据计算的数据处理分析模块以及分布式数据存储模块。考虑到数据采集终端的多种多样，Kafka集群设置有可接入多种数据采集终端的功能接口，以此建立了灵活可扩展的数据采集系统，避免了多个数据终端接入的问题。其次，由于所需处理的检测数据量大，采用流计算对来自Kafka消息队列的流数据做加工处理，可以大大提高计算性能。再次，工业车间对设备运行的决策要求处理分析数据的实时性高，因而对数据采用分布式的存储方式。
Description
技术领域
本发明涉及对车间各类设备的动能数据处理技术领域，具体涉及一种基于Spark计算框架的动能数据处理系统及方法。
背景技术
卷烟厂动力车间设备会产生海量的动能数据，为了降低生产成本及提高生产质量，需要对这些动能数据进行采集、处理和分析。而在大数据技术的飞速增长过程中会有如下问题：
（1）由于数据量的庞大以及需要对接多方位的系统数据，并不能很好的对这些数据进行采集；
（2）大量的数据在传输过程中也会由于信道质量等多样性、复杂性、各种不确定的因素引入不满足质量要求的噪声数据，如异常、错误、重复以及缺失数据等，使得后续数据的分析环节的结果数据准确性降低；
（3）终端可视化的数据检索实时性不高。针对上述问题，本发明建立了一个灵活可扩展的数据采集系统，在数据存储前采用基于Spark 计算框架对数据进行清洗，并对处理后的数据采用分布式的存储方式，最终保证数据的完整性和可靠性。
发明内容
为了解决上述的技术问题，本发明的第一个目的是提供一种基于Spark 计算框架的动能数据处理系统，该系统采用分布式的存储方式、具有灵活可扩展的数据采集系统，且能大大提高计算性能，本发明的第二个目的是提供一种基于Spark 计算框架的动能数据处理方法。
为了实现上述第一个目的，本发明采用了以下的技术方案：
一种基于Spark 计算框架的动能数据处理系统，包括数据采集模块、数据处理分析模块和数据存储模块；所述数据采集模块内置多个传感器节点，用来对MES、能管、动力集控、设备管理等各系统的数据的采集，以获取卷烟厂动力车间各类动能监测数据；所述数据处理分析模块包括数据接入模块、数据缓存模块和实时计算模块，根据应用场景对动能数据进行实时计算和离线分析；所述数据存储模块采用基于Spark 计算框架将清洗后的数据存于对应的数据库中。
作为优选方案：所述数据处理分析模块对进入 Kafka 的所有采集的数据采用各种方法进行数据的清洗，包括对数据依次进行重复值、错误值、异常值以及缺失值的清洗，为数据分析提供符合要求的基础数据。
作为优选方案：所述数据存储模块提高大数据存储与关系数据库相结合对原始数据、过程数据进行分布式文件存储的同时，将结果保存至关系型数据库Oracle 中，并通过sqoop 实现分布式文件系统与关系型数据库之间的数据传递。
为了实现上述第二个目的，本发明采用了以下的技术方案：
一种基于 Spark 计算框架的动能数据处理方法，采用上述的处理系统，步骤如下：
步骤 1：由无线传感器接收动能数据，对各动能设备的监控数据进行不同主题分区，利用 kafka 消息队列服务，将数据以流的形式发布至缓冲池；
步骤 2：启动Kafka 消息队列集群的用户接入功能，接入用户向系统发布的任务；
步骤 3：构建包括消息生产者、消息缓存节点和消息消费者的Kafka 集群，并对Kafka 集群节点进行主题分区；
步骤 4：由Kafka 集群对消息队列中的数据进行协调服务。消息生产者对用户订阅的任务进行逻辑解析，并推送至Kafka 集群节点的主题分区中缓存；
步骤5：由实时计算模块从Kafka 消息队列的不同主题中按照订阅要求，主动拉取所需主题的分区消息，并由流计算集群节点将数据交由数据计算层进行数据处理。
作为优选方案：所述步骤5 中，采用基于Spark 计算框架的实时计算模块从Kafka消息队列中拉取流数据，并传递给Spark 计算框架的计算组件进行加工处理，先后进行数据转换、数据复制、逻辑判断、异常数据处理、数据比对、数据装载、数据路由、数据整合、数据审核操作。
作为优选方案：所述Spark 计算框架的计算组件进行加工处理，具体涉及以下内容：
（1）可视化配置格式转换，包括字段拆分/合并、不同格式间转换；对字段内或字段间做数学运算；根据一个或几个字段做聚类操作；对数据字典和身份证的转换等；
（2）可视化配置多种逻辑处理，包括：格式匹配检查、字符串逻辑检查、内容为空检查、重复记录检查、范围内检查、表表外键关联检查、逻辑检查、复合逻辑检查、自定义逻辑检查等；
（3）根据逻辑处理情况，对异常数据进行相应的加工策略，策略有三种：一种是将逻辑处理后的数据与目标数据库表内容做比对操作，并根据比对结果做相应的增加、覆盖、删除等处理；第二种是做数据逻辑判断来支持异常情况处理，对于出现异常情况的数据，可以根据逻辑处理设定不同的处理策略，既可以设置为差错数据记录到差错数据库上，供业务人员数据审核处理，也可以路由输入到指定的目标方供业务人员处理，还可以作为异常数据记录到相应日志文件上，并给予监控日志相应提示，供信息操作者根据提示做相应的处理作出对应的判断数据的异常情况；第三种策略是按照字段内容作为路由条件将数据加载到不同的目标上进行处理；
（4）记录数据加工过程中不合规范的数据。
本发明对 Kafka 集群设置了可以扩展多个数据采集终端的功能接口，数据采集模块可以根据需要灵活地接入多个数据采集系统，避免了数据接入的瓶颈；本发明采用基于时间序列特征的数据流异常检测方法对数据流进行预处理，不仅减轻了流计算组件的工作负担，提高了数据处理效率，也能让工作人员提早知道异常数据的环节；本发明涉及的基于Spark 流计算组件，能减少每次计算的数据访问I/O，优化数据加工算法，把彼此关联计算的结果供下一个计算单元使用，在一个处理服务内能实现转换、异常数据处理、数据整合等功能，大大提高了整体性能。
附图说明
图 1 是本发明所述的动能数据处理系统整体架构图；
图 2 是本发明所述的基于Spark 流计算处理流程图；
图 3 是本发明提供的一种基于时间序列特征的数据流异常检测方法流程图。
具体实施方式
为了相关技术人员更清晰的了解本发明的技术方案，现结合附图对本发明做进一步的详细说明。
参见图 1，本实施例公开了一种基于Spark 计算框架的动能数据处理系统，包括三个模块：数据采集模块、数据处理分析模块、数据存储模块，所述数据采集模块内设置接入多数据采集终端的接口，实现动力系统各环节数据的收集与集成，打通与现有信息系统数据交互，包括MES 系统、能管系统、集控系统及基于OPC 的数采服务等；所述数据处理分析模块包括数据接入模块、数据缓存模块和实时计算模块，根据应用场景对动能数据进行实时计算和离线分析，Spark 计算处理流程如图2 所示，具体步骤如下：
步骤 1：由无线传感器接收动能数据，对各动能设备的监控数据进行不同主题分区，利用 kafka 消息队列服务，将数据以流的形式发布至缓冲池；
步骤 2：启动Kafka 消息队列集群的用户接入功能，接入用户向系统发布的任务；
步骤 3：构建包括消息生产者、消息缓存节点和消息消费者的Kafka 集群，并对Kafka 集群节点进行主题分区；
步骤 4：由Kafka 集群对消息队列中的数据进行协调服务。消息生产者对用户订阅的任务进行逻辑解析，并推送至Kafka 集群节点的主题分区中缓存；
步骤 5：由流计算模块的读取模块从Kafka 消息队列的不同主题中按照订阅要求，主动拉取所需主题的分区消息，并由流计算集群节点将数据交由数据计算层进行数据处理。
进一步地，对在数据传输过程中生成的噪音数据进行清洗，主要利用利用数理统计、数据挖掘等方法将噪声数据转换为满足数据质量要求的数据，具体实施内容包括以下几个方面：
（1）错误值的清洗。首先要检测出带有错误数据的元组，再对该元组进行处理。可以使用已有的关于数据性质的知识来发现错误值，通常在定义数据字典时，对数据有一个基本的规定，比如蒸汽温度、蒸汽湿度、空压等都会有阈值规定。另外，由于采集过程中加载缓慢或者采集设备故障，会造成属性值缺失。对于这些数据，一般直接删去；部分错误数据可借用相邻数据。
（2）异常值的清洗。采用基于距离的异常值检测方法、基于密度的异常值检测方法以及基于聚类的异常值检测方法对所获得数据中相对误差较大的数据进行异常检测，对于异常情况的数据由流计算组件进行加工处理。
（3）对人工原因或是记录设备、网络连接故障等问题造成的缺失数据，首先进行缺失数据的识别，然后探索缺失值的模式，由流计算组件进行加工处理。
进一步地，所述数据存储模块采用大数据存储与关系数据库相结合的技术方案，对原始数据、过程数据进行分布式文件存储的同时，将结果保存至关系型数据库Oracle中，并通过sqoop 实现分布式文件系统与关系型数据库之间的数据传递。
进一步地，以 Oracle 建立传统数据仓库来实现对用于结构化数据和元数据的集中存储与管理，并根据需求建立面向应用和主题的数据集市，中央数据仓库划分为三个逻辑存储区间： ODS(Operational Data Store) 、DW(DataWarehourse)、DM(Data Mart)：ODS存放原始数据，包括与原结构相同的业务数据以及经过初步整理后的业务数据；DW 区域存放经过整理过的数据，是大数据分析平台真正的数据中心；DM 区域存放各个应用系统（web应用、BI、OLAP、Data Mining 等）所需的综合数据。
进一步地，当 Oracle 中存有大量数据时，对历史数据通过分库处理或者分表处理的方式进行迁移，或通过sqoop 定期将数据迁移hadoop 文件系统进行数据存储。
进一步地，对于大量的tag 点采集信息的原始数据，以及大量的计算中间数据，利用工具把数据从Kafka 内转存至Hbase 中，利用大数据应用框架Hadoop平台的数据仓库作为传统数据仓库的补充，实现对非结构化数据的存储和管理，并对来自网络的海量数据查询提供支撑。
在一个实施例中，接收的数据流包括监测值和监测时间，直接对大量的数据流进行异常检测是非常困难的，可以根据数据流的时间序列特性对数据流进行分段处理后检测数据的异常情况，如图3 所示，具体包括：（1） 提取设定的动能数据流设为，
根据下述方法得到数据流中的极值点：
（2）根据数据流中子序列的特征值如长度、高度、均值、方差等判断异常情况。其中，子序列长度为：子序列的高度为：/>子序列均值为：子序列方差为：/>
（3）采用欧氏距离的计算方法计算两子序列和间的距离：
进一步地，根据上述方法可以对数据流进行初始异常检测，以提高异常情况检测的效率。
以上所述的仅是本发明的优选实施方式。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明原理的情况下，还可以作出若干改进和变型，这也视为本发明的保护范围。
Claims (3)
1.一种基于 Spark 计算框架的动能数据处理方法，其特征在于：采用如下处理系统，包括数据采集模块、数据处理分析模块和数据存储模块；所述数据采集模块内置多个传感器节点，用来对MES、能管、动力集控、设备管理等各系统的数据的采集，以获取卷烟厂动力车间各类动能监测数据；所述数据处理分析模块包括数据接入模块、数据缓存模块和实时计算模块，根据应用场景对动能数据进行实时计算和离线分析；所述数据存储模块采用基于Spark 计算框架将清洗后的数据存于对应的数据库中；步骤如下：
步骤1：由无线传感器接收动能数据，对各动能设备的监控数据进行不同主题分区，利用 kafka 消息队列服务，将数据以流的形式发布至缓冲池；
步骤2：启动Kafka消息队列集群的用户接入功能，接入用户向系统发布的任务；
步骤3：构建包括消息生产者、消息缓存节点和消息消费者的Kafka集群，并对Kafka集群节点进行主题分区；
步骤4：由Kafka集群对消息队列中的数据进行协调服务，消息生产者对用户订阅的任务进行逻辑解析，并推送至Kafka 集群节点的主题分区中缓存；
步骤5：由实时计算模块从Kafka消息队列的不同主题中按照订阅要求，主动拉取所需主题的分区消息，并由流计算集群节点将数据交由数据计算层进行数据处理；
所述步骤5 中，采用基于Spark 计算框架的实时计算模块从Kafka消息队列中拉取流数据，并传递给Spark 计算框架的计算组件进行加工处理，先后进行数据转换、数据复制、逻辑判断、异常数据处理、数据比对、数据装载、数据路由、数据整合、数据审核操作，所述Spark 计算框架的计算组件进行加工处理，具体涉及以下内容：
（1）可视化配置格式转换，包括字段拆分/合并、不同格式间转换；对字段内或字段间做数学运算；根据一个或几个字段做聚类操作；对数据字典和身份证的转换等；
（2）可视化配置多种逻辑处理，包括：格式匹配检查、字符串逻辑检查、内容为空检查、重复记录检查、范围内检查、表表外键关联检查、逻辑检查、复合逻辑检查、自定义逻辑检查等；
（3）根据逻辑处理情况，对异常数据进行相应的加工策略，策略有三种：一种是将逻辑处理后的数据与目标数据库表内容做比对操作，并根据比对结果做相应的增加、覆盖、删除等处理；第二种是做数据逻辑判断来支持异常情况处理，对于出现异常情况的数据，可以根据逻辑处理设定不同的处理策略，既可以设置为差错数据记录到差错数据库上，供业务人员数据审核处理，也可以路由输入到指定的目标方供业务人员处理，还可以作为异常数据记录到相应日志文件上，并给予监控日志相应提示，供信息操作者根据提示做相应的处理作出对应的判断数据的异常情况；第三种策略是按照字段内容作为路由条件将数据加载到不同的目标上进行处理；
（4）记录数据加工过程中不合规范的数据。
2.根据权利要求 1 所述的一种基于 Spark 计算框架的动能数据处理方法，其特征在于：所述数据处理分析模块对进入Kafka 的所有采集的数据采用各种方法进行数据的清洗，包括对数据依次进行重复值、错误值、异常值以及缺失值的清洗，为数据分析提供符合要求的基础数据。
3.根据权利要求 1 所述的一种基于 Spark 计算框架的动能数据处理方法，其特征在于：所述数据存储模块提高大数据存储与关系数据库相结合对原始数据、过程数据进行分布式文件存储的同时，将结果保存至关系型数据库Oracle 中，并通过sqoop 实现分布式文件系统与关系型数据库之间的数据传递。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010010196.8A CN111177276B (zh) | 2020-01-06 | 2020-01-06 | 一种基于Spark计算框架的动能数据处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010010196.8A CN111177276B (zh) | 2020-01-06 | 2020-01-06 | 一种基于Spark计算框架的动能数据处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111177276A CN111177276A (zh) | 2020-05-19 |
| CN111177276B true CN111177276B (zh) | 2023-10-20 |
Family
ID=70656158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010010196.8A Active CN111177276B (zh) | 2020-01-06 | 2020-01-06 | 一种基于Spark计算框架的动能数据处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111177276B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110850824A (zh) * | 2019-11-12 | 2020-02-28 | 北京矿冶科技集团有限公司 | 一种将分布式控制系统数据采集至Hadoop平台的实现方法 |
| CN112116463B (zh) * | 2020-05-20 | 2024-07-23 | 上海金融期货信息技术有限公司 | 一种基于Spark引擎的智能分析系统 |
| CN111858569B (zh) * | 2020-07-01 | 2024-09-20 | 长江岩土工程有限公司 | 基于流式计算的海量数据清洗的方法 |
| CN112073506B (zh) * | 2020-09-04 | 2022-10-25 | 哈尔滨工业大学 | 基于IPv6与消息队列的复杂电磁数据采集方法 |
| CN112035566B (zh) * | 2020-11-04 | 2021-02-23 | 长沙树根互联技术有限公司 | 数据调用方法、装置、电子设备和存储介质 |
| CN112631794A (zh) * | 2020-12-02 | 2021-04-09 | 红云红河烟草(集团)有限责任公司 | 一种卷烟制造的信息集成方法 |
| CN114637784A (zh) * | 2020-12-15 | 2022-06-17 | 沈阳中科数控技术股份有限公司 | 一种基于spark流处理的轴承剩余使用寿命预测方法 |
| CN112597205A (zh) * | 2020-12-30 | 2021-04-02 | 哈尔滨航天恒星数据系统科技有限公司 | 一种基于流及消息调度的实时数据计算及存储方法 |
| CN112929430B (zh) * | 2021-01-29 | 2023-01-03 | 光控特斯联(上海)信息科技有限公司 | 一种基于物联网通信的数据传输方法及系统 |
| CN114490847A (zh) * | 2022-01-17 | 2022-05-13 | 武汉魅客科技有限公司 | 一种智慧能源云平台数据处理方法 |
| CN114444623B (zh) * | 2022-04-11 | 2022-08-12 | 智昌科技集团股份有限公司 | 面向工业机器人的异常检测分析方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN106547882A (zh) * | 2016-11-03 | 2017-03-29 | 国网重庆市电力公司电力科学研究院 | 一种智能电网中营销大数据的实时处理方法及系统 |
| WO2017071134A1 (zh) * | 2015-10-28 | 2017-05-04 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询系统 |
| CN106933204A (zh) * | 2015-10-09 | 2017-07-07 | 费希尔-罗斯蒙特系统公司 | 分布式工业性能监控和分析 |
| CN108874982A (zh) * | 2018-06-11 | 2018-11-23 | 华南理工大学 | 一种基于Spark大数据框架离线实时处理数据的方法 |
| CN109130935A (zh) * | 2018-08-30 | 2019-01-04 | 广东电网有限责任公司 | 一种电动汽车智能充电监控系统 |
| CN110022226A (zh) * | 2019-01-04 | 2019-07-16 | 国网浙江省电力有限公司 | 一种基于面向对象的数据采集系统及采集方法 |
| CN110285877A (zh) * | 2019-06-06 | 2019-09-27 | 武汉理工大学 | 基于Spark Streaming的列车实时定位跟踪与速度计算方法 |
| CN110377653A (zh) * | 2019-07-15 | 2019-10-25 | 武汉中地数码科技有限公司 | 一种实时大数据计算与存储方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10496927B2 (en) * | 2014-05-23 | 2019-12-03 | DataRobot, Inc. | Systems for time-series predictive data analytics, and related methods and apparatus |
| US10862965B2 (en) * | 2017-10-01 | 2020-12-08 | Oracle International Corporation | System and method for topics implementation in a distributed data computing environment |
| US10983895B2 (en) * | 2018-06-05 | 2021-04-20 | Unravel Data Systems, Inc. | System and method for data application performance management |
-
2020
- 2020-01-06 CN CN202010010196.8A patent/CN111177276B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106933204A (zh) * | 2015-10-09 | 2017-07-07 | 费希尔-罗斯蒙特系统公司 | 分布式工业性能监控和分析 |
| WO2017071134A1 (zh) * | 2015-10-28 | 2017-05-04 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN106547882A (zh) * | 2016-11-03 | 2017-03-29 | 国网重庆市电力公司电力科学研究院 | 一种智能电网中营销大数据的实时处理方法及系统 |
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询系统 |
| CN108874982A (zh) * | 2018-06-11 | 2018-11-23 | 华南理工大学 | 一种基于Spark大数据框架离线实时处理数据的方法 |
| CN109130935A (zh) * | 2018-08-30 | 2019-01-04 | 广东电网有限责任公司 | 一种电动汽车智能充电监控系统 |
| CN110022226A (zh) * | 2019-01-04 | 2019-07-16 | 国网浙江省电力有限公司 | 一种基于面向对象的数据采集系统及采集方法 |
| CN110285877A (zh) * | 2019-06-06 | 2019-09-27 | 武汉理工大学 | 基于Spark Streaming的列车实时定位跟踪与速度计算方法 |
| CN110377653A (zh) * | 2019-07-15 | 2019-10-25 | 武汉中地数码科技有限公司 | 一种实时大数据计算与存储方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111177276A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111177276B (zh) | 一种基于Spark计算框架的动能数据处理系统及方法 | |
| CN108038049B (zh) | 实时日志控制系统及控制方法、云计算系统及服务器 | |
| CN111984499B (zh) | 一种大数据集群的故障检测方法和装置 | |
| CN107256219B (zh) | 应用于自动列车控制系统海量日志的大数据融合分析方法 | |
| CN104363106B (zh) | 一种基于大数据技术的电力信息通信故障预警分析方法 | |
| CN111027615B (zh) | 基于机器学习的中间件故障预警方法和系统 | |
| CN110389950B (zh) | 一种快速运行的大数据清洗方法 | |
| CN112749153B (zh) | 一种工业网络数据管理系统 | |
| CN110659276A (zh) | 一种计算机数据统计系统及其统计分类方法 | |
| CN110399278A (zh) | 基于数据中心异常监控的告警融合系统及方法 | |
| CN116167370A (zh) | 基于日志时空特征分析的分布式系统异常检测方法 | |
| CN114842371B (zh) | 一种无监督视频异常检测方法 | |
| CN112948215A (zh) | 基于分布式数据库日志数据的实时异常检测方法及系统 | |
| CN113961612A (zh) | 一种基于深度学习的卫星健康数据综合分析系统及方法 | |
| CN112650739A (zh) | 煤矿数据中台的数据存储处理方法和装置 | |
| CN117411780A (zh) | 一种基于多源数据特征的网络日志异常检测方法 | |
| CN115001781B (zh) | 一种终端网络状态安全监测方法 | |
| CN116541717A (zh) | 一种基于云计算和深度学习的大数据分析方法 | |
| CN110968596A (zh) | 一种基于标签系统的数据处理方法 | |
| CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
| CN112269778B (zh) | 一种设备故障诊断方法 | |
| CN114722081A (zh) | 一种基于中转库模式的流式数据时间序列传输方法及系统 | |
| CN113177040A (zh) | 铝/铜板带材生产全流程大数据清洗与分析方法 | |
| CN116861204B (zh) | 基于数字孪生的智能制造设备数据管理系统 | |
| CN115033457B (zh) | 一种可监控预警的多源数据实时采集方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |