CN113486063A - 电力物联网中流数据处理方法、装置及终端设备 - Google Patents

电力物联网中流数据处理方法、装置及终端设备 Download PDF

Info

Publication number
CN113486063A
CN113486063A CN202110759000.XA CN202110759000A CN113486063A CN 113486063 A CN113486063 A CN 113486063A CN 202110759000 A CN202110759000 A CN 202110759000A CN 113486063 A CN113486063 A CN 113486063A
Authority
CN
China
Prior art keywords
data
processing
bolt node
bolt
things
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110759000.XA
Other languages
English (en)
Inventor
尚立
赵炜
苏汉
陈方正
袁欣雨
纪春华
李毅超
蔡硕
崔俊彬
李保罡
张珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
North China Electric Power University
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
North China Electric Power University
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, North China Electric Power University, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110759000.XA priority Critical patent/CN113486063A/zh
Publication of CN113486063A publication Critical patent/CN113486063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于数据处理技术领域，公开了一种电力物联网中流数据处理方法、装置及终端设备，包括：通过Spout接收流数据并发送至第一Bolt节点和第二Bolt节点；通过第一Bolt节点将接收到的流数据保存至分布式文件系统中；通过第二Bolt节点对接收到的流数据进行预处理得到处理后的流数据；通过第三Bolt节点对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；通过第四Bolt节点选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点；通过第五Bolt节点将其他数据与参考数据对比，得到正常数据、异常数据和故障数据，并存储至分布式文件系统中。本发明能提高数据处理效率。

Description

电力物联网中流数据处理方法、装置及终端设备
技术领域
本发明属于数据处理技术领域，尤其涉及一种电力物联网中流数据处理方法、装置及终端设备。
背景技术
由于互联网技术的迅速发展，使人们生活的越来越便捷，也产生了越来越多的数据，这给数据价值的挖掘带来了重大的挑战。并且随着物联网的飞速发展和电力系统的不断扩展，与电力行业有关的数据量变得非常大，因此，在电力物联网中研究一种提高数据处理效率的数据处理方法是十分有必要的。然而，目前的数据处理方法的数据处理效率较低。
发明内容
有鉴于此，本发明实施例提供了一种电力物联网中流数据处理方法、装置及终端设备，以解决现有技术的数据处理效率较低的问题。
本发明实施例的第一方面提供了一种电力物联网中流数据处理方法，基于分布式流数据处理框架Apache Storm对电力物联网中的流数据进行处理；上述方法包括：
通过Spout，接收流数据并发送至第一Bolt节点和第二Bolt节点；
通过第一Bolt节点，将接收到的流数据保存至分布式文件系统中；
通过第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据；通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点；通过第五Bolt节点，将其他数据与参考数据对比，得到正常数据、异常数据和故障数据，并将正常数据、异常数据和故障数据存储至分布式文件系统中。
在一种可能的实现方式中，第四Bolt节点的数量为两个；
通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点，包括：
通过第三Bolt节点，将处理后的流数据划分为用于预测的数据和用于分类的数据，并将用于预测的数据发送至第一个第四Bolt节点，将用于分类的数据发送至第二个第四Bolt节点；
相应的，通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点，包括：
通过第二个第四Bolt节点，从用于分类的数据中选取出参考数据，并将参考数据与用于分类的数据中的其他数据发送至第五Bolt节点；
电力物联网中流数据处理方法还包括：
通过第一个第四Bolt节点，基于用于预测的数据进行预测。
在一种可能的实现方式中，通过第一个第四Bolt节点，基于用于预测的数据进行预测，包括：
通过第一个第四Bolt节点，基于用于预测的数据和支持向量机模型进行预测。
在一种可能的实现方式中，电力物联网中流数据处理方法还包括：
采用流水线模式对电力物联网中流数据进行处理。
在一种可能的实现方式中，电力物联网中流数据处理方法还包括：
基于循环队列和流转算子实现流数据和各个节点的处理逻辑的流转。
在一种可能的实现方式中，通过第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据，包括：
通过第二Bolt节点，对接收到的流数据进行数据的冗余属性删除处理、重复数据删除处理、属性缺失率大于预设百分比的数据删除处理以及属性缺失率不大于预设百分比的数据中的缺失数据补全处理，得到处理后的流数据。
在一种可能的实现方式中，电力物联网中流数据处理方法还包括：
基于Map Reduce，对电力物联网中流数据进行清洗，删除不合格数据，保留有用数据。
本发明实施例的第二方面提供了一种电力物联网中流数据处理装置，基于分布式流数据处理框架Apache Storm对电力物联网中的流数据进行处理；上述装置包括：
接收模块，用于通过Spout，接收流数据并发送至第一Bolt节点和第二Bolt节点；
存储模块，用于通过第一Bolt节点，将接收到的流数据保存至分布式文件系统中；
预处理模块，用于通过第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据；
分类模块，用于通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；
选取模块，用于通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点；
数据划分模块，用于通过第五Bolt节点，将其他数据与参考数据对比，得到正常数据、异常数据和故障数据，并将正常数据、异常数据和故障数据存储至分布式文件系统中。
本发明实施例的第三方面提供了终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面或第一方面的任一种可能的实现方式所述的电力物联网中流数据处理方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被一个或多个处理器执行时实现如第一方面或第一方面的任一种可能的实现方式所述的电力物联网中流数据处理方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例基于分布式流数据处理框架Apache Storm对电力物联网中的流数据进行处理，通过各个节点分别对流数据进行处理，可以提高数据传输速率，减少处理时延，提高数据处理效率；通过Apache Storm可以满足大量实时流数据的处理需求；通过对数据进行预处理，可以减少无效数据，有效防止错误发生，提高数据的准确性与规律性，为后续数据处理打下良好基础，进而可以提高数据处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的电力物联网中流数据处理方法的实现流程示意图；
图2是本发明一实施例提供的Apache Storm的拓扑结构示意图；
图3是本发明一实施例提供的一种流数据处理方法的示例流程图；
图4是本发明一实施例提供的数据处理系统的框架示意图；
图5是本发明一实施例提供的对流数据进行预处理的流程示意图；
图6是本发明一实施例提供的电力物联网中流数据处理装置的示意框图；
图7是本发明一实施例提供的终端设备的示意框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1是本发明一实施例提供的电力物联网中流数据处理方法的实现流程示意图，为了便于说明，仅示出了与本发明实施例相关的部分。本发明实施例的执行主体可以是终端设备。
其中，上述电力物联网中流数据处理方法是基于分布式流数据处理框架ApacheStorm对电力物联网中的流数据进行处理。
Apache Storm是一个分布式的流数据处理框架，可以进行扩展，并且对数据有较高的包容能力，通过Spout获取数据然后发送数据，通过各个Bolt节点进行发送后的数据处理。Storm作为一种流处理技术，其提交运行的程序称为拓扑，拓扑结构由Spout和Bolt构成，参见图2，可以对电力系统的正常工作状态进行监控预测。
如图1所示，上述电力物联网中流数据处理方法可以包括以下步骤：
S101：通过Spout，接收流数据并发送至第一Bolt节点和第二Bolt节点。
参见图2，可以通过Spout接收流数据，并发送至第一Bolt节点和第二Bolt节点。其中，流数据可以是电力物联网中的一些状态监测数据。状态监测数据可以是电力物联网中涉及到的各个设备的运行状态、电压、电流参数等等。Spout可以接收流数据并形成元组。
S102：通过第一Bolt节点，将接收到的流数据保存至分布式文件系统中。
S103：通过第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据。
在本发明实施例中，通过第二Bolt节点，对需要的监测数据进行筛选抽取，即预处理，得到处理后的流数据。
S104：通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点。
在本发明实施例中，第三Bolt节点可以根据电力系统中收集到的数据特征采用现有方法将数据进行分类，然后将不同类别的数据分别存入不同的单位元组，即将不同类别的数据发送至不同的第四Bolt节点中。
S105：通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点。
S106：通过第五Bolt节点，将其他数据与参考数据对比，得到正常数据、异常数据和故障数据，并将正常数据、异常数据和故障数据存储至分布式文件系统中。
其中，参考数据也是正常数据，第四Bolt节点可以根据现有方法从接收到的流数据中选出一些正常数据作为参考数据，并将参考数据与其他数据发送至第五Bolt节点。这里的其他数据是指第四Bolt节点接收到的流数据中除参考数据外的数据。
第五Bolt节点通过将接收到的数据与参考数据进行对比，通过接收到的数据与参考数据的差异程度，按照差异程度有小到大的顺序，将数据分为正常数据、异常数据和故障数据，并存储至分布式文件系统中。其中，参考数据也作为正常数据存储在分布式文件系统中。
本发明实施例可以提取电力物联网中状态检测流数据中的一些特征，根据其偏离参考数据特征的程度，对电力系统状态进行评估。
由上述描述可知，本发明实施例基于分布式流数据处理框架Apache Storm对电力物联网中的流数据进行处理，通过各个节点分别对流数据进行处理，可以提高数据传输速率，减少处理时延，提高数据处理效率；通过Apache Storm可以满足大量实时流数据的处理需求；通过对数据进行预处理，可以减少无效数据，有效防止错误发生，提高数据的准确性与规律性，为后续数据处理打下良好基础，进而可以提高数据处理效率。
在本发明的一些实施例中，第四Bolt节点的数量为两个；
通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点，包括：
通过第三Bolt节点，将处理后的流数据划分为用于预测的数据和用于分类的数据，并将用于预测的数据发送至第一个第四Bolt节点，将用于分类的数据发送至第二个第四Bolt节点；
相应的，通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点，包括：
通过第二个第四Bolt节点，从用于分类的数据中选取出参考数据，并将参考数据与用于分类的数据中的其他数据发送至第五Bolt节点；
电力物联网中流数据处理方法还包括：
通过第一个第四Bolt节点，基于用于预测的数据进行预测。
在本发明实施例中，第三Bolt节点可以采用现有方法将处理后的流数据划分为用于预测的数据和用于分类的数据。
在本发明的一些实施例中，通过第一个第四Bolt节点，基于用于预测的数据进行预测，包括：
通过第一个第四Bolt节点，基于用于预测的数据和支持向量机模型进行预测。
数据预测可以对监测网络进行监控，识别网络中的噪声，或者发生故障都可以依据数据合理范围进行判断，以此提高数据的质量，保证电力系统服务的可靠性。当数据存在噪声或传感器节点发生故障时，能够通过离群检测提高终端用户获取数据的稳定性，减少因错误数据的传输所产生的通信开销和其它不必要的问题。
具体过程如下：
(1)支持向量机模型的构建
SVM(Support Vector Machine，支持向量机)用于线性和回归。支持向量机基于统计学习理论，结构风险最小化为原理，其核心思想是建立一个最优超平面，使正负例在训练集中的间隔达到最大。采用SVM算法时，建立了SVM模型，分析各部分的约束条件，定义了损失函数μ、松弛变量，给出给定样数集，并找到可实现样本分类的函数，这是SVM算法的重要步骤。
首先，在映射到高维的特征空间中，找到一个包围着目标样本点的超球体，然后，通过最小化由该超球体包围的体积，使目标样本点尽可能地包围着超球体，将两种数据进行区分，以此达到区分两种类型的目的。先确定一个中心为o，半径为R的最小球面。
Figure BDA0003148520400000081
并且使球面满足为
(xi-o)T(xi-o)≤R2+ξi (2)
其中，i,ξi≥0，满足上述条件就说明把训练集中的数据都包含在球里面。松弛变量的作用就是对数据点进行一定的包含能力，以达到对模型的保护。D就是调节松弛变量的影响大小，即给那些需要松弛的数据点多少松弛的空间，D的大小决定成本的多少，由于D变大成本就变大，所以要把松弛变量调小。
有了约束条件，可以用Lagrangian乘子法进行求解。
Figure BDA0003148520400000082
因为αi≥0和γi≥0，对参数求导并令导数等于0得到
Figure BDA0003148520400000083
并且有
D-αi-γi＝0 (5)
将上面的公式代入拉格朗日函数，得到
Figure BDA0003148520400000084
其中，αi和γi均为在拉格朗日算子里的影响变量。
将超球面的中心用支持向量来表示，那么判定新数据是否属于这个类的判定条件就是
Figure BDA0003148520400000091
其中，z为坐标值，因为球面是立体的，所以坐标用x，y，z三个值表示。
先假设含有n个训练集样本对为{(xi,yi),i＝1,2,…,n}，xi是第i个样本的输入值，yi是第i个样本对应的输出值。
然后在高维特征空间中建立一个线性回归函数为
f(x)＝kφ(x)+b (8)
其中φ(x)是一个非线性映射函数。
根据前面可知μ是一个损失函数，可以根据μ的值来判断根据回归函数得到的预测值f(x)和实际值y之间的关系。
Figure BDA0003148520400000092
将松弛变量ξi，
Figure BDA0003148520400000093
加入，可以得到
Figure BDA0003148520400000094
其中，D为影响因子，D越大表示对训练误差大于μ的样本包容性越大，μ规定了回归函数的误差要求，μ越小表示回归函数的误差越小。
可见，将SVM预测方法运用在流数据的处理中，在面对大量数据的时候可以对后续的数据进行判断，从而做好应对措施，避免一些故障的发生。
(2)支持向量机模型的优化
对于输入向量的m维数，支持向量机优化为
Figure BDA0003148520400000101
其中，ei为初始误差，ei是一个矢量误差，λ是拉格朗日乘子，D为一个参数，调节误差的包容性，ω的范数表示间隔距离的倒数。
(3)支持向量机模型的求解
引入Laragange函数，对上面构建的模型进行求解：
Figure BDA0003148520400000102
可以得到
Figure BDA0003148520400000103
其中，oi,oj,
Figure BDA0003148520400000104
分别表示的是两个分类的支持向量到该超平面的不同距离，oi，oj为一组，
Figure BDA0003148520400000105
为一组。K表示的是一个核函数；m表示的是最大的距离，即可区分的界限；k*是对前面k的优化结果。
在流数据处理过程中应用了SVM模型，与平常的预测模型不同，该模型中加入了一个流转算子，将预测固定的数据变成预测变化的数据，并且在输入端的数据都是不断更新的，不是固定的。
在本发明的一些实施例中，电力物联网中流数据处理方法还包括：
采用流水线模式对电力物联网中流数据进行处理。
由于流数据具有连续不断、数据量大、规模及顺序无法预知等特点，单机处理难以满足海量数据处理的高效率要求，所以数据处理采用分布式计算模式，并充分考虑流式数据的处理特点。根据多种处理方式的对比，递推计算模型可以更好的适应流数据处理特点。不同领域的数据都是总体趋势、局部差异化的。通过将复杂的处理流程划分为不同的处理逻辑单元，能够充分利用系统的计算资源，提高系统的通用性和复用性。一个典型的流数据处理流程图如图3所示，可以定义处理周期为
Δt＝max(Ti)+d,i∈[1,5] (14)
其中：Ti为第i个处理单元执行所需要的时间，d为分段后由于单元间的数据传输、调度等造成的固定延迟。流水线模式为在处理第一条数据的时候进行第二条数据的处理，即当第一条数据进行到识别模块的时候将第二条数据传送进来，由此可以计算出来进行处理的时间为6*Δt，即T2＝(2+5-1)*Δt，所以，处理n条数据的时间T＝(n+5-1)*Δt。在流数据处理场景下由于数据源源不断的到来，即n→∞；通过调整处理单元的逻辑与大小，使每段处理单元的时间近似相同，则相比于未采用的流水线模式的总时间5*n*Δt，该技术将处理速度提高了近5倍。
在本发明的一些实施例中，电力物联网中流数据处理方法还包括：
基于循环队列和流转算子实现流数据和各个节点的处理逻辑的流转。
由于流数据是动态的，并且数量过大，可能会造成数据丢失或者有的数据处理不到，所以在数据接入方面(即Spout)就要提出新的方法解决这些问题。在数据循环上采用循环队列，然后和流转算子相结合，不只是数据也可以把算法逻辑循环起来。
在循环队列中通过全局变量定义一个大的数组，在数组中标志读、写两个位置，这样就可以实现一个循环队列的基本模型。将从socket缓冲区接收到的数据，缓存到队列中，将写指针向后移动，另外一个线程，操作读指针，不断跟随写指针，将数据取出，处理。
在算法逻辑的循环上采用流转算子，通过算子流转把某个数据需要处理的逻辑留在一个节点上，减少数据流转所用的时间，减少数据可靠性保证开销，节约资源。可以采用Storm的分布式集群思想，它的每个节点均可以作为处理的中心或者节点，同时结合Spark的流转算子思路，进行逻辑流转。
数据处理系统分为3大部分，如图4所示，分别为计算框架、缓存框架和处理接口框架。其中比较重要的是计算框架，该计算框架提供底层分布式，由多个节点组成集群，负责处理可靠性、单机可靠性和多机可靠性的操作能力；在处理接口处进行了创新，处理接口框架服务提供使用该边缘处理系统的各种接口，包括处理算子、接入终端和数据处理拓扑。
在数据处理系统中最主要的就是处理框架，因为完成数据的接入检测，以及数据的处理过程都是在该框架中。处理框架中包含循环队列和流转算子，实现数据及其逻辑流转。
在循环队列模型中将从缓冲区接收到的数据，缓存到队列中，将写指针向后移动，在另一个相邻的位置，操作读指针，不断跟随写指针，将数据取出、处理。在队列中的每一个节点上都带有流转算子。该算子通过对原始数据中产生的RDD(Resilient DistributedDatasets，分布式数据集)进行操作，将一个或多个RDD生成新的RDD。在流数据处理过程中运用该方法就是使整个系统框架循环流动，在数据输入后，到达接收端开始进行处理，例如分类、清洗等。由于深度学习模型是静态的，所以我们可以通过该方法让静态的深度学习模型与流动的数据结合。让流数据更好的应用在深度学习的模型。
在本发明的一些实施例中，通过第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据，包括：
通过第二Bolt节点，对接收到的流数据进行数据的冗余属性删除处理、重复数据删除处理、属性缺失率大于预设百分比的数据删除处理以及属性缺失率不大于预设百分比的数据中的缺失数据补全处理，得到处理后的流数据。
其中，预设百分比可以根据实际需求进行设置，例如，可以是25％。
在电力物联网的实际应用中，数据预处理消耗的时间也很多。这是因为数据要在一个高质量的基础上进行分析，这样可以避免错误数据带来的时间损耗，并且如果在数据存在误差的情况下对数据进行分析，不论分析算法多精确也会造成错误的结果。由此，高效率的数据预处理过程在数据分析中必不可少。
在电力物联网中，未经过预处理的数据一般都会包含错误数据，这些错误数据可能有缺失、重复，冗余等问题。所以在数据传送到数据处理框架之前，应对数据进行的预处理操作。不同类别的错误数据处理方式有着很大的不同，针对电力物联网原始数据存在的错误数据，制定的数据预处理方案如图5所示。具体流程如下：
(1)利用收集到数据的属性以及数据之间的相关性，删减与下一步分析无关的冗余样本属性；
(2)搜索样本中重复的数据，对重复的数据进行去除；
(3)对于数据缺失属性比例很大的情况下(大于25％)，直接删除此条收到消息的记录；对于缺失率较低并且对总体数据几乎无影响的数据，可以通过对于拉格朗日插值法补全缺失数据。
通过上述数据预处理的三个方法，可以减少无效数据，有效防止数据错误的发生，提高数据准确性与规律性，为数据整理收集打下良好的基础。
在本发明的一些实施例中，电力物联网中流数据处理方法还包括：
基于Map Reduce，对电力物联网中流数据进行清洗，删除不合格数据，保留有用数据。
数据清洗主要是对输入的数据进行再检查、再处理、再处理和过滤的过程，主要通过数据抽取、数据转换、数据加载三个阶段来完成，目的是删除不合格数据，保留有用数据，以提高数据清理的效率。
分布式数据清洗系统以Map Reduce为设计核心，在Map Reduce中，通过Map和Reduce两部分对数据进行处理，Map端读取HDFS分布式文件系统中的文件，然后对读取的文件进行分割，在此过程中不同的分割片段执行不同的任务，再经过shuffle阶段进入到Reduce阶段进行整合操作，具体操作步骤有五步，如下：
(1)从HDFS中读取文件，将这个文件进行分割，划分成多组Key/Value键值对。
(2)在Map里将Value值计算出来，然后进行统计。
(3)Combiner对每个分区Map所对应的key值进行聚合，将Map端的输出作为Combiner的输入。
(4)Partition针对分片进行处理，将Combiner统计出的key进行分区。
(5)Reduce完成最后数据汇总并将其存入数据仓库。
其中，数据清洗可以在第五Bolt节点得到正常数据、异常数据和故障数据后，进行数据清洗，然后再存储在分布式文件系统中。数据清洗也可以在数据预处理之前或之后进行，将经过数据预处理和数据清洗后的数据成为处理后的流数据。
在本发明实施例中还应用到了深度学习模型。针对传统神经网络在深度学习算法中容易收敛到局部极小值的问题，深度学习算法的提出和发展解决了这一问题：①大量样本数据；②包含多个隐藏层的网络结构；③特征提取能力强于目标数据。其产生主要受以下两个方面的影响：①由于通信、测量等技术的发展，数据积累量大，人工难以直观地发现数据中的特征规律；②在大数据时代，由于并行异构计算的困难，难以解决计算难题。
循环神经网络多用于在序列数据的处理，在电力物联网中有大量数据产生，所以也会有多组数据序列，每组数据序列都是不同时间，不同空间组成的。这些数据序列的产生都是在时间和空间上都存在一定的联系。在对数据进行预测的时候可能会受到多种因素的影响，多种影响因素导致数据源可能也有很多，因此将数据源进行整理也会成为一个很大的挑战。由于影响因素复杂，所以对一些问题，人很难做出判断，反而是机器学习能够做得更好一点。所以可以将深度学习应用在数据产生进行预测中。
本发明实施例考虑到目前电力物联网的大力建设以及电力物联网中数据处理情况，提出了一种基于Storm的流数据处理方法，并对该方法进行了一些具体阐述，能够提高数据处理速率。采用分布式流数据处理框架Storm拓扑结构，可以缩短数据处理时间，满足大量流数据处理的需求。将深度学习应用在数据产生进行预测中。采用流水线式的处理方式，从而可以达到缩短处理时间的效果。对数据进行预处理，这样可以避免错误数据带来的时间损耗，提高处理效率和速率。在数据接入后采用循环队列，算法逻辑的循环上采用流转算子，通过边缘计算处理海量的数据，可以实现高效的协同工作。采用SVM预测算法对数据的发展趋势进行预测。采用清洗技术处理脏数据，解决了数据传输过程中的污染状况。
由于Storm具有实时性，所以本发明实施例可以提高数据传输速率，减少处理时延，提高效率；Storm集群有着拓展性，可以满足大量实时流数据的处理需求，所以在流数据处理过程中采用Storm结构可以提高数据处理速度。对数据进行预处理，可以减少无效数据，有效防止数据错误的发生，提高数据准确性与规律性，为数据整理收集打下良好的基础。考虑采用SVM数据预测，可以对监测网络进行监控，识别网络中的噪声，或者发生故障都可以依据数据合理范围进行判断，以此提高数据的质量，保证电力系统服务的可靠性。采用分布式清洗方式对数据进行清洗所用时间明显少于普通系统所用时间。电力物联网中的监测节点越来越多，数据量会越来越大，研究电力数据的特点，分析传输、边缘计算、预处理等内容，可以加快数据处理速度，实现高效实时性强的电力物联网采集和分析。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上述电力物联网中流数据处理方法，本发明一实施例还提供了一种电力物联网中流数据处理装置，具有与上述电力物联网中流数据处理方法同样的有益效果。图6是本发明一实施例提供的电力物联网中流数据处理装置的示意框图，为了便于说明，仅示出与本发明实施例相关的部分。
在本发明实施例中，基于分布式流数据处理框架Apache Storm对电力物联网中的流数据进行处理；电力物联网中流数据处理装置30可以包括接收模块301、存储模块302、预处理模块303、分类模块304、选取模块305和数据划分模块306。
其中，接收模块301，用于通过Spout，接收流数据并发送至第一Bolt节点和第二Bolt节点；
存储模块302，用于通过第一Bolt节点，将接收到的流数据保存至分布式文件系统中；
预处理模块303，用于通过第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据；
分类模块304，用于通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；
选取模块305，用于通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点；
数据划分模块306，用于通过第五Bolt节点，将其他数据与参考数据对比，得到正常数据、异常数据和故障数据，并将正常数据、异常数据和故障数据存储至分布式文件系统中。
在一种可能的实现方式中，第四Bolt节点的数量为两个；
分类模块304还用于：
通过第三Bolt节点，将处理后的流数据划分为用于预测的数据和用于分类的数据，并将用于预测的数据发送至第一个第四Bolt节点，将用于分类的数据发送至第二个第四Bolt节点；
相应的，选取模块305还用于：
通过第二个第四Bolt节点，从用于分类的数据中选取出参考数据，并将参考数据与用于分类的数据中的其他数据发送至第五Bolt节点；
电力物联网中流数据处理装置30还包括预测模块；
预测模块，用于通过第一个第四Bolt节点，基于用于预测的数据进行预测。
在一种可能的实现方式中，预测模块还用于：
通过第一个第四Bolt节点，基于用于预测的数据和支持向量机模型进行预测。
在一种可能的实现方式中，电力物联网中流数据处理装置30还包括流水线处理模块。
流水线处理模块，用于采用流水线模式对电力物联网中流数据进行处理。
在一种可能的实现方式中，电力物联网中流数据处理装置30还包括流转模块。
流转模块，用于基于循环队列和流转算子实现流数据和各个节点的处理逻辑的流转。
在一种可能的实现方式中，预处理模块303还用于：
通过第二Bolt节点，对接收到的流数据进行数据的冗余属性删除处理、重复数据删除处理、属性缺失率大于预设百分比的数据删除处理以及属性缺失率不大于预设百分比的数据中的缺失数据补全处理，得到处理后的流数据。
在一种可能的实现方式中，电力物联网中流数据处理装置30还可以包括清洗模块。
清洗模块，用于基于Map Reduce，对电力物联网中流数据进行清洗，删除不合格数据，保留有用数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述电力物联网中流数据处理装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7是本发明一实施例提供的终端设备的示意框图。如图7所示，该实施例的终端设备40包括：一个或多个处理器401、存储器402以及存储在所述存储器402中并可在所述处理器401上运行的计算机程序403。所述处理器401执行所述计算机程序403时实现上述各个电力物联网中流数据处理方法实施例中的步骤，例如图1所示的步骤S101至S106。或者，所述处理器401执行所述计算机程序403时实现上述电力物联网中流数据处理装置实施例中各模块/单元的功能，例如图6所示模块301至306的功能。
示例性地，所述计算机程序403可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器402中，并由所述处理器401执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序403在所述终端设备40中的执行过程。例如，所述计算机程序403可以被分割成接收模块、存储模块、预处理模块、分类模块、选取模块和数据划分模块，各模块具体功能如下：
接收模块，用于通过Spout，接收流数据并发送至第一Bolt节点和第二Bolt节点；
存储模块，用于通过第一Bolt节点，将接收到的流数据保存至分布式文件系统中；
预处理模块，用于通过第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据；
分类模块，用于通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；
选取模块，用于通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点；
数据划分模块，用于通过第五Bolt节点，将其他数据与参考数据对比，得到正常数据、异常数据和故障数据，并将正常数据、异常数据和故障数据存储至分布式文件系统中。
其它模块或者单元可参照图6所示的实施例中的描述，在此不再赘述。
所述终端设备40可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备40包括但不仅限于处理器401、存储器402。本领域技术人员可以理解，图7仅仅是终端设备40的一个示例，并不构成对终端设备40的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备40还可以包括输入设备、输出设备、网络接入设备、总线等。
所述处理器401可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器402可以是所述终端设备40的内部存储单元，例如终端设备40的硬盘或内存。所述存储器402也可以是所述终端设备40的外部存储设备，例如所述终端设备40上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器402还可以既包括终端设备40的内部存储单元也包括外部存储设备。所述存储器402用于存储所述计算机程序403以及所述终端设备40所需的其他程序和数据。所述存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的电力物联网中流数据处理装置和方法，可以通过其它的方式实现。例如，以上所描述的电力物联网中流数据处理装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种电力物联网中流数据处理方法，其特征在于，基于分布式流数据处理框架Apache Storm对电力物联网中的流数据进行处理；所述方法包括：
通过Spout，接收流数据并发送至第一Bolt节点和第二Bolt节点；
通过所述第一Bolt节点，将接收到的流数据保存至分布式文件系统中；
通过所述第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据；通过第三Bolt节点，对所述处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；通过第四Bolt节点，选取出参考数据，并将所述参考数据与其他数据发送至第五Bolt节点；通过所述第五Bolt节点，将其他数据与所述参考数据对比，得到正常数据、异常数据和故障数据，并将所述正常数据、所述异常数据和所述故障数据存储至所述分布式文件系统中。
2.根据权利要求1所述的电力物联网中流数据处理方法，其特征在于，第四Bolt节点的数量为两个；
所述通过第三Bolt节点，对所述处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点，包括：
通过所述第三Bolt节点，将所述处理后的流数据划分为用于预测的数据和用于分类的数据，并将所述用于预测的数据发送至第一个第四Bolt节点，将所述用于分类的数据发送至第二个第四Bolt节点；
相应的，所述通过第四Bolt节点，选取出参考数据，并将所述参考数据与其他数据发送至第五Bolt节点，包括：
通过所述第二个第四Bolt节点，从所述用于分类的数据中选取出参考数据，并将所述参考数据与所述用于分类的数据中的其他数据发送至第五Bolt节点；
所述电力物联网中流数据处理方法还包括：
通过所述第一个第四Bolt节点，基于所述用于预测的数据进行预测。
3.根据权利要求2所述的电力物联网中流数据处理方法，其特征在于，所述通过所述第一个第四Bolt节点，基于所述用于预测的数据进行预测，包括：
通过所述第一个第四Bolt节点，基于所述用于预测的数据和支持向量机模型进行预测。
4.根据权利要求1所述的电力物联网中流数据处理方法，其特征在于，所述电力物联网中流数据处理方法还包括：
采用流水线模式对电力物联网中流数据进行处理。
5.根据权利要求1所述的电力物联网中流数据处理方法，其特征在于，所述电力物联网中流数据处理方法还包括：
基于循环队列和流转算子实现流数据和各个节点的处理逻辑的流转。
6.根据权利要求1所述的电力物联网中流数据处理方法，其特征在于，所述通过所述第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据，包括：
通过所述第二Bolt节点，对接收到的流数据进行数据的冗余属性删除处理、重复数据删除处理、属性缺失率大于预设百分比的数据删除处理以及属性缺失率不大于所述预设百分比的数据中的缺失数据补全处理，得到处理后的流数据。
7.根据权利要求1至6任一项所述的电力物联网中流数据处理方法，其特征在于，所述电力物联网中流数据处理方法还包括：
基于Map Reduce，对电力物联网中流数据进行清洗，删除不合格数据，保留有用数据。
8.一种电力物联网中流数据处理装置，其特征在于，基于分布式流数据处理框架Apache Storm对电力物联网中的流数据进行处理；所述装置包括：
接收模块，用于通过Spout，接收流数据并发送至第一Bolt节点和第二Bolt节点；
存储模块，用于通过所述第一Bolt节点，将接收到的流数据保存至分布式文件系统中；
预处理模块，用于通过所述第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据；
分类模块，用于通过第三Bolt节点，对所述处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；
选取模块，用于通过第四Bolt节点，选取出参考数据，并将所述参考数据与其他数据发送至第五Bolt节点；
数据划分模块，用于通过所述第五Bolt节点，将其他数据与所述参考数据对比，得到正常数据、异常数据和故障数据，并将所述正常数据、所述异常数据和所述故障数据存储至所述分布式文件系统中。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述电力物联网中流数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如权利要求1至7任一项所述电力物联网中流数据处理方法的步骤。
CN202110759000.XA 2021-07-05 2021-07-05 电力物联网中流数据处理方法、装置及终端设备 Pending CN113486063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110759000.XA CN113486063A (zh) 2021-07-05 2021-07-05 电力物联网中流数据处理方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110759000.XA CN113486063A (zh) 2021-07-05 2021-07-05 电力物联网中流数据处理方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN113486063A true CN113486063A (zh) 2021-10-08

Family

ID=77940128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110759000.XA Pending CN113486063A (zh) 2021-07-05 2021-07-05 电力物联网中流数据处理方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN113486063A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493777A (zh) * 2023-12-29 2024-02-02 成都秦川物联网科技股份有限公司 基于物联网的超声波流量计数据清洗方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095921A (zh) * 2016-06-07 2016-11-09 四川大学 面向海量数据流的实时并行分类方法
CN106502772A (zh) * 2016-10-09 2017-03-15 国网浙江省电力公司信息通信分公司 基于分布式离线技术的电量数据批量高速处理方法及系统
CN107070890A (zh) * 2017-03-10 2017-08-18 北京市天元网络技术股份有限公司 一种通信网优系统中的流数据处理装置及通信网优系统
CN107678852A (zh) * 2017-10-26 2018-02-09 携程旅游网络技术（上海）有限公司 基于流数据实时计算的方法、系统、设备及存储介质
CN110569144A (zh) * 2019-08-09 2019-12-13 苏宁金融科技(南京)有限公司 基于storm流式计算的数据处理方法和数据处理系统
CN111143438A (zh) * 2019-12-30 2020-05-12 江苏安控鼎睿智能科技有限公司 一种基于流处理的车间现场数据实时监测与异常检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095921A (zh) * 2016-06-07 2016-11-09 四川大学 面向海量数据流的实时并行分类方法
CN106502772A (zh) * 2016-10-09 2017-03-15 国网浙江省电力公司信息通信分公司 基于分布式离线技术的电量数据批量高速处理方法及系统
CN107070890A (zh) * 2017-03-10 2017-08-18 北京市天元网络技术股份有限公司 一种通信网优系统中的流数据处理装置及通信网优系统
CN107678852A (zh) * 2017-10-26 2018-02-09 携程旅游网络技术（上海）有限公司 基于流数据实时计算的方法、系统、设备及存储介质
CN110569144A (zh) * 2019-08-09 2019-12-13 苏宁金融科技(南京)有限公司 基于storm流式计算的数据处理方法和数据处理系统
CN111143438A (zh) * 2019-12-30 2020-05-12 江苏安控鼎睿智能科技有限公司 一种基于流处理的车间现场数据实时监测与异常检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAVID M.J. TAX、ROBERT P.W. DUIN: "Support vector domain description", 《PATTERN RECOGNITION LETTERS》 *
李垚周、李光明: "分布式数据清洗系统设计", 《网络安全技术与应用》 *
贾鹏、杨炼鑫等: "基于 SVM 算法在电力负荷预测中的研究", 《科技视界》 *
金波、张冀: "海上风电工程结构监测技术应用", 《中国期刊网》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493777A (zh) * 2023-12-29 2024-02-02 成都秦川物联网科技股份有限公司 基于物联网的超声波流量计数据清洗方法、系统及装置
CN117493777B (zh) * 2023-12-29 2024-03-15 成都秦川物联网科技股份有限公司 基于物联网的超声波流量计数据清洗方法、系统及装置

Similar Documents

Publication Publication Date Title
CN114298863B (zh) 一种智能抄表终端的数据采集方法及系统
KR102535450B1 (ko) 데이터 저장 방법 및 장치, 및 그 컴퓨터 디바이스 및 저장 매체
CN114998695B (zh) 一种提高图像识别速度的方法及系统
CN111460153A (zh) 热点话题提取方法、装置、终端设备及存储介质
EP3822795B1 (en) Data storage and acquisition method and device
WO2020207410A1 (zh) 一种数据压缩方法、电子设备及存储介质
CN114817425B (zh) 一种冷热数据分类的方法、装置、设备及可读存储介质
US10277246B2 (en) Program counter compression method and hardware circuit thereof
CN112101765A (zh) 一种配电网运行指标数据异常数据处理方法及系统
CN106775944A (zh) 云平台下基于文化‑多蚁群算法虚拟机整合的方法
CN112764686A (zh) 一种基于数据压缩的大数据处理系统节能方法
CN111626360A (zh) 用于检测锅炉故障类型的方法、装置、设备和存储介质
WO2021027331A1 (zh) 基于图数据的全量关系计算方法、装置、设备及存储介质
CN116821646A (zh) 数据处理链构建方法、数据缩减方法、装置、设备及介质
CN114358216B (zh) 基于机器学习框架的量子聚类方法及相关装置
CN113486063A (zh) 电力物联网中流数据处理方法、装置及终端设备
WO2022007596A1 (zh) 图像检索系统、方法和装置
CN114401496A (zh) 一种基于5g边缘计算的视频信息快速处理方法
CN111930725A (zh) 一种配用电数据压缩、融合方法及装置
CN116384310A (zh) 一种可编程逻辑器件的自适应布局方法及系统
CN109981630A (zh) 基于卡方检验和ldof算法的入侵检测方法及系统
CN112906824B (zh) 车辆聚类方法、系统、设备及存储介质
CN113238911A (zh) 告警处理方法及装置
JP2023503034A (ja) パターンベースのキャッシュブロック圧縮
Jiang et al. Attribute reduction method of power big data based on rough set

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211008