CN110490229A - 一种基于spark和聚类算法的电能表检定误差诊断方法 - Google Patents
一种基于spark和聚类算法的电能表检定误差诊断方法 Download PDFInfo
- Publication number
- CN110490229A CN110490229A CN201910640087.1A CN201910640087A CN110490229A CN 110490229 A CN110490229 A CN 110490229A CN 201910640087 A CN201910640087 A CN 201910640087A CN 110490229 A CN110490229 A CN 110490229A
- Authority
- CN
- China
- Prior art keywords
- data
- electric energy
- energy meter
- spark
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 7
- 238000010224 classification analysis Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000013480 data collection Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于spark和聚类算法的电能表检定误差诊断方法，属于大数据处理技术领域。首先通过利用Nginx集群来作为数据采集系统，将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中数据进行简单处理，利用Spark Streaming会实时消费Kafka里的数据，将数据读取出进行数据的预处理，用Spark机器学习库MLlib实现聚类算法来对电能表检定误差数据进行聚类归类分析，将结果写入到Hbase数据库，可以实时获取电能表检定误差的变化，并可以导出进行离线综合统计分析。
Description
技术领域
本发明涉及一种基于spark和聚类算法的电能表检定误差诊断方法，属于大数据处理技术领域。
背景技术
随着网络的迅速发展，以及技术的快速进步，各种数据也急速的增长，导致各种各样的数据以及类型越来越多，从而产生了对于这些数据的处理的问题，如何将从这些大量的数据中找出最有价值的信息，比如随着用电量的增加，对于其中电能表如何进行系统准确的来确定电量的问题研究也变得越来越重要，从而可以增加很多的效益。因此如何从海量的数据挖掘中挖掘出隐含的有用的信息并进行实时的分析统计引起人们越来越多的关注，目前最常用的大数据流的并行处理系统有Spark，Storm,Samza和Flink，这些系统都可以用于接收和处理实时的数据流。
Spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理所处理的数据可以来自于任何种存储介质，如关系数据库、本地文件系统、分布式存储、网络Socket字节流等。Spark从数据源存储介质中装载需要处理的数据至内存，并将这些数据集抽象为RDD(弹性分布式数据集)对象。然后采用系列算子(封装计算逻辑的API处理RDD，并将处理好的结果以RDD的形式输出到内存，或以数据流的方式持久化写入到其他存储介质中。
Spark包含常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，SparkGraphX用于图计算。
Kafka是由Linkedln开发的一个分布式消息系统，使用Scala编写，由于可水平扩展和高吞吐率被广泛使用。目前开源分布式处理系统如Cloudera、Apache、Storm、Spark趋向于支持与Kafka的集成。
HBase是个高可靠性、高性能、面向列、模结构化的存储集群。可伸缩的分布式存储系统，利用HBase技术可在廉价的PC服务器上搭建大规模结构化的存储集群，与MapReduce的离线批处理计算柜架不同，HBase是一个可以随机访问的存储和检索数据平台，弥补了HDFS或Hive不能随机访问数据的缺陷，适合实时性要求不是非常高的业务场景。
Flume是Cloudera提供的高可用、高可靠、分布式，进行海量日志采集、聚合和传输系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume可对数据进行简单处理，并写到各种数据接收方。
发明内容
本发明要解决的技术问题是提供一种基于spark和聚类算法的电能表检定误差诊断方法，首先通过利用Nginx集群来作为数据采集系统，将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中的进行简单处理，最后利用SparkStreaming会实时消费Kafka里的数据，将数据读取出进行数据的预处理，用Spark机器学习库MLlib实现聚类算法来对电能表检定误差数据进行聚类归类分析，将结果写入到Hbase数据库，可以实时获取电能表检定误差数据误差的变化，并可以导出进行离线综合统计分析。
本发明的技术方案是：一种基于spark和聚类算法的对电能表检定误差诊断的方法，通过利用Nginx集群来作为数据采集系统，实时的接受检测到的电能表的计量误差数据，将采集的电能表检定误差数据发送到flume集群中然后通过Kafka读取flume集群中的进行简单处理，存储在消息缓冲队列服务器，通过Spark Streaming把从Kafka中接收来的实时电能表检定误差数据流分成多个数据块存放在内存里，并在一定的时间间隔对内存中的数据块进行批处理，Spark通过算子对离散流进行数据的预处理，并把分析处理结果写入到Hbase数据库里，利用Spark的机器学习库MLlib对Hbase数据库里的数据实现聚类算法建模，来判断电能表的误差大小，并通过echarts进行可视化。
具体步骤为：
Step1：通过搭建Nginx采集机，来采集电能表检定误差数据，并将采集到的数据直接传输到Kafka集群中。
具体搭建Nginx采集机的步骤如下：
1)上传Nginx压缩包到Linux集群，并解压。进入Nginx源码目录安装gcc编译器进行预编译。
2)编译安装Nginx,启动Nginx。查看Nginx的进程，验证是否开启。
3)为Nginx集群安装nginx-Kafka插件。根据Kafka的配置文件，修改Nginx.conf文件，使Nginx集群与Kafka集群进行结合。
Step2：将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中的进行简单处理，存储在消息缓冲队列服务器，
Step3：初始化并创建SteamingContext对象，该对象中的参数包括：SparkContext对象以及处理批量处理数据的时间，同时对批处理处理数据的时间间隔进行参数的设置，从而找到合适的批量处理时间。
Step4：利用SparkStreaming接收实时流的数据，并根据一定的时间间隔进行拆分为不同批次的数据，然后通过Spark Engine从该队列中依次取出一个个批数据，把批数据封装成一个RDD，最终得到处理后的一批批结果数据。把处理之后的用户数据实时存入Hbase数据库中。
Step5：使用基于Hadoop平台的Spark MLlib库对传感器数据进行分类模型计算，通过聚类算法对采集并存储到Hbase数据库中的数据进行分类分析，分类并且识别电能表检定数据误差的诊断。
Step6：使用创建的SparkContext对象中的saveAstextFile()函数将获取到的电能表检定误差数据数据存入到Hbase数据库，并用echarts进行可视化展示。
本发明的有益效果是：
本发明提出了一种基于spark和聚类算法的对电能表检定误差诊断的方法，能够通过Kafka实时的处理从电网来的大量的电能表检定误差数据,具有高强度的容错性和实时性，并通过Spark MLlib库的聚类模型准确实时的来分析出电能表检定误差的大小。具体的说明如下解释：
SparkStreaming实时流处理系统需要长时间接受并处理数据，对于SparkStreaming的容错性主要通过以下三种方式：
利用Spark自身的容错设计、存储级别和RDD抽象设计能够处理集群中任何worker节点的故障。
第二、由于Spark运行的多种模式，其Driver端可能运行在Master节点或者在集群中的任意节点，让Driver端具备容错能力是一个很大挑战，但是由于SparkStreaming接收的数据是按照批处理形式进行存储和处理，这些批次数据的元数据可以通过执行检查点的方式定期写入可靠的存储中，在Driver端重启中恢复这些状态，即checkpoint机制。
第三、对于接收的数据存在于内存中存在丢失的风险，由于接收到的数据还存在于Executor的内存中，当Executor出现异常时会丢失这些数据，为了避免这种数据损失，在Spark1.2中引进了预写日志的形式(WriteAheadLogs)的形式。
Spark Streaming的容错机制是基于RDD的容错机制，分别为基于血统(lineage)的高度容错机制和检查点机制。血统的高度容错机制是每个RDD都是一个弹性分布式数据集，在对RDD的操作产生新的RDD都会通过lineage来表达依赖关系，只要源数据丢失或者失真，或者任意一个RDD出错不可用，都可以通过原始数据进行操作计算而重新算出。检查点机制是由于lineage生命线很长，执行失败的恢复成本比较高，Spark Streaming周期性地把应用数据存储到诸如HDFS等这样的可靠存储系统中以供恢复时使用的机制叫做检查点机制。
使用HBase对实时数据进行存储，HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列，一个或多个列组成一个ColumnFamily，一个Fmaily下的列位于一个HFile中，易于缓存数据。表是疏松的存储的，因此用户可以给行定义各种不同的列。在HBase中数据按主键排序，同时表按主键划分为多个Region。HBase的LSM树型存储结构使其具有实时读写数据的功能。SparkStreaming向HBase写入数据时对每一条数据执行插入操作，采用输出方法foreachRDD(func)，将func(此处指将数据插入HBase表格)作用于数据流的每一个RDD(弹性分布式数据集)。在进行数据写入时对数据流执行foreachRDD与foreachPartition操作，为每个分区创建一个cTable对象，提高数据读写效率。
使用Spark机器学习中的SparkMLlib库对Hbase数据进行分类模型计算，其中的流式聚类算法模型包含了训练样本以及预测样本两个部分，主要及时先通过用历史数据进行模拟训练出模型，然后根据训练好的模型对新的电能表检定误差数据进行实时的识别，分类以及分析。通过使用MLlib算法组件，在Spark平台中实现决聚类算法分类流程如下：(1)特征选取，即从众多特征中选择出一个作为当前节点的分类标准，对特征值进行数据归一化处理。(2)通过聚类算法对特征数据进行具体分析，通过聚类分为不同的数据分类。(3)消除过拟合，通过对数据聚类的结果对误差进行预测分析。
附图说明
图1是本发明集群系统架构图；
图2是本发明系统原理流程图；
图3是本发明Spark Streaming写入Hbase工作流程图；
图4是本发明SparkML库中聚类分类算法流程图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
本发明采用Spark，因为Spark是一个实现快速通用的集群计算平台。它用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理所处理的数据可以来自于任何种存储介质，如关系数据库、本地文件系统、分布式存储、网络Socket字节流等。Spark从数据源存储介质中装载需要处理的数据至内存，并将这些数据集抽象为RDD(弹性分布式数据集)对象。然后采用系列算子(封装计算逻辑的API处理RDD,并将处理好的结果以RDD的形式输出到内存，或以数据流的方式持久化写入到其他存储介质中。
Kafka是由Linkedln开发的一个分布式消息系统，使用Scala编写，由于可水平扩展和高吞吐率被广泛使用。”目前开源分布式处理系统如Cloudera、Apache、Storm、Spark趋向于支持与Kafka的集成。
数据处理引擎Spark Streaming，它把数据流分成数据块存放在数据块队列中，然后在一定的批处理间隔对数据队列中的数据块进行统一处理，并可以通过调整批处理间隔从而达到对高速数据流和低速数据流的实时处理。
对海量实时数据进行处理与存储，必然会产生大量的数据。采用HBase的LSM树型存储结构存储传感器族群采集到的海量传感数据，使其具有实时读写数据的功能。
使用基于Spark框架的流式聚类分类方法，通过机器学习方式，将采集的数据进行聚类分类分析，来得出电能表检定误差数据的大小。
其中使用Nginx集群来采集的电能表检定误差数据，经过分析处理后传输至HBase非关系型数据库，通过MLlib对HBase中存储的电能表检定误差数据进行聚类分类识别，并把分析结果通过echarts进行可视化。
使用HBase作为Spark Streaming中间数据的存储数据库可以大幅度提高数据存取的效率。Spark Streaming向HBase写入数据时需要对每一条数据执行插入操作，采用输出方法foreachRDD(func)，将func(此处指将数据插入HBase表格)作用于数据流的每一个RDD(Resilient Distributed Datasets弹性分布式数据集)，可以显著地提高数据存取效率。
k-means算法首先随机选取k个点作为初始聚类中心，然后计算各个数据对象到各聚类中心的距离，把数据对象归到离它最近的那个聚类中心所在的类；调整后的新类计算新的聚类中心，如果相邻两次的聚类中心没有任何变化，说明数据对象调整结束，聚类准则函数f已经收敛。在每次迭代中都要考察每个样本的分类是否正确，若不正确，就要调整。在全部数据调整完后，再修改聚类中心，进入下一次迭代。如果在一次迭代算法中，所有的数据对象被正确分类，则不会有调整，聚类中心也不会有任何变化，这标志着f已经收敛，算法结束。其实这跟普通的前馈神经网络使用逆向传播算法训练模型的原理类似，分析误差，修改模型直至达到要求的误差范围。
算法框架：
1)给定大小为n的数据集，令O＝l，选取k个初始聚类中心Zj(O)，j＝1，2，3，...，k，O代表不同迭代轮数的聚类中心
2)计算每个样本数据对象与聚合中心的距离D(xi，Zj(O))，i＝1，2，3，…，并分类
3)令O＝O+1，计算新的聚类中心和误差平方和准则f(目标函数)值:
判断：若If(O+1)-f(O)I<theta(f收敛)或者对象无类别变化，则算法结束，否则，O＝O+1，返回2)步；
通过对HBase中存储的电能表检定误差数据进行聚类分类分析。将数据通过聚类算法分为合适的几大类模型，由此可以得出不同厂家、不同型号的电能表检定误差的大小以及不同厂家和不同型号电能表的优良问题。
Nginx集群不间断采集的电能表检定误差数据，传输至Spark Streaming计算中心对数据进行预处理并储存入HBase数据库，基于MLlib库对HBase中存储积累的电能表误差数据进行流式聚类算法分类，将数据通过聚类算法分为合适的几大类模型，从而得出不同厂家和不同型号的电能表的误差大小及优良问题，并通过echarts进行可视化展示。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (2)
1.一种基于spark和聚类算法的电能表检定误差诊断方法，其特征在于：实时的接受检测到的电能表的检定误差数据，将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中的数据进行简单处理，存储在消息缓冲队列服务器，通过SparkStreaming把从Kafka中接收来的实时电能表检定误差数据误差流分成多个数据块存放在内存里，并在一定的时间间隔对内存中的数据块进行批处理，Spark通过算子对离散流进行数据的预处理，并把分析处理结果写入到Hbase数据库里，利用Spark的机器学习库MLlib对Hbase数据库里的数据实现聚类算法建模分析，来判断电能表检定误差数据误差的大小，以及来评定不同厂家电能表的好坏。
2.根据权利要求1所述的基于spark和聚类算法的电能表检定误差诊断方法，其特征在于具体步骤为：
Step1：通过搭建Nginx采集机，来采集电能表检定误差数据，并将采集到的数据直接传输到Kafka集群中，具体为：
1)上传Nginx压缩包到Linux集群，并解压，进入Nginx源码目录安装gcc编译器进行预编译；
2)编译安装Nginx,启动Nginx，查看Nginx的进程，验证是否开启；
3)为Nginx集群安装nginx-Kafka插件，根据Kafka的配置文件，修改Nginx.conf文件，使Nginx集群与Kafka集群进行结合；
Step2：将采集的电能表检定误差数据发送到flume集群中，然后通过Kafka读取flume集群中的进行简单处理，存储在消息缓冲队列服务器；
Step3：初始化并创建SteamingContext对象，该对象中的参数包括：SparkContext对象以及处理批量处理数据的时间，同时对批处理处理数据的时间间隔进行参数的设置，从而找到合适的批量处理时间；
Step4：利用Spark Streaming接收实时流的数据，并根据一定的时间间隔进行拆分为不同批次的数据，然后通过Spark Engine从该队列中依次取出一个个批数据，把批数据封装成一个RDD，最终得到处理后的一批批结果数据，把处理之后的用户数据实时存入Hbase数据库中；
Step5：使用基于Hadoop平台的Spark MLlib库对传感器数据进行分类模型计算，通过聚类算法对采集并存储到Hbase数据库中的数据进行分类分析，分类并且识别电能表检定数据误差的诊断；
Step6：使用创建的SparkContext对象中的saveAstextFile()函数将获取到的电能表检定误差数据存入到Hbase数据库，并用echarts进行可视化展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640087.1A CN110490229A (zh) | 2019-07-16 | 2019-07-16 | 一种基于spark和聚类算法的电能表检定误差诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640087.1A CN110490229A (zh) | 2019-07-16 | 2019-07-16 | 一种基于spark和聚类算法的电能表检定误差诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110490229A true CN110490229A (zh) | 2019-11-22 |
Family
ID=68547174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910640087.1A Pending CN110490229A (zh) | 2019-07-16 | 2019-07-16 | 一种基于spark和聚类算法的电能表检定误差诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490229A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111124650A (zh) * | 2019-12-26 | 2020-05-08 | 中国建设银行股份有限公司 | 一种流式数据处理方法及装置 |
| CN111367953A (zh) * | 2020-03-30 | 2020-07-03 | 中国建设银行股份有限公司 | 一种资讯数据的流式处理方法及装置 |
| CN111929633A (zh) * | 2020-05-31 | 2020-11-13 | 宁夏隆基宁光仪表股份有限公司 | 一种基于融合蚁群算法的电能表检测系统及方法 |
| CN111966693A (zh) * | 2020-09-09 | 2020-11-20 | 中移（杭州）信息技术有限公司 | 分区分割方法、装置、服务器和存储介质 |
| CN112305492A (zh) * | 2020-10-30 | 2021-02-02 | 国网山东省电力公司营销服务中心(计量中心) | 一种智能电能表在线误差校验精确控制系统及其方法 |
| CN112559298A (zh) * | 2021-02-20 | 2021-03-26 | 南方电网数字电网研究院有限公司 | 电能表的内存监测方法、装置、系统和存储介质 |
| CN113505119A (zh) * | 2021-07-29 | 2021-10-15 | 青岛以萨数据技术有限公司 | 一种基于多数据源的etl方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150302042A1 (en) * | 2012-11-20 | 2015-10-22 | Hitachi, Ltd. | Data analysis apparatus and data analysis method |
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN106547882A (zh) * | 2016-11-03 | 2017-03-29 | 国网重庆市电力公司电力科学研究院 | 一种智能电网中营销大数据的实时处理方法及系统 |
| CN108062555A (zh) * | 2016-11-08 | 2018-05-22 | 南京理工大学 | 基于Spark流式聚类的监测数据预警系统 |
| US20190188046A1 (en) * | 2015-04-06 | 2019-06-20 | EMC IP Holding Company LLC | Blockchain integration for scalable distributed computations |
-
2019
- 2019-07-16 CN CN201910640087.1A patent/CN110490229A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150302042A1 (en) * | 2012-11-20 | 2015-10-22 | Hitachi, Ltd. | Data analysis apparatus and data analysis method |
| US20190188046A1 (en) * | 2015-04-06 | 2019-06-20 | EMC IP Holding Company LLC | Blockchain integration for scalable distributed computations |
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN106547882A (zh) * | 2016-11-03 | 2017-03-29 | 国网重庆市电力公司电力科学研究院 | 一种智能电网中营销大数据的实时处理方法及系统 |
| CN108062555A (zh) * | 2016-11-08 | 2018-05-22 | 南京理工大学 | 基于Spark流式聚类的监测数据预警系统 |
Non-Patent Citations (1)
| Title |
|---|
| 乌镇风云: "nginx连接kafka", 《HTTPS://BLOG.CSDN.NET/WEIXIN_43087634/ARTICLE/DETAILS/85567907》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111124650A (zh) * | 2019-12-26 | 2020-05-08 | 中国建设银行股份有限公司 | 一种流式数据处理方法及装置 |
| CN111124650B (zh) * | 2019-12-26 | 2023-10-24 | 中国建设银行股份有限公司 | 一种流式数据处理方法及装置 |
| CN111367953A (zh) * | 2020-03-30 | 2020-07-03 | 中国建设银行股份有限公司 | 一种资讯数据的流式处理方法及装置 |
| CN111929633A (zh) * | 2020-05-31 | 2020-11-13 | 宁夏隆基宁光仪表股份有限公司 | 一种基于融合蚁群算法的电能表检测系统及方法 |
| CN111966693A (zh) * | 2020-09-09 | 2020-11-20 | 中移（杭州）信息技术有限公司 | 分区分割方法、装置、服务器和存储介质 |
| CN112305492A (zh) * | 2020-10-30 | 2021-02-02 | 国网山东省电力公司营销服务中心(计量中心) | 一种智能电能表在线误差校验精确控制系统及其方法 |
| CN112305492B (zh) * | 2020-10-30 | 2021-08-31 | 国网山东省电力公司营销服务中心(计量中心) | 一种智能电能表在线误差校验精确控制系统及其方法 |
| CN112559298A (zh) * | 2021-02-20 | 2021-03-26 | 南方电网数字电网研究院有限公司 | 电能表的内存监测方法、装置、系统和存储介质 |
| CN112559298B (zh) * | 2021-02-20 | 2021-07-06 | 南方电网数字电网研究院有限公司 | 电能表的内存监测方法、装置、系统和存储介质 |
| CN113505119A (zh) * | 2021-07-29 | 2021-10-15 | 青岛以萨数据技术有限公司 | 一种基于多数据源的etl方法及装置 |
| CN113505119B (zh) * | 2021-07-29 | 2023-08-29 | 青岛以萨数据技术有限公司 | 一种基于多数据源的etl方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490229A (zh) | 一种基于spark和聚类算法的电能表检定误差诊断方法 | |
| CN102269972B (zh) | 基于遗传神经网络的管道压力缺失数据补偿方法及装置 | |
| CN106547882A (zh) | 一种智能电网中营销大数据的实时处理方法及系统 | |
| CN111027615B (zh) | 基于机器学习的中间件故障预警方法和系统 | |
| CN103279542B (zh) | 数据导入处理方法及数据处理装置 | |
| CN110119421A (zh) | 一种基于Spark流式分类的电力窃电用户识别方法 | |
| CN107967485A (zh) | 用电计量设备故障分析方法及装置 | |
| CN114548509B (zh) | 一种多能源系统多类型负荷联合预测方法及系统 | |
| CN106980906B (zh) | 一种基于spark的Ftrl电压预测方法 | |
| CN109088776B (zh) | 一种基于超级计算机的并行cfd计算与通信重叠优化方法 | |
| US11797565B2 (en) | Data validation using encode values | |
| CN113342597B (zh) | 一种基于高斯混合隐马尔可夫模型的系统故障预测方法 | |
| CN117372201A (zh) | 一种应用于水库的智慧水利数字孪生模型快速构建方法 | |
| CN115618732A (zh) | 核反应堆数字孪生关键参数自主优化数据反演方法 | |
| CN103995828B (zh) | 一种云存储日志数据分析方法 | |
| CN111198979A (zh) | 一种用于对输变电可靠性评估大数据进行清洗的方法及系统 | |
| CN110377519A (zh) | 大数据系统的性能容量测试方法、装置、设备及存储介质 | |
| WO2020259391A1 (zh) | 一种数据库脚本性能测试的方法及装置 | |
| CN107818106B (zh) | 一种大数据离线计算数据质量校验方法和装置 | |
| CN115185804A (zh) | 服务器性能预测方法、系统、终端及存储介质 | |
| CN117435901B (zh) | 一种工业互联网数据获取方法、系统、终端及储存介质 | |
| CN117574238A (zh) | 基于多门控专家网络的高频电器识别模型构建方法及系统 | |
| CN114330440A (zh) | 基于模拟学习判别的分布式电源负荷异常识别方法及系统 | |
| CN113821401A (zh) | 基于wt-ga-gru模型的云服务器故障诊断方法 | |
| Zhao et al. | Burst detection in district metering areas using flow subsequences clustering–reconstruction analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191122 |