CN109189775B - 一种工业监控平台海量数据处理系统及方法 - Google Patents

一种工业监控平台海量数据处理系统及方法 Download PDF

Info

Publication number
CN109189775B
CN109189775B CN201811130154.7A CN201811130154A CN109189775B CN 109189775 B CN109189775 B CN 109189775B CN 201811130154 A CN201811130154 A CN 201811130154A CN 109189775 B CN109189775 B CN 109189775B
Authority
CN
China
Prior art keywords
data
screening
now
screening method
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811130154.7A
Other languages
English (en)
Other versions
CN109189775A (zh
Inventor
刘新
洪浩
陈先龙
王云福
涂红兵
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China General Nuclear Power Corp
China Nuclear Power Engineering Co Ltd
CGN Power Co Ltd
Shenzhen China Guangdong Nuclear Engineering Design Co Ltd
Original Assignee
China General Nuclear Power Corp
China Nuclear Power Engineering Co Ltd
CGN Power Co Ltd
Shenzhen China Guangdong Nuclear Engineering Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China General Nuclear Power Corp, China Nuclear Power Engineering Co Ltd, CGN Power Co Ltd, Shenzhen China Guangdong Nuclear Engineering Design Co Ltd filed Critical China General Nuclear Power Corp
Priority to CN201811130154.7A priority Critical patent/CN109189775B/zh
Publication of CN109189775A publication Critical patent/CN109189775A/zh
Application granted granted Critical
Publication of CN109189775B publication Critical patent/CN109189775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

一种工业监控平台海量数据处理系统及方法；所述工业监控平台海量数据处理方法，包括以下步骤：步骤S1、采集并读取原始数据；步骤S2、根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；步骤S3、根据筛选后保存数据绘制趋势图。本发明的工业监控平台海量数据处理系统及方法设计巧妙，实用性强。

Description

一种工业监控平台海量数据处理系统及方法
技术领域
本发明涉及数据统计分析领域，尤其涉及一种工业监控平台海量数据处理系统及方法。
背景技术
随着云计算技术的快速普及以及物联网、移动互联网应用程序的大规模爆发，人类已经全面进入到“大数据”时代，各个行业和领域都在致力于研究如何利用大数据分析来优化流程，监测发展趋势，从而更好地做出决策。借助于云计算的处理与应用模式，通过数据相关分析法，可以实现智慧预测和价值服务。大数据已经成为各行业的重要资产，数据分析能力正在成为核心竞争力。作为人类史上设计最为复杂的能源系统之一，核电技术也紧随时代脚步，抓住“大数据”时代所带来的巨大机遇，将大数据分析应用到核电站的日常维护保养以及延寿服务当中已成为一种趋势。
因核能工业的特殊性，对设备、结构提出了高可靠性、长寿命的要求。为此，各核电厂纷纷采取各种有效手段来进行关键设备可靠性分析和监督，配置相应的监测系统，例如，疲劳监测系统、松脱部件和振动监测系统、泄漏监测系统等。而无论采取何种方式，都离不开数据分析。尤其在故障诊断和寿命监测方面，需要将大量数据绘出能反应系统设备运行过程中状态变化的连续曲线，提取特征数据进行分析计算，找出异常数据发生时间。
针对不同监控要求，通常绘制曲线有两种方式：实时曲线和历史曲线。实时曲线通常需要查看的时间段较短，数据量也较小，可以采取一次读入所有数据，逐点绘制的方式。历史曲线查看主要用于状态监控与趋势分析预判，通常需要几个月甚至整个燃料循环周期的数据。按照每秒一个监测数据，一年的数据量为千万级别。如此庞大的数据一次性查询绘制，不仅需要较长的时间，而且速度慢，占用较多的系统资源，对系统的硬件配置也有要求。对于4GB内存、3.6GHz Intel Core i7 CPU的工作电脑也很难满足绘图要求，经常报出内存错误的提示。一般的解决思路是提高电脑配置、数据分段显示、对数据进行压缩处理。使用较多的是对数据进行压缩处理，但是不同的行业不同类型的数据都有各自的特点，很难用一种通用的筛选方法去统一处理。无论是均匀取点还是非均匀取点，聚类分析还是分段获取极值，针对特定行业的数据难免会出现一些特征值的缺失，无法根据数据特点进行分析。
如图1所示，图1示出了一种现有数据量趋势曲线绘制方法的示意图。该绘制方法包括：步骤S1、确定取样间隔，将时间段等分，对时间段的采样值进行预处理以删除一些值；步骤S2、在时间段中选取三个质心K1、K2和K3，对保留下的值进行聚类，将每个值归类到离它最近的那个质点所代表的聚类中，进行数据聚类；步骤S3、将K2和K3的聚类中的第一个值及最后一个值取作特征值；步骤S4、通过预设的阈值对K2和K3聚类中剩余值进行筛选，得到特征值；步骤S5、计算K2和K3聚类中保留的特征值及总数；步骤S6、利用贝塞尔曲线逼近算法，绘制曲线。图1所示的数据量趋势曲线绘制方法具有以下缺点：1)由于对一段时间内数据值不发生变化的值在预处理阶段就删除，这样，如果数据值持续不变的时间越长，其对曲线的走势影响越大，如图1，R为原始曲线，B为不考虑恒定值的趋势线，图1中圈出的特征点为数据值持续不变的特征点；2)质心K1的聚类点不作为特征值，容易丢失一些特征值，如图2，其中，R为原始曲线，B为不考虑K1聚类点的趋势线，图2中圈出的特征点为丢失的特征点。
此外，现有技术中还存在一种数据量趋势曲线绘制方法，其包括以下步骤：步骤S1、根据显示区域的宽度将生产过程的时间跨度划分成多个连续的时间单元；步骤S2、获取并遍历生产过程中的所有数据值，根据每个数据值对应的时间点将数据值归属到对应的时间单元；步骤S3、比较每个时间单元内的数据值，以确定每个时间单元内的数据值的极大值和极小值以及所述极大值和极小值对应时间点的先后顺序；步骤S4、根据每个时间单元内的数据值的极大值和极小值以及所述极大值和极小值对应时间点的先后顺序，将所述极大值和极小值绘制在所述显示区域的直角坐标系内，以形成趋势点；步骤S5、用曲线将所有时间单元内的趋势点按照时间先后顺序连接形成趋势图。然而，这种数据量趋势曲线绘制方法也存在缺陷：由于其简单地进行时间分段取极值，当数据量较大时，比如需要显示几个月甚至更长时间数据时，筛选出来的极值点较多，影响绘图速度，同时，绘制的曲线会丢失局部的特征值，该特征值即不是极大值，也不是极小值，但是会影响到曲线的走势，是不可以忽略的。
发明内容
本发明针对上述技术问题，提出了一种工业监控平台海量数据处理系统及方法。
本发明所提出的技术方案是：
本发明提出了一种工业监控平台海量数据处理方法，包括以下步骤：
步骤S1、采集并读取原始数据；
步骤S2、根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；
在这里，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；
其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；
Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；
th_value表示预设单阈值；
累计阈值筛选方法为：根据
Figure BDA0001813296520000031
与accu_th的比较结果，筛除或保存Dn；
其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；
D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；
n表示从D1起到Dn为止的采用累计阈值筛选方法的筛选次数；
accu_th表示预设累计阈值；
单阈值和累计阈值组合筛选方法为采用单阈值筛选方法和累计阈值筛选方法一起进行筛选的方法；
步骤S3、根据筛选后保存数据绘制趋势图。
本发明上述的工业监控平台海量数据处理方法中，单阈值和累计阈值组合筛选方法为：
若|Dnow-Dlast|＜th_value，则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure BDA0001813296520000041
则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure BDA0001813296520000042
则筛除Dnow。
本发明上述的工业监控平台海量数据处理方法中，在步骤S1中，原始数据被一次性或分块保存到Numpy数组中。
本发明上述的工业监控平台海量数据处理方法中，步骤S2利用send函数将原始数据逐个发送到生成器函数中运用预设筛选方法进行数据筛选，直到所有数据遍历完毕。
本发明还提出了一种工业监控平台海量数据处理系统，包括：
原始数据采集模块，用于采集并读取原始数据；
数据发送模块，用于将由原始数据采集模块获得的原始数据发送给处理策略选择模块；
处理策略选择模块，用于确定预设筛选方法；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；
在这里，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；
其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；
Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；
th_value表示预设单阈值；
累计阈值筛选方法为：根据
Figure BDA0001813296520000043
与accu_th的比较结果，筛除或保存Dn；
其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；
D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；
n表示从D1起到Dn为止的采用累计阈值筛选方法的筛选次数；
accu_th表示预设累计阈值；
单阈值和累计阈值组合筛选方法为采用单阈值筛选方法和累计阈值筛选方法一起进行筛选的方法；
数据简化与图形绘制模块，用于根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；然后根据筛选后保存数据绘制趋势图。
本发明上述的工业监控平台海量数据处理系统中，单阈值和累计阈值组合筛选方法为：
若|Dnow-Dlast|＜th_value，则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure BDA0001813296520000051
则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure BDA0001813296520000052
则筛除Dnow。
本发明的工业监控平台海量数据处理系统及方法针对不同类型的数据设置多种数据筛选方法，通过采用单阈值和累计阈值组合筛选方法克服了现有数据筛选方法容易丢失一些特征点的问题，设计巧妙，实用性强。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1示出了一种现有数据量趋势曲线绘制方法的示意图；
图2示出了图1所示的现有数据量趋势曲线绘制方法容易丢失一些特征值的示意图；
图3示出了本发明的工业监控平台海量数据处理方法的原理图；
图4示出了本发明优选实施例的工业监控平台海量数据处理方法的流程示意图；
图5示出了图4所示的工业监控平台海量数据处理方法的运用实施例1的结果示意图；
图6示出了图4所示的工业监控平台海量数据处理方法的运用实施例2的结果示意图；
图7示出了本发明优选实施例的工业监控平台海量数据处理系统的功能模块方框图。
具体实施方式
本发明所要解决的技术问题是：在工业领域中，通常设置了许多监控系统来获取工艺系统的瞬态信息，其趋势曲线可以直观地表示模拟量的变化过程。但是不同的数据代表的物理意义不同，比如温度、压力，不能简单地用一种处理方法或者一个阈值来处理。需要根据数据特点以及数据变化的敏感性来选择合适的处理方法。同时，有些监控系统设置是为了后端数据进行应用分析准备的，比如核电厂管道疲劳监测系统。本发明所提出的解决该技术问题的技术思路是：1)针对工业监控数据尤其是采集频率较高、周期较长的数据进行数据处理，根据行业背景和数据特点，选择处理方法和设定合适阈值，为趋势曲线绘制和后端数据应用分析提供有效的数据；2)按照时间顺序一次性将大量的数据提取，解决了工业监控平台海量数据处理的问题。
为了使本发明的技术目的、技术方案以及技术效果更为清楚，以便于本领域技术人员理解和实施本发明，下面将结合附图及具体实施案例对本发明做进一步详细的说明。
具体地，本发明的工业监控平台海量数据处理方法包括以下步骤：
步骤S1、采集并读取原始数据；
在本步骤中，原始数据会一次性或分块保存到Numpy数组中(如果是日期格式，则将日期格式转换为时间戳格式进行保存；对于百万级别的数据，如果是文本文件，可借助pandas中read_csv函数一次性读入)；
步骤S2、根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；
在这里，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；
其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；
Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；
th_value表示预设单阈值；
累计阈值筛选方法为：根据
Figure BDA0001813296520000071
与accu_th的比较结果，筛除或保存Dn；
其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；
D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；
n表示从D1起到Dn为止的采用累计阈值筛选方法的筛选次数；
accu_th表示预设累计阈值；
单阈值和累计阈值组合筛选方法为采用单阈值筛选方法和累计阈值筛选方法一起进行筛选的方法；
在本步骤中，利用send函数，将原始数据逐个发送到生成器函数中运用预设筛选方法进行数据筛选，直到所有数据遍历完毕，如图3所示；
步骤S3、根据筛选后保存数据绘制趋势图。
具体地，在本实施例中，将筛选后保存数据按照时间顺序进行曲线绘制；由于使用了生成器函数，因此，需要将筛选后保存数据转化为列表输出，这里可以使用for循环，将时间和值分别保存到列表中，以此作为X轴和Y轴的数据源，最后利用matplotlib库中的pyplot函数直接进行图形绘制。
进一步地，如图4所示，图4示出了本发明优选实施例的工业监控平台海量数据处理方法的流程示意图。在该实施例中，预设筛选方法采用单阈值和累计阈值组合筛选方法，具体地，该单阈值和累计阈值组合筛选方法为：
若|Dnow-Dlast|＜th_value，则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure BDA0001813296520000081
则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure BDA0001813296520000082
则筛除Dnow；
进一步地，下面列举了两个采用单阈值和累计阈值组合筛选方法的工业监控平台海量数据处理方法的运用实施例。
运用实施例1
1)以某核电厂模拟机一个月温度数据为分析对象，数据的采集频率为1s，将数据读入数组中，一共50多万条数据，按时间顺序进行排序；
2)由于数据主要用于热疲劳分析计算，对于较小的温度波动可以忽略，因此，将预设单阈值设置为1.5，将预设累积阈值设置为15，同时将累积值的绝对值小于0.005的时间段认为该时间段数据无变化，仅保留恒定段的起始点和终点数据；
3)建立时间-值对应方式的数据类型，利用Python的生成器功能，逐个将数据读入数组中，根据步骤2中的设定以及上述单阈值和累计阈值组合筛选方法进行有效值筛选；
4)从筛选出的所有时间-值数据中分别提取时间序列和值序列作为绘图的X轴和Y轴；
5)利用matplotlib直接绘图，结果如图5所示，R为初始数据曲线，B为筛选后保存数据曲线。
运用实施例2
1)以某仿真数据为初始数据，数据的采集频率为1s，将数据读入数组中，一共50条数据，按时间顺序进行排序；
2)数据展示主要用于监测趋势变化，根据数据特点，将预设单阈值设置为150，将预设累积阈值设置为1500，同时将累积值的绝对值小于0.005的时间段认为该时间段数据无变化，仅保留恒定段的起始点和终点数据；
3)建立时间-值对应方式的数据类型，利用Python的生成器功能，逐个将数据读入数组中，根据步骤2中的设定以及上述单阈值和累计阈值组合筛选方法进行有效值筛选；
4)从筛选出的所有时间-值数据中分别提取时间序列和值序列作为绘图的X轴和Y轴；
5)利用matplotlib直接绘图，结果如图6所示，R为初始数据曲线，B为筛选后保存数据曲线。
进一步地，如图7所示，本发明还提出了一种工业监控平台海量数据处理系统，包括：
原始数据采集模块100，用于采集并读取原始数据；
数据发送模块200，用于将由原始数据采集模块100获得的原始数据发送给处理策略选择模块300；
处理策略选择模块300，用于确定预设筛选方法；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；
在这里，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；
其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；
Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；
thvalue表示预设单阈值；
累计阈值筛选方法为：根据
Figure BDA0001813296520000091
与accu_th的比较结果，筛除或保存Dn；
其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；
D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；
n表示从D1起到Dn为止的采用累计阈值筛选方法的筛选次数；
accu_th表示预设累计阈值；
单阈值和累计阈值组合筛选方法为采用单阈值筛选方法和累计阈值筛选方法一起进行筛选的方法；
数据简化与图形绘制模块400，用于根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；然后根据筛选后保存数据绘制趋势图。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种工业监控平台海量数据处理方法，其特征在于，包括以下步骤：
步骤S1、采集并读取原始数据；
步骤S2、根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；预设筛选方法采用单阈值和累计阈值组合筛选方法；
在这里，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；
其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；
Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；
th_value表示预设单阈值；
累计阈值筛选方法为：根据
Figure FDA0003288734860000011
与accu_th的比较结果，筛除或保存Dn；
其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；
D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；
n表示从D1起到Dn为止的采用累计阈值筛选方法的筛选次数；
accu_th表示预设累计阈值；
单阈值和累计阈值组合筛选方法为采用单阈值筛选方法和累计阈值筛选方法一起进行筛选的方法；
步骤S3、根据筛选后保存数据绘制趋势图；
单阈值和累计阈值组合筛选方法为：
若|Dnow-Dlast|＜th_value，则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure FDA0003288734860000012
则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure FDA0003288734860000013
则筛除Dnow。
2.根据权利要求1所述的工业监控平台海量数据处理方法，其特征在于，在步骤S1中，原始数据被一次性或分块保存到Numpy数组中。
3.根据权利要求2所述的工业监控平台海量数据处理方法，其特征在于，步骤S2利用send函数将原始数据逐个发送到生成器函数中运用预设筛选方法进行数据筛选，直到所有数据遍历完毕。
4.一种工业监控平台海量数据处理系统，其特征在于，包括：
原始数据采集模块(100)，用于采集并读取原始数据；
数据发送模块(200)，用于将由原始数据采集模块(100)获得的原始数据发送给处理策略选择模块(300)；
处理策略选择模块(300)，用于确定预设筛选方法；预设筛选方法采用单阈值和累计阈值组合筛选方法；
在这里，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；
其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；
Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；
th_value表示预设单阈值；
累计阈值筛选方法为：根据
Figure FDA0003288734860000021
与accu_th的比较结果，筛除或保存Dn；
其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；
D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；
n表示从D1起到Dn为止的采用累计阈值筛选方法的筛选次数；
accu_th表示预设累计阈值；
单阈值和累计阈值组合筛选方法为采用单阈值筛选方法和累计阈值筛选方法一起进行筛选的方法；
数据简化与图形绘制模块(400)，用于根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；然后根据筛选后保存数据绘制趋势图；
单阈值和累计阈值组合筛选方法为：
若|Dnow-Dlast|＜th_value，则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure FDA0003288734860000031
则保存Dnow；
若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且
Figure FDA0003288734860000032
则筛除Dnow。
CN201811130154.7A 2018-09-27 2018-09-27 一种工业监控平台海量数据处理系统及方法 Active CN109189775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811130154.7A CN109189775B (zh) 2018-09-27 2018-09-27 一种工业监控平台海量数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811130154.7A CN109189775B (zh) 2018-09-27 2018-09-27 一种工业监控平台海量数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN109189775A CN109189775A (zh) 2019-01-11
CN109189775B true CN109189775B (zh) 2022-02-22

Family

ID=64907546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811130154.7A Active CN109189775B (zh) 2018-09-27 2018-09-27 一种工业监控平台海量数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN109189775B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562011A (zh) * 2020-04-21 2020-08-21 上海上实龙创智慧能源科技股份有限公司 一种非视频人体体温监测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080171A1 (zh) * 2015-11-13 2017-05-18 乐视控股（北京）有限公司 大数据的筛选分析方法及系统
CN108416067A (zh) * 2018-03-29 2018-08-17 重庆大学 工业过程中海量数据处理和存储过程的优化执行估算方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651093A (zh) * 2012-03-31 2012-08-29 上海海洋大学 一种基于时间序列异常检测技术的海洋信息管理系统
CN106264485A (zh) * 2015-05-29 2017-01-04 上海温尔信息科技有限公司 监护系统、体温监测仪及其人体体温数据处理装置
CN106971058A (zh) * 2017-02-21 2017-07-21 河海大学 一种泵站运行监控数据异常点检测方法
CN108209879B (zh) * 2017-07-03 2020-02-07 深圳市行远科技发展有限公司 预警信号生成方法及装置
CN107679634A (zh) * 2017-10-27 2018-02-09 国网陕西省电力公司西安供电公司 一种基于数据可视化的供电故障报修分析和预测的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080171A1 (zh) * 2015-11-13 2017-05-18 乐视控股（北京）有限公司 大数据的筛选分析方法及系统
CN108416067A (zh) * 2018-03-29 2018-08-17 重庆大学 工业过程中海量数据处理和存储过程的优化执行估算方法

Also Published As

Publication number Publication date
CN109189775A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN106780121B (zh) 一种基于用电负荷模式分析的用电异常识别方法
CN110750524A (zh) 一种有源配电网故障特征的确定方法及系统
CN111008726B (zh) 一种电力负荷预测中类图片转换方法
CN111768022A (zh) 煤机生产设备的设备检测方法及装置
CN111932146A (zh) 污染成因的分析方法、装置、计算机设备和可读存储介质
CN111738348A (zh) 一种电力数据异常检测方法和装置
CN109189775B (zh) 一种工业监控平台海量数据处理系统及方法
CN117113006A (zh) 一种数字能源空压站的数据管理系统及其方法
CN110874601B (zh) 识别设备运行状态的方法、状态识别模型训练方法及装置
CN114676931B (zh) 一种基于数据中台技术的电量预测系统
CN115616408A (zh) 电池热管理数据处理方法及系统
CN114565004A (zh) 一种风电机组功率曲线异常散点剔除方法及装置
CN115757365A (zh) 多维时序数据异常检测方法、模型训练方法及装置
CN114579827B (zh) 一种工业设备数据性能曲线的处理方法、装置及设备
CN112200219B (zh) 一种超大规模晶圆缺陷数据的特征提取方法
CN116595389B (zh) 识别异常客户端的方法、装置、计算机设备和存储介质
CN115860273B (zh) 用电负荷预测方法、装置、计算机设备和存储介质
CN113723835B (zh) 火电厂用水评估方法和终端设备
Chen et al. Pre-processing and audit of power consumption data based on composite mathematical statistics model
CN111626586B (zh) 数据质量检测方法、装置、计算机设备和存储介质
CN113705920B (zh) 火电厂用水数据样本集的生成方法和终端设备
CN117408394B (zh) 电力系统的碳排放因子预测方法、装置及电子设备
CN117668584A (zh) 一种油井工况诊断数据集的快速制备方法及系统
CN114282598A (zh) 多源异构电网数据融合方法、装置、设备及计算机介质
CN117713037A (zh) 基于特征选择和降维聚类的两阶段短期电力负荷预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant