CN110570012B - 一种基于Storm的电厂生产设备故障预警方法及系统 - Google Patents
一种基于Storm的电厂生产设备故障预警方法及系统 Download PDFInfo
- Publication number
- CN110570012B CN110570012B CN201910716065.9A CN201910716065A CN110570012B CN 110570012 B CN110570012 B CN 110570012B CN 201910716065 A CN201910716065 A CN 201910716065A CN 110570012 B CN110570012 B CN 110570012B
- Authority
- CN
- China
- Prior art keywords
- early warning
- measuring point
- point data
- power plant
- storm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 46
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 14
- 239000000203 mixture Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 17
- 238000012795 verification Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000005684 electric field Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000004804 winding Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/185—Electrical failure alarms
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Emergency Management (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于Storm的电厂生产设备故障预警方法及系统，属于电厂设备监测领域，包括：实时采集测点数据并按主题存储到分布式消息队列中；按照主题从分布式消息队列中拉取测点数据进行过滤和验证，实时存储到HBase中，同时，将同时被采集、主题相同且相互关联的每一组测点数据分别作为一个预测目标向量；对于每一个预测目标向量Tj，利用对应的预测模型获得K个聚类，若至少存在一个聚类，其类均值与预测目标向量Tj在各维度的差值均在预警范围内，则判定正常；否则，获得类权重最大的聚类，获得不在预警范围内的差值所对应的测点并判定为异常测点，生成预警信息并存储到数据库中。本发明能够提高电厂生产设备故障预警的适应性、实时性以及可扩展性。
Description
技术领域
本发明属于电厂设备监测领域，更具体地，涉及一种基于Storm的电厂生产设备故障预警方法及系统。
背景技术
发电厂与国民经济和人民生活密切相关，在任何国家都属于重要的基础建设之一，由于电能的即时性以及用电需求的不确定性，不仅需要合理规划与分配电能，还要保障稳定、完全的电能生产，发电厂一旦发生任何事故，会导致重大的财产损失，甚至可能会造成人员伤亡。因此，电厂生产设备的故障预警是发电厂能够稳定、安全运行的关键。
在发电机机组的各个设备中设定测点，实时采集测点数据，以预测设备是否即将发生故障，是电厂生产设备故障预警的基础。一台最基本的热力发电机机组中的测点数量就已经达到了2万个，每秒都会产生大量的监控数据。目前火电厂一般采用SIS(Supervisory Informatica System in plant level，厂级监控系统)系统用于实时监控各个机组的状态参数并通过一定规则进行预警，监控以及预警功能是基于DCS(Distributed Control System，分布式控制系统)实现。
目前DCS一般采用设置上下限阈值的方式进行故障预警，这样的预警方法的技术缺陷在于，所设置的上下限阈值往往是根据经验设定，无法根据电厂的实际运行情况实时地进行调整，而且，由于测点数量庞大，相应地上下限阈值参数也很多，因此，通过设置上下限阈值的故障预警方法不具有灵活性和适应性，也不能很好地满足实时性的要求。此外，根据上下限阈值进行故障预警的方法中，将设备中各个测点作为互不联系的个体进行预警，而且也没有对历史数据进行充分的利用，因此，所功能具有局限性。虽然可以通过修改DCS来实现更复杂的预警功能，但是需要从国外厂商引入特定的系统，学习成本高昂，而且由于技术不透明，也难以对其功能进行扩展。总的来说，现有的电厂生产设备故障预警方法，在适应性、实时性以及可扩展性方面仍然存在较大的优化空间。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于Storm的电厂生产设备故障预警方法及系统，其目的在于，提高电厂生产设备故障预警的适应性、实时性以及可扩展性。
为实现上述目的，按照本发明的第一方面，提供了一种基于Storm的电厂生产设备故障预警方法，包括：
实时采集各设备的测点数据，以设备ID为主题，将采集到的测点数据连同时间戳存储到分布式消息队列中；
按照主题从分布式消息队列中拉取测点数据后，对所拉取的测点数据进行过滤和验证，以得到在设备稳定运行阶段产生且符合预设的格式规范的测点数据；
将过滤并验证后的测点数据实时存储到HBase数据库中；
在实时存储测点数据的同时，将其中同时被采集、主题相同且相互关联的每一组测点数据分别作为一个预测目标向量；对于每一个预测目标向量Tj，利用对应的预测模型获得K个聚类，以及每个聚类的类权重、协方差以及均值；若至少存在一个聚类，其类均值与预测目标向量Tj在各维度的差值均在预警范围内，则判定预测目标向量Tj中不包含异常测点；否则，获得类权重最大的聚类，并计算其类均值与预测目标向量Tj在各维度的差值，将其中不在预警范围内的差值所对应的测点判定为异常测点，对各异常测点生成预警信息并存储到数据库中；
其中，每一组属于同一设备且相互关联的测点分别与一个预测模型相对应，预测模型用于描述与之对应的一组测点数据在不同状态下的运行规律，每一个聚类代表一种状态；预警范围为[-mσ,+mσ]，σ为对应聚类的协方差，m＞0；从分布式消息队列拉取测点数据，将预测目标存储到HBase数据库中，以及将预警消息存储到数据库中，均通过Storm完成；j为预测目标向量的编号。
本发明所提供的基于Storm的电厂生产设备故障预警方法，以属于同一设备且相互关联的一组测点作为一个整体监测对象进行故障预警，由此能够充分利用测点间的关联性，获得更好的预警效果和适应性，而且由于一组测点共用一个预测模型的模型参数，减少了所需存储参数量；本发明运用Storm技术去实时处理电厂生产电力时产生的海量监控数据，能通过不断地动态新增处理节点增大吞吐率，来达到同时处理一个甚至多个电厂设备产生的监控数据，实现高实时和高效率地处理数据并进行预警；Storm是一种开源技术，可根据实际的应用需求对处理过程进行修改实现更符合实际需求的预警效果，因此，本发明具有较好的可扩展性。总的来说，本发明提高了电厂生产设备故障预警的适应性、实时性以及可扩展性。
本发明利用HBase数据库实时存储从分布式消息队列中拉取的测点数据，相比于传统的电厂生产设备故障预警方法所使用的PI、iHistorian等专用数据库而言，在存储能力、容灾能力和读写能力以及预警成本方面均有所改善。
进一步地，预测模型为GMM高斯混合模型；因为电厂产生的数据大部分都是正常数据，极少有异常数据，且已发生的故障无法覆盖所有故障，本发明使用GMM高斯混合模型作为预测模型，相比于采用决策树、神经网络等常用的深度学习方法，本发明能够避免出现建模难度大、无法训练、无法准确找到异常测点等问题，因此能够获得更好的预警效果，并且由于GMM高斯混合模型适用性广、多维空间中聚类效果好，利用GMM高斯混合模型作为预测模型可以从多维度上描述测点数据的运行规律。
进一步地，预测模型的训练方法包括：
对于一组属于同一设备且相互关联的测点，基于GMM高斯混合模型建立对应的预测模型；
从HBase数据库中获取该组测点的历史测点数据，通过预处理使得测点数据在时间上连续且规范化，从而在预处理之后得到训练数据集；
利用训练数据集对所建立的预测模型进行训练，以得到K个聚类中，各个聚类的类权重ωk、协方差σk以及均值uk；
在预测模型训练完成后，通过Storm将各个聚类的类权重ωk、协方差σk以及均值uk均存储到Redis数据库中；
其中，k表示聚类的编号，k∈{1,2…,K}。
本发明利用历史测点数据训练预测模型，能够使得预测模型较为准确地学习到测点数据的运行规律，使得预警效果较好，且适应性更好。
进一步地，对历史测点数据进行预处理，包括：
(S1)对历史测点数据进行最小-最大规范化；
(S2)若历史测点数据中存在有误的数据，则重新获取历史测点数据，并转入步骤(S1)；否则，转入步骤(S3)；
(S3)根据测点数据的时间戳判断是否存在空缺值，若存在空缺值，则转入步骤(S4)；否则，转入步骤(S5)；
(S4)若空缺值的数量不超过预设的空缺阈值，则将空缺前、后的值求平均值，并利用所求取的平均值对空缺值进行填充，以得到时间上连续的测点数据，填充完成后转入步骤(S5)；若空缺值的数量超过了空缺阈值，则重新获取历史测点数据，并转入步骤(S1)；
(S5)预处理操作结束。
通过上述预处理操作，最终得到的训练数据集为设备正常运行时段所产生的测点数据，由此能够使得所训练得到的模型能够准确的描述测点数据的运行规律，从而得到较好的预测效果。
进一步地，本发明第一方面所提供的基于Storm的电厂生产设备故障预警方法，还包括：经过预设的时间间隔后，利用HBase数据库中存储的历史测点数据，对预测模型进行增量训练，以更新预测模型。
本发明通过增量训练的方式对预测模型进行定期更新，能够使得预测模型与测点数据的运行规律保持一致，从而获得更好的预测效果。
进一步地，m＝3，对应的预警范围为[-3σ,+3σ]；本发明将预警范围设置为[-3σ,+3σ]，由于该预警范围符合聚类中99.73％数据的特征，因此，能够获得较好的预测效果。
进一步地，用于存储预警信息的数据库包括Redis数据库和MySQL数据库，将所生成的预警信息存储到数据库中，包括：
判断Redis数据库中是否已经存储有针对同一组测点的历史预警信息，若不存在，则将新生成的预警信息同时存储到Redis数据库和MySQL数据库中；
否则，将该历史预警信息的最新预警时间更新为新生成的预警信息的时间戳，并将该历史预警信息的预警次数加1；更新Redis数据库的同时，对MySQL数据库作同样的更新。
进一步地，本发明所提供第一方面提供的基于Storm的电厂生产设备故障预警方法，还包括：任意一条预警信息被处理完成后，将该预警信息从Redis数据库中删除。
本发明利用Redis数据库存储尚未处理完成的预警信息，利用MySQL数据库存储所有的预警信息(包括尚未处理完成的预警信息和已经处理完成的预警信息)，由于Redis数据库是内存数据库，在数据操作以及运算上有着明显的优势，将尚未处理完成的预警信息存储到Redis数据库中，能够提高数据查询的检索速度，保证故障处理的实时性；由于Redis数据库的容量有限，不能进行大规模数据存储，利用MySQL数据库存储所有的预警信息，能够保证预警信息存储的完整性。
进一步地，分布式消息队列为Kafka消息队列；Kafka消息队列具有高吞吐率，使用Kafka消息队列存储实时采集到的测点数据，能够保证故障预警的实时性。
按照本发明的第二方面，提供了一种基于Storm的电厂生产设备故障预警系统，包括处理器和计算机可读存储介质，计算机可读存储介质用于存储可执行程序；
处理器用于读取计算机存储介质中存储的可执行程序，执行本发明第一方面提供的基于Storm的电厂生产设备故障预警方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所提供的基于Storm的电场生产设备故障预警方法及系统，以属于同一设备且相互关联的一组测点作为一个整体监测对象进行故障预警，由此能够充分利用测点间的关联性，获得更好的预警效果和适应性，而且由于一组测点共用一个预测模型的模型参数，减少了所需存储参数量；运用Storm技术去实时处理电厂生产电力时产生的海量监控数据，能通过不断地动态新增处理节点增大吞吐率，来达到同时处理一个甚至多个电厂设备产生的监控数据，实现高实时和高效率地处理数据并进行预警；利用Storm技术，可根据实际的应用需求对处理过程进行修改实现更符合实际需求的预警效果，因此，本发明具有较好的可扩展性。总的来说，本发明提高了电厂生产设备故障预警的适应性、实时性以及可扩展性。
(2)本发明所提供的基于Storm的电场生产设备故障预警方法及系统，利用HBase数据库实时存储从分布式消息队列中拉取的测点数据，在存储能力、容灾能力和读写能力以及预警成本方面均有所改善。
(3)本发明所提供的基于Storm的电场生产设备故障预警方法及系统，利用GMM高斯混合模型作为预测模型，并利用历史测点数据对预测模型进行训练，可以充分利用历史数据，从多维度上描述测点数据的运行规律，因此，本发明适应性高，预测效果好。
附图说明
图1为本发明实施例提供的基于Storm的电厂生产设备故障预警方法流程图；
图2为本发明实施例提供的预测模型的训练方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
Storm是一个分布式实时流计算系统框架，能够处理大批量的、无界持续的数据流，并且在高可靠性的基础上进行实时的计算，Storm定义了一批实时计算的原语，这些原语大大简化了实时数据的并行处理。
为了提高电厂生产设备故障预警的适应性、实时性以及可扩展性，本发明提供了一种基于Storm的电厂生产设备故障预警方法，如图1所示，包括：
实时采集各设备的测点数据，以设备ID为主题，将采集到的测点数据连同时间戳存储到分布式消息队列中；电厂生产设备产生的实时监测数据由DCS系统监控并采集，再采用网络通信的方式去向DCS系统获取并异步处理监控数据；在一个可选的实施方式中，分布式消息队列为Kafka消息队列；Kafka消息队列具有高吞吐率，使用Kafka消息队列存储实时采集到的测点数据，能够保证故障预警的实时性；
按照主题从分布式消息队列中拉取测点数据后，对所拉取的测点数据进行过滤和验证，以得到在设备稳定运行阶段产生且符合预设的格式规范的测点数据；因为测点数据是来自于电厂产生的实时数据，数据格式可能不完全符合后续分析的需求，因此需要对数据格式进行规范化处理，以避免对后续分析产生影响；当设备本身未启动或启动还没到达正式运行的阶段(即进入稳定运行阶段之前)，不需要进行状态评估，这时候产生的监测数据也不需要进行分析，直接过滤掉即可；设备本身未启动或启动还没到达正式运行阶段，可通过经验设定阈值，进行故障预警；
将过滤并验证后的测点数据实时存储到HBase数据库中；
在实时存储测点数据的同时，将其中同时被采集、主题相同且相互关联的每一组测点数据分别作为一个预测目标向量；对于每一个预测目标向量Tj，利用对应的预测模型获得K个聚类，以及每个聚类的类权重、协方差以及均值；若至少存在一个聚类，其类均值与预测目标向量Tj在各维度的差值均在预警范围内，则判定预测目标向量Tj中不包含异常测点；否则，获得类权重最大的聚类，并计算其类均值与预测目标向量Tj在各维度的差值，将其中不在预警范围内的差值所对应的测点判定为异常测点，对各异常测点生成预警信息并存储到数据库中；
其中，每一组属于同一设备且相互关联的测点分别与一个预测模型相对应，预测模型用于描述与之对应的一组测点数据在不同状态下的运行规律，每一个聚类代表一种状态；预警范围为[-mσ,+mσ]，σ为对应聚类的协方差，m＞0；某一个设备中，相互关联的测点数据可根据设备自身的运行特性决定，例如，可将凝汽器出口凝结水温、凝结水母管压力、凝结水流量、凝泵变频电机电流、凝泵变频运行频率、凝泵电机定子A绕组温、凝泵电机定子B绕组温、凝泵电机定子C绕组温作为一组相互关联的测点，这些测点都是处于凝结水壁中的测点，具有一定的关联性，所以用一个预测模型进行管理可以有更好的预警效果；
从分布式消息队列拉取测点数据，将预测目标存储到HBase数据库中，以及将预警消息存储到数据库中，均通过Storm完成；j为预测目标向量的编号。
上述基于Storm的电厂生产设备故障预警方法，以属于同一设备且相互关联的一组测点作为一个整体监测对象进行故障预警，由此能够充分利用测点间的关联性，获得更好的预警效果和适应性，而且由于一组测点共用一个预测模型的模型参数，减少了所需存储参数量；运用Storm技术去实时处理电厂生产电力时产生的海量监控数据，能通过不断地动态新增处理节点增大吞吐率，来达到同时处理一个甚至多个电厂设备产生的监控数据，实现高实时和高效率地处理数据并进行预警；由于Storm是一种开源技术，可根据实际的应用需求对处理过程进行修改实现更符合实际需求的预警效果，因此，上述基于Storm的电厂生产设备故障预警方法具有较好的可扩展性。总的来说，上述基于Storm的电厂生产设备故障预警方法，提高了电厂生产设备故障预警的适应性、实时性以及可扩展性。
上述基于Storm的电厂生产设备故障预警方法，利用HBase数据库实时存储从分布式消息队列中拉取的测点数据，相比于传统的电厂生产设备故障预警方法所使用的PI、iHistorian等专用数据库而言，在存储能力、容灾能力和读写能力以及预警成本方面均有所改善。
在本发明实施例中，预测模型为GMM高斯混合模型；
因为电厂产生的数据大部分都是正常数据，极少有异常数据，且已发生的故障无法覆盖所有故障，所以在这种情况下，如果使用决策树、神经网络等常用的深度学习方法进行预测，会有建模难度大、无法训练、无法准确找到异常测点等问题，GMM高斯混合模型有着适用性广，多维空间中聚类效果好以及引入概率分布，算法简单、迭代方法有效且稳定等特点，在本发明实施例中，利用GMM高斯混合模型作为预测模型可以从多维度上描述测点数据的运行规律；
相应地，预测模型的训练方法如图2所示，包括：
对于一组属于同一设备且相互关联的测点，基于GMM高斯混合模型建立对应的预测模型；
从HBase数据库中获取该组测点的历史测点数据，通过预处理使得测点数据在时间上连续且规范化，从而在预处理之后得到训练数据集；
具体地，对历史测点数据进行预处理，包括：
(S1)对历史测点数据进行最小-最大规范化；
计算公式为：
x和x′分别为最小-最大规范化前、后的值，xmax和xmin分别为最大值和最小值；
(S2)若历史测点数据中存在有误的数据，则重新获取历史测点数据，并转入步骤(S1)；否则，转入步骤(S3)；
若同一个测点的测点数据在不同的时间点存在较大的偏差(大于预先设定的阈值)，则认为该测点数据为有误的数据，应剔除；
(S3)根据测点数据的时间戳判断是否存在空缺值，若存在空缺值，则转入步骤(S4)；否则，转入步骤(S5)；
以每隔1s采集一次测点数据为例，若从历史测点数据的起止时间之间的每一秒的测点数据都获取到了，则不存在空缺值，否则，说明历史测点数据中存在空缺值；
(S4)若空缺值的数量不超过预设的空缺阈值，则将空缺前、后的值求平均值，并利用所求取的平均值对空缺值进行填充，以得到时间上连续的测点数据，填充完成后转入步骤(S5)；
计算平均值的公式为：
xi为用于填充的值，xi-1和xi+1分别为空缺前、后的值；
若空缺值的数量超过了所述空缺阈值，则重新获取历史测点数据，并转入步骤(S1)；
空缺阈值可根据实际的预测精度要求确定，若设置较小，则模型训练完成后，预测精度较高，但获取到符合要求的历史测点数据的可能性较小；相反，若设置较大，则获取到符合要求的历史测点数据的可能性较大，但模型训练完成后，预测精度较低；
(S5)对历史测点数据的预处理结束；
通过上述预处理操作，最终得到的训练数据集为设备正常运行时段所产生的测点数据，由此能够使得所训练得到的模型能够准确的描述测点数据的运行规律，从而得到较好的预测效果；
得到训练数据集之后，利用训练数据集对所建立的预测模型进行训练，以得到K个聚类中，各个聚类的类权重ωk、协方差σk以及均值uk；每一个聚类的类均值，为预测目标向量在对应状态下的预测均值，类权重表明了设备运行在对应状态的可能性，协方差用于确定对应的预警范围；在模型训练之前，可根据密度峰值算法，利用训练数据集求出K个聚类中心，然后利用训练数据集对GMM高斯混合模型进行训练，即可得出每个聚类的类权重ωk、协方差σk以及均值uk，不同的聚类对应测点数据运行规律的不同维度；
在预测模型训练完成后，通过Storm将各个聚类的类权重ωk、协方差σk以及均值uk均存储到Redis数据库中；
本发明实施例利用历史测点数据训练预测模型，能够使得预测模型较为准确地学习到测点数据的运行规律，使得预警效果较好，且适应性更好。
为了获得更好的预测效果，上述基于Storm的电厂生产设备故障预警方法，还可包括：经过预设的时间间隔后，利用HBase数据库中存储的历史测点数据，对预测模型进行增量训练，以更新预测模型；
通过增量训练的方式对预测模型进行定期更新，能够使得预测模型与测点数据的运行规律保持一致，从而获得更好的预测效果。
在本发明实施例中，m＝3，对应的预警范围为[-3σ,+3σ]；由于该预警范围符合聚类中99.73％数据的特征，因此，将预警范围设置为[-3σ,+3σ]，能够获得较好的预测效果；应当理解的是，此处预警范围的设定，为一种优选的设定，不应理解为对本发明的唯一限定。
为了进一步提高故障预警的实时性，在上述基于Storm的电厂生产设备故障预警方法中，用于存储预警信息的数据库包括Redis数据库和MySQL数据库，将所生成的预警信息存储到数据库中，包括：
判断Redis数据库中是否已经存储有针对同一组测点的历史预警信息，若不存在，则将新生成的预警信息同时存储到Redis数据库和MySQL数据库中；
否则，将该历史预警信息的最新预警时间更新为新生成的预警信息的时间戳，并将该历史预警信息的预警次数加1；更新Redis数据库的同时，对MySQL数据库作同样的更新；
任意一条预警信息被处理完成后，将该预警信息从Redis数据库中删除；
本发明利用Redis数据库存储尚未处理完成的预警信息，利用MySQL数据库存储所有的预警信息(包括尚未处理完成的预警信息和已经处理完成的预警信息)，由于Redis数据库是内存数据库，在数据操作以及运算上有着明显的优势，将尚未处理完成的预警信息存储到Redis数据库中，能够提高数据查询的检索速度，保证故障处理的实时性；由于Redis数据库的容量有限，不能进行大规模数据存储，利用MySQL数据库存储所有的预警信息，能够保证预警信息存储的完整性。
本发明还提供了一种基于Storm的电厂生产设备故障预警系统，包括处理器和计算机可读存储介质，计算机可读存储介质用于存储可执行程序；
处理器用于读取计算机存储介质中存储的可执行程序，执行上述基于Storm的电厂生产设备故障预警方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于Storm的电厂生产设备故障预警方法，其特征在于，包括：
实时采集各设备的测点数据，以设备ID为主题，将采集到的测点数据连同时间戳存储到分布式消息队列中；
按照主题从所述分布式消息队列中拉取测点数据后，对所拉取的测点数据进行过滤和验证，以得到在设备稳定运行阶段产生且符合预设的格式规范的测点数据；
将过滤并验证后的测点数据实时存储到HBase数据库中；
在实时存储测点数据的同时，将其中同时被采集、主题相同且相互关联的每一组测点数据分别作为一个预测目标向量；对于每一个预测目标向量Tj，利用对应的预测模型获得K个聚类，以及每个聚类的类权重、协方差以及均值；若至少存在一个聚类，其类均值与预测目标向量Tj在各维度的差值均在预警范围内，则判定预测目标向量Tj中不包含异常测点；否则，获得类权重最大的聚类，并计算其类均值与预测目标向量Tj在各维度的差值，将其中不在预警范围内的差值所对应的测点判定为异常测点，对各异常测点生成预警信息并存储到数据库中；
其中，每一组属于同一设备且相互关联的测点分别与一个预测模型相对应，预测模型用于描述与之对应的一组测点数据在不同状态下的运行规律，每一个聚类代表一种状态；预警范围为[-mσ,+mσ]，σ为对应聚类的协方差，m＞0；从所述分布式消息队列拉取测点数据，将预测目标存储到HBase数据库中，以及将预警消息存储到数据库中，均通过Storm完成；j为预测目标向量的编号；
所述预测模型为GMM高斯混合模型；
所述预测模型的训练方法包括：
对于一组属于同一设备且相互关联的测点，基于GMM高斯混合模型建立对应的预测模型；
从HBase数据库中获取该组测点的历史测点数据，通过预处理使得测点数据在时间上连续且规范化，从而在预处理之后得到训练数据集；
利用所述训练数据集对所建立的预测模型进行训练，以得到K个聚类中，各个聚类的类权重ωk、协方差σk以及均值uk；
在预测模型训练完成后，通过Storm将各个聚类的类权重ωk、协方差σk以及均值uk均存储到Redis数据库中；
其中，k表示聚类的编号，k∈{1,2…,K}。
2.如权利要求1所述的基于Storm的电厂生产设备故障预警方法，其特征在于，对历史测点数据进行预处理，包括：
(S1)对历史测点数据进行最小-最大规范化；
(S2)若历史测点数据中存在有误的数据，则重新获取历史测点数据，并转入步骤(S1)；否则，转入步骤(S3)；
(S3)根据测点数据的时间戳判断是否存在空缺值，若存在空缺值，则转入步骤(S4)；否则，转入步骤(S5)；
(S4)若空缺值的数量不超过预设的空缺阈值，则将空缺前、后的值求平均值，并利用所求取的平均值对空缺值进行填充，以得到时间上连续的测点数据，填充完成后转入步骤(S5)；若空缺值的数量超过了所述空缺阈值，则重新获取历史测点数据，并转入步骤(S1)；
(S5)预处理操作结束。
3.如权利要求2所述的基于Storm的电厂生产设备故障预警方法，其特征在于，还包括：经过预设的时间间隔后，利用HBase数据库中存储的历史测点数据，对预测模型进行增量训练，以更新预测模型。
4.如权利要求1所述的基于Storm的电厂生产设备故障预警方法，其特征在于，m＝3。
5.如权利要求1所述的基于Storm的电厂生产设备故障预警方法，其特征在于，用于存储预警信息的数据库包括Redis数据库和MySQL数据库，将所生成的预警信息存储到数据库中，包括：
判断Redis数据库中是否已经存储有针对同一组测点的历史预警信息，若不存在，则将新生成的预警信息同时存储到Redis数据库和MySQL数据库中；
否则，将该历史预警信息的最新预警时间更新为新生成的预警信息的时间戳，并将该历史预警信息的预警次数加1；更新Redis数据库的同时，对MySQL数据库作同样的更新。
6.如权利要求5所述的基于Storm的电厂生产设备故障预警方法，其特征在于，任意一条预警信息被处理完成后，将该预警信息从Redis数据库中删除。
7.如权利要求1所述的基于Storm的电厂生产设备故障预警方法，其特征在于，所述分布式消息队列为Kafka消息队列。
8.一种基于Storm的电厂生产设备故障预警系统，包括处理器和计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储可执行程序；
所述处理器用于读取所述计算机存储介质中存储的可执行程序，执行权利要求1-7任一项所述的基于Storm的电厂生产设备故障预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910716065.9A CN110570012B (zh) | 2019-08-05 | 2019-08-05 | 一种基于Storm的电厂生产设备故障预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910716065.9A CN110570012B (zh) | 2019-08-05 | 2019-08-05 | 一种基于Storm的电厂生产设备故障预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110570012A CN110570012A (zh) | 2019-12-13 |
| CN110570012B true CN110570012B (zh) | 2022-05-20 |
Family
ID=68774498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910716065.9A Active CN110570012B (zh) | 2019-08-05 | 2019-08-05 | 一种基于Storm的电厂生产设备故障预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110570012B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11175973B1 (en) | 2020-05-11 | 2021-11-16 | International Business Machines Corporation | Prediction of performance degradation with non-linear characteristics |
| CN114168621A (zh) * | 2020-09-10 | 2022-03-11 | 宁波和利时智能科技有限公司 | 一种基于工业信息模型的二次计算方法、装置及系统 |
| CN113960965B (zh) * | 2021-09-26 | 2024-04-23 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备和可读存储介质 |
| CN113988325A (zh) * | 2021-10-08 | 2022-01-28 | 广东能源集团科学技术研究院有限公司 | 一种电力系统故障预警方法、装置、终端设备及存储介质 |
| CN117009105B (zh) * | 2023-07-25 | 2024-07-02 | 南京南瑞智慧交通科技有限公司 | 一种基于storm流式计算的地铁车载设备状态实时预报警的方法 |
| CN116662603B (zh) * | 2023-07-28 | 2023-10-20 | 江西云眼视界科技股份有限公司 | 基于kafka的时间轴管控方法、系统、电子设备及存储介质 |
| CN116701973B (zh) * | 2023-08-09 | 2023-10-03 | 无锡市明通动力工业有限公司 | 基于大数据的电机异常振动检测预警方法 |
| CN117335571B (zh) * | 2023-10-09 | 2024-05-03 | 国网河南省电力公司濮阳供电公司 | 一种配电网智能化故障预警管理系统及方法 |
| CN117170979B (zh) * | 2023-10-26 | 2024-04-05 | 广东百德朗科技有限公司 | 一种大规模设备的能耗数据处理方法、系统、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897392A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种基于知识发现的技术竞争及专利预警分析方法 |
| CN108241901A (zh) * | 2016-12-27 | 2018-07-03 | 全球能源互联网研究院 | 一种基于预测数据的变压器预警评估方法及装置 |
| CN108460486A (zh) * | 2018-03-05 | 2018-08-28 | 国网上海市电力公司 | 一种基于改进聚类算法和神经网络的电压偏差预测方法 |
| CN108805202A (zh) * | 2018-06-11 | 2018-11-13 | 上海新增鼎数据科技有限公司 | 一种用于电解槽故障预警的机器学习方法及其应用 |
| CN109740044A (zh) * | 2018-12-24 | 2019-05-10 | 东华大学 | 一种基于时间序列智能预测的企业异动预警方法 |
| CN110035096A (zh) * | 2018-01-12 | 2019-07-19 | 中科院微电子研究所昆山分所 | 一种基于Storm的车辆预警处理系统及预警系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6018699A (en) * | 1996-06-04 | 2000-01-25 | Baron Services, Inc. | Systems and methods for distributing real-time site specific weather information |
-
2019
- 2019-08-05 CN CN201910716065.9A patent/CN110570012B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108241901A (zh) * | 2016-12-27 | 2018-07-03 | 全球能源互联网研究院 | 一种基于预测数据的变压器预警评估方法及装置 |
| CN106897392A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种基于知识发现的技术竞争及专利预警分析方法 |
| CN110035096A (zh) * | 2018-01-12 | 2019-07-19 | 中科院微电子研究所昆山分所 | 一种基于Storm的车辆预警处理系统及预警系统 |
| CN108460486A (zh) * | 2018-03-05 | 2018-08-28 | 国网上海市电力公司 | 一种基于改进聚类算法和神经网络的电压偏差预测方法 |
| CN108805202A (zh) * | 2018-06-11 | 2018-11-13 | 上海新增鼎数据科技有限公司 | 一种用于电解槽故障预警的机器学习方法及其应用 |
| CN109740044A (zh) * | 2018-12-24 | 2019-05-10 | 东华大学 | 一种基于时间序列智能预测的企业异动预警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110570012A (zh) | 2019-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570012B (zh) | 一种基于Storm的电厂生产设备故障预警方法及系统 | |
| WO2017076154A1 (zh) | 网络事件预测以及建立网络事件预测模型的方法和装置 | |
| CN110766200A (zh) | 一种基于K-means均值聚类的风电机组发电功率预测方法 | |
| CN112734128A (zh) | 一种基于优化rbf的7日电力负荷峰值预测方法 | |
| CN111190349A (zh) | 船舶机舱设备状态监测及故障诊断方法、系统及介质 | |
| CN111414703B (zh) | 一种滚动轴承剩余寿命预测方法及装置 | |
| CN117078048A (zh) | 基于数字孪生的智慧城市资源管理方法及系统 | |
| CN110555058A (zh) | 基于改进决策树的电力通信设备状态的预测方法 | |
| CN116187552A (zh) | 异常检测方法、计算设备及计算机存储介质 | |
| CN118311429B (zh) | 基于发电厂的发电机故障检测方法和检测装置 | |
| CN111294841A (zh) | 一种无线网络问题的处理方法、装置及存储介质 | |
| CN111697560B (zh) | 一种基于lstm预测电力系统负荷的方法及系统 | |
| CN109583086A (zh) | 配电变压器重过载预测方法及终端设备 | |
| CN116388150A (zh) | 基于数字孪生和神经网络技术的配变短期负荷预测方法 | |
| CN117408394B (zh) | 电力系统的碳排放因子预测方法、装置及电子设备 | |
| Qu et al. | Research on short‐term output power forecast model of wind farm based on neural network combination algorithm | |
| CN115238573A (zh) | 考虑工况参数的水电机组性能劣化趋势预测方法和系统 | |
| CN117557415B (zh) | 一种基于智慧物业的社区资源管理方法及系统 | |
| CN117933531A (zh) | 一种分布式光伏发电功率预测系统及方法 | |
| Cheng et al. | Reactive Power Load Forecasting based on K-means Clustering and Random Forest Algorithm | |
| CN112363012A (zh) | 一种电网故障预警装置及方法 | |
| CN112000708A (zh) | 一种基于调控配用数据融合的异常数据处理方法及系统 | |
| CN117154680A (zh) | 一种基于非平稳Transformer模型的风电功率预测方法 | |
| CN113627655B (zh) | 一种配电网灾前故障场景模拟预测方法及装置 | |
| CN111443686A (zh) | 基于多目标优化与证据迭代更新的工业报警器设计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |