CN117708550A - 一种电力大数据自动化数据分析及模型构建方法 - Google Patents
一种电力大数据自动化数据分析及模型构建方法 Download PDFInfo
- Publication number
- CN117708550A CN117708550A CN202410165494.2A CN202410165494A CN117708550A CN 117708550 A CN117708550 A CN 117708550A CN 202410165494 A CN202410165494 A CN 202410165494A CN 117708550 A CN117708550 A CN 117708550A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- model
- real
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 18
- 238000010276 construction Methods 0.000 title claims abstract description 15
- 238000013499 data model Methods 0.000 title claims description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 40
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000009499 grossing Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012806 monitoring device Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010223 real-time analysis Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012512 characterization method Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Supply And Distribution Of Alternating Current (AREA)
Abstract
一种电力大数据自动化数据分析及模型构建方法,包括数据采集模块、数据清洗与预处理模块、特征提取模块、模型选择模块、模型训练模块、实时监测与分析模块,数据采集模块实时获取电力系统产生的大数据,数据清洗与预处理模块对采集到的数据进行异常值处理、缺失值处理、数据平滑的操作,特征提取模块分析数据的时域特性、频域特性和空域特性,提高数据表征能力,在模型选择模块中,根据问题类型、数据特征和性能评估,选择合适的机器学习模型,实时监测与分析模块将训练好的模型应用于实时数据流,实现对电力系统运行状态的实时监测与分析。本发明有益效果:通过自动化处理大数据、实时监测,为电力系统管理提供了高效、准确、实用的解决方案。
Description
技术领域
本发明创造涉及电力系统和数据自动化分析领域,具体涉及一种电力大数据自动化数据分析及模型构建方法。
背景技术
在当今社会,电力系统作为现代化社会的重要基础设施之一,承担着供电、稳定运行、能源转换等重要功能,对国家经济和社会的发展具有不可忽视的影响,然而,随着电力系统规模的不断扩大和电力设备的不断更新换代,电力系统面临着日益增长的复杂性和多样性的挑战,为了更好地满足电力需求、提高电力系统的可靠性和效率,以及应对能源转型新形势,电力系统管理迫切需要借助先进的技术手段进行全面、实时的数据分析与决策。
随着大数据和人工智能技术的迅猛发展,电力大数据自动化数据分析及模型构建方法的提出成为应对电力系统管理挑战的创新性解决方案,本发明在此背景下应运而生,旨在通过综合应用大数据处理、机器学习、实时监测先进技术,构建一种高效、准确、实用的电力大数据分析与模型构建方法,为电力系统管理提供强有力的支持。传统的电力系统管理主要依赖于经验和规则,对于庞大而复杂的电力系统数据难以进行全面深入的分析,而本发明的背景则彰显了电力系统管理面临的新挑战:如何充分挖掘电力系统产生的海量数据中蕴含的信息,实现对电力系统运行状态的全方位监测和深度分析,传统方法在数据处理和分析上存在的瓶颈,迫使电力系统管理者寻求更为智能化、自动化的解决方案,而本发明正是在这一背景下应运而生,以推动电力系统管理向更智能、更高效的方向发展。电力系统的运行环境日趋动态和复杂,需要更加灵活、自适应的管理手段,传统的规则和静态模型往往难以适应电力系统运行状态的快速变化,尤其在面对异常情况时表现不佳,本发明的提出体现了对电力系统实时性的追求,通过实时监测与分析模块的设计,将训练好的模型应用于实时数据流,实现对电力系统运行状态的实时监测与分析,这种动态、实时的管理方式有望更好地适应电力系统的变化,提高系统的鲁棒性和可靠性。随着电力系统设备的不断更新和新能源技术的广泛应用,电力系统数据的种类和规模呈爆发式增长,如何有效地处理和分析这些庞大而复杂的数据成为一个亟待解决的问题,本发明的数据采集模块以先进的传感器和监测设备为基础,实时获取电力系统产生的大数据,包括电流、电压、功率参数,通过数据清洗与预处理、特征提取模块的设计,使得庞大的电力系统数据得以高效地转化为可供分析和建模的信息,为电力系统管理者提供了更有力的数据支持。
最后,能源转型的背景下,电力系统不仅需要更高效的管理方式,还需要更具智能化和可持续性的决策支持,本发明有望推动电力系统管理向智能化、高效化的方向发展,为电力系统的稳定运行、能源转型提供更为科学、可靠的决策支持。
发明内容
针对上述问题,本发明旨在提供一种电力大数据自动化数据分析及模型构建方法。
为实现上述目的,本发明提供如下技术方案:一种电力大数据自动化数据分析及模型构建方法,包括数据采集模块、数据清洗与预处理模块、特征提取模块、模型选择模块、模型训练模块、实时监测与分析模块,其中,数据采集模块实时获取电力系统产生的大数据,包括电流、电压、功率参数,数据清洗与预处理模块对采集到的数据进行异常值处理、缺失值处理、数据平滑操作,确保数据质量,特征提取模块分析数据的时域特性、频域特性和空域特性,提高数据表征能力,在模型选择模块中,根据问题类型、数据特征和性能评估,选择合适的机器学习模型,利用历史数据提高模型的预测准确性,实时监测与分析模块将训练好的模型应用于实时数据流,实现对电力系统运行状态的实时监测与分析。
进一步的,数据采集模块通过电流传感器和监测设备、电压传感器和监测设备、功率传感器和监测设备、实时获取电力系统产生的大数据,实时追踪电力系统中的各种变化和波动,包括瞬时负载变化、电压波动、频率变动,传感器和监测设备以高频率进行采集实时数据,以确保对系统动态变化的敏感性。
进一步的,数据清洗与预处理模块对采集到的数据进行异常值处理、缺失值处理、数据平滑操作,确保数据质量,具体如下:
(1)异常值处理
在电力系统中,由于各种原因,如设备故障、外部干扰或传感器误差,导致数据中出现异常值,若不经处理直接用于后续分析,会影响到模型的准确性和稳定性,因此,在异常值处理的阶段,设电力系统的电流、电压/>、功率/>参数集合为/>,在时间点/>的观测值集合为/>,其中,观测值集合/>包括电流、电压、功率观测值,记为,异常值的判定通过计算观测值与电流、电压、功率参数的历史均值和标准差的偏离程度来实现,定义异常值的判定函数为/>,其计算方式为:
其中,/>为下标,且/>,Q属于电流/>、电压/>、功率/>某一种,/>为电流、电压、功率观测值中其中一种观测值,/>表示电流、电压、功率观测值中其中一种历史均值,/>表示电流、电压、功率观测值中其中一种历史标准差,如果/>超过设定的阈值,则认为/>是异常值;
(2)缺失值处理
在电力系统监测中,若发生传感器失灵、通信故障,数据中若存在缺失值,而缺失值的存在会影响到整体数据的完整性,为了解决这一问题,缺失值的处理通过线性插值的方法进行,假设缺失,通过/>的历史观测值进行线性插值,即:
其中,/>为上一时刻电流、电压、功率其中一种观测值,/>为下一时刻电流、电压、功率其中一种观测值,这种插值方法能够在一定程度上保持数据的趋势和变化趋势;
(3)数据平滑
在电力系统中,由于各种因素引起的数据波动掩盖了真实的数据趋势,为了进一步减少数据中的噪声和波动,数据清洗与预处理模块引入了数据平滑技术,引入自适应加权移动平均模型,设观测值序列为,/>时刻加权移动平均序列/>,则有:
其中,/>为第1时刻电流、电压、功率其中一种观测值,/>为第2时刻电流、电压、功率其中一种观测值,/>为第t时刻电流、电压、功率其中一种观测值,/>为第t-1时刻电流、电压、功率其中一种观测值,/>是平滑系数,其取值范围为/>,表示对历史观测值的权重,本发明提供的自适应的平滑模型能够更好地适应电力系统数据的动态变化,不需要事先对平滑系数进行设定。
进一步的,特征提取模块从庞大的原始数据中提取关键信息,使得后续模型能够更有效地理解和预测电力系统的运行状态,本发明提供的特征提取模块考虑到三个特性,分别是时域特性、频域特性和空域特性,时域特性是指数据在时间维度上的变化规律,包括平均值、方差、标准差,通过对电力系统产生的大数据进行时域特征的提取,能够揭示出电力系统的基本运行状况,包括平均功率、电流、电压的波动情况,时域特征有助于在模型训练阶段更好地捕捉电力系统的基本特性,提高模型的适应性和准确性;对于频域特性,特征提取模块采用了傅里叶变换频域分析方法,将电力系统的时域数据转换到频域空间,以提取频域特性,特性包括能量分布、谐波含量;
本发明通过小波变换更好地捕捉电力系统数据的时频特性,特征提取模块将序列通过小波变换转换为时频域的表示,公式如下:
其中,/>是/>的不同表达方式,表示为电流、电压、功率观测值中其中一种观测值,/> 是小波系数,/>和/>是尺度和平移参数,/>是原始信号,/>是小波函数,其表达式为:
其中,/>是频率参数,/>是虚数单位,为了进行特征提取,使用小波变换将时间序列/>转换为小波系数/>,具体地,使用连续小波变换来获得连续尺度下的小波系数,连续小波变换的表达式为:
其中,/>是/>的复共轭,连续小波变换在不同尺度下对信号进行变换,得到了时频图谱,表示信号在时域和频域的分布情况,为了将小波系数映射到有限维度的特征空间,使用小波包变换将信号进行多尺度分解,得到更加丰富的频率信息,其表达式为:
其中,/>是第/>层小波包系数,/>是第/>个小波包的系数,/>为时移,/>是第i层t-k时刻第n个小波包函数,通过/>得到每一层小波包系数,将其整合成一个特征向量/>,假设在第/>层小波包变换中共有/>个小波包系数,那么的表达式为:
其中,/>为在第/>层小波包变换中第/>个、第/>个、第/>个小波包系数,最终,将不同尺度下的特征向量/>进行连接,得到最终的特征向量/>:
其中,/>分别表示第1层、第2层、第/>层小波包变换的特征向量,/>表示小波包变换的层数,这一特征向量/>将电力系统数据的时频特征进行了有损压缩,保留了重要的信息,为后续模型的建立提供了更为有代表性的特征;
在电力系统中,对于电流传感器和监测设备、电压传感器和监测设备、功率传感器和监测设备,空域特性的分析能够揭示电力系统在不同地点的运行差异,通过采用空域特征提取技术,捕捉到数据在空间上的分布规律,为模型提供更为细致的数据表征。
进一步的,模型选择模块用来选择合适的机器学习模型,以确保模型能够更好地适应电力系统的复杂性和动态变化;模型训练模块通过利用历史数据,对已选择的机器学习模型进行优化,提高模型的预测准确性和泛化能力,通过有效的训练过程,使得模型能够更好地适应电力系统的实际运行情况,在模型训练的过程中,本发明考虑到模型的收敛性和稳定性,通过监控模型在训练集和验证集上的性能指标,包括损失函数值、准确率,及时发现模型是否达到了收敛状态,以及是否存在过拟合或欠拟合的情况。
进一步的,实时监测与分析模块监测电力系统的运行状态并进行及时分析,充分考虑到电力系统的实时性和动态性,通过高效地处理实时数据流,使得模型能够迅速响应系统变化,为电力系统管理提供实时决策支持,具体如下:
通过根据模型训练模块将已经训练好的模型进行实时监测与分析,设/>为模型对/>的预测结果,采用滑动窗口技术,每次移动窗口一步,利用最新的数据进行模型预测,对于窗口大小为/>的滑动窗口,得到模型的实时预测序列 />,其中,/>分别是窗口大小为/>、/>、/>时的实时预测值,考虑到实时监测中的不确定性和动态性,引入模型预测的不确定性估计,设模型/>对/>的不确定性为/>,使用模型的输出概率分布/>来估计,即:
其中,/>表示正态分布,/>是模型对/>的点预测,/>是模型对/>的不确定性估计,在实时监测的过程中,引入阈值/>,当/>超过/>时,判定为异常,本发明考虑了点预测的绝对误差,以及不确定性的影响,这种方式更符合实际情况,能够更准确地捕捉到系统的异常情况,避免了仅仅依赖点预测的局限性,得到实时监测与分析的模型描述,对于每个时刻/>,进行如下判定:
其中,/>和/>通过模型/>对/>进行预测和不确定性估计得到,如果异常判定为真,则系统出现异常情况,通过引入了基于不确定性的异常判定机制,传统的方法往往仅仅关注点预测的误差,忽略了模型对数据的不确定性估计,而本发明通过考虑不确定性,使得异常判定更加灵活,更适应电力系统实时监测的需求,这种机制有望提高监测的准确性和可靠性,为电力系统管理提供更全面的实时决策支持。
本发明的有益效果:本发明作为一种电力大数据自动化数据分析及模型构建方法,在解决电力系统管理面临的复杂性、动态性和数据庞大性问题上提供了一种全新的、智能化的解决方案,本发明通过引入电流、电压、功率传感器和监测设备,实现了电力系统产生的大数据的实时采集,极大地提高了对电力系统运行状态的数据感知能力,使得电力系统管理者能够更加全面地了解系统各个方面的情况,传统的手动数据采集方式往往耗时耗力,而且容易受到人为主观因素的影响,而本发明的自动化数据采集模块的引入,实现了对电力系统大数据的高效获取,为后续的分析和建模奠定了基础,其次,本发明的数据清洗与预处理模块对采集到的数据进行异常值处理、缺失值处理和数据平滑操作,确保了数据的质量,这一步骤的引入有效解决了电力系统数据中可能存在的问题,保证了后续分析的准确性和可靠性,传统的数据处理方式可能忽略了数据中的异常值和缺失值,从而影响了模型的建立和预测结果的准确性,在数据平滑过程中,采用自适应的平滑模型,能够更好地适应电力系统数据的动态变化,不需要事先对平滑系数进行设定。本发明的特征提取模块考虑到三个特性,分别是时域特性、频域特性和空域特性,提高了数据的表征能力,传统的数据分析方法只关注原始数据,忽略了数据中蕴含的更深层次的信息,而本发明的特征提取模块的创新点在于充分挖掘数据的多层次特征,使得数据更能够反映电力系统的复杂性和多样性,为后续模型的建立提供了更具代表性的特征,并且本发明构建的小波函数适用于捕捉信号的瞬时频率信息,对于电力系统的时频特性较为敏感,并且进一步将/>进行创新,综合考虑了信号的时频特性,相较于传统的方法,更为全面地反映了电力系统数据的复杂性,本发明的实时监测与分析模块将训练好的模型应用于实时数据流,实现了对电力系统运行状态的实时监测与分析,本发明不仅仅考虑了点预测的绝对误差,还考虑了不确定性/>的影响,更符合实际情况,能够更准确地捕捉到系统的异常情况,避免了仅仅依赖点预测的局限性,传统的方法往往仅仅关注点预测的误差,忽略了模型对数据的不确定性估计,而本发明通过考虑不确定性,通过引入了基于不确定性的异常判定机制,使得异常判定更加灵活,更适应电力系统实时监测的需求,这种机制能够提高监测的准确性和可靠性,为电力系统管理提供更全面的实时决策支持。
附图说明
利用附图对发明创造作进一步说明,但附图中的实施例不构成对本发明创造的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种电力大数据自动化数据分析及模型构建方法,包括数据采集模块、数据清洗与预处理模块、特征提取模块、模型选择模块、模型训练模块、实时监测与分析模块,其中,数据采集模块实时获取电力系统产生的大数据,包括电流、电压、功率参数,数据清洗与预处理模块对采集到的数据进行异常值处理、缺失值处理、数据平滑操作,确保数据质量,特征提取模块分析数据的时域特性、频域特性和空域特性,提高数据表征能力,在模型选择模块中,根据问题类型、数据特征和性能评估,选择合适的机器学习模型,利用历史数据提高模型的预测准确性,实时监测与分析模块将训练好的模型应用于实时数据流,实现对电力系统运行状态的实时监测与分析。
优选的,数据采集模块通过电流传感器和监测设备、电压传感器和监测设备、功率传感器和监测设备、实时获取电力系统产生的大数据,实时追踪电力系统中的各种变化和波动,包括瞬时负载变化、电压波动、频率变动,传感器和监测设备以高频率进行采集实时数据,以确保对系统动态变化的敏感性。
优选的,数据清洗与预处理模块对采集到的数据进行异常值处理、缺失值处理、数据平滑操作,确保数据质量,具体如下:
(1)异常值处理
在电力系统中,由于各种原因,如设备故障、外部干扰或传感器误差,导致数据中出现异常值,若不经处理直接用于后续分析,会影响到模型的准确性和稳定性,因此,在异常值处理的阶段,设电力系统的电流、电压/>、功率/>参数集合为/>,在时间点/>的观测值集合为/>,其中,观测值集合/>包括电流、电压、功率观测值,记为,异常值的判定通过计算观测值与电流、电压、功率参数的历史均值和标准差的偏离程度来实现,定义异常值的判定函数为/>,其计算方式为:
其中,/>为下标,且/>,Q属于电流/>、电压/>、功率/>某一种,/>为电流、电压、功率观测值中其中一种观测值,/>表示电流、电压、功率观测值中其中一种历史均值,/>表示电流、电压、功率观测值中其中一种历史标准差,如果/>超过设定的阈值,则认为/>是异常值;
(2)缺失值处理
在电力系统监测中,若发生传感器失灵、通信故障,数据中若存在缺失值,而缺失值的存在会影响到整体数据的完整性,为了解决这一问题,缺失值的处理通过线性插值的方法进行,假设缺失,通过/>的历史观测值进行线性插值,即:
其中,/>为上一时刻电流、电压、功率其中一种观测值,/>为下一时刻电流、电压、功率其中一种观测值,这种插值方法能够在一定程度上保持数据的趋势和变化趋势;
(3)数据平滑
在电力系统中,由于各种因素引起的数据波动掩盖了真实的数据趋势,为了进一步减少数据中的噪声和波动,数据清洗与预处理模块引入了数据平滑技术,引入自适应加权移动平均模型,设观测值序列为,/>时刻加权移动平均序列/>,则有:
其中,/>为第1时刻电流、电压、功率其中一种观测值,/>为第2时刻电流、电压、功率其中一种观测值,/>为第t时刻电流、电压、功率其中一种观测值,/>为第t-1时刻电流、电压、功率其中一种观测值,/>是平滑系数,其取值范围为/>,表示对历史观测值的权重,本发明提供的自适应的平滑模型能够更好地适应电力系统数据的动态变化,不需要事先对平滑系数进行设定。
优选的,特征提取模块从庞大的原始数据中提取关键信息,使得后续模型能够更有效地理解和预测电力系统的运行状态,本发明提供的特征提取模块考虑到三个特性,分别是时域特性、频域特性和空域特性,时域特性是指数据在时间维度上的变化规律,包括平均值、方差、标准差,通过对电力系统产生的大数据进行时域特征的提取,能够揭示出电力系统的基本运行状况,包括平均功率、电流、电压的波动情况,时域特征有助于在模型训练阶段更好地捕捉电力系统的基本特性,提高模型的适应性和准确性;对于频域特性,特征提取模块采用了傅里叶变换频域分析方法,将电力系统的时域数据转换到频域空间,以提取频域特性,特性包括能量分布、谐波含量;
本发明通过小波变换更好地捕捉电力系统数据的时频特性,特征提取模块将序列通过小波变换转换为时频域的表示,公式如下:
其中,/>是/>的不同表达方式,表示为电流、电压、功率观测值中其中一种观测值,/> 是小波系数,/>和/>是尺度和平移参数,/>是原始信号,/>是小波函数,其表达式为:
其中,/>是频率参数,/>是虚数单位,为了进行特征提取,使用小波变换将时间序列/>转换为小波系数/>,具体地,使用连续小波变换来获得连续尺度下的小波系数,连续小波变换的表达式为:
其中,/>是/>的复共轭,连续小波变换在不同尺度下对信号进行变换,得到了时频图谱,表示信号在时域和频域的分布情况,为了将小波系数映射到有限维度的特征空间,使用小波包变换将信号进行多尺度分解,得到更加丰富的频率信息,其表达式为:
其中,/>是第/>层小波包系数,/>是第/>个小波包的系数,/>为时移,/>是第i层t-k时刻第n个小波包函数,通过/>得到每一层小波包系数,将其整合成一个特征向量/>,假设在第/>层小波包变换中共有/>个小波包系数,那么的表达式为:
其中,/>为在第/>层小波包变换中第/>个、第/>个、第/>个小波包系数,最终,将不同尺度下的特征向量/>进行连接,得到最终的特征向量/>:
其中,/>分别表示第1层、第2层、第/>层小波包变换的特征向量,/>表示小波包变换的层数,这一特征向量/>将电力系统数据的时频特征进行了有损压缩,保留了重要的信息,为后续模型的建立提供了更为有代表性的特征;
在电力系统中,对于电流传感器和监测设备、电压传感器和监测设备、功率传感器和监测设备,空域特性的分析能够揭示电力系统在不同地点的运行差异,通过采用空域特征提取技术,捕捉到数据在空间上的分布规律,为模型提供更为细致的数据表征。
优选的,模型选择模块用来选择合适的机器学习模型,以确保模型能够更好地适应电力系统的复杂性和动态变化;模型训练模块通过利用历史数据,对已选择的机器学习模型进行优化,提高模型的预测准确性和泛化能力,通过有效的训练过程,使得模型能够更好地适应电力系统的实际运行情况,在模型训练的过程中,本发明考虑到模型的收敛性和稳定性,通过监控模型在训练集和验证集上的性能指标,包括损失函数值、准确率,及时发现模型是否达到了收敛状态,以及是否存在过拟合或欠拟合的情况。
优选的,实时监测与分析模块监测电力系统的运行状态并进行及时分析,充分考虑到电力系统的实时性和动态性,通过高效地处理实时数据流,使得模型能够迅速响应系统变化,为电力系统管理提供实时决策支持,具体如下:
通过根据所述的模型训练模块将已经训练好的模型进行实时监测与分析,设/>为模型/>对/>的预测结果,采用滑动窗口技术,每次移动窗口一步,利用最新的数据进行模型预测,对于窗口大小为/>的滑动窗口,得到模型的实时预测序列,其中,/>分别是窗口大小为/>、/>、时的实时预测值,考虑到实时监测中的不确定性和动态性,引入模型预测的不确定性估计,设模型/>对/>的不确定性为/>,使用模型的输出概率分布/>来估计,即:
其中,/>表示正态分布,/>是模型对/>的点预测,/>是模型对/>的不确定性估计,在实时监测的过程中,引入阈值/>,当/>超过/>时,判定为异常,本发明考虑了点预测的绝对误差,以及不确定性的影响,这种方式更符合实际情况,能够更准确地捕捉到系统的异常情况,避免了仅仅依赖点预测的局限性,得到实时监测与分析的模型描述,对于每个时刻/>,进行如下判定:
其中,/>和/>通过模型/>对/>进行预测和不确定性估计得到,如果异常判定为真,则系统出现异常情况,通过引入了基于不确定性的异常判定机制,传统的方法往往仅仅关注点预测的误差,忽略了模型对数据的不确定性估计,而本发明通过考虑不确定性,使得异常判定更加灵活,更适应电力系统实时监测的需求,这种机制有望提高监测的准确性和可靠性,为电力系统管理提供更全面的实时决策支持。
本实施例的有益效果:本发明作为一种电力大数据自动化数据分析及模型构建方法,在解决电力系统管理面临的复杂性、动态性和数据庞大性问题上提供了一种全新的、智能化的解决方案,本发明通过引入电流、电压、功率传感器和监测设备,实现了电力系统产生的大数据的实时采集,极大地提高了对电力系统运行状态的数据感知能力,使得电力系统管理者能够更加全面地了解系统各个方面的情况,传统的手动数据采集方式往往耗时耗力,而且容易受到人为主观因素的影响,而本发明的自动化数据采集模块的引入,实现了对电力系统大数据的高效获取,为后续的分析和建模奠定了基础,其次,本发明的数据清洗与预处理模块对采集到的数据进行异常值处理、缺失值处理和数据平滑操作,确保了数据的质量,这一步骤的引入有效解决了电力系统数据中可能存在的问题,保证了后续分析的准确性和可靠性,传统的数据处理方式可能忽略了数据中的异常值和缺失值,从而影响了模型的建立和预测结果的准确性,在数据平滑过程中,采用自适应的平滑模型,能够更好地适应电力系统数据的动态变化,不需要事先对平滑系数进行设定。本发明的特征提取模块考虑到三个特性,分别是时域特性、频域特性和空域特性,提高了数据的表征能力,传统的数据分析方法只关注原始数据,忽略了数据中蕴含的更深层次的信息,而本发明的特征提取模块的创新点在于充分挖掘数据的多层次特征,使得数据更能够反映电力系统的复杂性和多样性,为后续模型的建立提供了更具代表性的特征,并且本发明构建的小波函数适用于捕捉信号的瞬时频率信息,对于电力系统的时频特性较为敏感,并且进一步将/>进行创新,综合考虑了信号的时频特性,相较于传统的方法,更为全面地反映了电力系统数据的复杂性,本发明的实时监测与分析模块将训练好的模型应用于实时数据流,实现了对电力系统运行状态的实时监测与分析,本发明不仅仅考虑了点预测的绝对误差,还考虑了不确定性/>的影响,更符合实际情况,能够更准确地捕捉到系统的异常情况,避免了仅仅依赖点预测的局限性,传统的方法往往仅仅关注点预测的误差,忽略了模型对数据的不确定性估计,而本发明通过考虑不确定性,通过引入了基于不确定性的异常判定机制,使得异常判定更加灵活,更适应电力系统实时监测的需求,这种机制能够提高监测的准确性和可靠性,为电力系统管理提供更全面的实时决策支持。
尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种电力大数据自动化数据分析及模型构建方法,包括数据采集模块、数据清洗与预处理模块、特征提取模块、模型选择模块、模型训练模块、实时监测与分析模块;其中,数据采集模块实时获取电力系统产生的大数据,包括电流、电压、功率参数;数据清洗与预处理模块对采集到的数据进行异常值处理、缺失值处理、数据平滑操作,确保数据质量;特征提取模块分析数据的时域特性、频域特性和空域特性,提高数据表征能力;模型选择模块根据问题类型、数据特征和性能评估,选择合适的机器学习模型,利用历史数据提高模型的预测准确性;实时监测与分析模块将训练好的模型应用于实时数据流,实现对电力系统运行状态的实时监测与分析。
2.根据权利要求1所述一种电力大数据自动化数据分析及模型构建方法,其特征在于,所述数据采集模块通过电流传感器和监测设备、电压传感器和监测设备、功率传感器和监测设备、实时获取电力系统产生的大数据,实时追踪电力系统中的各种变化和波动,包括瞬时负载变化、电压波动、频率变动,传感器和监测设备以高频率进行采集实时数据,以确保对系统动态变化的敏感性。
3.根据权利要求1所述一种电力大数据自动化数据分析及模型构建方法,其特征在于,所述数据清洗与预处理模块,在数据平滑的阶段,设电力系统的电流、电压/>、功率/>参数集合为/>,在时间点/>的观测值集合为/>,其中,观测值集合/>包括电流、电压、功率观测值,记为/>,为了进一步减少数据中的噪声和波动,数据清洗与预处理模块引入了数据平滑技术,引入自适应加权移动平均模型,设观测值序列为,/>时刻加权移动平均序列/>,则有:
其中,/>为第1时刻电流、电压、功率其中一种观测值,/>为第2时刻电流、电压、功率其中一种观测值,/>为第t时刻电流、电压、功率其中一种观测值,/>为第t-1时刻电流、电压、功率其中一种观测值,/>是平滑系数,其取值范围为/>,表示对历史观测值的权重。
4.根据权利要求1所述一种电力大数据自动化数据分析及模型构建方法,其特征在于,所述特征提取模块考虑到三个特性,分别是时域特性、频域特性和空域特性。
5.根据权利要求4所述一种电力大数据自动化数据分析及模型构建方法,其特征在于,通过小波变换更好地捕捉电力系统数据的时频特性,特征提取模块将序列通过小波变换转换为时频域的表示,公式如下:
其中,/>是/>的不同表达方式,/> 是小波系数,/>和/>是尺度和平移参数,/>是原始信号,/>是小波函数,/>是/>的复共轭,连续小波变换在不同尺度下对信号进行变换,得到了时频图谱,表示信号在时域和频域的分布情况,为了将小波系数映射到有限维度的特征空间,使用小波包变换将信号进行多尺度分解,得到更加丰富的频率信息,其表达式为:
其中,/>是第/>层小波包系数,/>是第/>个小波包的系数,为时移,/>是第i层t-k时刻第n个小波包函数,通过/>得到每一层小波包系数。
6.根据权利要求1所述一种电力大数据自动化数据分析及模型构建方法,其特征在于,在电力系统中,对于电流传感器和监测设备、电压传感器和监测设备、功率传感器和监测设备,空域特性的分析能够揭示电力系统在不同地点的运行差异,通过采用空域特征提取技术,捕捉到数据在空间上的分布规律。
7.根据权利要求1所述一种电力大数据自动化数据分析及模型构建方法,其特征在于,所述模型选择模块用来选择合适的机器学习模型,以确保模型能够更好地适应电力系统的复杂性和动态变化。
8.根据权利要求1所述一种电力大数据自动化数据分析及模型构建方法,其特征在于,所述模型训练模块通过利用历史数据,对已选择的机器学习模型进行优化。
9.根据权利要求1所述一种电力大数据自动化数据分析及模型构建方法,其特征在于,实时监测与分析模块监测电力系统的运行状态并进行及时分析,通过高效地处理实时数据流,使得模型能够迅速响应系统变化,为电力系统管理提供实时决策支持。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410165494.2A CN117708550A (zh) | 2024-02-05 | 2024-02-05 | 一种电力大数据自动化数据分析及模型构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410165494.2A CN117708550A (zh) | 2024-02-05 | 2024-02-05 | 一种电力大数据自动化数据分析及模型构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117708550A true CN117708550A (zh) | 2024-03-15 |
Family
ID=90151992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410165494.2A Pending CN117708550A (zh) | 2024-02-05 | 2024-02-05 | 一种电力大数据自动化数据分析及模型构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117708550A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108470018A (zh) * | 2018-02-22 | 2018-08-31 | 中国铁道科学研究院 | 基于经验模态分解分解的内蕴模式函数的光滑方法及装置 |
CN112881942A (zh) * | 2021-01-14 | 2021-06-01 | 应急管理部四川消防研究所 | 基于小波分解与经验模态分解的异常电流诊断方法和系统 |
CN113553960A (zh) * | 2021-07-27 | 2021-10-26 | 湘潭大学 | 一种基于小波包方差熵的风电爬坡不确定性评估方法 |
CN116167004A (zh) * | 2022-12-06 | 2023-05-26 | 江苏方天电力技术有限公司 | 电力数据的无监督最优异常检测模型选择方法及系统 |
CN116861697A (zh) * | 2023-07-28 | 2023-10-10 | 国网江苏省电力有限公司扬州供电分公司 | 一种基于大数据的电力数据处理系统及处理方法 |
CN117290685A (zh) * | 2023-10-30 | 2023-12-26 | 广州发展南沙电力有限公司 | 一种基于历史数据的电厂电力设备专家诊断系统及方法 |
-
2024
- 2024-02-05 CN CN202410165494.2A patent/CN117708550A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108470018A (zh) * | 2018-02-22 | 2018-08-31 | 中国铁道科学研究院 | 基于经验模态分解分解的内蕴模式函数的光滑方法及装置 |
CN112881942A (zh) * | 2021-01-14 | 2021-06-01 | 应急管理部四川消防研究所 | 基于小波分解与经验模态分解的异常电流诊断方法和系统 |
CN113553960A (zh) * | 2021-07-27 | 2021-10-26 | 湘潭大学 | 一种基于小波包方差熵的风电爬坡不确定性评估方法 |
CN116167004A (zh) * | 2022-12-06 | 2023-05-26 | 江苏方天电力技术有限公司 | 电力数据的无监督最优异常检测模型选择方法及系统 |
CN116861697A (zh) * | 2023-07-28 | 2023-10-10 | 国网江苏省电力有限公司扬州供电分公司 | 一种基于大数据的电力数据处理系统及处理方法 |
CN117290685A (zh) * | 2023-10-30 | 2023-12-26 | 广州发展南沙电力有限公司 | 一种基于历史数据的电厂电力设备专家诊断系统及方法 |
Non-Patent Citations (4)
Title |
---|
刘仁山;孟祥宏;: "基于时间特征的网络流量异常检测", 辽宁工程技术大学学报(自然科学版), no. 04, 15 April 2013 (2013-04-15), pages 544 - 548 * |
吴德会;: "动态指数平滑预测方法及其应用", 系统管理学报, no. 02, 15 April 2008 (2008-04-15), pages 151 - 155 * |
田海雷 等: "基于小波包一混沌支持向量机的液压泵压力信号预测", 《中国机械工程》, vol. 24, no. 8, 30 April 2013 (2013-04-30), pages 1085 - 1089 * |
邓集祥 等: "基于小波能量系数的主导低频振荡模式检测", 《电工技术学报》, vol. 24, no. 8, 31 August 2009 (2009-08-31), pages 141 - 146 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113240289B (zh) | 一种电网调度控制系统运行状态评估方法及系统 | |
CN115527203B (zh) | 一种基于物联网的谷物干燥远程控制方法及系统 | |
CN109193635B (zh) | 一种基于自适应稀疏回归方法的配电网拓扑结构重建方法 | |
CN110971677B (zh) | 一种基于对抗强化学习的电力物联网终端设备边信道安全监测方法 | |
CN111898669A (zh) | 一种基于机器学习的直流矿热炉异常事件预警系统 | |
CN115423009A (zh) | 一种面向云边协同的电力设备故障识别方法及系统 | |
CN116800199A (zh) | 一种分布式光伏运行电能质量监测与分析方法 | |
CN104865860A (zh) | 风电机组状态监测系统的采样、存储与查询方法及装置 | |
CN117110798B (zh) | 智能配电网的故障检测方法和系统 | |
CN117708550A (zh) | 一种电力大数据自动化数据分析及模型构建方法 | |
CN116722641A (zh) | 一种物联网节点设备低功耗运行系统 | |
CN113033775A (zh) | 一种基于有监督学习的非侵入式负荷识别网络架构 | |
CN117914003B (zh) | 基于云边协同的箱式变压器智能监测辅助方法及系统 | |
CN117278073B (zh) | 一种超宽带天线信号自动调整方法 | |
Mishra et al. | An IoT Integrated Reliability Estimation of Wind Energy System | |
CN117746323B (zh) | 一种基于时空状态图的水电站辅助设备故障检测方法 | |
CN117216485B (zh) | 一种基于客观赋权的输电录波鸟害故障判别方法及系统 | |
CN117668751B (zh) | 一种高低压电力系统故障诊断方法及装置 | |
CN116502070B (zh) | 一种微型风电机组状态智能监测系统 | |
CN117034157B (zh) | 一种结合多模态运行数据的水电设备故障识别方法与系统 | |
CN113486971B (zh) | 基于主成分分析和神经网络的用户状态识别方法、系统 | |
Wu et al. | A deep recognition network of capacitor voltage transformer based on dilated convolution and Bi-LSTM | |
CN118114019A (zh) | 一种基于数据分析的配电网拓扑自动识别方法及系统 | |
CN118036335A (zh) | 一种电力视觉大模型在配电场景调优方法 | |
CN115765172A (zh) | 一种基于监测子站的新能源场站性能在线监测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |