CN117767579B - 基于AutoML的电网大数据分析方法及自动化建模系统 - Google Patents
基于AutoML的电网大数据分析方法及自动化建模系统 Download PDFInfo
- Publication number
- CN117767579B CN117767579B CN202410195354.XA CN202410195354A CN117767579B CN 117767579 B CN117767579 B CN 117767579B CN 202410195354 A CN202410195354 A CN 202410195354A CN 117767579 B CN117767579 B CN 117767579B
- Authority
- CN
- China
- Prior art keywords
- power grid
- automl
- operator
- data
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007405 data analysis Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 16
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 238000010801 machine learning Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000001364 causal effect Effects 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract 1
- 238000011161 development Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 125000002015 acyclic group Chemical group 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
基于AutoML的电网大数据分析方法及自动化建模系统,属于大数据领域,包括电网数据采集模块、数据预处理模块、特征工程模块、自动化建模与评估模块、自动化部署与实时监测模块、用户界面模块,电网数据采集模块用于采集电网数据,数据预处理模块用于电网数据的预处理,特征工程模块用于电网数据的特征提取变换,自动化建模与评估模块用于电网大数据的自动化建模,自动化部署与实时检测模块用于自动部署并实时检测建立的模型,用户界面模块用于提供用户与系统的交互界面。本发明提出改进自然梯度非循环特征提取算法对电网数据进行特征提取,提出改进多算子超参数正则化AutoML算法对电网大数据进行自动化建模,为基于AutoML的电网大数据分析方法及自动化建模系统提供更优的方案。
Description
技术领域
本发明创造涉及特征提取和AutoML自动化建模领域,具体涉及基于AutoML的电网大数据分析方法及自动化建模系统。
背景技术
特征提取技术是从原始电网大数据中抽取出具有代表性和信息量的特征,以用于建立机器学习模型的技术,在电网大数据中,存在各种信号,如电压、电流和功率,信号处理技术能用来分析和提取这些信号中的有用信息,如时域分析,电网数据通常是时序数据,因此时序数据分析技术能用来挖掘数据中的时序模式、趋势和周期性,以提取出具有时间关联性的特征,利用机器学习模型进行特征选择的方法,如基于树模型的特征重要性评估,以帮助确定哪些特征对于任务最为关键,这些技术与自动化流程的高效结合,来选择和优化最佳的特征提取方法,以最大程度的提高模型性能和适应性。
AutoML自动化建模技术是一种自动化机器学习模型构建的方法,目的是减轻机器学习任务的人工负担,包括数据预处理、特征选择、模型选择和超参数调整过程,AutoML能自动处理电网大数据的预处理工作、自动进行特征选择和提取、根据问题的性质自动选择适当的模型、通过搜索超参数空间找到最优的超参数组合,以优化模型性能,AutoML依赖于一系列先进的机器学习和优化算法,包括但不限于遗传算法、贝叶斯优化、网格搜索、随机搜索、模型评估以及模型选择,AutoML的发展也受益于大规模计算和云计算资源的可用性,使得搜索空间更大且计算更迅速。
发明内容
针对上述问题,本发明旨在提供基于AutoML的电网大数据分析方法及自动化建模系统。
为实现上述目的,本发明提供如下技术方案:基于AutoML的电网大数据分析方法及自动化建模系统,包括电网数据采集模块、数据预处理模块、特征工程模块、自动化建模与评估模块、自动化部署与实时监测模块和用户界面模块,电网数据采集模块用于采集电网系统中的数据,数据预处理模块用于对采集的电网数据进行预处理,特征工程模块包括特征提取单元和特征变换单元,特征提取单元提出改进自然梯度非循环特征提取算法对电网数据进行特征提取,特征变换单元用于对电网数据特征进行变换,自动化建模与评估模块包括AutoML建模单元和模型评估与验证单元,AutoML建模单元提出改进多算子超参数正则化AutoML算法对电网大数据进行自动化机器学习建模,模型评估与验证单元用于对训练后的模型进行评估与验证,自动化部署与实时监测模块包括自动化部署与集成单元和实时监测与反馈单元,自动化部署与集成单元用于将训练好的模型自动部署到电网系统中,实时监测与反馈单元用于对部署的模型进行实时监测并提供反馈机制,用户界面模块用于提供用户与系统的交互界面。
进一步的,电网数据采集模块通过连接传感器、监控设备和SCADA系统这些数据源来采集电网数据。
进一步的,数据预处理模块通过识别并处理数据中的缺失值,检测和处理异常值来对采集的电网数据进行预处理。
进一步的,特征提取单元提出改进自然梯度非循环特征提取算法对电网数据进行特征提取。
进一步的,改进自然梯度非循环特征提取算法具体如下:为了追踪到电网数据的特定特征,提出有向无环图将电网数据集为改进为/>,即,其中,/>为改进后的电网数据集,/>为电网数据集的所有输入特征,/>为电网数据集中的样本数量,/>为每个样本的特征数量,为电网数据中第1个样本的第1个特征,/>为电网数据中第1个样本的第2个特征,/>为电网数据中第1个样本的第/>个特征,/>为电网数据中第2个样本的第1个特征,/>为电网数据中第2个样本的第2个特征,/>为电网数据中第2个样本的第/>个特征,/>为电网数据中第/>个样本的第1个特征,/>为电网数据中第/>个样本的第2个特征,/>为电网数据中第/>个样本的第/>个特征,/>为输出结果向量,/>为第1个输出结果向量,/>为第2个输出结果向量,/>为第m个输出结果向量,为帮助模型更好的学习真实的电网结构和运行规律,提出非循环约束和拉普拉斯矩阵对电网数据特征提取目标公式进行转换,为了在参数空间中更合理的方向上进行梯度更新,更快的实现算法收敛,提出引入Fisher信息矩阵的自然梯度法对拉格朗日形式的目标函数进行求解,为了更好的捕捉电网数据之间的非线性关系,提出点互信息来计算特征间因果强度,以此来实现对电网数据的特征提取。
进一步的,特征变换单元用通过对原始特征进行各种数学变换,如对数变换、指数变换和多项式变换,优化原始特征,提取更有信息量的特征,为模型提供更好的输入,实现对电网数据特征的变换,从而提高模型的性能和效果。
进一步的,AutoML建模单元提出改进多算子超参数正则化AutoML算法通过自动化流程对电网大数据进行建模。
进一步的,改进多算子超参数正则化AutoML算法具体如下:为避免过度拟合训练数据,并提高算法的泛化能力,提出正则化项对最佳的机器学习管道配置函数进行改进,即,其中,为改进后的最佳机器学习管道配置函数,/>为超参数,/>为第1个算子的超参数配置,/>为第/>个算子的超参数配置,/>为最佳机器学习管道配置,/>为机器学习管道配置的个数,/>为第/>个机器学习管道配置,为正则化项,/>为电网数据集,为提升算法在搜索空间中的优化能力,提出引入权重函数对最大化期望值进行改进,选择出算子与超参数的最佳组合,以此来实现电网大数据的自动化建模。
进一步的,模型评估与验证单元通过使用验证数据集来验证模型的泛化性能,确保模型对未来的电网数据也具有良好的适应性。
进一步的,自动化部署与集成单元用于将通过AutoML建模得到的机器学习模型部署并整合到实际的电网大数据分析环境中。
进一步的,实时监测与反馈单元用于监测已部署模型的性能,并向AutoML系统提供实时反馈信息。
进一步的,用户界面模块用于提供用户与系统的交互界面,允许用户设置系统的参数和配置,允许用户通过用户界面选择合适的算法和模型结构,并为用户提供可视化界面。
与现有技术相比,本发明的有益效果是:
1、提出改进自然梯度非循环特征提取算法对电网数据进行特征提取,本发明的创新之处在于,改进自然梯度非循环特征提取算法首先提出有向无环图对电网数据集进行改进以追踪到电网数据的特定特征,并使电网数据集的特征和输出结果之间的关系更加清晰,然后提出非循环约束和拉普拉斯矩阵对电网数据特征提取目标公式进行转换,以帮助模型更好的学习真实的电网结构和运行规律,避免捕捉到虚假的相关性,最后提出引入Fisher信息矩阵的自然梯度法对拉格朗日形式的目标函数进行求解,以在参数空间中更合理的方向上进行梯度更新,更快的实现算法收敛,以此来实现对电网数据的特征提取;
2、提出改进多算子超参数正则化AutoML算法通过自动化流程对电网大数据进行建模,本发明的创新之处在于,改进多算子超参数正则化AutoML算法首先提出正则化项对最佳的机器学习管道配置函数进行改进,以避免过度拟合训练数据,同时提高算法的泛化能力,然后提出引入权重函数对最大化期望值进行改进以提升算法在搜索空间中的优化能力,通过迭代和优化找到最佳的机器学习管道配置,选择出算子与超参数的最佳组合,以此来实现电网大数据的自动化建模。
附图说明
利用附图对发明创造作进一步说明,但附图中的实施例不构成对本发明创造的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
基于AutoML的电网大数据分析方法及自动化建模系统,包括电网数据采集模块、数据预处理模块、特征工程模块、自动化建模与评估模块、自动化部署与实时监测模块和用户界面模块,电网数据采集模块用于采集电网系统中的数据,数据预处理模块用于对采集的电网数据进行预处理,特征工程模块包括特征提取单元和特征变换单元,特征提取单元提出改进自然梯度非循环特征提取算法对电网数据进行特征提取,特征变换单元用于对电网数据特征进行变换,自动化建模与评估模块包括AutoML建模单元和模型评估与验证单元,AutoML建模单元提出改进多算子超参数正则化AutoML算法对电网大数据进行自动化机器学习建模,模型评估与验证单元用于对训练后的模型进行评估与验证,自动化部署与实时监测模块包括自动化部署与集成单元和实时监测与反馈单元,自动化部署与集成单元用于将训练好的模型自动部署到电网系统中,实时监测与反馈单元用于对部署的模型进行实时监测并提供反馈机制,用户界面模块用于提供用户与系统的交互界面。
优选的,电网数据采集模块用于采集电网系统中的数据,通过连接传感器、监控设备和SCADA系统这些数据源,确保系统能够获取到全面的电网数据。
优选的,数据预处理模块用于对采集的电网数据进行预处理,通过识别并处理数据中的缺失值,使用合适的方法去除缺失值,以确保模型的训练不受影响,检测和处理异常值,防止异常值对模型训练的负面影响,同时将原始数据转换为适合模型训练的格式。
优选的,特征提取单元提出改进自然梯度非循环特征提取算法对电网数据进行特征提取,从原始数据中抽取有价值的信息,转化为可供机器学习模型学习的特征。
具体的,改进自然梯度非循环特征提取算法具体如下:假设电网数据集为,/>由输入特征与输出结果组成,输入矩阵为/>,其中,/>为电网数据集的所有输入特征,/>为电网数据集中的样本数量,/>为每个样本的特征数量,/>为电网数据中第1个样本的第1个特征,/>为电网数据中第1个样本的第2个特征,/>为电网数据中第1个样本的第/>个特征,/>为电网数据中第2个样本的第1个特征,/>为电网数据中第2个样本的第2个特征,/>为电网数据中第2个样本的第/>个特征,/>为电网数据中第/>个样本的第1个特征,/>为电网数据中第/>个样本的第2个特征,/>为电网数据中第/>个样本的第/>个特征,输出结果为/>,其中,/>为输出结果向量,/>为第1个输出结果向量,/>为第2个输出结果向量,/>为第m个输出结果向量,因此电网数据集为,为了追踪到电网数据的特定特征,同时使电网数据集的特征和输出结果之间的关系更加清晰,提出有向无环图将电网数据集为/>改进为/>,即/>,其中,/>为改进后的电网数据集,为帮助模型更好的学习真实的电网结构和运行规律,避免捕捉到虚假的相关性,提出非循环约束和拉普拉斯矩阵对电网数据特征提取目标公式进行转换,即,其中,/>为特征提取目标公式,/>为每个样本的特征数量,/>为损失函数,即模型对数据集/>进行拟合的程度,/>为模型的正则化参数,/>为电网数据集/>平滑函数,/>为拉普拉斯矩阵的迹,/>为/>的转置,/>为拉普拉斯矩阵,然后提出拉格朗日乘数法对目标公式/>进行问题转化,即,其中,为拉格朗日形式的目标函数,/>为拉格朗日乘子,然后通过梯度更新对/>进行求解,为了在参数空间中更合理的方向上进行梯度更新,更快的实现算法收敛,提出引入Fisher信息矩阵的自然梯度法对/>进行求解,自然梯度法更新规则为,/>,其中,/>为第/>次迭代后的电网数据集/>的更新值,/>为第/>次迭代后的电网数据集/>的更新值,/>为学习率,/>为电网数据集/>的Fisher信息矩阵的估计,/>为拉格朗日形式的目标函数/>关于/>的梯度,/>为第/>次迭代后的拉格朗日乘子/>的更新值,/>为第/>次迭代后的拉格朗日乘子/>的更新值,/>为拉格朗日乘子/>的Fisher信息矩阵的估计,/>为拉格朗日形式的目标函数/>关于/>的梯度,为了更好的捕捉电网数据之间的非线性关系,更全面的反映特征之间的关联性,提出点互信息来计算特征间因果强度,假设电网数据中有两个特征,分别为/>和/>,则特征间因果强度,其中,/>为特征/>对于特征/>的因果强度,即点互信息,/>为特征/>与特征/>同时发生的概率,/>为电网数据集中的样本数量,/>为特征/>发生的概率,/>为特征/> 发生的概率,/>为对数运算,改进自然梯度非循环特征提取算法首先提出有向无环图对电网数据集进行改进以追踪到电网数据的特定特征,并使电网数据集的特征和输出结果之间的关系更加清晰,然后提出非循环约束和拉普拉斯矩阵对电网数据特征提取目标公式进行转换,以帮助模型更好的学习真实的电网结构和运行规律,避免捕捉到虚假的相关性,最后提出引入Fisher信息矩阵的自然梯度法对拉格朗日形式的目标函数进行求解,以在参数空间中更合理的方向上进行梯度更新,更快的实现算法收敛,以此来实现对电网数据的特征提取。
优选的,特征变换单元用通过对原始特征进行各种数学变换,如对数变换、指数变换和多项式变换,优化原始特征,提取更有信息量的特征,为模型提供更好的输入,实现对电网数据特征的变换,从而提高模型的性能和效果。
优选的,AutoML建模单元提出改进多算子超参数正则化AutoML算法通过自动化流程对电网大数据进行建模。
具体的,改进多算子超参数正则化AutoML算法具体如下:电网数据集为,算子序列为/>,其中,/>为算子序列,/>为算子序列/>中的第1个算子,/>为算子序列/>中的第2个算子,/>为算子序列/>中的第/>个算子,假设算子序列/>中的每个算子/>都有一组可用的AutoML算法,即/>,其中,/>为算子序列/>中的第/>个算子,/>为没有特定算法,/>为算子/>的第1个可用AutoML算法,/>为算子/>的第2个可用AutoML算法,/>为算子/>的第/>个可用AutoML算法,/>为第/>个算子可用AutoML算法的数量,所有算子的所有可用AutoML算法的超参数空间集合为,其中,为第1个算子的第1个可用AutoML算法,/>为第1个算子的第2个可用AutoML算法,为第1个算子的第/>个可用AutoML算法,/>为第2个算子的第1个可用AutoML算法,为第2个算子的第2个可用AutoML算法,/>为第2个算子的第/>个可用AutoML算法,为第/>个算子的第1个可用AutoML算法,/>为第/>个算子的第2个可用AutoML算法,为第/>个算子的第/>个可用AutoML算法,然后通过最大化所选的准确度度量/>来确定最佳的机器学习管道配置,为避免过度拟合训练数据,并提高算法的泛化能力,提出正则化项对最佳的机器学习管道配置函数进行改进,即,其中,为改进后的最佳机器学习管道配置函数,/>为超参数,/>为第1个算子的超参数配置,/>为第/>个算子的超参数配置,/>为最佳机器学习管道配置,/>为机器学习管道配置的个数,/>为第/>个机器学习管道配置,为正则化项,/>为电网数据集,为提升算法在搜索空间中的优化能力,提出引入权重函数对最大化期望值进行改进,则下一步的机器学习设置为,其中,/>为下一步的机器学习设置,/>为当前的机器学习设置,/>为算法的搜素空间,/>为引入的权重函数,/>为性能提升的概率分布,/>为实际提升和已找到的最佳提升之间的期望差距,/>积分的微元,改进多算子超参数正则化AutoML算法首先提出正则化项对最佳的机器学习管道配置函数进行改进,以避免过度拟合训练数据,同时提高算法的泛化能力,然后提出引入权重函数对最大化期望值进行改进以提升算法在搜索空间中的优化能力,通过迭代和优化找到最佳的机器学习管道配置,选择出算子与超参数的最佳组合,以此来实现电网大数据的自动化建模。
优选的,模型评估与验证单元用于对训练后的模型进行评估与验证,以不同的评估指标来度量模型的性能,通过使用验证数据集来验证模型的泛化性能,确保模型对未来的电网数据也具有良好的适应性。
优选的,自动化部署与集成单元用于将通过AutoML建模得到的机器学习模型部署到实际的电网大数据分析环境中,并将训练好的模型整合到整个电网数据分析系统中。
优选的,实时监测与反馈单元用于监测已部署模型的性能,追踪模型在处理实时电网数据时的准确性、效率和稳定性,并向AutoML系统提供实时反馈信息。
优选的,用户界面模块用于提供用户与系统的交互界面,允许用户设置系统的参数和配置,允许用户通过用户界面选择合适的算法和模型结构,并为用户提供可视化界面。
提出了基于AutoML的电网大数据分析方法及自动化建模系统,用于对电网大数据进行自动化机器学习建模,通过电网数据采集模块、数据预处理模块、特征工程模块、自动化建模与评估模块、自动化部署与实时监测模块和用户界面模块的融合,提供一种电网大数据分析方法及自动化建模系统,提出改进自然梯度非循环特征提取算法对电网数据进行特征提取,本发明的创新之处在于,改进自然梯度非循环特征提取算法首先提出有向无环图对电网数据集进行改进以追踪到电网数据的特定特征,并使电网数据集的特征和输出结果之间的关系更加清晰,然后提出非循环约束和拉普拉斯矩阵对电网数据特征提取目标公式进行转换,以帮助模型更好的学习真实的电网结构和运行规律,避免捕捉到虚假的相关性,最后提出引入Fisher信息矩阵的自然梯度法对拉格朗日形式的目标函数进行求解,以在参数空间中更合理的方向上进行梯度更新,更快的实现算法收敛,以此来实现对电网数据的特征提取,提出改进多算子超参数正则化AutoML算法通过自动化流程对电网大数据进行建模,本发明的创新之处在于,改进多算子超参数正则化AutoML算法首先提出正则化项对最佳的机器学习管道配置函数进行改进,以避免过度拟合训练数据,同时提高算法的泛化能力,然后提出引入权重函数对最大化期望值进行改进以提升算法在搜索空间中的优化能力,通过迭代和优化找到最佳的机器学习管道配置,选择出算子与超参数的最佳组合,以此来实现电网大数据的自动化建模,有效提高基于AutoML的电网大数据分析方法及自动化建模系统的工作效果,为基于AutoML的电网大数据分析方法及自动化建模系统提供更为全面、准确地技术支撑,为安全、科学、高效的基于AutoML的电网大数据分析方法及自动化建模系统提供更好的决策支持,同时,本发明涉及特征提取技术和AutoML自动化建模技术,为人们提供方便且高效的基于AutoML的电网大数据分析方法及自动化建模系统,也能为其他应用领域的发展巩固基础,在特征提取和AutoML自动化建模鼎盛发展的时代,特征提取和AutoML自动化建模的融合为多领域融合的发展打下了坚实的基础,且能应用于市场中的多个行业及领域,为特征提取和AutoML自动化建模的融合提供了新的发展方向,为机器学习领域贡献了重要应用价值。
尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.基于AutoML的电网大数据分析及自动化建模系统,包括电网数据采集模块、数据预处理模块、特征工程模块、自动化建模与评估模块、自动化部署与实时监测模块和用户界面模块,电网数据采集模块用于采集电网系统中的数据,数据预处理模块用于对采集的电网数据进行预处理,特征工程模块包括特征提取单元和特征变换单元,特征提取单元提出改进自然梯度非循环特征提取算法对电网数据进行特征提取,特征变换单元用于对电网数据特征进行变换,自动化建模与评估模块包括AutoML建模单元和模型评估与验证单元,AutoML建模单元提出改进多算子超参数正则化AutoML算法对电网大数据进行自动化机器学习建模,模型评估与验证单元用于对训练后的模型进行评估与验证,自动化部署与实时监测模块包括自动化部署与集成单元和实时监测与反馈单元,自动化部署与集成单元用于将训练好的模型自动部署到电网系统中,实时监测与反馈单元用于对部署的模型进行实时监测并提供反馈机制,用户界面模块用于提供用户与系统的交互界面;
特征提取单元提出改进自然梯度非循环特征提取算法对电网数据进行特征提取,从原始数据中抽取有价值的信息,转化为可供机器学习模型学习的特征;改进自然梯度非循环特征提取算法具体如下:定义电网数据集为D,D由输入特征与输出结果组成,输入矩阵为 其中,I为电网数据集的所有输入特征,m为电网数据集中的样本数量,n为每个样本的特征数量,I11为电网数据中第1个样本的第1个特征,I12为电网数据中第1个样本的第2个特征,I1n为电网数据中第1个样本的第n个特征,I21为电网数据中第2个样本的第1个特征,I22为电网数据中第2个样本的第2个特征,I2n为电网数据中第2个样本的第n个特征,Im1为电网数据中第m个样本的第1个特征,Im2为电网数据中第m个样本的第2个特征,Imn为电网数据中第m个样本的第n个特征,输出结果为/>其中,O为输出结果向量,O1为第1个输出结果向量,O2为第2个输出结果向量,Om为第m个输出结果向量,因此电网数据集为/> 为了追踪到电网数据的特定特征,同时使电网数据集的特征和输出结果之间的关系更加清晰,提出有向无环图将电网数据集为D改进为D',即/> 其中,D'为改进后的电网数据集,提出非循坏约束和拉普拉斯矩阵对电网数据特征提取目标公式进行转换,即/>其中,Q为特征提取目标公式,n为每个样本的特征数量,S(D;I)为损失函数,即模型对数据集D进行拟合的程度,ρ为模型的正则化参数,h(D)为电网数据集D平滑函数,tr(·)为拉普拉斯矩阵的迹,(h(D)T为h(D)的转置,M为拉普拉斯矩阵,然后提出拉格朗日乘数法对目标公式Q进行问题转化,即 其中,L(D,λ)为拉格朗日形式的目标函数,λ为拉格朗日乘子,然后通过梯度更新对L(D,λ)进行求解,提出引入Fisher信息矩阵的自然梯度法对L(D,λ)进行求解,自然梯度法更新规则为其中,Dk为第k次迭代后的电网数据集D的更新值,Dk+1为第k+1次迭代后的电网数据集D的更新值,α为学习率,/>为电网数据集D的Fisher信息矩阵的估计,/>为拉格朗日形式的目标函数L(D,λ)关于Dk的梯度,λk为第k次迭代后的拉格朗日乘子λ的更新值,λk+1为第k+1次迭代后的拉格朗日乘子λ的更新值,/>为拉格朗日乘子λ的Fisher信息矩阵的估计,为拉格朗日形式的目标函数L(D,λ)关于λk的梯度,提出点互信息来计算特征间因果强度,电网数据中有两个特征,分别为X和Y,则特征间因果强度其中,C(X,Y)为特征X对于特征Y的因果强度,即点互信息,P(X,Y)为特征X与特征Y同时发生的概率,m为电网数据集中的样本数量,P(X)为特征X发生的概率,P(Y)为特征Y发生的概率,log(·)为对数运算;
AutoML建模单元提出改进多算子超参数正则化AutoML算法通过自动化流程对电网大数据进行建模;
改进多算子超参数正则化AutoML算法具体如下:电网数据集为D,算子序列为OS=(OS1,OS2,…,OSz),其中,OS为算子序列,OS1为算子序列OS中的第1个算子,OS2为算子序列OS中的第2个算子,OSz为算子序列OS中的第z个算子,算子序列OS中的每个算子OSi都有一组可用的AutoML算法,即其中,OSi为算子序列OS中的第i个算子,/>为没有特定算法,/>为算子OSi的第1个可用AutoML算法,/>为算子OSi的第2个可用AutoML算法,/>为算子OSi的第n个可用AutoML算法,ni为第i个算子可用AutoML算法的数量,所有算子的所有可用AutoML算法的超参数空间集合为其中,为第1个算子的第1个可用AutoML算法,/>为第1个算子的第2个可用AutoML算法,为第1个算子的第n个可用AutoML算法,/>为第2个算子的第1个可用AutoML算法,为第2个算子的第2个可用AutoML算法,/>为第2个算子的第n个可用AutoML算法,为第z个算子的第1个可用AutoML算法,/>为第z个算子的第2个可用AutoML算法,为第z个算子的第n个可用AutoML算法,然后通过最大化所选的准确度度量F来确定最佳的机器学习管道配置,为避免过度拟合训练数据,并提高算法的泛化能力,提出正则化项对最佳的机器学习管道配置函数进行改进,即其中,为改进后的最佳机器学习管道配置函数,γ为超参数,A1,λ为第1个算子的超参数配置,Az,λ为第z个算子的超参数配置,(A1,λ,...,Az,γ)*为最佳机器学习管道配置,N为机器学习管道配置的个数,/>为第N个机器学习管道配置,/>为正则化项,D为电网数据集,为提升算法在搜索空间中的优化能力,提出引入权重函数对最大化期望值进行改进,则下一步的机器学习设置为其中,BP'为下一步的机器学习设置,BP为当前的机器学习设置,space为算法的搜素空间,w(Δ)为引入的权重函数,Pp为性能提升的概率分布,U(Pp)为实际提升和已找到的最佳提升之间的期望差距,dPp积分的微元。
2.根据权利要求1所述的基于AutoML的电网大数据分析及自动化建模系统,其特征在于,电网数据采集模块用于采集电网系统中的数据,通过连接传感器、监控设备和SCADA系统这些数据源,确保系统能够获取到全面的电网数据。
3.根据权利要求1所述的基于AutoML的电网大数据分析及自动化建模系统,其特征在于,数据预处理模块用于对采集的电网数据进行预处理,通过识别并处理数据中的缺失值,使用合适的方法去除缺失值,以确保模型的训练不受影响,检测和处理异常值,防止异常值对模型训练的负面影响,同时将原始数据转换为适合模型训练的格式。
4.根据权利要求1所述的基于AutoML的电网大数据分析及自动化建模系统,其特征在于,特征变换单元用于通过对原始特征进行各种数学变换,包括对数变换、指数变换和多项式变换,优化原始特征,提取更有信息量的特征,为模型提供更好的输入,实现对电网数据特征的变换,从而提高模型的性能和效果。
5.根据权利要求1所述的基于AutoML的电网大数据分析及自动化建模系统,其特征在于,模型评估与验证单元用于对训练后的模型进行评估与验证,以不同的评估指标来度量模型的性能,通过使用验证数据集来验证模型的泛化性能,确保模型对未来的电网数据也具有良好的适应性。
6.根据权利要求1所述的基于AutoML的电网大数据分析及自动化建模系统,其特征在于,自动化部署与集成单元用于将通过Auto ML建模得到的机器学习模型部署到实际的电网大数据分析环境中,并将训练好的模型整合到整个电网数据分析系统中。
7.根据权利要求1所述的基于AutoML的电网大数据分析及自动化建模系统,其特征在于,实时监测与反馈单元用于监测已部署模型的性能,追踪模型在处理实时电网数据时的准确性、效率和稳定性,并向AutoML系统提供实时反馈信息。
8.根据权利要求1所述的基于AutoML的电网大数据分析及自动化建模系统,其特征在于,用户界面模块用于提供用户与系统的交互界面,允许用户设置系统的参数和配置,允许用户通过用户界面选择合适的算法和模型结构,并为用户提供可视化界面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410195354.XA CN117767579B (zh) | 2024-02-22 | 2024-02-22 | 基于AutoML的电网大数据分析方法及自动化建模系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410195354.XA CN117767579B (zh) | 2024-02-22 | 2024-02-22 | 基于AutoML的电网大数据分析方法及自动化建模系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117767579A CN117767579A (zh) | 2024-03-26 |
CN117767579B true CN117767579B (zh) | 2024-05-17 |
Family
ID=90324121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410195354.XA Active CN117767579B (zh) | 2024-02-22 | 2024-02-22 | 基于AutoML的电网大数据分析方法及自动化建模系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117767579B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102187327B1 (ko) * | 2020-05-21 | 2020-12-04 | 에스텍아이앤씨(주) | 자동기계학습 기반의 건물 부하 최적 관리 및 제어 시스템 |
CN113408703A (zh) * | 2021-06-29 | 2021-09-17 | 中国科学院自动化研究所 | 基于神经与符号的多模态大数据机器自动学习系统 |
CN114490645A (zh) * | 2022-01-10 | 2022-05-13 | 国网浙江省电力有限公司宁波供电公司 | 一种用于电网结构化数据的自动机器学习方法 |
US11487273B1 (en) * | 2021-04-30 | 2022-11-01 | Dalian University Of Technology | Distributed industrial energy operation optimization platform automatically constructing intelligent models and algorithms |
CN115374823A (zh) * | 2022-08-24 | 2022-11-22 | 国网湖北省电力有限公司恩施供电公司 | 一种基于tlbo算法的电能质量扰动分类方法及系统 |
CN116128065A (zh) * | 2021-11-12 | 2023-05-16 | 中国科学院沈阳自动化研究所 | 一种基于双向自动编码器的并行自动机器学习系统 |
CN116629627A (zh) * | 2023-04-25 | 2023-08-22 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 输电在线监测装置的智能检测系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210256422A1 (en) * | 2020-02-19 | 2021-08-19 | Google Llc | Predicting Machine-Learned Model Performance from the Parameter Values of the Model |
US20230162023A1 (en) * | 2021-11-25 | 2023-05-25 | Mitsubishi Electric Research Laboratories, Inc. | System and Method for Automated Transfer Learning with Domain Disentanglement |
-
2024
- 2024-02-22 CN CN202410195354.XA patent/CN117767579B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102187327B1 (ko) * | 2020-05-21 | 2020-12-04 | 에스텍아이앤씨(주) | 자동기계학습 기반의 건물 부하 최적 관리 및 제어 시스템 |
US11487273B1 (en) * | 2021-04-30 | 2022-11-01 | Dalian University Of Technology | Distributed industrial energy operation optimization platform automatically constructing intelligent models and algorithms |
CN113408703A (zh) * | 2021-06-29 | 2021-09-17 | 中国科学院自动化研究所 | 基于神经与符号的多模态大数据机器自动学习系统 |
CN116128065A (zh) * | 2021-11-12 | 2023-05-16 | 中国科学院沈阳自动化研究所 | 一种基于双向自动编码器的并行自动机器学习系统 |
CN114490645A (zh) * | 2022-01-10 | 2022-05-13 | 国网浙江省电力有限公司宁波供电公司 | 一种用于电网结构化数据的自动机器学习方法 |
CN115374823A (zh) * | 2022-08-24 | 2022-11-22 | 国网湖北省电力有限公司恩施供电公司 | 一种基于tlbo算法的电能质量扰动分类方法及系统 |
CN116629627A (zh) * | 2023-04-25 | 2023-08-22 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 输电在线监测装置的智能检测系统 |
Non-Patent Citations (2)
Title |
---|
Research on Power Grid Condition Monitoring Method Based on Big Data;Yanhong Jian etal.;2022 International Conference on Artificial Intelligence, Information Processing and Cloud Computing (AIIPCC);20230327;第231-234页 * |
基于机器学习的电网威胁检测算法模型和大数据平台设计;陈益芳 等;电力大数据;20220430;第25卷(第4期);第35-41页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117767579A (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107862331A (zh) | 一种基于时间序列及cnn的不安全行为识别方法及系统 | |
CN113901977A (zh) | 一种基于深度学习的电力用户窃电识别方法及系统 | |
CN113094860A (zh) | 一种基于注意力机制的工控网络流量建模方法 | |
CN116401532B (zh) | 一种电力系统受扰后频率失稳识别方法及系统 | |
CN114821155A (zh) | 一种基于可变形nts-net神经网络的多标签分类方法及系统 | |
CN113281229B (zh) | 一种基于小样本下多模型自适应大气pm2.5浓度预测方法 | |
CN113554229A (zh) | 三相电压不平衡异常检测方法及装置 | |
CN117541534A (zh) | 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法 | |
CN117767579B (zh) | 基于AutoML的电网大数据分析方法及自动化建模系统 | |
CN116363536B (zh) | 一种基于无人机巡查数据的电网基建设备缺陷归档方法 | |
KR101806669B1 (ko) | 특허 분석을 이용한 기술이전 예측정보 제공 방법 및 장치 | |
CN110321528B (zh) | 一种基于半监督地理空间回归分析的高光谱影像土壤重金属浓度评估方法 | |
CN116680639A (zh) | 一种基于深度学习的深海潜水器传感器数据的异常检测方法 | |
CN113538239B (zh) | 一种基于时空自回归神经网络模型的插值方法 | |
CN115267409A (zh) | 一种电力设备故障检测方法、装置及设备 | |
CN115577856A (zh) | 一种变电工程造价预测与结余控制方法及系统 | |
CN114707344A (zh) | 一种基于系统动力学的多年冻土活动层厚度计算方法 | |
CN113988210A (zh) | 结构监测传感网失真数据修复方法、装置及存储介质 | |
KR102486461B1 (ko) | 시계열 데이터의 특징값을 기반으로 예측값 및 시계열 구간별 특징 중요도 산출을 수행하는 가상 계측 방법 및 그를 위한 장치 | |
Dang | Development of Structural Damage Detection Method Working with Contaminated Vibration Data via Autoencoder and Gradient Boosting | |
CN118041463A (zh) | 一种基于人工智能算法的天线功率计算方法 | |
CN118037105A (zh) | 一种基于大数据的信息工程质量检测方法以及检测系统 | |
Eltahir et al. | Reinforced concrete bridge damage detection using arithmetic optimization algorithm with deep feature fusion | |
CN118130974A (zh) | 一种可提高配网安全性的网格化故障监测方法 | |
Cheng et al. | A PSO-LSSVM based petroleum production model for production-injection wells system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |