CN117436591A - 一种光伏新能源监管平台算法的深度优化方法 - Google Patents
一种光伏新能源监管平台算法的深度优化方法 Download PDFInfo
- Publication number
- CN117436591A CN117436591A CN202311593666.8A CN202311593666A CN117436591A CN 117436591 A CN117436591 A CN 117436591A CN 202311593666 A CN202311593666 A CN 202311593666A CN 117436591 A CN117436591 A CN 117436591A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- data
- log
- new energy
- optimization method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000005457 optimization Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012423 maintenance Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 abstract description 6
- 238000010276 construction Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 229910052799 carbon Inorganic materials 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种光伏新能源监管平台算法的深度优化方法，涉及新能源技术领域，包括进行全站数据查询，采集平台测点和计算点实时数据与历史数据；对采集的实时数据进行格式化处理，构成算法模型训练及验证的样本数据源；建立算法模板，提供算法调试功能，编译并运行算法；基于预定义策略对算法进行优化，然后预编译为执行文件，产生可视化日志；构建执行实例与管道编排；进行实例化运行与日志检索。本发明为新能源领域培养优秀的算法科研与应用人才，带动产业机遇和就业岗位增加，有利于推进可再生能源治理体系与治理能力建设，促进绿色低碳转型。
Description
技术领域
本发明涉及新能源技术领域，特别是一种光伏新能源监管平台算法的深度优化方法。
背景技术
光伏新能源监管平台的运维，通过数据采集服务，平台已经积累了大量的逆变器、表计、开关柜等相关设备的基础数据。基于这些基础数据，我们可以通过复杂的算法逻辑来挖掘这些数据背后的意义，结合告警服务，为平台提供更快、更准确的实时告警，方便运维人员及时发现相关设备问题。
但时序库现有计算点在性能和实施方面仍存在以下痛点：计算点只支持配置简单的LUA脚本，稍复杂的算法，就会导致点的计算较慢，会产生点计算堆积；随着计算点的增加，时序库本身的性能会受到影响，甚至会影响基础数据采集等基础功能；计算点在实施配置方面，不支持灵活的触发频率的配置。同样的算法因部分参数不一样，多个计算点需要重复配置，算法的LUA脚本不能统一维护，实施成本偏高；计算点算法实施，没有调试、日志等功能，导致错误脚本难以定位问题，计算点计算过程不能实时监控。
发明内容
鉴于上述时序库现有计算点在性能和实施方面存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何提供一种将算法管理单独做成一个服务，服务支持分布式部署，解决了性能问题、缓解时序库压力的方法。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明实施例提供了一种光伏新能源监管平台算法的深度优化方法，其包括，进行全站数据查询，采集平台测点和计算点实时数据与历史数据；对采集的实时数据进行格式化处理，同时存储大量历史数据，构成算法模型训练及验证的样本数据源；建立算法模板，提供算法调试功能，编译并运行算法；基于预定义策略对算法进行优化，然后预编译为执行文件，产生可视化日志；构建执行实例与管道编排；进行实例化运行与日志检索。
作为本发明所述光伏新能源监管平台算法的深度优化方法的一种优选方案，其中：所述构成算法模型训练及验证的样本数据源包括以下步骤：对设备数据应用特征工程，构建结构化训练数据集；标注部分数据，获得模型监督信息；利用零拷贝技术，避免重复数据复制；使用InfluxDB时序数据库存储设备监测数据，并使用SQL查询语句，筛选出异常数据候选集。
作为本发明所述光伏新能源监管平台算法的深度优化方法的一种优选方案，其中：所述筛选出异常数据候选集的条件为：若连续N个时间段无数据上传，则判定为数据缺失；若监测值超过预设正常范围上下限，则判定为值越限；将候选集导入到临时表A中；读取表A，对于每个样本，若是因维护等已知原因导致的数据异常，则标记为“维护异常”，并记录下原因；若无法解释，则标记为“未知异常”；将人工校验的结果写入表B；随机从原始监测数据表中采样数据，写入表C；检查采样结果：若部分设备类型的数据量占比小于预设值，则针对这些设备类型重新采样，直到占比达到预设值；将表B和表C合并，将散列、编码类变量，做好特征工程；划分训练集、验证集和测试集；按比例重采样异常类数据，载入训练集，训练模型。
作为本发明所述光伏新能源监管平台算法的深度优化方法的一种优选方案，其中：所述基于预定义策略对算法进行优化包括以下步骤：基于预定义策略对算法进行优化，产生可视化日志；根据策略去除模板中的冗余；引入内置函数，降低复杂度；日志指导算法性能提升。
作为本发明所述光伏新能源监管平台算法的深度优化方法的一种优选方案，其中：所述日志指导算法性能提升包括以下内容：记录关键维度：时间、空间和IO消耗；比较不同实现的日志，分析性能瓶颈；关联日志与代码，定位低效模块；迭代优化，使日志呈现加速效果；所述日志关联代码包括以下步骤：日志中嵌入代码位置标识符，通过标识符关联日志数据和代码位置，同一请求的多个模块日志对比，识别响应时间突增的模块作为关键模块；对所述关键模块进行内部分析：若倍增原因是IO或外部调用，则异步处理，Async/Await优化；若CPU计算增多，则算法优化，减少复杂度，分解函数，增量提速，并观察优化后的日志指标：若响应时间仍>时间阈值，则依赖注入Mock数据，并再次分析与优化。
作为本发明所述光伏新能源监管平台算法的深度优化方法的一种优选方案，其中：所述构建执行实例与管道编排包括，支持配置多种触发方式，自定义执行周期；重用算法模板创建实例；将实例作为调度任务统一管理；支持实例之间的串行或并行组合；执行实例包括：用户新增算法实例，包括触发方式、是否开启调试模式、Cron表达式、执行算法以及算法输入参数值；保存实例后，进行自由启动停止实例，若开启调试模式，即在平台查看实时日志和历史日志。
作为本发明所述光伏新能源监管平台算法的深度优化方法的一种优选方案，其中：所述调度的机制为利用kubernetes容器编排技术，实现任务跨节点的资源弹性调度；结合Spark Streaming微批流计算框架，达到sub-second级别的实时流任务调度；并借助Flink框架的Checkpoint机制，保证任务的高可用和容错；所述日志的采集包括：直接将任务日志写出到HDFS/HBase分布式存储；用Logstash工具采集汇聚不同格式的日志；使用Elasticsearch进行日志搜索和数据分析；使用可视化界面查询和展示日志。
第二方面，本发明为进一步解决时序库现有计算点在性能和实施方面存在的问题，实施例提供了光伏新能源监管平台算法的深度优化系统，其包括：数据采集模块，用于进行全站数据查询，实时采集平台各测点和计算点的数据；数据处理模块，用于对采集的实时数据进行格式化处理，同时存储历史数据，构建算法的训练数据集；算法模板模块，用于建立算法模板，开发者可以在此编写和调试算法代码；算法编译模块，用于对优化后的算法进行预编译，生成可执行文件的算法服务；实例调度模块，用于构建算法执行的实例，并进行实例级的管道编排；计算引擎模块，用于进行算法实例的调度运行；监控模块，用于实时监控算法实例的运行状态，并从产生的日志中检索分析信息。
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的光伏新能源监管平台算法的深度优化方法的任一步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的光伏新能源监管平台算法的深度优化方法的任一步骤。
本发明有益效果为，本发明全面提升算法驱动的监管与分析能力，使新能源监管平台具有更强大的智能化支持；显著减少算法运维的人工成本，降低监管平台的使用门槛；大幅提高算法迭代更新效率，保证监管方案连续性，适应业务需求变更；显著提升监管分析的准确性、及时性、抗干扰性，为业务决策提供有力支撑；为光伏电站提供更精准的健康评估，指导设备优化与故障预测，减少事故损失；为新能源领域培养优秀的算法科研与应用人才，带动产业机遇和就业岗位增加，有利于推进可再生能源治理体系与治理能力建设，促进绿色低碳转型。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为实施例1中光伏新能源监管平台算法的深度优化方法的框架图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1，为本发明第一个实施例，该实施例提供了一种光伏新能源监管平台算法的深度优化方法，包括以下步骤：
S1：进行全站数据查询，采集平台测点和计算点实时数据与历史数据。
优选的，已有时序数据库中存储大量设备运行数据，读取数据库中数据，无需改动数据采集流程。
S2：对采集的实时数据进行格式化处理，同时存储大量历史数据，构成算法模型训练及验证的样本数据源。
进一步的，构成算法模型训练及验证的样本数据源包括以下步骤：对设备数据应用特征工程，构建结构化训练数据集；标注部分数据，获得模型监督信息；利用零拷贝技术，避免重复数据复制。
优选的，使用InfluxDB时序数据库存储设备监测数据，并使用SQL查询语句，筛选出异常数据候选集，条件为：若连续N个时间段无数据上传，则判定为数据缺失；若监测值超过预设正常范围上下限，则判定为值越限；将候选集导入到临时表A中；读取表A，对于每个样本，若是因维护等已知原因导致的数据异常，则标记为“维护异常”，并记录下原因；若无法解释，则标记为“未知异常”；将人工校验的结果写入表B。
随机从原始监测数据表中采样10万条，写入表C；检查采样结果：若部分设备类型的数据量占比小于5％，则针对这些设备类型重新采样，直到占比达到5％；检查采样表数据分布与原始表类似。
构建训练集：将表B和表C合并，将散列、编码类变量，做好特征工程；划分训练集、验证集、测试集；按比例重采样异常类数据，使各类样本数量接近，载入训练集，训练模型。
进一步的，训练模型包括以下步骤：采用LSTM进行时间序列预测，并选用精度Precision作为评价指标；在历史数据上，计算所有设备的平均精度Pavg；设置性能下限：若是新设备，Plower＝0.9*Pavg；若是已有设备，Plower＝min(0.95*Phistory,0.9*Pavg)；其中Phistory是该设备历史的平均精度；在验证集上计算模型的Precision＝Peval；判断Peval和Plower的关系：如果Peval≥Plower，则通过；如果Peval<Plower，则判断不通过，进一步处理：若Peval介于(0.8*Plower,Plower)之间，则调整模型结构、参数继续训练；若Peval<0.8*Plower，则检查数据规模和质量，增量标注，并返回构建训练集重新进入流程。
S3：建立算法模板，提供算法调试功能，编译并运行算法。
优选的，算法模板主要包括输入参数、输出参数、算法内容(LUA脚本)以及所属分组；保存算法后，用户需对算法进行调试，平台会实时编译算法，提供可视化的日志，方便用户调试排错，若算法有问题，可反复修改再调试；算法调试无误后，平台会对算法进行语法优化(冗余、内置函数、常量)，然后预编译，形成最终的可执行文件。
进一步的，建立算法模板，提供算法调试功能包括：Web界面可视化配置算法模板；设置算法输入输出变量的类型检查；上传算法代码，选择运行环境；平台自动编译部署为服务；提供测试数据，生成调试执行日志。
有关算法编排，对于已经创建好的算法，有时候单个算法不一定能完全满足需求，需要整合多个算法，最终生成结果。
平台支持将多个算法编排成Pipeline管道的形式，上个算法的输出作为下个算法的输入，目前只支持串联和并联。
S4：基于预定义策略对算法进行优化，然后预编译为执行文件，产生可视化日志。
S4.1：基于预定义策略对算法进行优化，产生可视化日志。
S4.2：根据策略去除模板中的冗余。
优选的，去除模板中的冗余包括以下步骤：分析代码，找到未被调用的函数、重复定义的变量等冗余；使用程序分析工具(如Compiler Explorer)可视化依赖图，发现隐性冗余；保留必要注释，删除大段无效注释，精简文档；利用Git对比历史版本，标记无用代码块。
S4.3：引入内置函数，降低复杂度。
识别可替换为内置函数的代码段(如排序、哈希等)；测试内置函数在时间和空间上的表现；替换适当代码段，观察整体性能。
S4.4：日志指导算法性能提升。
记录关键维度：时间、空间、IO消耗；比较不同实现的日志，分析性能瓶颈；关联日志与代码，定位低效模块；迭代优化，日志呈现加速效果。
进一步的，根据响应时间进行性能指标级别的划分。
日志关联代码包括：日志中嵌入代码位置标识符，通过标识符关联日志数据和代码位置，同一请求的多个模块日志对比，识别响应时间突增的模块作为关键模块。
对关键模块进行内部分析：若倍增原因是IO或外部调用，则异步处理，Async/Await优化，若CPU计算增多，则算法优化，减少复杂度，分解函数，增量提速，并观察优化后的日志指标：若响应时间仍>300ms，则依赖注入Mock数据，并再次分析与优化。
S5：构建执行实例与管道编排。
进一步的，支持配置多种触发方式，自定义执行周期；重用算法模板创建实例，避免重复工作；将实例作为调度任务统一管理；支持实例之间的串行或并行组合。
优选的，执行实例包括：用户新增算法实例，主要包括触发方式(自动和手动)、是否开启调试模式、Cron表达式(定时任务)、执行算法以及算法输入参数值；保存实例后，即可自由启动停止实例，若开启调试模式，可在平台查看实时日志和历史日志。
算法引擎运行时，包括以下内容：负责平台N个任务实例的定时调度；任务实例可部署在多个节点，由调度中心统一调度运行；任务实例节点会实时上报日志以及性能指标到平台，方便平台检索日志，检测实例运行状态。
优选的，调度机制为：利用kubernetes容器编排技术，实现任务跨节点的资源弹性调度；结合Spark Streaming微批流计算框架，达到sub-second级别的实时流任务调度；借助Flink框架的Checkpoint机制，保证任务的高可用和容错。
日志采集包括：直接将任务日志写出到HDFS/HBase等分布式存储；用Logstash工具采集汇聚不同格式的日志；使用Elasticsearch进行日志搜索和数据分析；Kibana可视化界面查询和展示日志。
其中，任务的计算性能指标直接输出到InfluxDB时序数据库，自定义不同任务类型的监控面板，支持多维查询和异常预警。
状态检测：检测判断任务运行状态，分析指标异常判断任务健康度，如发现内存泄漏，则重启实例，根据数据分布倾斜，触发RESHUFFLE。
需要说明的是，实例与算法模板是多对一的关系。
S6：进行实例化运行与日志检索。
分布式运行任务实例，保证低延迟；日志存储于时序数据库，支持分维查询；提供Web日志检索页面，错误快速定位。
分布式运行任务实例包括以下步骤：在Kubernetes集群上统一资源调度；根据不同业务类型选择部署策略；吞吐量优先的部署更多实例；延时敏感的任务使用GPU节点。
日志存储包括采用开源时序数据库InfluxDB，支持高写入吞吐，日志中加入实例元数据标签，如任务ID、节点IP等。
日志检索包括以下步骤：Grafana构建Web日志检索页面；自定义仪表板布局、图表样式；支持日志关键字过滤；快速查找错误日志：选择相应的时间范围，对比异常前后日志；点击实例，定位特定日志；对错误实例进行Debug。
通过弹性的分布式部署，时序化的日志存储，以及功能完善的日志检索页面，可以实现快速定位实例错误，保证整体系统稳定运行。
本实施例还提供一种光伏新能源监管平台算法的深度优化系统，包括数据采集模块，用于进行全站数据查询，实时采集平台各测点和计算点的数据；数据处理模块，用于对采集的实时数据进行格式化处理，同时存储历史数据，构建算法的训练数据集；算法模板模块，用于建立算法模板，开发者可以在此编写和调试算法代码；算法编译模块，用于对优化后的算法进行预编译，生成可执行文件的算法服务；实例调度模块，用于构建算法执行的实例，并进行实例级的管道编排；计算引擎模块，用于进行算法实例的调度运行；监控模块，用于实时监控算法实例的运行状态，并从产生的日志中检索分析信息。
本实施例还提供一种计算机设备，适用于光伏新能源监管平台算法的深度优化方法的情况，包括：存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的光伏新能源监管平台算法的深度优化方法。
该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的实现光伏新能源监管平台算法的深度优化方法；存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasable Programmable Read－Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red－Only Memory,简称PROM)，只读存储器(Read－Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
综上，本发明全面提升算法驱动的监管与分析能力，使新能源监管平台具有更强大的智能化支持；显著减少算法运维的人工成本，降低监管平台的使用门槛；大幅提高算法迭代更新效率，保证监管方案连续性，适应业务需求变更；显著提升监管分析的准确性、及时性、抗干扰性，为业务决策提供有力支撑；为光伏电站提供更精准的健康评估，指导设备优化与故障预测，减少事故损失；为新能源领域培养优秀的算法科研与应用人才，带动产业机遇和就业岗位增加，有利于推进可再生能源治理体系与治理能力建设，促进绿色低碳转型。
实施例2
参照表A，为本发明第二个实施例，本发明第二个实施例，在第一个实施例的基础之上，为了验证其有益效果，提供了本发明与现有技术的的实验对比数据。
A省电力公司负责多个光伏电站的能源监管，要求检测光伏电站的异常运行情况，传统方法依赖人工经验制定规则进行判断，准确率约为85％，无法满足要求。
本发明利用平台历史实时数据，构建异常检测模型，主要技术路线如下：读取时序数据库中1年的逐5分钟监测数据，于SQL中标记异常情况的数据集作为监督样本。
时序数据经特征工程转为结构化数据集，采用数据增强、LR/CNN模型、Focal Loss等技术。
迭代优化模型，最终测试集准确率达到96％，平台化部署，实时预测并告警，具体如下：
表A现有技术与本发明的对比表
| 指标 | 当前方法 | 新方法 |
| 准确率 | 85％ | 96％ |
| 告警延时 | >15min | <5min |
| 维护效率 | 低 | 高 |
相比以往依赖人工制定规则的方法，本方案利用深度学习模型实现对异常情况的自动准确检测，大幅提升了检测性能和速度，降低了监管平台的维护成本，满足了电力公司的监管需求。该方法可广泛适用于电力电网的异常识别与预警场景，具有较强的推广价值。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种光伏新能源监管平台算法的深度优化方法，其特征在于：包括：
进行全站数据查询，采集平台测点和计算点实时数据与历史数据；
对采集的实时数据进行格式化处理，同时存储大量历史数据，构成算法模型训练及验证的样本数据源；
建立算法模板，提供算法调试功能，编译并运行算法；
基于预定义策略对算法进行优化，然后预编译为执行文件，产生可视化日志；
构建执行实例与管道编排；
进行实例化运行与日志检索。
2.如权利要求1所述的光伏新能源监管平台算法的深度优化方法，其特征在于：所述构成算法模型训练及验证的样本数据源包括以下步骤：
对设备数据应用特征工程，构建结构化训练数据集；
标注部分数据，获得模型监督信息；
利用零拷贝技术，避免重复数据复制；
使用InfluxDB时序数据库存储设备监测数据，并使用SQL查询语句，筛选出异常数据候选集。
3.如权利要求2所述的光伏新能源监管平台算法的深度优化方法，其特征在于：所述筛选出异常数据候选集的条件为：
若连续N个时间段无数据上传，则判定为数据缺失；
若监测值超过预设正常范围上下限，则判定为值越限；
将候选集导入到临时表A中；读取表A，对于每个样本，若是因已知原因导致的数据异常，则标记为“维护异常”，并记录下原因；若无法解释，则标记为“未知异常”；将人工校验的结果写入表B；
随机从原始监测数据表中采样数据，写入表C；
检查采样结果：若部分设备类型的数据量占比小于预设值，则针对这些设备类型重新采样，直到占比达到预设值；
将表B和表C合并，将散列、编码类变量，做好特征工程；划分训练集、验证集和测试集；按比例重采样异常类数据，载入训练集，训练模型。
4.如权利要求3所述的光伏新能源监管平台算法的深度优化方法，其特征在于：所述基于预定义策略对算法进行优化包括以下步骤：
基于预定义策略对算法进行优化，产生可视化日志；
根据策略去除模板中的冗余；
引入内置函数，降低复杂度；
日志指导算法性能提升。
5.如权利要求1、2或4任一所述的光伏新能源监管平台算法的深度优化方法，其特征在于：所述日志指导算法性能提升包括以下内容：
记录关键维度：时间、空间和IO消耗；比较不同实现的日志，分析性能瓶颈；关联日志与代码，定位低效模块；迭代优化，使日志呈现加速效果；
所述日志关联代码包括以下步骤：日志中嵌入代码位置标识符，通过标识符关联日志数据和代码位置，同一请求的多个模块日志对比，识别响应时间突增的模块作为关键模块；
对所述关键模块进行内部分析：若倍增原因是IO或外部调用，则异步处理，Async/Await优化；若CPU计算增多，则算法优化，减少复杂度，分解函数，增量提速，并观察优化后的日志指标：若响应时间仍>时间阈值，则依赖注入Mock数据，并再次分析与优化。
6.如权利要求5所述的光伏新能源监管平台算法的深度优化方法，其特征在于：所述构建执行实例与管道编排包括，
支持配置多种触发方式，自定义执行周期；重用算法模板创建实例；将实例作为调度任务统一管理；支持实例之间的串行或并行组合；
执行实例包括：用户新增算法实例，包括触发方式、是否开启调试模式、Cron表达式、执行算法以及算法输入参数值；保存实例后，进行自由启动停止实例，若开启调试模式，即在平台查看实时日志和历史日志。
7.如权利要求6所述的光伏新能源监管平台算法的深度优化方法，其特征在于：所述调度的机制为利用kubernetes容器编排技术，实现任务跨节点的资源弹性调度；结合SparkStreaming微批流计算框架，达到sub-second级别的实时流任务调度；
所述日志的采集包括：直接将任务日志写出到HDFS/HBase分布式存储；用Logstash工具采集汇聚不同格式的日志；使用Elasticsearch进行日志搜索和数据分析；使用可视化界面查询和展示日志。
8.一种光伏新能源监管平台算法的深度优化系统，基于权利要求1～7任一所述的光伏新能源监管平台算法的深度优化方法，其特征在于：包括，
数据采集模块，用于进行全站数据查询，实时采集平台各测点和计算点的数据；
数据处理模块，用于对采集的实时数据进行格式化处理，同时存储历史数据，构建算法的训练数据集；
算法模板模块，用于建立算法模板，开发者在此编写和调试算法代码；
算法编译模块，用于对优化后的算法进行预编译，生成可执行文件的算法服务；
实例调度模块，用于构建算法执行的实例，并进行实例级的管道编排；
计算引擎模块，用于进行算法实例的调度运行；
监控模块，用于实时监控算法实例的运行状态，并从产生的日志中检索分析信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的光伏新能源监管平台算法的深度优化方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的光伏新能源监管平台算法的深度优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311593666.8A CN117436591A (zh) | 2023-11-24 | 2023-11-24 | 一种光伏新能源监管平台算法的深度优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311593666.8A CN117436591A (zh) | 2023-11-24 | 2023-11-24 | 一种光伏新能源监管平台算法的深度优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117436591A true CN117436591A (zh) | 2024-01-23 |
Family
ID=89555255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311593666.8A Pending CN117436591A (zh) | 2023-11-24 | 2023-11-24 | 一种光伏新能源监管平台算法的深度优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117436591A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117728587A (zh) * | 2024-02-07 | 2024-03-19 | 华能江苏综合能源服务有限公司 | 一种新能源发电设备运行数据的实时监控系统及方法 |
-
2023
- 2023-11-24 CN CN202311593666.8A patent/CN117436591A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117728587A (zh) * | 2024-02-07 | 2024-03-19 | 华能江苏综合能源服务有限公司 | 一种新能源发电设备运行数据的实时监控系统及方法 |
| CN117728587B (zh) * | 2024-02-07 | 2024-05-10 | 华能江苏综合能源服务有限公司 | 一种新能源发电设备运行数据的实时监控系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Herzig et al. | The impact of tangled code changes on defect prediction models | |
| de Souza et al. | Spectrum-based software fault localization: A survey of techniques, advances, and challenges | |
| Balci | Guidelines for successful simulation studies | |
| Arumuga Nainar et al. | Statistical debugging using compound Boolean predicates | |
| Roy | Detection and analysis of near-miss software clones | |
| Misirli et al. | Studying high impact fix-inducing changes | |
| CN111459698A (zh) | 一种数据库集群故障自愈方法及装置 | |
| CN117436591A (zh) | 一种光伏新能源监管平台算法的深度优化方法 | |
| Yang et al. | Vuldigger: A just-in-time and cost-aware tool for digging vulnerability-contributing changes | |
| Li et al. | A scenario-based approach to predicting software defects using compressed C4. 5 model | |
| CN113282514B (zh) | 问题数据的处理方法、装置、计算机设备和存储介质 | |
| Andrzejak et al. | Detection of memory leaks in C/C++ code via machine learning | |
| Ell | Identifying failure inducing developer pairs within developer networks | |
| Horký et al. | Performance regression unit testing: a case study | |
| CN114201328A (zh) | 基于人工智能的故障处理方法、装置、电子设备及介质 | |
| Pashakhanloo et al. | Codetrek: Flexible modeling of code using an extensible relational representation | |
| Trubiani et al. | Automated detection of software performance antipatterns in Java-based applications | |
| Zhang et al. | DeFault: mutual information-based crash triage for massive crashes | |
| Rajput et al. | FECoM: A Step towards Fine-Grained Energy Measurement for Deep Learning | |
| Han et al. | A systematic mapping study of software performance research | |
| Chen et al. | Effective online software anomaly detection | |
| Ni et al. | Boosting Just-in-Time Defect Prediction with Specific Features of C/C++ Programming Languages in Code Changes | |
| CN115543735A (zh) | 日志处理方法、装置、电子设备及存储介质 | |
| Hafez et al. | Potential-fault cache-based regression test selection | |
| Chen et al. | MFRL-CA: Microservice fault root cause location based on correlation analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |