CN117195292B - 一种基于数据融合和边缘计算的电力业务评估方法 - Google Patents
一种基于数据融合和边缘计算的电力业务评估方法 Download PDFInfo
- Publication number
- CN117195292B CN117195292B CN202311158701.3A CN202311158701A CN117195292B CN 117195292 B CN117195292 B CN 117195292B CN 202311158701 A CN202311158701 A CN 202311158701A CN 117195292 B CN117195292 B CN 117195292B
- Authority
- CN
- China
- Prior art keywords
- data
- node
- fusion
- service
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 239
- 238000011156 evaluation Methods 0.000 title claims abstract description 61
- 238000004364 calculation method Methods 0.000 title claims abstract description 25
- 238000009826 distribution Methods 0.000 claims abstract description 97
- 230000002159 abnormal effect Effects 0.000 claims abstract description 63
- 238000010586 diagram Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000000694 effects Effects 0.000 claims abstract description 40
- 238000005516 engineering process Methods 0.000 claims abstract description 28
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000012550 audit Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 42
- 230000035945 sensitivity Effects 0.000 claims description 31
- 238000012360 testing method Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000006399 behavior Effects 0.000 claims description 16
- 238000007726 management method Methods 0.000 claims description 16
- 239000003999 initiator Substances 0.000 claims description 14
- 238000004140 cleaning Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 230000001172 regenerating effect Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 208000025174 PANDAS Diseases 0.000 description 12
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 12
- 240000004718 Panda Species 0.000 description 12
- 235000016496 Panda oleosa Nutrition 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000007405 data analysis Methods 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000013077 scoring method Methods 0.000 description 4
- 238000000342 Monte Carlo simulation Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000013079 data visualisation Methods 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013068 supply chain management Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种基于数据融合和边缘计算的电力业务评估方法，包括：根据每个节点的业务数据，采用节点执行效率的评估方法，获取每个节点的执行效率，判断不同节点在执行任务时的效率差异；基于生成的任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案；采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整任务分布图；在制定节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化；采用安全审计技术对记录的数据进行分析，及时发现并处理异常情况，以进一步保障系统的安全性。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种基于数据融合和边缘计算的电力业务评估方法。
背景技术
随着物联网和5G技术的快速发展，边缘计算作为一种新兴的计算模式，正在逐步被广泛应用。然而，在电力业务边缘计算环境下，由于边缘节点数量庞大、分布广泛且异构性强，节点间通信受限、计算资源有限等问题，给边缘节点融合计算带来了很大的挑战。同时，边缘计算环境下的数据安全性也是一个值得重视的问题，如何保证数据传输过程中的安全性和访问控制成为了一个亟需解决的问题。另外，边缘节点上的业务权限和执行效率也是需要考虑的问题。不同的边缘节点拥有不同的硬件设施、软件环境和工作负载，需要评估其性能和可行性，以确定哪些节点适合作为融合计算的执行者。同时，由于边缘节点间通信受限，需要考虑如何保证不同节点之间的协同性和互补性，以实现更高效的融合计算。因此，设计一个针对电力业务边缘计算环境的综合评估框架，旨在解决节点选择、通信协同以及数据安全是现在亟需解决的问题。
发明内容
本发明提供了一种基于数据融合和边缘计算的电力业务评估方法，主要包括：
根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点业务数据的的相互关联性；根据每个节点的业务数据，采用节点执行效率的评估方法，获取每个节点的执行效率，判断不同节点在执行任务时的效率差异；结合业务数据、节点执行效率和业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图；基于生成的任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案；判断需要融合节点的数据敏感等级，通过数据加密技术，对敏感级别高的节点的数据进行保护，并将加密后的敏感数据分布到多个融合节点上，得到数据融合结果；采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整任务分布图；在制定节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化；在节点融合及数据处理中，获取用户权限信息，判断用户是否有权访问数据，通过访问控制技术对数据进行限制，只允许授权用户访问数据；采用安全审计技术对记录的数据进行分析，及时发现并处理异常情况，以进一步保障系统的安全性。
进一步地，所述根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点业务数据的的相互关联性，包括：
根据每个边缘计算节点的业务权限，得到允许访问的业务数据列表，并访问对应的业务数据；采用Python编写的自动化脚本，遍历所有节点，在每个节点上，调用预先设定的RESTfulAPI接口，获取每个节点的业务数据；获取到业务数据后，对业务数据进行数据清洗，处理空值，数据类型转换操作；从业务数据中抽取业务特征，包括业务类型、业务规模、业务频率，得到特征矩阵；根据提取出的业务特征将业务进行分类，得到每个类别的中心点和所包含的业务项；采用计数、频率分析的方法，分析各类业务的数量和分布情况，得到每种类别的业务数量和占比；根据业务数量和占比，采用Jaccard系数的方法，计算不同业务类别之间的互补性，获得业务互补性评估结果；采用阈值筛选方法，设置预定的阈值，选择互补性评估结果高于阈值的节点对，确定存在业务关联的节点对；采用Apriori算法，基于业务关联的节点对，得到业务关联规则列表；将业务关联规则转化为业务关联矩阵，通过数据结构转换操作，使用邻接矩阵的方式展示每个节点之间的业务关联性。
进一步地，所述根据每个节点的业务数据，采用节点执行效率的评估方法，获取每个节点的执行效率，判断不同节点在执行任务时的效率差异，包括：
根据边缘计算节点的业务数据，初始化一个数据仓库，存储每个节点的业务数据，包括CPU利用率、内存利用率、磁盘利用率和网络流量；采用数据采集工具从每个节点获取具体的业务数据，并将获取的数据通过批量操作或实时插入存储到初始化的数据仓库中；通过数据清洗工具，对获取到的业务数据进行清洗，处理空值、重复值、异常值，得到没有无效数据和异常数据的清洗后业务数据；采用Pearson相关系数的方法，对业务数据进行特征选择，得到每个节点的重要特征数据；使用数据可视化工具生成描述数据分布的图像，得到业务数据的分布特性；获取到每个节点的执行效率相关的业务数据，包括任务完成时间、CPU利用率；通过已清洗的业务数据，通过CPU利用率和任务完成时间的比值，得到每个节点的执行效率，并根据每个节点的执行效率计算平均执行效率；计算各节点执行效率与平均执行效率的差值，得到每个节点的相对执行效率；根据各节点的相对执行效率，对所有节点的执行效率进行排序，得到节点执行效率的排序表；根据节点执行效率的排序表生成一个关于节点执行效率差异的报告，报告中包含每个节点的业务数据、执行效率、相对执行效率、执行效率的排序信息。
进一步地，所述结合业务数据、节点执行效率和业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图，包括：
根据业务数据，使用Pandas数据预处理库，对原始数据进行清洗和格式化操作，包括处理空值、异常值以及进行类型转换，得到清洗后的业务数据；采用主成分分析算法，对清洗后的业务数据进行分析，提取出反映节点执行效率和业务互补性的关键特征，同时结合反映节点间协同性的特征，包括节点间协同完成任务的历史执行时间、成功率，整合得到节点特征数据；采用皮尔逊相关系数算法，计算每对节点间的业务互补性和协同性，得到业务互补性数据和协同性数据；通过整合节点特征数据、节点执行效率数据、业务互补性数据以及协同性数据，得到一个完整的数据集；采用支持向量机算法，对整合得到的数据集进行训练，得到预测模型；通过K折交叉验证的方法，对得到的预测模型进行评估，确定模型的性能；最后，根据模型的预测结果，使用图优化和线性规划算法，并将节点间的协同性作为优化目标或约束条件，生成一个代表任务在各节点间的理想分布的任务分布图。
进一步地，所述基于生成的任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案，包括：
根据生成的任务分布图，采用邻接矩阵和图谱相似性计算方法，计算出每个节点与其他节点的任务分布相似度，得到相似度数据；采用K-means聚类算法，对相似度数据进行聚类，得到各个节点的聚类结果；获取每个节点的聚类结果，统计每个类别中节点的数量，根据节点数量确定每个类别中的主要节点；根据主要节点和任务分布图，采用图形分析方法，对于每一个主要节点，计算如果将同一类别的其他节点融合到该节点，任务分布图的变化情况，得到融合影响数据；利用融合影响数据，进行数据分析，包括计算其平均值、方差，利用预设阈值和评分规则，判断融合后对整体计算效率的影响，计算效率影响数据；计算每一个融合方案对应的任务分布图的平均值和方差，判断每一个融合方案的稳定性；根据计算效率影响数据和每一个融合方案的稳定性，采用加权评分法对每个融合方案进行评分，得到每个方案的评分数据；通过比较评分数据，应用排序算法，确定评分最高的融合方案，得到最优融合方案；根据最优融合方案，重新生成新的任务分布图，包括新的节点位置、任务分布信息；还包括：根据每一个融合方案的稳定性和效率，对每个方案进行评分，得到最优融合方案。
所述根据每一个融合方案的稳定性和效率，对每个方案进行评分，得到最优融合方案，具体包括：
通过蒙特卡洛模拟技术，对节点融合的可能性进行抽样。通过组合生成算法，确定可能的节点融合组合。通过一个基于邻接矩阵的图算法，对于每一个组合，生成任务分布图。通过统计学方法，计算每一个融合方案对应的任务分布图的平均值和方差。通过比较方差的大小，判断稳定性最佳的融合方案。通过设定一个评分规则，根据每一个融合方案的稳定性和效率进行评分。通过将各项评分加权求和，计算每个融合方案的总分。通过每个方案的总分得到最优方案。
进一步地，所述判断需要融合节点的数据敏感等级，通过数据加密技术，对敏感级别高的节点的数据进行保护，并将加密后的敏感数据分布到多个融合节点上，得到数据融合结果，包括：
根据预设的融合节点列表，获取每个融合节点内的数据，包括来源，性质，用途，进行数据的初步分类和整理，得到节点数据分类结果；采用数据敏感度评级体系，使用决策树算法对每个融合节点内的数据进行敏感度评估，得到数据敏感度等级；通过对比数据敏感度等级和预设的敏感等级阈值，判断每个融合节点内的数据是否为敏感数据，得到每个融合节点的敏感数据列表；根据敏感数据列表，使用AES加密算法对每个融合节点内的敏感数据进行加密处理，得到加密后的敏感数据；采用数据完整性检验技术，对加密后的敏感数据进行完整性检验，确认数据在加密过程中没有被篡改或损坏，得到数据完整性检验结果；根据完整性检验结果，判断是否需要重新进行数据加密处理，如果数据完整性检验失败，则需要对相应的融合节点内的敏感数据重新进行加密处理；对经过加密处理的敏感数据，通过数据分片和分布式存储技术，将加密后的敏感数据分布到多个融合节点上，得到数据融合结果。
进一步地，所述采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整任务分布图，包括：
通过数据仓库，获取历史融合数据，包括融合方法和效果记录；使用Python的Pandas库，将历史融合数据解析为可用的融合方法和效果，得到解析后的历史融合数据；根据解析后的历史融合数据，利用性能分析工具Profiler，计算历史融合的处理效率，并得到历史融合效率；采用线性规划工具，对历史融合效率进行优化，得到优化后的融合方法；根据优化后的融合方法，采用任务分布图生成器，生成新的任务分布图；获取新的任务分布图，通过项目管理工具MicrosoftProject，对新的任务分布图进行评估，得到任务分布图评估结果；根据任务分布图评估结果，通过工作流调整工具BPMN，对任务分布图进行调整，得到调整后的任务分布图；采用图论算法库，对任务分布图进行节点融合，得到融合后的任务分布图；通过融合后的任务分布图，记录本次的融合方法和效果，得到本次的融合记录。
进一步地，所述在制定节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化，包括：
根据边缘计算节点的业务数据特性，获取不同类型的业务数据；采用数据分类工具scikit-learn的分类算法，将不同类型的数据进行分类，得到数据分类结果；根据数据分类结果，通过利用数据分析工具Python的Pandas库进行数据特性分析，生成数据特性分析报告；通过评估矩阵的方法，将数据特性分析报告中每类数据适用的节点融合方法进行评估，得到节点融合适用性评估结果；根据节点融合适用性评估结果，为每种类型的数据制定相应的节点融合方案，得到初步的节点融合方案；获取初步的节点融合方案，使用模拟测试工具Simulink，对融合方案进行模拟测试，得到模拟测试结果；若模拟测试结果不达标，采用遗传算法，对节点融合方案进行优化，得到优化后的节点融合方案；采用工作流测试工具，以优化后的节点融合方案为输入，进行实际运行测试，并得到实际运行测试结果；根据实际运行测试结果，对实际运行结果进行效果评估，得到节点融合效果评估结果；根据节点融合效果评估结果，判断节点融合效果是否最优化，若非最优化，则重新制定融合方案，否则，得到最终优化的节点融合方案。
进一步地，所述在节点融合及数据处理中，获取用户权限信息，判断用户是否有权访问数据，通过访问控制技术对数据进行限制，只允许授权用户访问数据，包括：
根据用户列表，获取所有用户的基本信息和权限等级，得到用户权限信息表；根据用户权限信息，使用用户权限管理工具ActiveDirectory表，按照权限级别对用户进行分类，得到分级后的用户权限信息；采用网络流量监控工具Wireshark，实时捕获用户的数据访问请求，得到用户访问请求信息；根据用户访问请求信息，通过身份验证服务OAuth，确定请求发起者的身份信息；根据请求发起者的身份信息，查询分级后的用户权限信息，确定请求发起者的权限等级；根据请求发起者的权限等级信息，采用数据访问权限控制工具RBAC系统，对用户的数据访问请求进行控制，并判断用户的数据访问请求是否被允许，得到数据访问请求审批结果；如果数据访问请求被拒绝，返回拒绝信息给用户；如果数据访问请求被批准，执行用户的数据访问请求，得到数据访问操作结果；根据数据访问操作结果，通过日志记录工具ELKStack，记录用户的数据访问行为，得到数据访问记录。
进一步地，所述采用安全审计技术对记录的数据进行分析，及时发现并处理异常情况，以进一步保障系统的安全性，包括：
根据日志管理工具ELKStack，获取所有用户的数据访问记录；对用户的数据访问记录进行清洗和标准化，得到预处理后的数据访问记录；采用异常检测工具Scikit-learn中的IsolationForest算法，将预处理后的数据访问记录进行异常检测，得到异常检测结果；根据异常检测结果，应用阈值策略进行异常判断，筛选出异常数据访问记录，得到异常数据访问报告；使用Python的Pandas库，解析异常数据访问报告，获取详细的异常访问事件，得到异常访问事件详情；通过异常访问事件详情，确定具体的异常用户和异常数据，得到异常用户列表和异常数据列表；根据异常用户列表，使用用户行为分析工具Splunk的UserBehaviorAnalytics模块，判断异常用户的行为模式，得到异常用户行为模式报告；获取异常用户行为模式报告，通过通过安全事件管理工具IBMQRadar进行审核，确定具体的处理措施，得到处理措施列表；根据处理措施列表，使用系统管理工具Ansible执行处理措施，得到处理结果，并确保系统的安全性。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明通过评估边缘节点的业务权限和执行效率，以及业务在不同节点之间的协同性和互补性，确定边缘节点融合计算的可行性。为保护数据安全性，采用数据加密技术和访问控制技术，限制只允许授权用户访问数据。同时，根据不同类型的数据制定相应的融合策略，确保节点融合效果最优。记录每次融合过程的处理方法和结果，提高处理效率。通过安全审计技术对记录的数据进行分析，判断是否存在异常情况，进一步保障数据安全性。
附图说明
图1为本发明的一种基于数据融合和边缘计算的电力业务评估方法的流程图。
图2为本发明的一种基于数据融合和边缘计算的电力业务评估方法的示意图。
图3为本发明的一种基于数据融合和边缘计算的电力业务评估方法的又一示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本实施例一种基于数据融合和边缘计算的电力业务评估方法具体可以包括：
步骤S101，根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点业务数据的的相互关联性。
根据每个边缘计算节点的业务权限，得到允许访问的业务数据列表，并访问对应的业务数据。采用Python编写的自动化脚本，遍历所有节点，在每个节点上，调用预先设定的RESTfulAPI接口，获取每个节点的业务数据。获取到业务数据后，对业务数据进行数据清洗，处理空值，数据类型转换操作。从业务数据中抽取业务特征，包括业务类型、业务规模、业务频率，得到特征矩阵。根据提取出的业务特征将业务进行分类，得到每个类别的中心点和所包含的业务项。采用计数、频率分析的方法，分析各类业务的数量和分布情况，得到每种类别的业务数量和占比。根据业务数量和占比，采用Jaccard系数的方法，计算不同业务类别之间的互补性，获得业务互补性评估结果。采用阈值筛选方法，设置预定的阈值，选择互补性评估结果高于阈值的节点对，确定存在业务关联的节点对。采用Apriori算法，基于业务关联的节点对，得到业务关联规则列表。将业务关联规则转化为业务关联矩阵，通过数据结构转换操作，使用邻接矩阵的方式展示每个节点之间的业务关联性。例如，有三个边缘计算节点，每个节点有不同的业务权限，根据这些权限获取业务数据并分析业务关联性。获取业务权限和数据：节点1的业务权限：["业务A","业务B","业务C"]，节点2的业务权限：["业务B","业务D","业务E"]，节点3的业务权限：["业务A","业务C","业务F"]；假设每个节点已经通过RESTfulAPI接口获取了对应的业务数据，并进行了数据清洗和预处理操作。从业务数据中提取关键特征，包括业务类型、业务规模和业务频率。根据提取的关键特征，使用K-means聚类算法将业务进行分类。假设设置聚类数目为2，得到以下结果：类别1的中心点：["业务A","业务C","业务F"]，类别1包含的业务项：["业务A","业务C","业务F"]，类别2的中心点：["业务B","业务D","业务E"]，类别2包含的业务项：["业务B","业务D","业务E"]；进行计数和频率分析，得到各类业务的数量和分布情况。类别1的业务数量为3，类别1的业务占比为50％，类别2的业务数量为3，类别2的业务占比为50％；使用Jaccard系数计算不同业务类别之间的互补性，则类别1和类别2之间的互补性评估结果为0.2；根据预设的阈值，选择互补性评估结果高于阈值的节点对。假设阈值为0.1，由于0.2大于0.1，所以节点1和节点2被确定为可能存在业务关联的节点对。基于业务关联的节点对，使用Apriori算法得到具体的业务关联规则列表。通过数据结构转换操作，将业务关联规则转化为业务关联矩阵。使用邻接矩阵的方式展示每个节点之间的业务关联性。
步骤S102，根据每个节点的业务数据，采用节点执行效率的评估方法，获取每个节点的执行效率，判断不同节点在执行任务时的效率差异。
根据边缘计算节点的业务数据，初始化一个数据仓库，存储每个节点的业务数据，包括CPU利用率、内存利用率、磁盘利用率和网络流量。采用数据采集工具从每个节点获取具体的业务数据，并将获取的数据通过批量操作或实时插入存储到初始化的数据仓库中。通过数据清洗工具，对获取到的业务数据进行清洗，处理空值、重复值、异常值，得到没有无效数据和异常数据的清洗后业务数据。采用Pearson相关系数的方法，对业务数据进行特征选择，得到每个节点的重要特征数据。使用数据可视化工具生成描述数据分布的图像，得到业务数据的分布特性。获取到每个节点的执行效率相关的业务数据，包括任务完成时间、CPU利用率。通过已清洗的业务数据，通过CPU利用率和任务完成时间的比值，得到每个节点的执行效率，并根据每个节点的执行效率计算平均执行效率。计算各节点执行效率与平均执行效率的差值，得到每个节点的相对执行效率。根据各节点的相对执行效率，对所有节点的执行效率进行排序，得到节点执行效率的排序表；根据节点执行效率的排序表生成一个关于节点执行效率差异的报告，报告中包含每个节点的业务数据、执行效率、相对执行效率、执行效率的排序信息。例如，有一个边缘计算系统，其中包含4个节点。想要对每个节点的业务数据进行分析和评估，以了解其执行效率。首先，使用数据采集工具从每个节点获取业务数据，节点1的CPU利用率为80％，内存利用率为60％，磁盘利用率为50％，网络流量为100Mbps，节点2的CPU利用率为70％，内存利用率为70％，磁盘利用率为60％，网络流量为200Mbps，节点3的CPU利用率为90％，内存利用率为80％，磁盘利用率为70％，网络流量为150Mbps，节点4的CPU利用率为60％，内存利用率为50％，磁盘利用率为40％，网络流量为120Mbps；然后，初始化一个数据仓库来存储每个节点的业务数据，并使用数据清洗工具对获取到的业务数据进行清洗。假设发现节点2的内存利用率数据有一个异常值110％。将该异常值删除，并处理其他可能的异常值和重复值。然后，使用描述性统计和数据可视化工具来分析业务数据的基本情况和特征分布，例如，可以计算每个节点的平均CPU利用率、内存利用率、磁盘利用率和网络流量。假设计算结果为(节点，平均CPU利用率，平均内存利用率，平均磁盘利用率，平均网络流量)，(1，80％，60％，50％，100Mbps)，(2，70％，70％，60％，200Mbps)，(3，90％，80％，70％，150Mbps)，(4，60％，50％，40％，120Mbps)。接下来，使用Pearson相关系数方法对业务数据进行特征选择，找出每个节点的重要特征数据，假设计算出每个节点的CPU利用率与任务完成时间的相关系数为，(节点，CPU利用率与任务完成时间的相关系数)，(1，8)，(2，7)，(3，6)，(4，5)；根据这些相关系数，确定每个节点的重要特征数据。接下来，绘制每个节点的CPU利用率分布图，以显示其分布情况。然后，使用CPU利用率和任务完成时间的比值来计算执行效率，计算结果为，(节点，CPU利用率，任务完成时间，执行效率)，(1，80％，10分钟，8)，(2，70％，15分钟，67)，(3，90％，8分钟，125)，(4，60％，20分钟，3)，通过计算每个节点执行效率与平均执行效率的差值，可以得到每个节点的相对执行效率。假设平均执行效率为10，计算结果为，(节点，相对执行效率)，(1，-22)，(2，-33)，(3，-25)，(4，-7)，则可以根据节点的相对执行效率对所有节点的执行效率进行排序，并生成一个关于节点执行效率差异的报告。报告中包含每个节点的业务数据、执行效率、相对执行效率和执行效率的排序信息。
步骤S103，结合业务数据、节点执行效率和业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图。
根据业务数据，使用Pandas数据预处理库，对原始数据进行清洗和格式化操作，包括处理空值、异常值以及进行类型转换，得到清洗后的业务数据。采用主成分分析算法，对清洗后的业务数据进行分析，提取出反映节点执行效率和业务互补性的关键特征，同时结合反映节点间协同性的特征，包括节点间协同完成任务的历史执行时间、成功率，整合得到节点特征数据。采用皮尔逊相关系数算法，计算每对节点间的业务互补性和协同性，得到业务互补性数据和协同性数据。通过整合节点特征数据、节点执行效率数据、业务互补性数据以及协同性数据，得到一个完整的数据集。采用支持向量机算法，对整合得到的数据集进行训练，得到预测模型。通过K折交叉验证的方法，对得到的预测模型进行评估，确定模型的性能。最后，根据模型的预测结果，使用图优化和线性规划算法，并将节点间的协同性作为优化目标或约束条件，生成一个代表任务在各节点间的理想分布的任务分布图。例如，有一个电商平台的用户数据，包括用户的年龄、性别、购买金额以及购买频率信息。首先，使用Pandas对这些数据进行清洗和格式化操作，将这些异常值限制在一个合理的范围内，例如将购买金额限制在0到10000之间。此外，对数据进行类型转换，例如将购买频率从字符串类型转换为数值类型。清洗和格式化后的数据作为输入数据进行主成分分析。主成分分析可以提取出用户购买金额和购买频率作为反映节点执行效率的特征，同时加入用户的年龄和性别作为反映业务互补性的特征。接下来，计算每对用户之间的购买金额和购买频率的相关系数，来反映节点间的协同性。这些相关系数作为反映节点间协同完成任务的历史执行时间和成功率的特征。通过整合节点特征数据、节点执行效率数据、业务互补性数据以及协同性数据，得到一个完整的数据集。然后，使用支持向量机算法对整合后的数据集进行训练，得到预测模型。使用K折交叉验证的方法，评估模型的性能，例如，将数据集分为K个子集，每次使用其中K-1个子集作为训练集，剩下的一个子集作为测试集，重复K次，然后计算平均准确率或其他评估指标。最后，根据模型的预测结果，使用图优化和线性规划算法，将节点间的协同性作为优化目标或约束条件，生成一个代表任务在各节点间的理想分布的任务分布图。
步骤S104，基于生成的任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案。
根据生成的任务分布图，采用邻接矩阵和图谱相似性计算方法，计算出每个节点与其他节点的任务分布相似度，得到相似度数据。采用K-means聚类算法，对相似度数据进行聚类，得到各个节点的聚类结果。获取每个节点的聚类结果，统计每个类别中节点的数量，根据节点数量确定每个类别中的主要节点。根据主要节点和任务分布图，采用图形分析方法，对于每一个主要节点，计算如果将同一类别的其他节点融合到该节点，任务分布图的变化情况，得到融合影响数据。利用融合影响数据，进行数据分析，包括计算其平均值、方差，利用预设阈值和评分规则，判断融合后对整体计算效率的影响，计算效率影响数据。计算每一个融合方案对应的任务分布图的平均值和方差，判断每一个融合方案的稳定性；根据计算效率影响数据和每一个融合方案的稳定性，采用加权评分法对每个融合方案进行评分，得到每个方案的评分数据。通过比较评分数据，应用排序算法，确定评分最高的融合方案，得到最优融合方案。根据最优融合方案，重新生成新的任务分布图，包括新的节点位置、任务分布信息。例如，有一个任务分布图，其中包含4个节点A、B、C和D，它们之间的任务分布为，节点A:[10,20,30]，节点B:[5,10,15]，节点C:[20,30,40]，节点D:[15,25,35]，根据这个任务分布图，计算出节点之间的任务分布相似度。通过计算邻接矩阵和图谱相似性，得到相似度数据为节点A与节点B的相似度为8，节点A与节点C的相似度为9，节点A与节点D的相似度为7，节点B与节点C的相似度为85，节点B与节点D的相似度为75，节点C与节点D的相似度为95；根据K-means算法，得到的聚类结果为，簇1：节点A、节点B、节点D，簇2：节点C；根据聚类结果，统计每个簇中的节点数量，则簇1中有3个节点，簇2中有1个节点。然后，采用多数投票法的决策规则，确定每个簇中的主要节点。簇1中的主要节点是节点A，簇2中的主要节点是节点C。接下来，根据主要节点和任务分布图，计算节点融合后对任务分布图的影响。假设将节点A和节点C进行融合，得到新的任务分布图，然后，利用融合影响数据进行数据分析。例如，计算融合影响数据的平均值和方差，则融合影响数据的平均值为25，方差为675。接下来，根据预设阈值和评分规则，判断融合后对整体计算效率的影响，假设预设阈值为30，根据评分规则，如果融合后的影响值低于阈值，则影响为正面，否则为负面。根据计算效率影响数据，使用加权评分法对每个融合方案进行评分，假设给正面影响赋予权重8，负面影响赋予权重2，根据加权评分法，得到每个方案的评分数据。最后，通过比较评分数据，应用排序算法，确定评分最高的融合方案，并得到最优融合方案，因此，最优融合方案是将节点A和节点C进行融合。根据最优融合方案，明确其中包含了节点A和节点C需要进行融合，以及融合的详细方案是将它们的任务分布合并为节点AC。最后，根据最优融合方案，重新生成新的任务分布图，包括新的节点位置和任务分布信息。
根据每一个融合方案的稳定性和效率，对每个方案进行评分，得到最优融合方案。
通过蒙特卡洛模拟技术，对节点融合的可能性进行抽样。通过组合生成算法，确定可能的节点融合组合。通过一个基于邻接矩阵的图算法，对于每一个组合，生成任务分布图。通过统计学方法，计算每一个融合方案对应的任务分布图的平均值和方差。通过比较方差的大小，判断稳定性最佳的融合方案。通过设定一个评分规则，根据每一个融合方案的稳定性和效率进行评分。通过将各项评分加权求和，计算每个融合方案的总分。通过每个方案的总分得到最优方案。例如，有5个节点，每个节点有不同的任务分布情况。通过蒙特卡洛模拟技术，对节点融合的可能性进行抽样，假设共有20种可能的节点融合组合。针对每一种组合，使用基于邻接矩阵的图算法生成对应的任务分布图。假设每个任务分布图由10个任务节点组成。然后，使用统计学方法计算每个融合方案对应的任务分布图的平均值和方差。假设某个融合方案的平均值为50，方差为10。通过比较方差的大小，可以判断每一个融合方案的稳定性。假设另一个融合方案的方差为15，可以认为第一个方案稳定性更佳。接下来，可以根据每个融合方案的稳定性和效率进行评分。假设设定稳定性占比为60％，效率占比为40％。通过将各项评分加权求和，可以计算每个融合方案的总分。假设第一个方案的稳定性评分为80，效率评分为70，总分为76。最后，通过每个方案的总分，可以选择最优的节点融合方案。
步骤S105，判断需要融合节点的数据敏感等级，通过数据加密技术，对敏感级别高的节点的数据进行保护，并将加密后的敏感数据分布到多个融合节点上，得到数据融合结果。
根据预设的融合节点列表，获取每个融合节点内的数据，包括来源，性质，用途，进行数据的初步分类和整理，得到节点数据分类结果。采用数据敏感度评级体系，使用决策树算法对每个融合节点内的数据进行敏感度评估，得到数据敏感度等级。通过对比数据敏感度等级和预设的敏感等级阈值，判断每个融合节点内的数据是否为敏感数据，得到每个融合节点的敏感数据列表。根据敏感数据列表，使用AES加密算法对每个融合节点内的敏感数据进行加密处理，得到加密后的敏感数据。采用数据完整性检验技术，对加密后的敏感数据进行完整性检验，确认数据在加密过程中没有被篡改或损坏，得到数据完整性检验结果。根据完整性检验结果，判断是否需要重新进行数据加密处理，如果数据完整性检验失败，则需要对相应的融合节点内的敏感数据重新进行加密处理。对经过加密处理的敏感数据，通过数据分片和分布式存储技术，将加密后的敏感数据分布到多个融合节点上，得到数据融合结果。例如，融合节点A的来源为客户信息数据库，性质为个人身份信息，用途为客户管理；节点B的来源为支付信息系统，性质为交易记录，用途为支付分析；节点C的来源为市场调研报告，性质为市场趋势数据，用途为市场分析；首先，根据预设的融合节点列表，对每个节点内的数据进行初步分类和整理，得到节点数据分类结果，其中节点A数据分类为客户信息数据库，节点B数据分类为支付信息系统，节点C数据分类为市场调研报告；然后，使用决策树算法对每个融合节点内的数据进行敏感度评估，得到数据敏感度等级，假设评级体系为1-5，数值越高表示数据越敏感。则节点A为敏感度等级3，节点B为敏感度等级4，节点C为敏感度等级2；通过对比数据敏感度等级和预设的敏感等级阈值，可以判断每个融合节点内的数据是否为敏感数据，则节点A为敏感数据，节点B为敏感数据，节点C为非敏感数据，接下来，选择AES加密算法对每个融合节点内的敏感数据进行加密处理，得到加密后的敏感数据。然后，采用数据完整性检验技术，对加密后的敏感数据进行完整性检验，确认数据在加密过程中没有被篡改或损坏，得到数据完整性检验结果。根据完整性检验结果，如果数据完整性检验失败，则需要对相应的融合节点内的敏感数据重新进行加密处理。最后，对经过加密处理的敏感数据，利用数据分片和分布式存储技术，将加密后的敏感数据分布到多个融合节点上，得到数据融合结果。
步骤S106，采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整任务分布图。
通过数据仓库，获取历史融合数据，包括融合方法和效果记录。使用Python的Pandas库，将历史融合数据解析为可用的融合方法和效果，得到解析后的历史融合数据。根据解析后的历史融合数据，利用性能分析工具Profiler，计算历史融合的处理效率，并得到历史融合效率。采用线性规划工具，对历史融合效率进行优化，得到优化后的融合方法。根据优化后的融合方法，采用任务分布图生成器，生成新的任务分布图。获取新的任务分布图，通过项目管理工具MicrosoftProject，对新的任务分布图进行评估，得到任务分布图评估结果。根据任务分布图评估结果，通过工作流调整工具BPMN，对任务分布图进行调整，得到调整后的任务分布图。采用图论算法库，对任务分布图进行节点融合，得到融合后的任务分布图。通过融合后的任务分布图，记录本次的融合方法和效果，得到本次的融合记录。例如，有一个平台有订单处理、支付、库存管理、配送、客户服务多个业务节点，从数据仓库中检索上一次的融合方法和效果记录，假设发现上一次融合了支付和订单处理节点。使用Python的Pandas库来解析历史融合数据，确认融合的方法和效果，利用Profiler对上一次融合的效率进行评估，假设发现融合后的节点处理效率提高了20％，通过线性规划工具来优化融合效率。根据优化建议，使用任务分布图生成器绘制新的任务分布图，其中订单处理和库存管理节点融合在一起，使用MicrosoftProject评估新的任务分布图，假设发现新的任务分布图会导致库存不足的风险增加，通过BPMN工具调整任务分布图。将库存管理节点再次分离，并将其与供应链管理节点融合，以更好地平衡库存和需求，使用图论算法库对新的任务分布图进行节点融合，将库存管理和供应链管理节点融合，并根据需求调整库存水平。在融合后的任务分布图基础上，记录本次的融合方法和效果，假设发现这次融合将整个系统的处理效率提高了30％。
步骤S107，在制定节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化。
根据边缘计算节点的业务数据特性，获取不同类型的业务数据。采用数据分类工具scikit-learn的分类算法，将不同类型的数据进行分类，得到数据分类结果；根据数据分类结果，通过利用数据分析工具Python的Pandas库进行数据特性分析，生成数据特性分析报告。通过评估矩阵的方法，将数据特性分析报告中每类数据适用的节点融合方法进行评估，得到节点融合适用性评估结果；根据节点融合适用性评估结果，为每种类型的数据制定相应的节点融合方案，得到初步的节点融合方案。获取初步的节点融合方案，使用模拟测试工具Simulink，对融合方案进行模拟测试，得到模拟测试结果。若模拟测试结果不达标，采用遗传算法，对节点融合方案进行优化，得到优化后的节点融合方案。采用工作流测试工具，以优化后的节点融合方案为输入，进行实际运行测试，并得到实际运行测试结果。根据实际运行测试结果，对实际运行结果进行效果评估，得到节点融合效果评估结果。根据节点融合效果评估结果，判断节点融合效果是否最优化，若非最优化，则重新制定融合方案，否则，得到最终优化的节点融合方案。例如，要对一个电子商务平台的用户数据进行节点融合分析。根据边缘计算节点的业务数据特性，获取用户的购买记录、浏览记录、搜索记录等不同类型的数据。首先，使用scikit-learn的分类算法对这些数据进行分类，将购买记录分为购买高频用户和购买低频用户，将浏览记录分为浏览高频用户和浏览低频用户。然后，使用Python的Pandas库对数据分类结果进行数据特性分析，生成数据特性分析报告，例如，购买高频用户的平均购买金额是多少，浏览高频用户的平均浏览时长是多少等。接下来，使用评估矩阵的方法，将数据特性分析报告作为输入，对每类数据适用的节点融合方法进行评估，得到节点融合适用性评估结果，例如，购买高频用户适合使用集中式节点融合方法，而浏览高频用户适合使用分布式节点融合方法。基于节点融合适用性评估结果，为每种类型的数据制定相应的节点融合方案，得到初步的节点融合方案，例如，针对购买高频用户，将其数据存储在中央服务器上进行节点融合，而对于浏览高频用户，将其数据存储在边缘服务器上进行节点融合。使用Simulink进行模拟测试，对初步的节点融合方案进行测试，评估节点融合方案的性能、延迟等指标。然后，采用遗传算法对节点融合方案进行优化，得到可能调整节点融合的策略、数据分配方式等，以提高融合效果。接着，使用工作流测试工具，以优化后的节点融合方案为输入，测试节点融合方案在实际环境中的可行性、稳定性等。根据实际运行测试结果，对实际运行结果进行效果评估，评估节点融合方案是否能够提高数据处理速度、降低网络负载。最后，根据节点融合效果评估结果，判断节点融合效果是否最优化，如果非最优化，会重新制定融合方案，进行进一步的优化，如果最优化，得到最终优化的节点融合方案，可以在实际应用中使用。
步骤S108，在节点融合及数据处理中，获取用户权限信息，判断用户是否有权访问数据，通过访问控制技术对数据进行限制，只允许授权用户访问数据。
根据用户列表，获取所有用户的基本信息和权限等级，得到用户权限信息表。根据用户权限信息，使用用户权限管理工具ActiveDirectory表，按照权限级别对用户进行分类，得到分级后的用户权限信息；采用网络流量监控工具Wireshark，实时捕获用户的数据访问请求，得到用户访问请求信息。根据用户访问请求信息，通过身份验证服务OAuth，确定请求发起者的身份信息。根据请求发起者的身份信息，查询分级后的用户权限信息，确定请求发起者的权限等级。根据请求发起者的权限等级信息，采用数据访问权限控制工具RBAC系统，对用户的数据访问请求进行控制，并判断用户的数据访问请求是否被允许，得到数据访问请求审批结果。如果数据访问请求被拒绝，返回拒绝信息给用户；如果数据访问请求被批准，执行用户的数据访问请求，得到数据访问操作结果。根据数据访问操作结果，通过日志记录工具ELKStack，记录用户的数据访问行为，得到数据访问记录。例如，用户1的用户名为张三，权限等级为2，用户2的用户名为李四，权限等级为3，用户3的用户名为王五，权限等级为1；根据用户信息，获取所有用户的基本信息和权限等级，得到用户权限信息表为(用户名，权限等级)，(张三，2)，(李四，3)，(王五，1)；使用ActiveDirectory将用户权限信息表作为输入，按照权限级别对用户进行分类，得到分级后的用户权限信息为权限级别2的有张三，权限级别3的有李四，权限级别1的有王五；使用Wireshark实时捕获用户的数据访问请求，得到张三发起了访问文件A的请求。通过OAuth身份验证服务判断请求发起者的身份，得到请求发起者的身份信息，确定请求发起者是张三。根据用户权限信息表，确定张三的权限等级为2。根据请求发起者的权限等级信息，使用RBAC系统对用户的数据访问请求进行控制，得到数据访问控制结果，例如，根据张三的权限等级2，决定他可以访问文件A。根据数据访问控制结果，判断用户的数据访问请求是否被允许，得到数据访问请求审批结果，例如，张三的数据访问请求被允许。如果请求被批准，执行用户的数据访问请求，得到数据访问操作结果，例如，张三成功访问了文件A。通过ELKStack记录用户的数据访问行为，得到数据访问记录，例如，记录张三访问了文件A的时间和操作结果。
步骤S109，采用安全审计技术对记录的数据进行分析，及时发现并处理异常情况，以进一步保障系统的安全性。
根据日志管理工具ELKStack，获取所有用户的数据访问记录；对用户的数据访问记录进行清洗和标准化，得到预处理后的数据访问记录；采用异常检测工具Scikit-learn中的IsolationForest算法，将预处理后的数据访问记录进行异常检测，得到异常检测结果。根据异常检测结果，应用阈值策略进行异常判断，筛选出异常数据访问记录，得到异常数据访问报告。使用Python的Pandas库，解析异常数据访问报告，获取详细的异常访问事件，得到异常访问事件详情。通过异常访问事件详情，确定具体的异常用户和异常数据，得到异常用户列表和异常数据列表。根据异常用户列表，使用用户行为分析工具Splunk的UserBehaviorAnalytics模块，判断异常用户的行为模式，得到异常用户行为模式报告。获取异常用户行为模式报告，通过通过安全事件管理工具IBMQRadar进行审核，确定具体的处理措施，得到处理措施列表。根据处理措施列表，使用系统管理工具Ansible执行处理措施，得到处理结果，并确保系统的安全性。例如，有一个服务器，上面运行了一个web应用程序，该应用程序记录了每个访问者的数据访问行为，包括访问的文件、请求的时间等，这些记录被保存在日志文件中。使用ELKStack收集和管理这些日志文件。通过使用Logstash，对原始的数据访问记录进行清洗和标准化，例如去除无关的信息、转换时间格式等，得到预处理后的数据访问记录。采用Scikit-learn中的IsolationForest算法对预处理后的数据访问记录进行异常检测，例如，发现一些访问者在短时间内大量请求了同一个文件，这可能是一个异常行为。根据异常检测结果，设置一个阈值，例如每分钟访问同一个文件超过10次，以此来筛选出异常数据访问记录，然后生成异常数据访问报告。使用Python的Pandas库解析异常数据访问报告，获取详细的异常访问事件，包括异常的时间、访问的文件等，得到异常访问事件详情。通过异常访问事件详情，确定了一个异常用户，例如IP地址为“192.168.1.100”和其访问的异常数据，例如文件名为“private.doc”。根据异常用户列表，使用Splunk的UserBehaviorAnalytics模块分析这个异常用户的行为模式，例如该用户是否还访问了其他敏感文件，得到异常用户行为模式报告。获取异常用户行为模式报告，并通过IBMQRadar进行审核，例如确定这是一个恶意访问还是一个误报。确定处理措施，例如封禁该IP地址或者忽略该事件。根据处理措施列表，使用Ansible执行处理措施，例如修改防火墙规则以阻止该IP地址的访问。得到处理结果，并确保系统的安全性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于数据融合和边缘计算的电力业务评估方法，其特征在于，所述方法包括：
根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点所述业务数据的相互关联性；根据每个节点的所述业务数据，采用节点执行效率的评估方法，获取每个所述节点执行效率，判断不同节点在执行任务时的效率差异；结合所述业务数据、所述节点执行效率和所述业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图；基于生成的所述任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案；判断需要融合节点的数据敏感等级，通过数据加密技术，对敏感级别高的节点的数据进行保护，并将加密后的敏感数据分布到多个融合节点上，得到数据融合结果；采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整所述任务分布图；在制定所述节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化；在节点融合及数据处理中，获取用户权限信息，判断用户是否有权访问数据，通过访问控制技术对数据进行限制，只允许授权用户访问数据；采用安全审计技术对记录的数据进行分析，及时发现并处理异常情况，以进一步保障系统的安全性；
其中，所述基于生成的所述任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案，包括：
采用所述任务分布图，通过计算每个节点与其他节点的任务分布相似度，得到节点之间的相似度比较结果；通过进行K-means聚类，获取每个节点的聚类结果，通过所述聚类结果确定每个类别中的主要节点；根据主要节点与同类别其他节点融合后得到的新任务分布图，计算出与原任务分布图的变化程度，得到融合影响数据；通过融合影响数据，确定融合后的计算效率影响，得到计算效率影响数据；根据计算效率影响数据和每个融合方案的稳定性，进行评分，从而确定评分最高的融合方案，根据最优融合方案，重新生成新的任务分布图。
2.根据权利要求1所述的方法，其中，所述根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点所述业务数据的相互关联性，包括：
采用获取每个节点的业务数据的方法进行数据收集；通过对所述业务数据进行数据清洗，得到纯净的数据集；从所述纯净的数据集中抽取业务特征，得到特征矩阵；根据所述特征矩阵进行业务分类，得到每个类别的业务数量和占比；计算不同业务类别之间的互补性，获得业务互补性评估结果；在所述业务互补性评估结果中选择高于阈值的节点对，确定存在业务关联的节点对；基于所述存在业务关联的节点对，得到业务关联规则列表；将业务关联规则转化为业务关联矩阵。
3.根据权利要求1所述的方法，其中，所述根据每个节点的所述业务数据，采用节点执行效率的评估方法，获取每个所述节点执行效率，判断不同节点在执行任务时的效率差异，包括：
初始化一个数据仓库，用于存储每个节点的业务数据；通过从每个节点获取具体的业务数据，并将获取的数据存储到数据仓库中，得到数据仓库中的业务数据；对所述数据仓库中的业务数据进行数据清洗操作，得到清洗后的业务数据；从清洗后的业务数据中获取每个节点的执行效率相关的数据，得到节点执行效率数据；通过对所述节点执行效率数据进行计算，获得每个节点的执行效率并计算平均执行效率；计算各节点执行效率与平均执行效率的差值，得到每个节点的相对执行效率；对所有节点的执行效率进行排序，得到执行效率排名。
4.根据权利要求1所述的方法，其中，所述结合所述业务数据、所述节点执行效率和所述业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图，包括：
对原始数据进行清洗和格式化操作，得到清洗后的业务数据；从所述清洗后的业务数据中提取出反映节点执行效率和业务互补性的关键特征，以及反映节点间协同性的特征，得到节点特征数据；通过计算每对节点间的业务互补性和协同性，得到互补性和协同性数据；通过整合所述节点特征数据、节点执行效率数据和业务互补性数据以及协同性数据，得到一个完整的数据集；对所得到的完整数据集进行模型训练，得到预测模型；对得到的预测模型进行评估，确定模型的性能；根据模型的预测结果，生成一个代表任务在各节点间的理想分布的任务分布图。
5.根据权利要求1所述的方法，其中，所述判断需要融合节点的数据敏感等级，通过数据加密技术，对敏感级别高的节点的数据进行保护，并将加密后的敏感数据分布到多个融合节点上，得到数据融合结果，包括：
通过获取每个融合节点内的数据，进行初步分类和整理，得到分类整理后的数据；采用决策树算法进行数据敏感度评估，得到数据敏感度级；通过对比所述数据敏感度级和预设的敏感级阈值，判断出融合节点内的敏感数据；使用AES加密算法对所判断出的敏感数据进行加密处理，得到加密处理后的数据，并进行数据完整性检验；根据检验结果，决定是否需要重新进行加密处理；将加密后的敏感数据分布到多个融合节点上。
6.根据权利要求1所述的方法，其中，所述采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整所述任务分布图，包括：
通过获取历史融合数据，解析为融合方法和效果，得到历史融合的方法和效果；根据历史融合的方法和效果，计算历史融合的处理效率，进行优化后得到新的融合方法；根据优化后的融合方法，生成新的任务分布图；对新的任务分布图进行评估，得到评估结果，进行调整，得到调整后的任务分布图；对调整后的任务分布图进行节点融合，记录本次的融合方法和效果。
7.根据权利要求1所述的方法，其中，所述在制定所述节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化，包括：
通过获取业务数据，对所述业务数据进行数据分类，从而得到数据的分类结果；根据所得到的分类结果，生成数据特性分析报告；采用评估矩阵法对应各类数据的节点融合方法，由此制定出初步的节点融合方案；对所述初步的节点融合方案进行模拟测试，若测试结果不满意，则对所述初步的节点融合方案进行优化，并得到优化后的节点融合方案；对所述优化后的节点融合方案进行实际运行测试，并对测试结果进行评估，从而判断节点融合效果是否最优；若节点融合效果不是最优，则重新对各类型数据的节点融合方案进行制定，直到得到最终优化的节点融合方案。
8.根据权利要求1所述的方法，其中，所述在节点融合及数据处理中，获取用户权限信息，判断用户是否有权访问数据，通过访问控制技术对数据进行限制，只允许授权用户访问数据，包括：
获取用户权限信息表；根据权限级别，对用户进行分类，得到分类后的用户；实时捕获分类后的用户的数据访问请求，并通过身份验证服务确定请求发起者；查询所确定的请求发起者的权限级，从而对其数据访问请求进行控制；判断是否批准所述数据访问请求，若拒绝，返回拒绝信息给用户；若批准，执行用户的数据访问请求，并记录用户的数据访问行为。
9.根据权利要求1所述的方法，其中，所述采用安全审计技术对记录的数据进行分析，及
时发现并处理异常情况，以进一步保障系统的安全性，包括：
获取所有用户的数据访问记录，对所获取的数据访问记录进行清洗和标准化，从而得到清洗和标准化后的数据访问记录；对所得到的清洗和标准化后的数据访问记录进行异常检测，通过阈值策略进行异常判断，筛选出异常数据访问记录；解析所筛选出的异常数据访问记录，生成异常数据访问报告，从报告中获取异常访问事件详情，确定具体的异常用户和异常数据；判断所确定的异常用户的行为模式，通过安全事件管理工具进行审核，确定具体的处理措施；执行所确定的处理措施，以确保系统的安全性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311158701.3A CN117195292B (zh) | 2023-09-08 | 2023-09-08 | 一种基于数据融合和边缘计算的电力业务评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311158701.3A CN117195292B (zh) | 2023-09-08 | 2023-09-08 | 一种基于数据融合和边缘计算的电力业务评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117195292A CN117195292A (zh) | 2023-12-08 |
| CN117195292B true CN117195292B (zh) | 2024-04-09 |
Family
ID=89004709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311158701.3A Active CN117195292B (zh) | 2023-09-08 | 2023-09-08 | 一种基于数据融合和边缘计算的电力业务评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117195292B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108093401A (zh) * | 2017-12-13 | 2018-05-29 | 电子科技大学 | 一种基于边缘计算的移动智能终端隐私保护系统及方法 |
| CN108924081A (zh) * | 2018-05-03 | 2018-11-30 | 深圳中泰智丰物联网科技有限公司 | 基于边缘计算的物联网中保护用户隐私抵抗恶意用户方法 |
| CN109753360A (zh) * | 2018-12-29 | 2019-05-14 | 南方电网科学研究院有限责任公司 | 面向电力系统中边缘节点的轻量级数据管理系统及方法 |
| CN111601266A (zh) * | 2020-03-31 | 2020-08-28 | 浙江吉利汽车研究院有限公司 | 协同控制方法及系统 |
| CN113703969A (zh) * | 2021-08-12 | 2021-11-26 | 江苏方天电力技术有限公司 | 一种基于边缘计算的可多源数据处理的配电物联网体系 |
| CN115543989A (zh) * | 2022-11-04 | 2022-12-30 | 南方电网数字电网研究院有限公司 | 一种基于多源异构数据的融合处理方法 |
| CN116149849A (zh) * | 2022-12-19 | 2023-05-23 | 杭州中科先进技术发展有限公司 | 一种面向智慧水务复杂时间尺度数据融合的边缘计算方法 |
| CN116304950A (zh) * | 2023-04-04 | 2023-06-23 | 广东电网有限责任公司 | 一种配电网多源异构数据融合方法、装置及存储介质 |
| CN116611749A (zh) * | 2023-02-13 | 2023-08-18 | 国家电投集团数字科技有限公司 | 一种基于微服务架构的电力数据智能录入方法及系统 |
| WO2023164929A1 (zh) * | 2022-03-01 | 2023-09-07 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200380050A1 (en) * | 2019-06-03 | 2020-12-03 | Wangsu Science & Technology Co., Ltd. | Method for acquiring service data and converged cdn system |
-
2023
- 2023-09-08 CN CN202311158701.3A patent/CN117195292B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108093401A (zh) * | 2017-12-13 | 2018-05-29 | 电子科技大学 | 一种基于边缘计算的移动智能终端隐私保护系统及方法 |
| CN108924081A (zh) * | 2018-05-03 | 2018-11-30 | 深圳中泰智丰物联网科技有限公司 | 基于边缘计算的物联网中保护用户隐私抵抗恶意用户方法 |
| CN109753360A (zh) * | 2018-12-29 | 2019-05-14 | 南方电网科学研究院有限责任公司 | 面向电力系统中边缘节点的轻量级数据管理系统及方法 |
| CN111601266A (zh) * | 2020-03-31 | 2020-08-28 | 浙江吉利汽车研究院有限公司 | 协同控制方法及系统 |
| CN113703969A (zh) * | 2021-08-12 | 2021-11-26 | 江苏方天电力技术有限公司 | 一种基于边缘计算的可多源数据处理的配电物联网体系 |
| WO2023164929A1 (zh) * | 2022-03-01 | 2023-09-07 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
| CN115543989A (zh) * | 2022-11-04 | 2022-12-30 | 南方电网数字电网研究院有限公司 | 一种基于多源异构数据的融合处理方法 |
| CN116149849A (zh) * | 2022-12-19 | 2023-05-23 | 杭州中科先进技术发展有限公司 | 一种面向智慧水务复杂时间尺度数据融合的边缘计算方法 |
| CN116611749A (zh) * | 2023-02-13 | 2023-08-18 | 国家电投集团数字科技有限公司 | 一种基于微服务架构的电力数据智能录入方法及系统 |
| CN116304950A (zh) * | 2023-04-04 | 2023-06-23 | 广东电网有限责任公司 | 一种配电网多源异构数据融合方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Research on Multi-source Data Processing and Fusion Technology of Low-Voltage Distribution Network Based on Edge Computing;Shenchen Pan，etc;《2021 International Conference on Computer, Internet of Things and Control Engineering (CITCE)》;20220304;全文 * |
| 边缘计算在电力物联网中的应用;王芮;《电器时代》;20230331;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117195292A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11848760B2 (en) | Malware data clustering | |
| WO2021077642A1 (zh) | 一种基于异构图嵌入的网络空间安全威胁检测方法及系统 | |
| US7555482B2 (en) | Automatic detection of abnormal data access activities | |
| Das et al. | Manipulation among the arbiters of collective intelligence: How Wikipedia administrators mold public opinion | |
| CN104202339B (zh) | 一种基于用户行为的跨云认证服务方法 | |
| US20120102361A1 (en) | Heuristic policy analysis | |
| US20060074621A1 (en) | Apparatus and method for prioritized grouping of data representing events | |
| US11595416B2 (en) | Method, product, and system for maintaining an ensemble of hierarchical machine learning models for detection of security risks and breaches in a network | |
| CN109829721B (zh) | 基于异质网络表征学习的线上交易多主体行为建模方法 | |
| KR101620601B1 (ko) | 보안성 진단 방법 및 이를 위한 컴퓨터 프로그램, 그 기록매체 | |
| CN114270391A (zh) | 量化隐私影响 | |
| CN114915479A (zh) | 一种基于Web日志的Web攻击阶段分析方法及系统 | |
| CN112488716A (zh) | 一种异常事件检测系统 | |
| CN111797942A (zh) | 用户信息的分类方法及装置、计算机设备、存储介质 | |
| Hao et al. | A sequential detection method for intrusion detection system based on artificial neural networks | |
| Ding et al. | TraceDiag: Adaptive, Interpretable, and Efficient Root Cause Analysis on Large-Scale Microservice Systems | |
| CN117521117A (zh) | 一种医疗数据应用安全与隐私保护方法及系统 | |
| JP2013178637A (ja) | データ検定装置、データ検定方法、およびプログラム | |
| CN117195292B (zh) | 一种基于数据融合和边缘计算的电力业务评估方法 | |
| CN112200684A (zh) | 一种检测医保欺诈的方法、系统及存储介质 | |
| Wang et al. | Bot-like Behavior Detection in Online Banking | |
| CN116501770B (zh) | 一种基于模糊算法的用户数据采集方法及系统 | |
| Feng et al. | Blockchain-oriented approach for detecting cyber-attack transactions | |
| CN111917801A (zh) | 私有云环境下基于Petri网的用户行为认证方法 | |
| Sengottuvelan et al. | An improved session identification approach in web log mining for web personalization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |