CN117749800B - 新能源发电侧实现边缘数据存储与传输的方法和相关装置 - Google Patents

Abstract

本发明提供了一种新能源发电侧实现边缘数据存储与传输的方法和相关装置，该方法包括数据采集与预处理、数据存储与读取以及数据加密传输三部分。针对新能源发电侧边缘节点设备的运行监测需求和数据分析需求，计算各节点数据的重要性和关键性指标，结合各存储节点的资源利用情况，将节点数据适应性的分配到最优的存储节点位置，并对其中的关键数据进行冗余备份设置。已存储的数据采用动态一致性哈希策略进行数据的准确定位与读取，并采用合适的加密和压缩策略，动态选择适应当前网络传输状况的传输协议实现边缘节点数据的高效传输。本发明引入数据的重要性和关键性指标，实现了大规模数据的安全存储，同时动态调整传输策略，保证了数据传输的效率。

Description

新能源发电侧实现边缘数据存储与传输的方法和相关装置

技术领域

本发明属于新能源发电技术领域，具体涉及一种新能源发电侧实现边缘数据存储与传输的方法和相关装置。

背景技术

在以双碳为目标的能源革命中，以数字化手段实现低碳减排是相关企业实现双碳目标和保证企业经济效益的重要途径。新能源发电侧依托物联网技术，通过数字化转型重构了传统的信息系统架构，形成了面向能源互联网的云边协同数字平台。该平台在云端实现了通讯协议、数据加工模型的下载、设备实时数据的上传；边缘层提供工业数据采集、预处理、分析等功能，实现了双通道实时采集与时序数据管理，可以进行计算电力指标、设备故障预测、诊断等操作。

然而，随着物联网技术的日新月异以及数据规模日渐庞大，现有平台面临着边缘数据安全传输与存储的巨大挑战。传统的数据存储与传输方法中，数据传输效率低下、存储架构灵活性不足，难以满足大规模数据处理的需求。

发明内容

有鉴于此，本发明旨在提供一种新能源发电侧实现边缘数据存储与传输的方法和相关装置，以高效、安全的支撑边缘数据的存储与传输，解决现有技术在应对新能源发电侧大规模数据处理的不足。

为了解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供了一种新能源发电侧实现边缘数据存储与传输的方法，包括如下步骤：

获取新能源发电侧中各边缘节点当前的节点数据和各分布式存储节点的资源利用指标；

将节点数据进行预处理和标准化处理，得到符合存储要求的结构化数据；

根据不同类型节点数据的重要性程度，确定各边缘节点对应的结构化数据的重要性指标；

基于重要性指标和资源利用指标从所述分布式存储节点中确定数据适应性分配的目标存储节点；

根据不同类型节点数据的关键性指标计算各边缘节点对应的结构化数据的冗余备份数量；

基于数据的所述目标存储节点和所述冗余备份数量将所述结构化数据存储到对应的分布式存储节点中；

根据数据请求需求，采用一致性哈希算法从分布式存储节点中定位并读取所需数据；

将所需数据进行加密处理和压缩处理，在保证数据质量的前提下，以最大化数据传输效率为目标，基于传输网络状况和数据传输流量动态调整压缩率和传输协议；

基于所选择的传输协议对加密压缩后的所需数据进行传输。

进一步的，重要性指标是基于节点数据中各类型数据的重要性权重确定的，重要性权重由各类型数据在各自应用领域对新能源发电侧边缘节点进行运行监测的贡献程度确定。

进一步的，从分布式存储节点中确定数据适应性分配的目标存储节点，具体包括如下步骤：

将结构化数据划分至对应的重要性等级中并根据重要性指标进行排序，重要性等级是根据节点数据的重要性程度所划分的若干个等级，每一个重要性等级对应一个重要性指标范围，重要性指标范围是基于重要性指标划分得到的；

基于每个重要性等级中的结构化数据数量和对应范围内的分布式存储节点数量进行适应性分配计算，将排序后的结构化数据平均分配至资源利用指标从小到大排序的分布式存储节点中，从而确定每个结构化数据的目标存储节点，每一个重要性等级对应一个分布式存储节点范围，分布式存储节点范围是基于资源利用指标划分得到的。

进一步的，适应性分配计算，具体按照下式进行：

式中，/>为结构化数据数量为m，分布式存储节点数量为n的适应性分配计算函数，/>为数据量，/>为分布式存储节点编号，/>为m除以n得到的余数。

进一步的，关键性指标由评估节点数据是否需要冗余备份的若干个因素和对应权重确定，当因素包括数据类型、使用频率和数据丢失造成影响的衡量指标时，关键性指标按照下式计算：

式中，/>为关键性指标的值，/>、/>和/>分别为数据类型、使用频率和衡量指标，/>、/>、/>分别为对应的权重。

进一步的，冗余备份数量具体按照下式计算：

式中，/>为冗余备份数量的值，/>为冗余备份函数，/>为关键性指标的值，/>为预设整数，/>表示向上取整操作。

进一步的，在基于一致性哈希算法从分布式存储节点中定位并读取所需数据中具体采用动态一致性哈希算法，定位并读取的流程具体包括如下步骤：

根据当前的查询条件确定对应的哈希函数，查询条件为根据若干种不同的查询需求预设的查询规则，在动态一致性哈希算法中设置不同的哈希函数与查询规则一一对应；

利用哈希函数计算数据请求需求对应的数据项的哈希值；

基于哈希值，从哈希环的顺时针方向开始寻找，找到的第一个节点为目标节点，哈希环为结构化数据和分布式存储节点采用一致性哈希策略映射而成的哈希空间；

从目标节点上读取所需数据。

第二方面，本发明提供了一种新能源发电侧实现边缘数据存储与传输的系统，实现如第一方面的方法，包括：

数据采集与预处理单元，用于获取新能源发电侧中各边缘节点当前的节点数据和各分布式存储节点的资源利用指标；还用于将节点数据进行预处理和标准化处理，得到符合存储要求的结构化数据；

数据存储与读取单元，用于根据不同类型节点数据的重要性程度，确定各边缘节点对应的结构化数据的重要性指标；还用于基于所述重要性指标和所述资源利用指标从所述分布式存储节点中确定数据适应性分配的目标存储节点；还用于根据不同类型节点数据的关键性指标计算各边缘节点对应的结构化数据的冗余备份数量；还用于基于数据的所述目标存储节点和所述冗余备份数量将所述结构化数据存储到对应的分布式存储节点中；还用于根据数据请求需求，基于一致性哈希算法从分布式存储节点中定位并读取所需数据；

数据加密传输单元，用于将所需数据进行加密处理和压缩处理，在保证数据质量的前提下，以最大化数据传输效率为目标，基于传输网络状况和数据传输流量动态调整压缩率和传输协议；还用于基于所选择的传输协议对加密压缩后的所需数据进行传输。

相应地，本发明还提供了一种计算机设备，设备包括处理器以及存储器：

存储器用于存储计算机程序，并将计算机程序的指令发送至处理器；

处理器根据计算机程序的指令执行如第一方面的方法。

相应地，本发明还提供了一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面的方法。

综上，本发明提供了一种新能源发电侧实现边缘数据存储与传输的方法和相关装置，该方法主要包括数据采集与预处理部分、数据存储与读取部分以及数据加密传输部分。其中，针对新能源发电侧边缘节点设备的运行监测需求和数据分析需求，计算各边缘节点数据的重要性指标和关键性指标，结合各分布式存储节点的资源利用情况，将节点数据适应性的分配到最优的存储节点位置，并对其中的关键数据进行冗余备份设置。已存储的数据采用动态一致性哈希策略进行数据的准确定位与读取，并采用合适的加密和压缩策略，动态选择适应当前网络传输状况的传输协议实现边缘节点数据的高效传输。本发明引入数据的重要性指标和关键性指标，实现了大规模数据的安全存储，同时动态调整传输策略，保证了数据传输的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种新能源发电侧实现边缘数据存储与传输的方法的流程图；

图2为本发明实施例提供的一种新能源发电侧实现边缘数据存储与传输的系统的结构图；

图3为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本实施例提供一种新能源发电侧实现边缘数据存储与传输的方法，包括如下步骤：

S1：获取新能源发电侧中各边缘节点当前的节点数据和各分布式存储节点的资源利用指标。

需要说明的是，边缘计算在新能源发电领域的应用意味着更多处理过程将在本地边缘侧完成，只需要将处理结果上传至云端，可以大大提升处理效率，减轻云端压力，更加贴近本地，可以保障数据的安全性，为用户提供更快的响应。在传统的电力网络中，各个电力终端采集到的数据将传输到主站统一处理。但随着电网规模的扩大，接入的终端设备和产生的数据量不断增多，数据的传输和处理将耗费大量的网络和计算资源，且无法满足时延和安全性的需求。而扩大边缘计算在感知层的应用，可以满足此类需求。

因此，本步骤中所获取的节点数据即为边缘设备所接入的各类本地发电设备（例如光伏发电板、风机等）相关的数据。在实际实施时，可以通过在边缘侧布置的传感器获取发电设施内如风机和光伏板等核心设备的原始数据，实时地将这些信息进行后续处理。这些原始数据广泛覆盖了设备的运行状态、正在进行的操作以及关键指标信息，例如电流、电压和功率等。这些被标记为“重要”的数据，将为后续的数据存储提供实质性依据。

而分布式存储节点的资源利用指标则可根据节点的CPU利用率、内存使用率、存储使用率等多个指标来确定，可以通过一种组合的方式综合这些指标来得出一个使用率的综合指数，最终使用节点的资源利用率N来表示。

S2：将节点数据进行预处理和标准化处理，得到符合存储要求的结构化数据。

需要说明的是，所采集的节点数据需要进行格式标准化、数据清理以及异常检测等必要操作，这都是为了保证数据的准确性和有效性。根据特定的设备类型优化预处理规则。例如，针对风机和光伏板这类设备，会有特别的数据清洗和标准化流程，最终确保原始数据能被准确地转化为适应发电设备特性的结构化数据。

这样的数据转换不仅大大提高了数据储存的效率，也为接下来的数据加密程序提供了标准化的输入，从而确保设备信息在整个系统内部的安全性和可管理性。

S3：根据不同类型节点数据的重要性程度，确定各边缘节点对应的结构化数据的重要性指标。

需要说明的是，原始数据在经过格式规范化、清洗以及异常检测后，被整理为结构化的预处理数据，即结构化数据。这些数据将进行后续的存储与读取流程。在数据存储之前，可以先执行数据格式校验，以确保所接收到的数据完全遵循即将存储的数据结构和格式要求。

成功校验后的数据将存入分布式存储系统。此时，运行一个深度计算函数，该函数依赖于数据重要性和可用节点资源利用率，以决定在系统中的最佳数据存储位置。

对于数据的重要性，由于节点数据包括若干类型的数据，不同类型数据对于新能源发电侧对边缘节点接入设备进行运行监测与数据分析的贡献度不一样。因此，采用重要性指标量化各类数据的重要性程度。

S4：基于所述重要性指标和所述资源利用指标从所述分布式存储节点中确定数据适应性分配的目标存储节点。

需要说明的是，对于分布式存储系统中的各个节点来说，数据存储是一个适应性的过程，即将当前数据存储到最优的存储位置。本步骤中，综合考虑了数据的重要性程度和存储节点的资源利用能力，为数据选择相应的节点。

S5：根据不同类型节点数据的关键性指标计算各边缘节点对应的结构化数据的冗余备份数量。

需要说明的是，为了提升数据存储的安全性，需要对于关键数据进行冗余备份。冗余备份的数量基于所存储数据的关键性指标所确定。可以理解的是，关键性指标是量化每种数据关键性的指标，该类数据的安全存储尤为重要。

S6：基于数据的所述目标存储节点和所述冗余备份数量将所述结构化数据存储到对应的分布式存储节点中。

需要说明的是，前述步骤已经计算得到每个节点所分配的数据量，即为各结构化数据分配的存储位置，并且对于其中的关键性数据进行了冗余备份设置。可以理解的是，数据的存储位置分配是一个动态的过程，随着数据被分配到相应的存储节点，该节点的资源利用率也随之发生变化，直到所有数据都分配到最优的存储节点。

S7：根据数据请求需求，基于一致性哈希算法从分布式存储节点中定位并读取所需数据。

需要说明的是，一致性哈希算法将所有数据和节点映射到同一个哈希空间，该哈希空间通常是一个预定义的大整数范围，例如从0到2³²-1，形成一个逻辑环，称之为哈希环。

在这个环上，每个数据项和节点都有一个位置，其位置通过哈希函数来确定。对于任意一个数据项d，可以通过哈希函数将其映射到哈希环上，计算公式如下：；其中，/>代表数据项d在哈希环上的位置。

对于节点n，位置也类似地计算：

；其中，/>代表节点n在哈希环上的位置。

如上，对于所需数据，按照上述原理寻找，则可以定位到相应数据。

有了哈希空间后，当数据读取请求到来，可以通过如上方法查找哈希空间快速定位到请求数据所在的节点，确定出数据存储节点，对该节点发送数据读取请求，返回得到的数据给用户。一致性哈希带来的一个显著优势是，当新增或减少节点时，只需针对部分数据重新定位，大幅提升了系统稳定性和可扩展性。

另外，对于数据的读取，还可以引入权限管理以及访问控制策略，仅允许经过认可的请求检索数据。这样的措施保障了数据的机密性和完整性，使得数据加密处理过程可以读取并开始数据加密处理。

S8：将所需数据进行加密处理和压缩处理，在保证数据质量的前提下，以最大化数据传输效率为目标，基于传输网络状况和数据传输流量动态调整压缩率和传输协议。

需要说明的是，在接收到分布式存储系统提供的结构化且经过验证的数据后，加密处理时可以基于特定的数据标准格式进行验证，以确保数据符合预设的结构规范。通过后的数据被标记为D作为加密算法的输入。

加密过程起始于设定密钥键P，这个密钥在新能源发电领域中，当中包含一些特定的参数，例如电力负载的变化、设备的运行状态等。

加密完的数据D'被传递给数据传输流程。只有当数据请求者提供了正确的解密密钥时，才能够解密数据D'，获取原始的新能源发电数据。

在数据成功经过加密处理后，数据传输过程获得了一系列已经加密的数据包。这些数据包以经过特定格式处理的方式被加密，使得传输过程能够有效地应用压缩算法来进一步压缩数据包。

传输模块对这些标准化的加密数据包执行尾随压缩（tailored compression），这是一种基于数据内容和结构的压缩技术，它优先识别并压缩数据中的冗余部分。该技术考虑到加密后数据的熵（entropy）通常较高，因而选择与加密算法兼容的压缩算法，如Run-Length Encoding (RLE) 或 Huffman Coding，在不损失数据加密质量的情况下最大化压缩效率。

其次，通过实时监控网络状况和数据传输流量，数据传输过程可以动态地调整压缩率，并采取相应的传输策略，例如使用TCP/IP协议保证数据的可靠传输或UDP协议提高传输速度。这种动态调节保证了即使在网络变化或拥挤的情况下，数据包的完整性和时效性仍得以保障。

此外，数据传输过程还可以运用流量控制和拥塞控制机制，以及数据优化技术和自适应策略等方法，进一步提升了数据传输效率。具体流程如下：

首先识别当前的网络条件和数据传输需求，例如数据量、传输距离、网络带宽等。根据这些条件，选择合适的数据传输协议。例如，对于实时性要求高的应用，可以选择实时传输协议RTP，而对于文件传输等非实时应用，选择TCP或UDP更为合适。

其次为了确保发送方和接收方的数据传输速率同步，流量控制机制会调整发送数据的速率。例如，通过实时监测网络拥堵情况和接收方的处理能力，自动调整发送速率，避免发送过快导致接收方来不及处理。拥塞控制机制通过检测网络拥塞情况动态调整数据发送速率。当检测到网络拥塞时，它会减慢发送速率，反之则会加快发送速率。这样可以有效避免网络拥塞和数据丢包现象。

最后根据实际网络状况、设备性能和用户需求等动态调整传输参数。例如，自动调整缓冲区大小、重传超时时间、窗口大小等，以实现最佳的数据传输效果。这种自适应策略可以根据不同的应用场景和实际需求进行灵活配置和调整，确保数据传输始终处于最佳状态。

如果在传输过程中发生丢包或错误，数据传输过程可以设置自动重传的功能，确保数据的完整性。另外，该传输过程还支持多种错误恢复策略，如前向纠错编码（FEC）和重传机制等。

S9：基于所选择的传输协议对加密压缩后的所需数据进行传输。

本发明提供了一种新能源发电侧实现边缘数据存储与传输的方法，该方法引入数据的重要性指标和关键性指标，实现了大规模数据的安全存储，同时动态调整传输策略，保证了数据传输的效率。

在本发明的一个实施例中，重要性指标是基于节点数据中各类型数据的重要性权重确定的，重要性权重由各类型数据在各自应用领域对新能源发电侧边缘节点进行运行监测的贡献程度确定。

数据的重要性可以根据数据类型、数据敏感性以及数据应用领域的不同来评估。典型的数据类型包括气象数据、设备运行数据、电力产量数据等。这些数据各有不同的应用目的。例如，气象数据对于新能源电力预测模型的准确性至关重要；设备运行数据则对设备维护和故障预警起决定性作用；电力产量数据则涉及到电网的安全稳定运行。

因此，在评估数据重要性时，可以根据数据的应用领域制定一个权重矩阵W，每一行对应一个数据类型，每一列对应一个应用领域，矩阵中的每个元素代表该数据类型在该应用领域中的重要性权重。可以定义数据的重要性度量D为数据在不同应用领域的重要性权重之和。

在本发明的一个实施例中，从所述分布式存储节点中确定数据适应性分配的目标存储节点，具体包括如下步骤：

S41：将所述结构化数据划分至对应的重要性等级中并根据所述重要性指标进行排序，所述重要性等级是根据所述节点数据的重要性程度所划分的若干个等级，每一个所述重要性等级对应一个重要性指标范围，所述重要性指标范围是基于所述重要性指标划分得到的；

S42：基于每个所述重要性等级中的结构化数据数量和对应范围内的分布式存储节点数量进行适应性分配计算，将排序后的所述结构化数据平均分配至所述资源利用指标从小到大排序的分布式存储节点中，从而确定每个所述结构化数据的目标存储节点，每一个所述重要性等级对应一个分布式存储节点范围，所述分布式存储节点范围是基于所述资源利用指标划分得到的。

在数据到节点的存储分配中，我们采用的新策略涉及到对数据项的重要性度量D以及节点的资源利用率N进行等级划分。节点等级的划分可根据节点数量结合节点综合利用率指数进行排序后，设置等级数划分，而数据重要性度量可根据度量值范围结合节点等级数进行划分，如上划分可保证数据项的重要性等级与节点的存储等级一一对应。

具体来说，对于每个重要性等级，我们首先根据数据项的重要性度量D值进行排序，从而得到每个等级中重要性从大到小排列的数据项。接着，这些数据项将被平均分配到对应等级的节点进行存储。

具体地，平均分配是指在同一等级内，节点数为n，数据项数为m的情况下，数据项被平均分配到各个节点上。当m不能被n整除时，会优先将数据项分配到利用率较低的节点。

例如，当n=3且m=4时，按照利用率从低到高排序后的节点，数据项的分配情况将依次为2、1、1。当m=5时，数据项的分配情况将依次为2、2、1。当m=6时，数据项的分配情况将依次为2、2、2。

在本发明的进一步实施例中，对于具体的分配算法公式，首先确定一个函数F(n,m)，代表当节点数为n，数据项数为m时，分配到每个节点上的数据项数量。令q和r为m除以n得到的商和余数，得到适应分配的函数如下：

式中，/>为结构化数据数量为m，分布式存储节点数量为n的适应性分配计算函数，/>为数据量，/>为分布式存储节点编号，按照每个节点的利用率从低到高进行排序，/>为m除以n得到的余数。

这个公式表明，当数据项不能平均分配到每个节点时，我们依次给利用率较低的r个节点分配q+1个数据项，其余节点分配q个数据项。

这种策略实质上是将最重要的数据项优先分配到资源使用率最低的节点上，然后再将次重要的数据项分配到剩余的节点上，这种方式可以有效地平衡数据的存取效率和节点资源的使用效率，从而提升整个系统的处理能力和运行效率。

在本发明的一个实施例中，关键性指标由评估节点数据是否需要冗余备份的若干个因素和对应权重确定。对于关键数据进行冗余备份，首先进行数据关键性的评估，主要可以包括以下几个方面：数据类型、使用频率、数据丢失造成的影响等。例如，设备的工作状态、产能数据这类数据在整个数据体中可能占有较高的关键性，因为这些数据直接影响发电量的预测、设备的日常运行和维护等重要环节。

当因素包括数据类型、使用频率和数据丢失造成影响的衡量指标时，关键性指标按照下式计算：

式中，/>为关键性指标的值，/>、/>、/>分别为数据类型、使用频率和数据丢失造成影响的衡量指标，/>、/>、/>分别为对应的权重。

需要说明的是，这些指标可以通过归一化处理，选择使用线性归一化，即将数据按比例缩放到0-1区间。线性归一化的公式如下：

；其中，x是待归一化的原始数据，x’是归一化后的数据，min(x)和max(x)分别是数据的最小值和最大值。

这样处理后，所有数据都会在同一区间内，既消除了不同尺度上的影响，又保证不同指标在求和评价时候的公平性。

在本发明的一个实施例中，对于计算冗余备份数r的函数，可以采用下式计算：

式中，/>为冗余备份数量的值，/>为冗余备份函数，/>为关键性指标的值，/>为预设整数。

具体的，n是系统根据实际需要设定的一个参数。也就是说，冗余备份数是关键性指数的n倍（向上取整），这样设置的目的是为了简化模型，同时考虑到实际运用的便利性。在实际应用中，n的值可以根据系统的情况进行调整，达到效果和效率上的平衡。根据上述公式，可以保证所有的数据至少有一份冗余，同时对重要数据增加了更多的备份，有利于增强系统的健壮性和稳定性。

在本发明的一个实施例中，在基于一致性哈希算法从分布式存储节点中定位并读取所需数据中具体采用动态一致性哈希算法，定位并读取的流程具体包括如下步骤：

S71：根据当前的查询条件确定对应的哈希函数，查询条件为根据若干种不同的查询需求预设的查询规则，在动态一致性哈希算法中设置不同的哈希函数与查询规则一一对应；

S72：利用哈希函数计算数据请求需求对应的数据项的哈希值；

S73：基于哈希值，从哈希环的顺时针方向开始寻找，找到的第一个节点为目标节点，哈希环为结构化数据和分布式存储节点采用一致性哈希策略映射而成的哈希空间；

S74：从目标节点上读取所需数据。

动态哈希环允许节点和数据在哈希环上的位置随着数据查询条件的变化进行动态调整，以满足数据查询面对多变场景的需求。例如，你可能根据节点的负载情况，或数据的访问频率，或根据特定的业务规则，动态地改变哈希函数，从而重新分布哈希环上的节点和数据。

在进行数据查询时，实现步骤如下：

首先，根据当前查询条件，选择或计算出对应的哈希函数，记为Hash′，根据Hash′，我们可以得到数据项d在动态哈希环上的位置H′d=Hash′(d)。

然后，我们在动态哈希环上，按顺时针方向从位置H′d开始寻找，找到第一个节点n，即为目标节点。

这种动态哈希环更加适应查询条件多变的场景，可以根据实际情况动态优化节点和数据在哈希环上的分布，进一步提高了系统的稳定性和可扩展性。同时，由于节点和数据的位置可以动态调整，这也有助于提高数据访问的效率，尤其是在数据访问模式具有明显的热点特性的场景中。

在本发明的一个实施例中，加密算法可以采用AES加密。

为了优化加密过程，可以采用以下两种策略：

并行处理：这个策略提高了数据处理的效率。将数据D拆分成多份让处理器同时进行AES的加密处理，这样使得数据加密能够同时进行，大大提升了效率并缩短了处理时间。

选择加密模式：选择了CTR（计数器）模式作为AES的加密模式。CTR模式把加密灵活化，将块加密转化为流加密，这样每一段数据都能够被独立处理，使它在并行处理模式下能够大大提高处理速度。

基于以上策略，数据D经过加密函数E的处理后，得到加密后的数据D'。公式如下：

；其中，P为密钥键，/>代表使用CTR模式的AES加密函数。

本发明提供了一种专为新能源发电领域设计的高效、安全的边缘数据加密传输与存储方法。该方法充分考虑了发电领域的特性，特别强调全过程的数据安全，从发电端设备至终端用户，确保数据的机密性、完整性和持久性。

数据采集与预处理部分针对关键的发电终端设备进行数据采集，保存其关键数据。数据加密部分利用针对新能源发电领域的定制化加密算法，为采集到的数据实现强化加密保护。数据安全存储部分应用分布式存储技术，结合纠错和分布式哈希技术，能够为数据提供保护并实现快速访问。数据传输部分优化通信协议，满足大数据量和高传输频率的需求，保证数据的快速稳定传输。

本发明的主要创新在于为新能源发电领域的数据特性设计专属加密算法和存储机制，以及实现了对发电终端设备关键数据的全流程安全保护。相比现有技术，本方法的应用可以大大提高新能源发电数据处理的安全性和稳定性，对于新能源发电领域的数字化转型具有深远意义，为行业内数据安全和技术革新提供有力支持。

以上是对本发明的一种新能源发电侧实现边缘数据存储与传输的方法的实施例进行的详细介绍，以下将对本发明的一种新能源发电侧实现边缘数据存储与传输的系统的实施例进行详细的介绍。

基于同样的发明构思，本申请实施例还提供了一种新能源发电侧实现边缘数据存储与传输的方法的新能源发电侧实现边缘数据存储与传输的系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的新能源发电侧实现边缘数据存储与传输的系统实施例中的具体限定可以参见上文中对于新能源发电侧实现边缘数据存储与传输的方法的限定，在此不再赘。

请参阅图2，本实施例提供一种新能源发电侧实现边缘数据存储与传输的系统，实现如前述实施例提供的方法，包括：

数据采集与预处理单元201，用于获取新能源发电侧中各边缘节点当前的节点数据和各分布式存储节点的资源利用指标；还用于将节点数据进行预处理和标准化处理，得到符合存储要求的结构化数据；

数据存储与读取单元202，用于根据不同类型节点数据的重要性程度，确定各边缘节点对应的结构化数据的重要性指标；还用于基于重要性指标和资源利用指标确定适应性分配给各分布式存储节点的数据量大小；还用于根据不同类型节点数据的关键性指标计算各边缘节点对应的结构化数据的冗余备份数量；还用于基于各节点分配的数据量大小和数据的冗余备份数量将结构化数据存储到对应的分布式存储节点中；还用于根据数据请求需求，采用一致性哈希算法从分布式存储节点中定位并读取所需数据；

数据加密传输单元203，用于将所需数据进行加密处理和压缩处理，在保证数据质量的前提下，以最大化数据传输效率为目标，基于传输网络状况和数据传输流量动态调整压缩率和传输协议；还用于基于所选择的传输协议对加密压缩后的所需数据进行传输。

另外，还可以设置系统监控与管理单元。整个数据存储与传输过程的状态由监控系统实时追踪，包括数据从采集、预处理、存储、加密到最终传输的每个阶段的表现。监控系统不仅反馈操作效率，还根据数据流与处理状态动态调节系统参数以优化整个处理过程。此外，监控系统的日志记录了数据全过程的轨迹，为系统的安全和效能提供了全面的保障。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

参照图3，本发明实施例还提供了一种计算机设备3，包括：存储器302和处理器301及存储在存储器302上的计算机程序303，当所述计算机程序303在处理器301上被执行时，实现如上述方法中任一项所述的新能源发电侧实现边缘数据存储与传输的方法。

所述计算机设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该计算机设备3可包括，但不仅限于，处理器301、存储器302。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器302在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器302在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器302还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器302用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器302还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的新能源发电侧实现边缘数据存储与传输的方法。

该实施例中，所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种新能源发电侧实现边缘数据存储与传输的方法，其特征在于，包括如下步骤：

获取新能源发电侧中各边缘节点当前的节点数据和各分布式存储节点的资源利用指标；

将所述节点数据进行预处理和标准化处理，得到符合存储要求的结构化数据；

根据不同类型节点数据的重要性程度，确定各边缘节点对应的所述结构化数据的重要性指标；

基于所述重要性指标和所述资源利用指标从所述分布式存储节点中确定数据适应性分配的目标存储节点；

根据不同类型节点数据的关键性指标计算各边缘节点对应的所述结构化数据的冗余备份数量；

基于数据的所述目标存储节点和所述冗余备份数量将所述结构化数据存储到对应的分布式存储节点中；

根据数据请求需求，基于一致性哈希算法从所述分布式存储节点中定位并读取所需数据；

将所述所需数据进行加密处理和压缩处理，在保证数据质量的前提下，以最大化数据传输效率为目标，基于传输网络状况和数据传输流量动态调整压缩率和传输协议；

基于所选择的所述传输协议对加密压缩后的所述所需数据进行传输；

从所述分布式存储节点中确定数据适应性分配的目标存储节点，具体包括如下步骤：

将所述结构化数据划分至对应的重要性等级中并根据所述重要性指标进行排序，所述重要性等级是根据所述节点数据的重要性程度所划分的若干个等级，每一个所述重要性等级对应一个重要性指标范围，所述重要性指标范围是基于所述重要性指标划分得到的；

基于每个所述重要性等级中的结构化数据数量和对应范围内的分布式存储节点数量进行适应性分配计算，将排序后的所述结构化数据平均分配至所述资源利用指标从小到大排序的分布式存储节点中，从而确定每个所述结构化数据的目标存储节点，每一个所述重要性等级对应一个分布式存储节点范围，所述分布式存储节点范围是基于所述资源利用指标划分得到的。

2.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法，其特征在于，所述重要性指标是基于所述节点数据中各类型数据的重要性权重确定的，所述重要性权重由所述各类型数据在各自应用领域对新能源发电侧边缘节点进行运行监测的贡献程度确定。

3.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法，其特征在于，所述适应性分配计算，具体按照下式进行：

；

式中，为结构化数据数量为m，分布式存储节点数量为n的适应性分配计算函数，为数据量，/>为分布式存储节点编号，/>为m除以n得到的余数。

4.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法，其特征在于，所述关键性指标由评估所述节点数据是否需要冗余备份的若干个因素和对应权重确定，当所述因素包括数据类型、使用频率和数据丢失造成影响的衡量指标时，所述关键性指标按照下式计算：

；

式中，为所述关键性指标的值，/>、/>和/>分别为所述数据类型、所述使用频率和所述衡量指标，/>、/>、/>分别为对应的权重。

5.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法，其特征在于，所述冗余备份数量具体按照下式计算：

；

式中，为所述冗余备份数量的值，/>为冗余备份函数，/>为所述关键性指标的值，/>为预设整数，/>表示向上取整操作。

6.根据权利要求1所述的新能源发电侧实现边缘数据存储与传输的方法，其特征在于，在基于一致性哈希算法从所述分布式存储节点中定位并读取所需数据中具体采用动态一致性哈希算法，定位并读取的流程具体包括如下步骤：

根据当前的查询条件确定对应的哈希函数，所述查询条件为根据若干种不同的查询需求预设的查询规则，在所述动态一致性哈希算法中设置不同的所述哈希函数与所述查询规则一一对应；

利用所述哈希函数计算所述数据请求需求对应的数据项的哈希值；

基于所述哈希值，从哈希环的顺时针方向开始寻找，找到的第一个节点为目标节点，所述哈希环为所述结构化数据和所述分布式存储节点采用一致性哈希策略映射而成的哈希空间；

从所述目标节点上读取所述所需数据。

7.一种新能源发电侧实现边缘数据存储与传输的系统，实现如权利要求1-6中任一项所述的新能源发电侧实现边缘数据存储与传输的方法，其特征在于，包括：

数据采集与预处理单元，用于获取新能源发电侧中各边缘节点当前的节点数据和各分布式存储节点的资源利用指标；还用于将所述节点数据进行预处理和标准化处理，得到符合存储要求的结构化数据；

数据存储与读取单元，用于根据不同类型节点数据的重要性程度，确定各边缘节点对应的所述结构化数据的重要性指标；还用于基于所述重要性指标和所述资源利用指标从所述分布式存储节点中确定数据适应性分配的目标存储节点；还用于根据不同类型节点数据的关键性指标计算各边缘节点对应的所述结构化数据的冗余备份数量；还用于基于数据的所述目标存储节点和所述冗余备份数量将所述结构化数据存储到对应的分布式存储节点中；还用于根据数据请求需求，基于一致性哈希算法从所述分布式存储节点中定位并读取所需数据；

数据加密传输单元，用于将所述所需数据进行加密处理和压缩处理，在保证数据质量的前提下，以最大化数据传输效率为目标，基于传输网络状况和数据传输流量动态调整压缩率和传输协议；还用于基于所选择的所述传输协议对加密压缩后的所述所需数据进行传输。

8.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序，并将所述计算机程序的指令发送至处理器；

所述处理器根据所述计算机程序的指令执行如权利要求1-6中任一项所述的一种新能源发电侧实现边缘数据存储与传输的方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的一种新能源发电侧实现边缘数据存储与传输的方法。