CN114884937A - 一种新能源集控系统数据断点续传方法 - Google Patents

Abstract

本发明公开了一种新能源集控系统数据断点续传方法，涉及数据处理技术领域，解决了现有技术在数据续传过程中，基于下载任务和下载日志确定断点续传任务，容易造成传输网络延迟阻塞，导致关键数据无法及时传输读取的技术问题；本发明对若干原始数据进行评估获取对应的数据标签，在数据传输正常时，根据数据标签完成原始数据的划分传输，当数据传输恢复之后，结合数据标签建立并调整断点续传任务，能够保证原始数据传输的及时性以及提高原始数据的可读性；本发明根据数据标签调整断点续传任务时，在保证关键数据能够及时传输的同时，尽可能优先传输先前未完成传输的原始数据，为工作人员及时判断提供数据基础。

Description

一种新能源集控系统数据断点续传方法

技术领域

本发明属于数据处理领域，涉及新能源集控系统数据断点续传技术，具体是一种新能源集控系统数据断点续传方法。

背景技术

新能源集控系统的建立是为了实现统一运行管理、统一技术管理等综合管理的目的，因此会产生大量基础数据和决策数据，如何保障数据安全高效传输是一个迫切需要解决的问题。

现有技术(公开号为CN111193777A的发明专利)公开了一种基于断点续传的文件下载方法、装置及存储介质，将下载任务和下载日志相结合确定下载开始位置，实现文件下载。现有技术在数据续传过程中，基于下载任务和下载日志确定断点续传任务，容易造成传输网络延迟阻塞，导致关键数据无法及时传输读取；因此，亟须一种新能源集控系统数据断点续传方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种新能源集控系统数据断点续传方法，用于解决现有技术在数据续传过程中，基于下载任务和下载日志确定断点续传任务，容易造成传输网络延迟阻塞，导致关键数据无法及时传输读取的技术问题。

本发明通过标准数据集建立数据评估模型，进而获取各原始数据的数据标签，根据数据标签对原始数据进行划分，同时根据数据标签建立调整断点续传任务，保证断点续传顺利进行以及关键数据及时高效的传输。

为实现上述目的，本发明的第一方面提供了一种新能源集控系统数据断点续传方法，应用于新能源集控系统，包括：

基于标准数据集获取数据评估模型；其中，所述数据评估模型用于评估原始数据的重要程度；

通过所述新能源集控系统读取所述原始数据，通过所述数据评估模型对所述原始数据进行评估，获取对应的数据标签；

当数据传输正常，且所述数据标签符合要求时，则对所述原始数据进行划分后传输；否则，直接传输所述原始数据；

当数据传输恢复之后，结合所述数据标签建立调整断点续传任务。

优选的，基于所述标准数据集和工作人员构建所述数据评估模型，包括：

获取所述标准数据集；其中，所述标准数据集包括数据类型和数据大小；

通过所述工作人员对所述标准数据集进行分析，建立所述数据评估模型；其中，所述数据评估模型包括数据类型以及对应的数据标签。

优选的，基于所述标准数据和人工智能模型构建所述数据评估模型，包括：

获取所述标准数据集，通过工作人员分析所述标准数据集，根据分析结果设置对应的所述数据标签；

构建人工智能模型；其中，所述人工智能模型包括深度卷积神经网络模型和支持向量机模型；

通过所述标准数据集以及对应的所述数据标签对所述人工智能模型进行训练，将训练完成的所述人工智能模型标记为所述数据评估模型。

优选的，通过所述数据评估模型获取所述原始数据对应的所述数据标签，包括：

通过所述新能源集控系统读取若干所述原始数据；

按照生成时间对若干所述原始数据进行排序，获取数据序列；

基于所述数据评估模型逐个获取所述数据序列中原始数据对应的所述数据标签。

优选的，根据所述数据标签对所述原始数据进行划分，包括：

获取所述原始数据对应的所述数据标签；

当所述数据标签不小于标签基值时，则按照划分规则将所述原始数据划分成若干子数据；其中，所述划分规则包括等量划分或者等时划分；

对若干所述子数据进行编号，获取所述原始数据对应的编号序列。

优选的，在进行数据传输时，当所述数据标签不小于所述标签基值时，则优先传输对应的所述编号序列，并按照所述编号序列依次传输若干所述子数据；或者

当所述原始数据小于所述标签基值时，则直接传输所述原始数据，并保存传输任务和传输日志；其中，所述标签基值根据实际经验设定。

优选的，当数据传输恢复之后，当所述数据标签不小于所述标签基值时，根据对应的所述编号序列建立断点续传任务；否则，根据传输任务和传输日志建立断点续传任务。

优选的，当数据传输恢复之后，所述数据标签结合所述编号序列建立调整断点续传任务，包括：

识别传输中断和未传输的所述原始数据，标记为目标数据；

根据所述目标数据对应的所述数据标签调整传输顺序，并结合传输中断的所述原始数据对应的所述编号序列建立所述断点续传任务。

与现有技术相比，本发明的有益效果是：

1、本发明对若干原始数据进行评估获取对应的数据标签，在数据传输正常时，根据数据标签完成原始数据的划分传输，当数据传输恢复之后，结合数据标签建立并调整断点续传任务，能够保证原始数据传输的及时性以及提高原始数据的可读性。

2、本发明根据数据标签调整断点续传任务时，优先考虑原始数据对应的数据标签，其次考虑未完成传输的原始数据，在保证关键数据能够及时传输的同时，尽可能优先传输先前未完成传输的原始数据，为工作人员及时判断提供数据基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的工作步骤示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

现有技术在数据续传过程中，基于下载任务和下载日志确定断点续传任务，容易造成传输网络延迟阻塞，无法保证关键数据的优先传输，导致关键数据无法及时传输读取，而且在建立断点续传任务时，无法保证数据的连贯性，造成断点续传获取的数据可读性差。

本发明对若干原始数据进行评估获取对应的数据标签，在数据传输正常时，根据数据标签完成原始数据的划分传输，当数据传输恢复之后，结合数据标签建立并调整断点续传任务，能够保证原始数据传输的及时性以及提高原始数据的可读性。

请参阅图1，本申请第一方面实施例提供了一种新能源集控系统数据断点续传方法，应用于新能源集控系统，包括：

基于标准数据集获取数据评估模型；

通过新能源集控系统读取原始数据，通过数据评估模型对原始数据进行评估，获取对应的数据标签；

当数据传输正常，且数据标签符合要求时，则对原始数据进行划分后传输；否则，直接传输原始数据；

当数据传输恢复之后，结合数据标签建立调整断点续传任务。

本申请在数据传输正常时，对若干原始数据进行分析获取对应的数据标签，然后根据数据标签对原始数据进行划分获取对应的编号序列，为断点续传奠定数据基础；在数据传输终端又恢复之后，根据数据标签判断未传输的原始数据的重要性，再结合编号序列完成原始数据的断点续传。

本申请中的数据评估模型用于评估原始数据的重要程度；基于标准数据集和工作人员构建数据评估模型，包括：

获取标准数据集；通过工作人员对标准数据集进行分析，建立数据评估模型。

标准数据集包括数据类型、数据大小等描述原始数据属性的参数。通过工作人员构建的数据评估模型对应的评估要素较为简单，如根据数据类型判断原始数据是否重要、根据数据大小判断原始数据出现传输中断的概率等。

基于工作人员建立的数据评估模型包括数据类型以及对应的数据标签，即分析原始数据的数据类型即可获取对应的数据标签；在另外一些数据评估模型中，还考虑数据大小，即数据类型符合之后，再评估数据大小是否满足要求，进而获取对应的数据标签。

举例说明如何通过工作人员构建数据评估模型：

假设原始数据有日志数据，报警数据和故障数据，报警数据和故障数据的大小分别为1M和10M，数据标签越大说明原始数据越重要；

则工作人员分析之后，将日志数据的数据标签设置为1；将报警数据的数据标签设置为2，将故障数据的数据标签设置为3。

在一个优选的实施例中，基于标准数据和人工智能模型构建数据评估模型，包括：

获取标准数据集，通过工作人员分析标准数据集，根据分析结果设置对应的数据标签；构建人工智能模型；通过标准数据集以及对应的数据标签对人工智能模型进行训练，将训练完成的人工智能模型标记为数据评估模型。

本实施例是通过标准数据集将人工智能模型训练成为数据评估模型。但是需要通过工作人员对标准数据集进行标记，获取标准数据集对应的数据标签(参考基于工作人员建立数据评估模型)，进而将标准数据集作为输入，对应的数据标签作为输出，完成对人工智能模型的训练。

考虑到人工智能模型的数据处理能力，用于训练的标准数据集还可以包括数据格式、数据来源等原始数据属性参数，也能够实现数据标签的多级设置。

本申请中的通过数据评估模型获取原始数据对应的数据标签，包括：

通过新能源集控系统读取若干原始数据；按照生成时间对若干原始数据进行排序，获取数据序列；基于数据评估模型逐个获取数据序列中原始数据对应的数据标签。

先从新能源集控系统中读取若干原始数据，这若干原始数据是下一个传输周期传输的数据，结合数据评估模型分别获取原始数据对应的数据标签。这里获取的数据标签则用来决定对应原始数据是否需要进行划分，以及传输顺序。

本申请中根据数据标签对原始数据进行划分，包括：

获取原始数据对应的数据标签；当数据标签不小于标签基值时，则按照划分规则将原始数据划分成若干子数据；对若干子数据进行编号，获取原始数据对应的编号序列。

有些数据比较重要，其数据量也比较大，则需要对该数据进行切割划分，即按照划分规则将原始数据划分成若干子数据。有些数据不重要，获取比较重要但是数据量特别小，则不需要对该数据进行划分。

划分规则包括等量划分或者等时划分。按照等量划分规则对原始数据进行划分，则获取的若干子数据的数据量相等；按照等时划分规则对原始数据进行划分，则获取的若干子数据对应的时长相等。划分规则根据原始数据进行选择，也可以将多个划分规则组合使用。

在将原始数据划分成若干子数据之后，对若干子数据进行编号，生成编号序列。编号序列的用处主要是在断点续传时，确定原始数据的断点续传节点。

本申请中的在进行数据传输时，当数据标签不小于标签基值时，则优先传输对应的编号序列，并按照编号序列依次传输若干子数据；或者当原始数据小于标签基值时，则直接传输原始数据，并保存传输任务和传输日志。

当原始数据的数据标签小于标签基值时，则按照传输顺序直接传输原始数据即可；当原始数据的数据标签不小于标签基值时，则现将编号序列传输过去，再按照编号序列传输若干子数据，最终完成原始数据的传输。

可以理解的是，将编号序列优先传输的目的是为了数据传输恢复之后，更加方便准确地构建断点续传任务，保证断点续传之后的原始数据完整。

本申请中的当数据传输恢复之后，当数据标签不小于标签基值时，根据对应的编号序列建立断点续传任务；否则，根据传输任务和传输日志建立断点续传任务。

根据编号序列建立断点续传任务时，确定哪一个子数据已经传输完成，哪一个子数据未传输，哪一个子数据传输未完成，将未完成传输的以及未传输的子数据整合起来构建断点续传任务。可以理解的是，断点续传任务中，可以将未完成传输的子数据重新上传，避免原始数据不可读。

本申请中的当数据传输恢复之后，数据标签结合编号序列建立调整断点续传任务，包括：

识别传输中断和未传输的原始数据，标记为目标数据；根据目标数据对应的数据标签调整传输顺序，并结合传输中断的原始数据对应的编号序列建立断点续传任务。

在构建断点续传任务时，还应该考虑数据传输异常期间积攒的原始数据，不仅要传输之前未传输完成的原始数据，还要保证某些紧急数据能够优先传输，因此通过数据标签调整传输顺序。

举例说明如何根据数据标签调整传输顺序：

假设有数据一、数据二和部分数据三未传输，对应的数据标签分别为2、1和1；

则断点续传任务中，优先传输数据一，其次传输数据三未传输部分，最后传输数据二。

本发明的工作原理：

基于标准数据集获取数据评估模型，通过新能源集控系统读取原始数据，通过数据评估模型对原始数据进行评估，获取对应的数据标签。

当数据传输正常，且数据标签符合要求时，则对原始数据进行划分后传输；否则，直接传输原始数据；当数据传输恢复之后，结合数据标签建立调整断点续传任务。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (8)

1.一种新能源集控系统数据断点续传方法，应用于新能源集控系统，其特征在于，包括：

基于标准数据集获取数据评估模型；其中，所述数据评估模型用于评估原始数据的重要程度；

通过所述新能源集控系统读取所述原始数据，结合所述数据评估模型评估所述原始数据，获取对应的数据标签；其中，所述数据标签用正整数表示；

当数据传输正常，且所述数据标签符合要求时，则对所述原始数据进行划分后传输；否则，直接传输所述原始数据；

当数据传输恢复之后，结合所述数据标签建立调整断点续传任务。

2.根据权利要求1所述的一种新能源集控系统数据断点续传方法，其特征在于，基于所述标准数据集和工作人员构建所述数据评估模型，包括：

获取所述标准数据集；其中，所述标准数据集包括数据类型和数据大小；

通过所述工作人员对所述标准数据集进行分析，建立所述数据评估模型；其中，所述数据评估模型包括数据类型以及对应的数据标签。

3.根据权利要求2所述的一种新能源集控系统数据断点续传方法，其特征在于，基于所述标准数据和人工智能模型构建所述数据评估模型，包括：

获取所述标准数据集，通过工作人员分析所述标准数据集，根据分析结果设置对应的所述数据标签；

构建人工智能模型；其中，所述人工智能模型包括深度卷积神经网络模型和支持向量机模型；

通过所述标准数据集以及对应的所述数据标签对所述人工智能模型进行训练，将训练完成的所述人工智能模型标记为所述数据评估模型。

4.根据权利要求3所述的一种新能源集控系统数据断点续传方法，其特征在于，通过所述数据评估模型获取所述原始数据对应的所述数据标签，包括：

通过所述新能源集控系统读取若干所述原始数据；

按照生成时间对若干所述原始数据进行排序，获取数据序列；

基于所述数据评估模型逐个获取所述数据序列中原始数据的数据标签。

5.根据权利要求1或4所述的一种新能源集控系统数据断点续传方法，其特征在于，根据所述数据标签对所述原始数据进行划分，包括：

获取所述原始数据对应的所述数据标签；

当所述数据标签不小于标签基值时，则按照划分规则将所述原始数据划分成若干子数据；其中，所述划分规则包括等量划分或者等时划分；

对若干所述子数据进行编号，获取所述原始数据对应的编号序列。

6.根据权利要求5所述的一种新能源集控系统数据断点续传方法，其特征在于，在进行数据传输时，当所述数据标签不小于所述标签基值时，则优先传输对应的所述编号序列，并按照所述编号序列依次传输若干所述子数据；或者当所述原始数据小于所述标签基值时，则直接传输所述原始数据，并保存传输任务和传输日志；其中，所述标签基值根据实际经验设定。

7.根据权利要求6所述的一种新能源集控系统数据断点续传方法，其特征在于，当数据传输恢复之后，当所述数据标签不小于所述标签基值时，根据对应的所述编号序列建立断点续传任务；否则，根据传输任务和传输日志建立断点续传任务。

8.根据权利要求7所述的一种新能源集控系统数据断点续传方法，其特征在于，当数据传输恢复之后，所述数据标签结合所述编号序列建立调整断点续传任务，包括：

识别传输中断和未传输的所述原始数据，标记为目标数据；

根据所述目标数据对应的所述数据标签调整传输顺序，并结合传输中断的所述原始数据对应的所述编号序列建立所述断点续传任务。

Images