CN113111043A

CN113111043A - 一种中台源数据文件的处理方法、装置、系统及存储介质

Info

Publication number: CN113111043A
Application number: CN202110430992.1A
Authority: CN
Inventors: 黄雨; 王天佑; 吕军; 刘日亮; 陈蕾; 徐重酉; 夏巧群; 宋晓阳; 杜建; 陆一鸣; 孙冉冉; 张绮华
Original assignee: China Online Shanghai Energy Internet Research Institute Co ltd; Peking University; Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Current assignee: China Online Shanghai Energy Internet Research Institute Co ltd; Peking University; Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2021-07-13
Anticipated expiration: 2041-04-21
Also published as: CN113111043B

Abstract

本发明提供了一种中台源数据文件的处理方法、装置、系统及存储介质，所述方法包括：通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算，得到每个待传输的文件块的散列值；将所述每个待传输的文件块的散列值发送至服务端，并且接收所述服务端根据所述每个待传输的文件块的散列值生成的反馈结果；根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块。本发明的技术方案，解决了现有技术中，电网中台源数据在不同系统之间进行发送时，容易出现发送端会将接收端原本存在的数据进行重复发送，从而造成资源浪费的技术问题。

Description

一种中台源数据文件的处理方法、装置、系统及存储介质

技术领域

本发明涉及中台源数据的存储技术领域，尤其是涉及一种中台源数据文件的处理方法、装置、系统及存储介质。

背景技术

现有技术中，电网中台源数据根据实际需求需要在不同的业务系统中进行传送，比如发送端将电网中台源数据发送至接收端进行数据共享，需要说明的是，电网中台源数据在不同系统之间进行发送时，容易出现发送端会将接收端原本存在的数据进行重复发送，从而造成资源浪费的技术问题。

发明内容

本发明提供了一种中台源数据文件的处理方法、装置、系统及存储介质，以解决现有技术中，电网中台源数据在不同系统之间进行发送时，容易出现发送端会将接收端原本存在的数据进行重复发送，从而造成资源浪费的技术问题。

为了解决上述技术问题，本发明提供如下技术方案：

一种中台源数据文件的处理方法，所述方法应用于客户端，所述方法包括：

通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算，得到每个待传输的文件块的散列值；

将所述每个待传输的文件块的散列值发送至服务端，并且接收所述服务端根据所述每个待传输的文件块的散列值生成的反馈结果；

根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块。

可选的，在通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算之前，所述方法包括：

根据所述中台源数据文件生成切分策略；

根据所述切分策略对所述中台源数据文件进行切分，生成所述至少一个待传输的文件块。

可选的，在根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块之后，所述方法包括：

确定所述目标文件块的发送系统的传输优先级，其中，所述发送系统用于向所述服务器发送所述目标文件块；

根据所述传输优先级确定所述目标文件块的发送策略，其中，所述发送策略至少包括如下一项或多项：传输顺序以及传输分配带宽。

本发明的还提供一种中台源数据文件的处理方法，所述方法应用于服务端，所述方法包括：

接收客户端发送的每个待传输的文件块的散列值，其中，所述客户端通过信息摘要算法对中台源数据文件的多个待传输的文件块进行计算，得到所述每个待传输的文件块的散列值；

根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录；

根据所述每个待传输的文件块的存在记录，生成反馈结果；

将所述反馈结果发送至所述客户端，其中，所述客户端根据所述反馈结果从所述多个待传输的文件块中确定目标发送文件块。

可选的，所述根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录，包括：

在所述每个待传输的文件块中的第一文件块的散列值存在于存储于数据库的多个散列值的情况下，确定所述第一文件块已经存在。

可选的，在根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录之后，所述方法还包括：

根据所述第一文件块的存在记录更新所述第一文件块的引用次数，其中，所述引用次数用于表征所述第一文件的被使用情况。

可选的，在将所述反馈结果发送至所述客户端之后，所述方法包括：

接收所述客户端发送的所述目标发送文件块；

通过所述信息摘要算法对所述目标发送文件块进行计算，生成所述目标发送文件块的散列值；

将所述目标发送文件块的散列值与所述每个待传输的文件块的散列值进行比对，根据比对结果判断所述中台源数据文件的完整性。

本发明还提供一种中台源数据文件的处理装置，所述装置包括：

计算模块，用于通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算，得到每个待传输的文件块的散列值；

发送模块，用于将所述每个待传输的文件块的散列值发送至服务端，并且接收所述服务端根据所述每个待传输的文件块的散列值生成的反馈结果；

确定模块，用于根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块。

本发明还提供一种中台源数据文件的处理系统，包括：客户端和服务端，所述客户端通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算，得到每个待传输的文件块的散列值并发送至服务端；

所述服务端接收所述客户端发送的每个待传输的文件块的散列值；根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录；根据所述每个待传输的文件块的存在记录，生成反馈结果并将所述反馈结果发送至所述客户端；

所述客户端根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块。

本发明的还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的方法。

本发明具有如下技术效果：

本发明的上述技术方案，利用信息摘要算法计算散列值，并且利用散列值完成文件去重，适用于电网中台源数据多个业务系统共享使用的场景，极大提高了存储空间的利用率。

附图说明

图1为本发明实施例提供的客户端的中台源数据文件的处理方法流程图；

图2为本发明实施例提供的服务端的中台源数据文件的处理方法流程图；

图3为本发明实施例提供的中台源数据文件的处理装置的结构示意图；

图4为本发明实施例提供的另一种中台源数据处理方法的步骤示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如图1所示，本发明的实施例提供一种中台源数据文件的处理方法，所述方法应用于客户端，所述方法包括：

步骤S11：通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算，得到每个待传输的文件块的散列值；

步骤S12：将所述每个待传输的文件块的散列值发送至服务端，并且接收所述服务端根据所述每个待传输的文件块的散列值生成的反馈结果；

步骤S13：根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块。

其中，1)散列值为128位(16字节)，信息摘要算法可以为MD5；

2)客户端具体可以为文件上传客户端，服务端具体可以为文件存储服务端；

3)依据电网中台源数据格式和电网业务需求约定文件的切分策略，将电网中台源数据文件上传到文件上传客户端进行分片，通常单个文件块大小不低于64M；例如，根据源数据文件的大小可以不对源数据文件进行切分，或者将源数据文件且分为2个、3个、4个等多个待传输的文件块。

4)文件上传客户端还将中台源数据文件名、文件存储路径以及文件块数等信息发送给文件存储服务端。

本发明的该实施例，有效解决了电网中台领域大量源数据在不同业务系统共享时，存在的文件重复上传的技术问题；可实现只对文件差异化部分重复存储，对大量内容相同的文件块通过引用链接的方式访问，具有很高的应用价值。

具体的，信息摘要算法计算每个文件块散列值，利用计算出位散列值在文件上传客户端和文件存储服务端完成文件块传输完整性和一致性验证，并且利用散列值完成文件去重，适用于电网中台源数据多个业务系统共享使用的场景(电网的信息系统和电网中台系统之间的数据文件传输)，极大提高了存储空间的利用率；

本发明一可选的实施例，步骤S11中，在通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算之前，所述方法包括：

根据所述中台源数据文件生成切分策略；

本发明的该实施例，提出适用于电网中台源数据存储系统的文件分区分块传输方法，并行传输提高传输速度，分块传输还能够使每次发生错误时只重传小部分文件，提高了传输效率。

本发明一可选的实施例，步骤S11中，在根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块之后，所述方法包括：

具体的:

1、当不同业务发送系统竞争上传同一个目标发送文件块时，依据电网信息系统传输优先级完成可抢占式上传权限分配，包括：

1)判断正在传输的其他电网信息系统优先级是否高于当前发送系统；

2)如果正在传输的发送系统优先级等于或高于当前发送系统，当前系统等待目标发送文件块传输完成；如果正在传输的发送系统优先级低于当前系统，那么当前系统抢占传输权，中断正在上传的任务，重新上传该目标发送文件块。

2、获取权限后文件存储服务端依据发送系统级别分配不同的带宽，保证资源分配向高级别系统倾斜。

例如，利用电网信息系统重要性级别结合不同类型发送系统(如：边端系统、区域系统)的传输速率判断上传竞争优先级；

还可以通过发送系统传输文件的传输顺序以及传输分配带宽判断发送系统的优先级。

其中，发送系统具体可以为客户端。

本发明的该实施例，基于电网信息系统重要性和系统类型的优先级抢占传输的方法，保证高优先级业务系统的传输性能，避免高优先级业务系统等待低优先级业务系统，由于高优先级别的业务系统获取的带宽通常优于低级别业务系统，再结合客户端系统类型即上传速率共同考虑，可以实现大部分情况下传输性能更好。

如图2所示，本发明的实施例还提供一种中台源数据文件的处理方法，所述方法应用于服务端，所述方法包括：

步骤S21：接收客户端发送的每个待传输的文件块的散列值，其中，所述客户端通过信息摘要算法对中台源数据文件的多个待传输的文件块进行计算，得到所述每个待传输的文件块的散列值；

步骤S22：根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录；

步骤S23：根据所述每个待传输的文件块的存在记录，生成反馈结果；

步骤S24：将所述反馈结果发送至所述客户端，其中，所述客户端根据所述反馈结果从所述多个待传输的文件块中确定目标发送文件块。

具体的：

1)文件存储服务端查询数据库，筛选系统中已经存在的文件块的散列值，将待传输的文件块引用到已经存在的文件块中，并更新已经存在的文件块引用次数。

2)文件存储服务端将已存在于系统中的文件块标记为已存在，通知文件上传客户端无需重复上传。

3)文件上传客户端将剩余未存在于系统中的目标发送文件块上传到文件存储服务端。

本发明的该实施例，根据电网中台源数据格式和业务性能需求，设定文件分块规则，通过文件上传客户端和文件存储服务端的协作实现文件的分块并行传输、传输正确性、完整性验证，通过MD5信息摘要算法和文件引用链接避免重复传输和重复存储。

本发明一可选的实施例，步骤S22中，所述根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录，包括：

具体的，文件存储服务端将已经存在的文件块标记为已经存在后，将标记结果反馈给文件上传客户端，文件上传客户端接收到信息后，跳过所有已存在的文件块，真正开始传输未存在的文件块(目标发送文件块)，并行传输，并行传输数量可以在文件上传客户端设置。

其中，多个待传输的文件块中的一个文件块以上述第一文件块为例。

本发明一可选的实施例，步骤S22中，在根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录之后，所述方法还包括：

具体的，文件存储服务端根据已存在的文件块的128位散列值，查找到该已经存在的文件块在数据库中保存的数据记录，数据记录中存储着它的存储路径和引用数，将已经存在的文件块指向已存在于文件存储服务端的文件块记录，并将其引用数加1，表示增加一个文件引用此已经存在的文件块。

通过引用计数法维护文件的生命周期，其中，生命周期包括：将电网中台源数据文件在文件上传客户端分块、筛选需要传输的文件块、已存在的文件块建立引用链接、传输未存在的目标发送文件块、文件块传输完整性一致性验证、电网中台源数据文件传输完成状态同步。

对文件块的引用次数进行统计是为了记录文件块是否还在被引用，文件删除操作会把所有文件块的引用减一，如果不减到0的话，文件块不会真正删除，还有别的文件在引用该文件块。

本发明一可选的实施例，在将所述反馈结果发送至所述客户端之后，所述方法包括：

接收所述客户端发送的所述目标发送文件块；

具体的，文件上传客户端传输前利用MD5信息摘要算法计算出文件块的128散列值，传输时携带该散列值一起发送到文件存储服务端，文件存储服务端接收到目标发送文件块后同样利用MD5信息摘要算法计算出目标发送文件块的128散列值，对比传输前后的散列值是否一致，如果相等，说明目标发送文件块在传输过程中，没有缺失和损坏，如果散列值不一致，说明目标发送文件块在传输过程中损坏，通知文件上传客户端对该目标发送文件块重传。

文件存储服务端成功接收最后一个文件块时，通知文件上传客户端上传成功，并修改数据库中文件存储状态。

本发明的该实施例，基于MD5信息摘要算法的文件分块传输完整性和一致性的校验方法。

如图4所示，本发明的实施例还提供一种中台源数据处理方法，具体步骤如下：

步骤S41：根据所述中台源数据文件生成切分策略；根据所述切分策略对所述中台源数据文件进行切分，生成所述至少一个待传输的文件块；

步骤S42：文件上传客户端和文件存储服务端协商筛选需要传输的文件；

步骤S43：文件存储服务端将已经存在的文件块建立引用链接；

步骤S44：文件上传客户端开始传输不存在的文件块(目标发送文件块)；

步骤S45：判断其它发送系统正在上传目标文件块；步骤S451：若当前发送系统级别大于正在上传的发送系统；步骤S4511：则当前发送系统抢占权限终端正在上传的任务，步骤S512：

若反之，则当前发送系统等待文件块传输完成；

步骤S451：若当前发送系统级别大于正在上传的发送系统，步骤S452：文件上传客户端上传该文件块；

步骤S46：文件存储服务端进行目标文件块传输的完整性和一致性的验证；

步骤S47：判断是否最后一个文件块；

步骤S48：若是，则文件存储服务端同步大文件传输完成状态；

反之，重复步骤S44：文件上传客户端和文件存储服务端协商筛选需要传输的文件。

如图3所示，本发明的实施例还提供一种中台源数据文件的处理装置，所述装置3包括：

计算模块31，用于通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算，得到每个待传输的文件块的散列值；

发送模块32，用于将所述每个待传输的文件块的散列值发送至服务端，并且接收所述服务端根据所述每个待传输的文件块的散列值生成的反馈结果；

确定模块33，用于根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块。

根据所述中台源数据文件生成切分策略；

需要说明的是，该实施例中的装置是与上述图1所示的方法对应的装置，上述各实施例中的实现方式均适用于该装置的实施例中，也能达到相同的技术效果。在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

本发明的实施例还提供一种源数据文件中台源数据文件的处理系统，包括：客户端和服务端，所述客户端通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算，得到每个待传输的文件块的散列值并发送至服务端；

需要说明的是，该实施例中的客户端和服务端是与上述图1、图2所示的方法对应的客户端和服务端，上述各实施例中的实现方式均适用于该客户端的实施例中，也能达到相同的技术效果。在此需要说明的是，本发明实施例提供的上述客户端和服务端，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

本发明的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。

Claims

1.一种中台源数据文件的处理方法，其特征在于，所述方法应用于客户端，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算之前，所述方法包括：

根据所述中台源数据文件生成切分策略；

3.根据权利要求1所述的方法，其特征在于，在根据所述反馈结果从所述至少一个待传输的文件块中确定目标文件块之后，所述方法包括：

4.一种中台源数据文件的处理方法，其特征在于，所述方法应用于服务端，所述方法包括：

根据所述每个待传输的文件块的存在记录，生成反馈结果；

5.根据权利要求4所述的方法，其特征在于，所述根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录，包括：

6.根据权利要求5所述方法，其特征在于，在根据所述每个待传输的文件块的散列值确定每个所述待传输的文件块的存在记录之后，所述方法还包括：

7.根据权利要求4所述的方法，其特征在于，在将所述反馈结果发送至所述客户端之后，所述方法包括：

接收所述客户端发送的所述目标发送文件块；

8.一种中台源数据文件的处理装置，其特征在于，所述装置包括：

9.一种中台源数据文件的处理系统，其特征在于，包括：客户端和服务端，所述客户端通过信息摘要算法将中台源数据文件的至少一个待传输的文件块进行计算，得到每个待传输的文件块的散列值并发送至服务端；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至3任一项所述的方法或者如权利要求4至7任一项所述的方法。