CN116233120A - 一种基于数据处理的大文件分片传输方法、系统和介质 - Google Patents

一种基于数据处理的大文件分片传输方法、系统和介质 Download PDF

Info

Publication number
CN116233120A
CN116233120A CN202310521468.4A CN202310521468A CN116233120A CN 116233120 A CN116233120 A CN 116233120A CN 202310521468 A CN202310521468 A CN 202310521468A CN 116233120 A CN116233120 A CN 116233120A
Authority
CN
China
Prior art keywords
information
fragment
fragments
file
service unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310521468.4A
Other languages
English (en)
Other versions
CN116233120B (zh
Inventor
袁石安
王毅
李大利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pfiter Information Technology Co ltd
Original Assignee
Shenzhen Pfiter Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pfiter Information Technology Co ltd filed Critical Shenzhen Pfiter Information Technology Co ltd
Priority to CN202310521468.4A priority Critical patent/CN116233120B/zh
Publication of CN116233120A publication Critical patent/CN116233120A/zh
Application granted granted Critical
Publication of CN116233120B publication Critical patent/CN116233120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请实施例提供了一种基于数据处理的大文件分片传输方法、系统和介质。该方法包括：分别通过前端单元、文件服务单元和存储集群单元对大文件进行分片处理获得分片信息并获得签名和标识，再对分片进行关联并结合分片序列号信息进行捆绑生成分片符号信息并上传，根据关联并反馈调取的分片符号信息提取序列号信息结合分片信息进行聚合和加权获得第一修正散列值，再与大文件的第二散列值进行对比判断分片上传完整度，若完整度符合要求合并分片为文件；从而对大文件进行功能模块化分片和标识获得分片符号信息，再结合分片信息进行处理获得散列值的对比结果，后进行分片合并，实现对大文件的优化分片管理以及断点检验和中断上传技术。

Description

一种基于数据处理的大文件分片传输方法、系统和介质
技术领域
本申请涉及文件分片处理技术领域，具体而言，涉及一种基于数据处理的大文件分片传输方法、系统和介质。
背景技术
在项目管理系统中，有涉及到项目的每个阶段的文档管理需求包括大量的视频文件以及项目过程件，需要从前端向后端传输大型文件，而单次的请求不能满足传输大文件的需要，对于大文件的处理，无论是用户端化还是服务端，如果一次性读取发送、接收容易造成内存问题，因此对于大文件上传需采取切块分段上传，而对于各类大文件的分片上传，需要设计前后端的优化配合，并且存在如何分片和如何对应无误的识别处理和验证，以获得分片的合并，同时大文件分片上传易出现中断和不完全弊端，而这些问题都需要优化合理设计。
针对上述问题，目前亟待有效的技术解决方案。
发明内容
本申请实施例的目的在于提供一种基于数据处理的大文件分片传输方法、系统和介质，可以通过对大文件进行功能模块化分片和标识获得分片符号信息，再结合分片信息进行处理获得散列值的对比结果，后进行分片合并，实现对大文件的优化分片管理以及断点检验和中断上传技术，以及实现前端、服务端以及存储端的分片处理以及关联信息交互的模块分片关联设计功能。
本申请实施例还提供了一种基于数据处理的大文件分片传输方法，包括以下步骤：
前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元；
前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息；
前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示；
存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息；
文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度；
若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件；
文件服务单元将合并文件的结果反馈至前端单元。
可选地，在本申请实施例所述的基于数据处理的大文件分片传输方法中，所述前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，包括：
前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理，获得分片信息，包括分片类型特征信息、分片属性特征信息、分片功用信息；
前端单元将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据所述分片信息对各分片进行签名并链接，生成标识ID信息和上传链接信息；
所述文件服务单元将接收的所述全部分片对应的所述标识ID信息和上传链接信息返回至前端单元。
可选地，在本申请实施例所述的基于数据处理的大文件分片传输方法中，所述前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息，包括：
前端单元根据接收的所述标识ID信息与对应分片进行标识关联，并获取所述分片对应的序列号信息；
将所述序列号信息结合分片大小以及所述标识ID信息进行信息捆绑，生成分片符号信息。
可选地，在本申请实施例所述的基于数据处理的大文件分片传输方法中，所述前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示，包括：
前端单元根据所述分片符号信息生成分片发送信息；
通过对应的所述上传链接信息将所述分片发送信息发送至文件服务单元；
将对应所述分片上传至存储集群单元生成目标分片；
前端单元同时对上传进度进行同步显示。
可选地，在本申请实施例所述的基于数据处理的大文件分片传输方法中，所述存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息，包括：
存储集群单元根据接收到的所述目标分片获取对应关联的标识ID信息；
将所述标识ID信息反馈至所述文件服务单元；
文件服务单元根据所述标识ID信息调取所述目标分片的分片符号信息。
可选地，在本申请实施例所述的基于数据处理的大文件分片传输方法中，所述文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度，包括：
当前端单元的分片上传进度完成后，文件服务单元根据所述分片符号信息提取序列号信息；
将各所述目标分片的序列号信息结合分片类型特征信息通过散列运算模型进行聚合处理，获得全部目标分片的第一散列值；
根据所述分片信息以及目标分片大小进行计算处理获得分片特性检定值，并根据分片特性检定值对所述第一散列值进行加权处理，获得第一修正散列值；
文件服务单元将所述第一修正散列值与所述待传输大文件的对应第二散列值进行对比，并根据对比结果判断分片的上传完整度；
所述分片特性检定值的计算公式为：
Figure SMS_1
；
其中，
Figure SMS_3
为分片特性检定值，/>
Figure SMS_5
为目标分片大小，/>
Figure SMS_8
、/>
Figure SMS_4
、/>
Figure SMS_7
分别为分片类型特征信息、分片属性特征信息、分片功用信息，/>
Figure SMS_9
、/>
Figure SMS_10
、/>
Figure SMS_2
、/>
Figure SMS_6
为预设特征系数。
可选地，在本申请实施例所述的基于数据处理的大文件分片传输方法中，所述若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件，包括：
若分片的所述上传完整度符合预设完整度要求，则文件服务单元根据所述目标分片的标识ID信息从存储集群单元调取对应目标分片；
文件服务单元根据所述大文件属性通过预设文件合并模型对全部目标分片进行分片合并，获得合并文件。
第二方面，本申请实施例提供了一种基于数据处理的大文件分片传输系统，该系统包括：存储器及处理器，所述存储器中包括基于数据处理的大文件分片传输方法的程序，所述基于数据处理的大文件分片传输方法的程序被所述处理器执行时实现以下步骤：
前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元；
前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息；
前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示；
存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息；
文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度；
若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件；
文件服务单元将合并文件的结果反馈至前端单元。
可选地，在本申请实施例所述的基于数据处理的大文件分片传输系统中，所述前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，包括：
前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理，获得分片信息，包括分片类型特征信息、分片属性特征信息、分片功用信息；
前端单元将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据所述分片信息对各分片进行签名并链接，生成标识ID信息和上传链接信息；
所述文件服务单元将接收的所述全部分片对应的所述标识ID信息和上传链接信息返回至前端单元。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于数据处理的大文件分片传输方法程序，所述基于数据处理的大文件分片传输方法程序被处理器执行时，实现如上述任一项所述的基于数据处理的大文件分片传输方法的步骤。
由上可知，本申请实施例提供的一种基于数据处理的大文件分片传输方法、系统和介质，分别通过前端单元、文件服务单元和存储集群单元对大文件进行分片处理获得分片信息结合分片进行传递获得签名和标识并返回，根据签名和标识对分片进行关联并结合分片序列号信息进行捆绑生成分片符号信息并结合分片上传，根据分片获取对应关联信息并反馈调取分片符号信息，并提取序列号信息结合分片信息进行聚合和加权获得第一修正散列值，再与大文件的第二散列值进行对比判断分片上传完整度，若完整度符合要求调取对应分片并合并获得合并文件；从而对大文件进行功能模块化分片和标识获得分片符号信息，再结合分片信息进行处理获得散列值的对比结果，后进行分片合并，实现对大文件的优化分片管理以及断点检验和中断上传技术，以及实现前端、服务端以及存储端的分片处理以及关联信息交互的模块分片关联设计功能。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的基于数据处理的大文件分片传输方法的一种流程图；
图2为本申请实施例提供的基于数据处理的大文件分片传输方法的模块单元功能流程图；
图3为本申请实施例提供的基于数据处理的大文件分片传输方法的对各分片进行签名和标识并将处理信息返回的一种流程图；
图4为本申请实施例提供的基于数据处理的大文件分片传输方法的获取分片符号信息的一种流程图；
图5为本申请实施例提供的基于数据处理的大文件分片传输系统的一种结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的基于数据处理的大文件分片传输方法的一种流程图。该基于数据处理的大文件分片传输方法用于终端设备中，例如电脑、手机终端等。该基于数据处理的大文件分片传输方法，包括以下步骤：
S101、前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元；
S102、前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息；
S103、前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示；
S104、存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息；
S105、文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度；
S106、若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件；
S107、文件服务单元将合并文件的结果反馈至前端单元。
需要说明的是，参照图2，图2 是本申请实施例中的基于数据处理的大文件分片传输方法的模块单元功能流程图，为实现对大文件的传输，通过设置三个模块单元，前端单元、文件服务单元以及存储集群单元，对大文件进行分片处理和标识、关联，再结合分片信息进行序列号信息的聚合加权获得修正后的散列值，根据散列值与大文件的预设第二散列值进行完整度对比，判断分片传输的完整度，若分片上传完整度符合要求调取对应分片并合并获得合并文件，最后将合并文件的处理结果反馈，完成对大文件的分片传输和合并，具体通过前端单元对待传输大文件进行分片处理获得分片信息并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑生成分片符号信息，前端单元将分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示，实现对分片的上传，存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元以调取分片符号信息，文件服务单元根据分片符号信息提取序列号信息并结合分片信息进行聚合和加权获得第一修正散列值，并与待传输大文件的第二散列值进行对比判断分片上传完整度，若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片并合并获得合并文件，最后文件服务单元将合并文件的结果反馈至前端单元，实现前端、服务端以及存储端的分片处理以及关联信息交互的模块分片关联设计功能。
请参照图3，图3是本申请一些实施例中的基于数据处理的大文件分片传输方法的对各分片进行签名和标识并将处理信息返回的一种流程图。根据本发明实施例，所述前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，具体为：
S301、前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理，获得分片信息，包括分片类型特征信息、分片属性特征信息、分片功用信息；
S302、前端单元将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据所述分片信息对各分片进行签名并链接，生成标识ID信息和上传链接信息；
S303、所述文件服务单元将接收的所述全部分片对应的所述标识ID信息和上传链接信息返回至前端单元。
需要说明的是，前端单元首先对待传输的大文件根据大文件属性如文件类型、文件大小、文件机要性、文件密钥等级，通过预设得分片模型进行分片处理，获得分片信息，该分片模型是根据大文件属性进行预设分割的文件分片处理模型，通过模型分片获得分片信息，包括分片的类型特征、属性特征以及功用信息，反映出大文件分片的类别、属性以及功用情况，再将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据分片信息对各分片进行签名并给出上传链接，生成标识ID信息和上传链接信息，最后文件服务单元将接收的全部分片对应的标识ID信息和上传链接信息返回至前端单元。
请参照图4，图4是本申请一些实施例中的基于数据处理的大文件分片传输方法的获取分片符号信息的一种流程图。根据本发明实施例，所述前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息，具体为：
S401、前端单元根据接收的所述标识ID信息与对应分片进行标识关联，并获取所述分片对应的序列号信息；
S402、将所述序列号信息结合分片大小以及所述标识ID信息进行信息捆绑，生成分片符号信息。
需要说明的是，前端单元在接收到全部分片对应的标识ID信息后，根据标识ID信息对各对应分片进行标识关联，并获取分片对应的序列号信息，序列号信息是各分片的预置排布序列号，实现对各分片的标识区分以及分片序列排布，为后面分片合并具有关键作用，再将序列号信息结合分片大小以及标识ID信息进行信息捆绑，生成分片符号信息，分片大小是通过预设分片模型按照大文件属性进行分片后的大小，是反映分片的属性参量。
根据本发明实施例，所述前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示，具体为：
前端单元根据所述分片符号信息生成分片发送信息；
通过对应的所述上传链接信息将所述分片发送信息发送至文件服务单元；
将对应所述分片上传至存储集群单元生成目标分片；
前端单元同时对上传进度进行同步显示。
需要说明的是，再完成对分片的信息捆绑后，前端单元根据分片符号信息生成分片发送信息，即将分片信息结合发送媒介载体生成可发送的分片发送信息，媒介载体根据分片的实际上传方式进行设置，将分片信息通过对应的上传链接信息进行发送至文件服务单元，再同时将对应分片上传至存储集群单元生成目标分片，同时在分片以及分片信息进行上传的过程中，前端单元对上传进度进行同步显示，以实现对分片上传的可视显示。
根据本发明实施例，所述存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息，具体为：
存储集群单元根据接收到的所述目标分片获取对应关联的标识ID信息；
将所述标识ID信息反馈至所述文件服务单元；
文件服务单元根据所述标识ID信息调取所述目标分片的分片符号信息。
需要说明的是，存储集群单元在接收到目标分片后，获取目标分片对应的关联标识ID信息，并反馈至文件服务单元，文件服务单元根据标识ID信息调取上述目标分片对应的的分片符号信息，实现通过与存储端的信息交互明确收到分片的对应符号标识信息的模块之间的关联设计功能。
根据本发明实施例，所述文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度，具体为：
当前端单元的分片上传进度完成后，文件服务单元根据所述分片符号信息提取序列号信息；
将各所述目标分片的序列号信息结合分片类型特征信息通过散列运算模型进行聚合处理，获得全部目标分片的第一散列值；
根据所述分片信息以及目标分片大小进行计算处理获得分片特性检定值，并根据分片特性检定值对所述第一散列值进行加权处理，获得第一修正散列值；
文件服务单元将所述第一修正散列值与所述待传输大文件的对应第二散列值进行对比，并根据对比结果判断分片的上传完整度；
所述分片特性检定值的计算公式为：
Figure SMS_11
；
其中，
Figure SMS_13
为分片特性检定值，/>
Figure SMS_15
为目标分片大小，/>
Figure SMS_18
、/>
Figure SMS_14
、/>
Figure SMS_17
分别为分片类型特征信息、分片属性特征信息、分片功用信息，/>
Figure SMS_19
、/>
Figure SMS_20
、/>
Figure SMS_12
、/>
Figure SMS_16
为预设特征系数（预设特征系数通过文件服务单元的预设数据库进行查询获得）。
需要说明的是，当前端单元完成分片以及对应分片信息的上传后，为检验上传分片的完整性，以避免出现断传、误传、重传的异常，
文件服务单元根据获得的上传分片的对应分片符号信息提取序列号信息，
将各目标分片的序列号信息结合分片类型特征信息通过散列运算模型进行聚合处理，获得全部目标分片的第一散列值，即通过散列运算模型对各分片的序列号信息进行处理和聚合，散列运算模型是预设的对分片序列号进行预设处理方式的模型，通过该模型可对各分片的序列号信息进行聚合获得全部分片的散列值，该散列值是分片序列号的排列数据，可用于识别分片聚合后的身份，再根据分片信息以及目标分片大小进行计算处理获得分片特性检定值，该分片特性检定值是反映分片属性信息的特性检定值，该检定值是对分片身份识别的补充，根据分片特性检定值结合第一散列值按照预设排布方式进行加权处理，获得第一修正散列值，即将特性检定值与散列值按照预设方式进行排列编码处理，得到修正后的散列值，后文件服务单元将得到的第一修正散列值与预设的待传输大文件的对应第二散列值进行对比，将两者散列值进行对照，若散列值对照完全一致，则说明分片上传完整，不存在分片遗漏和上传差错。
根据本发明实施例，所述若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件，具体为：
若分片的所述上传完整度符合预设完整度要求，则文件服务单元根据所述目标分片的标识ID信息从存储集群单元调取对应目标分片；
文件服务单元根据所述大文件属性通过预设文件合并模型对全部目标分片进行分片合并，获得合并文件。
需要说明的是，如通过完整度检验结果显示分片上传无误，则文件服务单元根据目标分片的标识ID信息从存储集群单元调取对应目标分片，
再根据大文件属性通过预设文件合并模型对全部目标分片进行分片合并，获得合并文件，即通过文件服务单元实现根据分片的标识信息调取分片进行合并的功能，分片的方式根据大文件属性通过文件合并模型进行分片合并处理，实现对大文件的分片传输和核对、合并。
根据本发明实施例，还包括：
若文件服务单元判断分片的所述上传完整度不符合预设完整度要求，则文件服务单元通过前端单元调取所述待传输大文件的序列号列表信息，并根据序列号列表信息与所述各目标分片的序列号信息集进行对比，获取遗漏序列号信息；
根据所述遗漏序列号信息通过所述序列号列表信息查询获取对应遗漏分片；
文件服务单元将所述遗漏分片结合各目标分片的序列号信息进行聚合计算，获得第三散列值；
根据所述第三散列值与所述第二散列值进行对比，判断分片补漏的完整度；
若完整度符合预设完整度要求，则文件服务单元根据所述遗漏分配和目标分片进行分片合并，获得合并文件。
需要说明的是，若文件服务单元判断分片的上传完整度不符合预设完整度要求，则说明分片上传存在遗漏或差错，需对分片进行查缺补漏，文件服务单元通过前端单元调取待传输大文件的序列号列表信息，该序列号列表信息是针对大文件的分片序列号进行预置的序列号列表，根据序列号列表信息对各目标分片的序列号信息集进行对比查漏，获取遗漏序列号信息，该遗漏序列号对应分片即为上传遗漏分片，再根据遗漏序列号信息通过序列号列表信息查询获取对应遗漏分片，文件服务单元将遗漏分片结合各目标分片的序列号信息再次进行聚合计算，获得第三散列值，根据第三散列值与第二散列值进行对比，判断分片补漏的完整度，若完整度符合预设完整度要求，则文件服务单元根据遗漏分配和目标分片进行分片合并，获得合并文件，从而实现对遗漏分片的查漏和补缺，以获得补漏后的完整分片。
根据本发明实施例，还包括：
若显示上传进度出现中断，文件服务单元识别接收到的最邻近时间节点的分片发送信息，标记为断点分片发送信息；
存储集群单元根据所述断点分片发送信息获取对应的目标分片，标记为断点目标分片；
文件服务单元通过调取的所述待传输大文件对应的序列号列表信息对所述断点目标分片进行对照查询，获取所述断点目标分片对应的序列号信息，并标记为断点序列号信息；
通过所述序列号列表信息查询获得所述断点序列号信息中断后的序列号队列号信息；
根据所述序列号队列号信息对应的中断分片生成分片续传信息；
将所述分片续传信息发送至文件服务单元，并同步将对应所述中断分片上传至存储集群单元，并对上传进度进行续传显示。
需要说明的是，在对分片进行上传过程中，难免出现中断情况，为应对出现的分片上传中断情况，若显示上传进度出现中断，文件服务单元识别接收到的最邻近时间节点的分片发送信息，标记为断点分片发送信息，存储集群单元根据断点分片发送信息获取对应的目标分片，标记为断点目标分片，文件服务单元通过调取的待传输大文件对应的序列号列表信息对断点目标分片进行对照查询获取断点目标分片对应的序列号信息，并标记为断点序列号信息，即通过标记查询断点分片，再根据序列号列表信息查询断点目标分片的序列号信息，通过序列号列表信息查询获得断点序列号信息中断后的序列号队列号信息，根据序列号队列号信息对应的中断分片生成分片续传信息，即重拾中断分片的断点并生成分片续传信息，最后将分片续传信息发送至文件服务单元，并同步将对应中断分片上传至存储集群单元，并对上传进度进行续传显示，以实现对中断分片的续传和传输显示。
如图5所示，本发明还公开了一种基于数据处理的大文件分片传输系统5，包括存储器51和处理器52，所述存储器中包括基于数据处理的大文件分片传输方法程序，所述基于数据处理的大文件分片传输方法程序被所述处理器执行时实现如下步骤：
前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元；
前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息；
前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示；
存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息；
文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度；
若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件；
文件服务单元将合并文件的结果反馈至前端单元。
需要说明的是，为实现对大文件的传输，通过设置三个模块单元，前端单元、文件服务单元以及存储集群单元，对大文件进行分片处理和标识、关联，再结合分片信息进行序列号信息的聚合加权获得修正后的散列值，根据散列值与大文件的预设第二散列值进行完整度对比，判断分片传输的完整度，若分片上传完整度符合要求调取对应分片并合并获得合并文件，最后将合并文件的处理结果反馈，完成对大文件的分片传输和合并，具体通过前端单元对待传输大文件进行分片处理获得分片信息并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑生成分片符号信息，前端单元将分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示，实现对分片的上传，存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元以调取分片符号信息，文件服务单元根据分片符号信息提取序列号信息并结合分片信息进行聚合和加权获得第一修正散列值，并与待传输大文件的第二散列值进行对比判断分片上传完整度，若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片并合并获得合并文件，最后文件服务单元将合并文件的结果反馈至前端单元，实现前端、服务端以及存储端的分片处理以及关联信息交互的模块分片关联设计功能。
根据本发明实施例，所述前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，具体为：
前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理，获得分片信息，包括分片类型特征信息、分片属性特征信息、分片功用信息；
前端单元将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据所述分片信息对各分片进行签名并链接，生成标识ID信息和上传链接信息；
所述文件服务单元将接收的所述全部分片对应的所述标识ID信息和上传链接信息返回至前端单元。
需要说明的是，前端单元首先对待传输的大文件根据大文件属性如文件类型、文件大小、文件机要性、文件密钥等级，通过预设得分片模型进行分片处理，获得分片信息，该分片模型是根据大文件属性进行预设分割的文件分片处理模型，通过模型分片获得分片信息，包括分片的类型特征、属性特征以及功用信息，反映出大文件分片的类别、属性以及功用情况，再将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据分片信息对各分片进行签名并给出上传链接，生成标识ID信息和上传链接信息，最后文件服务单元将接收的全部分片对应的标识ID信息和上传链接信息返回至前端单元。
根据本发明实施例，所述前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息，具体为：
前端单元根据接收的所述标识ID信息与对应分片进行标识关联，并获取所述分片对应的序列号信息；
将所述序列号信息结合分片大小以及所述标识ID信息进行信息捆绑，生成分片符号信息。
需要说明的是，前端单元在接收到全部分片对应的标识ID信息后，根据标识ID信息对各对应分片进行标识关联，并获取分片对应的序列号信息，序列号信息是各分片的预置排布序列号，实现对各分片的标识区分以及分片序列排布，为后面分片合并具有关键作用，再将序列号信息结合分片大小以及标识ID信息进行信息捆绑，生成分片符号信息，分片大小是通过预设分片模型按照大文件属性进行分片后的大小，是反映分片的属性参量。
根据本发明实施例，所述前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示，具体为：
前端单元根据所述分片符号信息生成分片发送信息；
通过对应的所述上传链接信息将所述分片发送信息发送至文件服务单元；
将对应所述分片上传至存储集群单元生成目标分片；
前端单元同时对上传进度进行同步显示。
需要说明的是，再完成对分片的信息捆绑后，前端单元根据分片符号信息生成分片发送信息，即将分片信息结合发送媒介载体生成可发送的分片发送信息，媒介载体根据分片的实际上传方式进行设置，将分片信息通过对应的上传链接信息进行发送至文件服务单元，再同时将对应分片上传至存储集群单元生成目标分片，同时在分片以及分片信息进行上传的过程中，前端单元对上传进度进行同步显示，以实现对分片上传的可视显示。
根据本发明实施例，所述存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息，具体为：
存储集群单元根据接收到的所述目标分片获取对应关联的标识ID信息；
将所述标识ID信息反馈至所述文件服务单元；
文件服务单元根据所述标识ID信息调取所述目标分片的分片符号信息。
需要说明的是，存储集群单元在接收到目标分片后，获取目标分片对应的关联标识ID信息，并反馈至文件服务单元，文件服务单元根据标识ID信息调取上述目标分片对应的的分片符号信息，实现通过与存储端的信息交互明确收到分片的对应符号标识信息的模块之间的关联设计功能。
根据本发明实施例，所述文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度，具体为：
当前端单元的分片上传进度完成后，文件服务单元根据所述分片符号信息提取序列号信息；
将各所述目标分片的序列号信息结合分片类型特征信息通过散列运算模型进行聚合处理，获得全部目标分片的第一散列值；
根据所述分片信息以及目标分片大小进行计算处理获得分片特性检定值，并根据分片特性检定值对所述第一散列值进行加权处理，获得第一修正散列值；
文件服务单元将所述第一修正散列值与所述待传输大文件的对应第二散列值进行对比，并根据对比结果判断分片的上传完整度；
所述分片特性检定值的计算公式为：
Figure SMS_21
；
其中，
Figure SMS_24
为分片特性检定值，/>
Figure SMS_25
为目标分片大小，/>
Figure SMS_28
、/>
Figure SMS_23
、/>
Figure SMS_26
分别为分片类型特征信息、分片属性特征信息、分片功用信息，/>
Figure SMS_29
、/>
Figure SMS_30
、/>
Figure SMS_22
、/>
Figure SMS_27
为预设特征系数（预设特征系数通过文件服务单元的预设数据库进行查询获得）。
需要说明的是，当前端单元完成分片以及对应分片信息的上传后，为检验上传分片的完整性，以避免出现断传、误传、重传的异常，
文件服务单元根据获得的上传分片的对应分片符号信息提取序列号信息，
将各目标分片的序列号信息结合分片类型特征信息通过散列运算模型进行聚合处理，获得全部目标分片的第一散列值，即通过散列运算模型对各分片的序列号信息进行处理和聚合，散列运算模型是预设的对分片序列号进行预设处理方式的模型，通过该模型可对各分片的序列号信息进行聚合获得全部分片的散列值，该散列值是分片序列号的排列数据，可用于识别分片聚合后的身份，再根据分片信息以及目标分片大小进行计算处理获得分片特性检定值，该分片特性检定值是反映分片属性信息的特性检定值，该检定值是对分片身份识别的补充，根据分片特性检定值结合第一散列值按照预设排布方式进行加权处理，获得第一修正散列值，即将特性检定值与散列值按照预设方式进行排列编码处理，得到修正后的散列值，后文件服务单元将得到的第一修正散列值与预设的待传输大文件的对应第二散列值进行对比，将两者散列值进行对照，若散列值对照完全一致，则说明分片上传完整，不存在分片遗漏和上传差错。
根据本发明实施例，所述若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件，具体为：
若分片的所述上传完整度符合预设完整度要求，则文件服务单元根据所述目标分片的标识ID信息从存储集群单元调取对应目标分片；
文件服务单元根据所述大文件属性通过预设文件合并模型对全部目标分片进行分片合并，获得合并文件。
需要说明的是，如通过完整度检验结果显示分片上传无误，则文件服务单元根据目标分片的标识ID信息从存储集群单元调取对应目标分片，
再根据大文件属性通过预设文件合并模型对全部目标分片进行分片合并，获得合并文件，即通过文件服务单元实现根据分片的标识信息调取分片进行合并的功能，分片的方式根据大文件属性通过文件合并模型进行分片合并处理，实现对大文件的分片传输和核对、合并。
根据本发明实施例，还包括：
若文件服务单元判断分片的所述上传完整度不符合预设完整度要求，则文件服务单元通过前端单元调取所述待传输大文件的序列号列表信息，并根据序列号列表信息与所述各目标分片的序列号信息集进行对比，获取遗漏序列号信息；
根据所述遗漏序列号信息通过所述序列号列表信息查询获取对应遗漏分片；
文件服务单元将所述遗漏分片结合各目标分片的序列号信息进行聚合计算，获得第三散列值；
根据所述第三散列值与所述第二散列值进行对比，判断分片补漏的完整度；
若完整度符合预设完整度要求，则文件服务单元根据所述遗漏分配和目标分片进行分片合并，获得合并文件。
需要说明的是，若文件服务单元判断分片的上传完整度不符合预设完整度要求，则说明分片上传存在遗漏或差错，需对分片进行查缺补漏，文件服务单元通过前端单元调取待传输大文件的序列号列表信息，该序列号列表信息是针对大文件的分片序列号进行预置的序列号列表，根据序列号列表信息对各目标分片的序列号信息集进行对比查漏，获取遗漏序列号信息，该遗漏序列号对应分片即为上传遗漏分片，再根据遗漏序列号信息通过序列号列表信息查询获取对应遗漏分片，文件服务单元将遗漏分片结合各目标分片的序列号信息再次进行聚合计算，获得第三散列值，根据第三散列值与第二散列值进行对比，判断分片补漏的完整度，若完整度符合预设完整度要求，则文件服务单元根据遗漏分配和目标分片进行分片合并，获得合并文件，从而实现对遗漏分片的查漏和补缺，以获得补漏后的完整分片。
根据本发明实施例，还包括：
若显示上传进度出现中断，文件服务单元识别接收到的最邻近时间节点的分片发送信息，标记为断点分片发送信息；
存储集群单元根据所述断点分片发送信息获取对应的目标分片，标记为断点目标分片；
文件服务单元通过调取的所述待传输大文件对应的序列号列表信息对所述断点目标分片进行对照查询，获取所述断点目标分片对应的序列号信息，并标记为断点序列号信息；
通过所述序列号列表信息查询获得所述断点序列号信息中断后的序列号队列号信息；
根据所述序列号队列号信息对应的中断分片生成分片续传信息；
将所述分片续传信息发送至文件服务单元，并同步将对应所述中断分片上传至存储集群单元，并对上传进度进行续传显示。
需要说明的是，在对分片进行上传过程中，难免出现中断情况，为应对出现的分片上传中断情况，若显示上传进度出现中断，文件服务单元识别接收到的最邻近时间节点的分片发送信息，标记为断点分片发送信息，存储集群单元根据断点分片发送信息获取对应的目标分片，标记为断点目标分片，文件服务单元通过调取的待传输大文件对应的序列号列表信息对断点目标分片进行对照查询获取断点目标分片对应的序列号信息，并标记为断点序列号信息，即通过标记查询断点分片，再根据序列号列表信息查询断点目标分片的序列号信息，通过序列号列表信息查询获得断点序列号信息中断后的序列号队列号信息，根据序列号队列号信息对应的中断分片生成分片续传信息，即重拾中断分片的断点并生成分片续传信息，最后将分片续传信息发送至文件服务单元，并同步将对应中断分片上传至存储集群单元，并对上传进度进行续传显示，以实现对中断分片的续传和传输显示。
本发明第三方面提供了一种可读存储介质，所述可读存储介质中包括基于数据处理的大文件分片传输方法程序，所述基于数据处理的大文件分片传输方法程序被处理器执行时，实现如上述任一项所述的基于数据处理的大文件分片传输方法的步骤。
本发明公开的一种基于数据处理的大文件分片传输方法、系统和介质，分别通过前端单元、文件服务单元和存储集群单元对大文件进行分片处理获得分片信息结合分片进行传递获得签名和标识并返回，根据签名和标识对分片进行关联并结合分片序列号信息进行捆绑生成分片符号信息并结合分片上传，根据分片获取对应关联信息并反馈调取分片符号信息，并提取序列号信息结合分片信息进行聚合和加权获得第一修正散列值，再与大文件的第二散列值进行对比判断分片上传完整度，若完整度符合要求调取对应分片并合并获得合并文件；从而对大文件进行功能模块化分片和标识获得分片符号信息，再结合分片信息进行处理获得散列值的对比结果，后进行分片合并，实现对大文件的优化分片管理以及断点检验和中断上传技术，以及实现前端、服务端以及存储端的分片处理以及关联信息交互的模块分片关联设计功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于数据处理的大文件分片传输方法，包括以下步骤：
前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元；
前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息；
前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示；
存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息；
文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度；
若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件；
文件服务单元将合并文件的结果反馈至前端单元。
2.根据权利要求1所述的基于数据处理的大文件分片传输方法，其特征在于，所述前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，包括：
前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理，获得分片信息，包括分片类型特征信息、分片属性特征信息、分片功用信息；
前端单元将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据所述分片信息对各分片进行签名并链接，生成标识ID信息和上传链接信息；
所述文件服务单元将接收的所述全部分片对应的所述标识ID信息和上传链接信息返回至前端单元。
3.根据权利要求2所述的基于数据处理的大文件分片传输方法，其特征在于，所述前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息，包括：
前端单元根据接收的所述标识ID信息与对应分片进行标识关联，并获取所述分片对应的序列号信息；
将所述序列号信息结合分片大小以及所述标识ID信息进行信息捆绑，生成分片符号信息。
4.根据权利要求3所述的基于数据处理的大文件分片传输方法，其特征在于，所述前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示，包括：
前端单元根据所述分片符号信息生成分片发送信息；
通过对应的所述上传链接信息将所述分片发送信息发送至文件服务单元；
将对应所述分片上传至存储集群单元生成目标分片；
前端单元同时对上传进度进行同步显示。
5.根据权利要求4所述的基于数据处理的大文件分片传输方法，其特征在于，所述存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息，包括：
存储集群单元根据接收到的所述目标分片获取对应关联的标识ID信息；
将所述标识ID信息反馈至所述文件服务单元；
文件服务单元根据所述标识ID信息调取所述目标分片的分片符号信息。
6.根据权利要求5所述的基于数据处理的大文件分片传输方法，其特征在于，所述文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度，包括：
当前端单元的分片上传进度完成后，文件服务单元根据所述分片符号信息提取序列号信息；
将各所述目标分片的序列号信息结合分片类型特征信息通过散列运算模型进行聚合处理，获得全部目标分片的第一散列值；
根据所述分片信息以及目标分片大小进行计算处理获得分片特性检定值，并根据分片特性检定值对所述第一散列值进行加权处理，获得第一修正散列值；
文件服务单元将所述第一修正散列值与所述待传输大文件的对应第二散列值进行对比，并根据对比结果判断分片的上传完整度；
所述分片特性检定值的计算公式为：
Figure QLYQS_1
；
其中，
Figure QLYQS_4
为分片特性检定值，/>
Figure QLYQS_7
为目标分片大小，/>
Figure QLYQS_9
、/>
Figure QLYQS_2
、/>
Figure QLYQS_6
分别为分片类型特征信息、分片属性特征信息、分片功用信息，/>
Figure QLYQS_8
、/>
Figure QLYQS_10
、/>
Figure QLYQS_3
、/>
Figure QLYQS_5
为预设特征系数。
7.根据权利要求6所述的基于数据处理的大文件分片传输方法，其特征在于，所述若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件，包括：
若分片的所述上传完整度符合预设完整度要求，则文件服务单元根据所述目标分片的标识ID信息从存储集群单元调取对应目标分片；
文件服务单元根据所述大文件属性通过预设文件合并模型对全部目标分片进行分片合并，获得合并文件。
8.一种基于数据处理的大文件分片传输系统，其特征在于，该系统包括：存储器及处理器，所述存储器中包括基于数据处理的大文件分片传输方法的程序，所述基于数据处理的大文件分片传输方法的程序被所述处理器执行时实现以下步骤：
前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元；
前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息；
前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示；
存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息；
文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度；
若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件；
文件服务单元将合并文件的结果反馈至前端单元。
9.根据权利要求8所述的基于数据处理的大文件分片传输系统，其特征在于，所述前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，包括：
前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理，获得分片信息，包括分片类型特征信息、分片属性特征信息、分片功用信息；
前端单元将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据所述分片信息对各分片进行签名并链接，生成标识ID信息和上传链接信息；
所述文件服务单元将接收的所述全部分片对应的所述标识ID信息和上传链接信息返回至前端单元。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于数据处理的大文件分片传输方法程序，所述基于数据处理的大文件分片传输方法程序被处理器执行时，实现如权利要求1至7中任一项所述的基于数据处理的大文件分片传输方法的步骤。
CN202310521468.4A 2023-05-10 2023-05-10 一种基于数据处理的大文件分片传输方法、系统和介质 Active CN116233120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310521468.4A CN116233120B (zh) 2023-05-10 2023-05-10 一种基于数据处理的大文件分片传输方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310521468.4A CN116233120B (zh) 2023-05-10 2023-05-10 一种基于数据处理的大文件分片传输方法、系统和介质

Publications (2)

Publication Number Publication Date
CN116233120A true CN116233120A (zh) 2023-06-06
CN116233120B CN116233120B (zh) 2023-07-14

Family

ID=86591478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310521468.4A Active CN116233120B (zh) 2023-05-10 2023-05-10 一种基于数据处理的大文件分片传输方法、系统和介质

Country Status (1)

Country Link
CN (1) CN116233120B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361772A (zh) * 2018-12-13 2019-02-19 浪潮电子信息产业股份有限公司 一种分布式对象存储系统中文件上传方法及装置
CN109831487A (zh) * 2019-01-08 2019-05-31 平安科技（深圳）有限公司 分片文件验证方法及终端设备
CN112347042A (zh) * 2020-11-05 2021-02-09 中国平安人寿保险股份有限公司 文件上传方法、装置、电子设备及存储介质
CN112532740A (zh) * 2020-12-11 2021-03-19 平安科技（深圳）有限公司 文件上传方法和装置、文件校验方法和装置
WO2021184992A1 (zh) * 2020-03-16 2021-09-23 华为技术有限公司 一种镜像文件的上传方法、相关设备及计算机存储介质
WO2022189865A1 (en) * 2021-03-08 2022-09-15 Alipay Labs (singapore) Pte. Ltd. Methods and devices for verifying data integrity

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361772A (zh) * 2018-12-13 2019-02-19 浪潮电子信息产业股份有限公司 一种分布式对象存储系统中文件上传方法及装置
CN109831487A (zh) * 2019-01-08 2019-05-31 平安科技（深圳）有限公司 分片文件验证方法及终端设备
WO2021184992A1 (zh) * 2020-03-16 2021-09-23 华为技术有限公司 一种镜像文件的上传方法、相关设备及计算机存储介质
CN112347042A (zh) * 2020-11-05 2021-02-09 中国平安人寿保险股份有限公司 文件上传方法、装置、电子设备及存储介质
CN112532740A (zh) * 2020-12-11 2021-03-19 平安科技（深圳）有限公司 文件上传方法和装置、文件校验方法和装置
WO2022189865A1 (en) * 2021-03-08 2022-09-15 Alipay Labs (singapore) Pte. Ltd. Methods and devices for verifying data integrity

Also Published As

Publication number Publication date
CN116233120B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111414334A (zh) 基于云技术的文件分片上传方法、装置、设备及存储介质
CN102752326A (zh) 在下载文件时处理数据的方法、客户端、服务器和系统
CN105825409B (zh) 一种电子发票消息推送系统及方法
CN103731499B (zh) 终端和文件传输方法
CN104348578B (zh) 数据处理的方法及装置
WO2017177778A1 (zh) 信息发送管理方法和装置、服务器和存储介质
CN105657677A (zh) 一种短信发送方法、短信网关及业务平台
CN110650146A (zh) 一种反作弊方法、装置及电子设备
CN101022473B (zh) 一种在交换机中自动识别板卡配置并且生成局数据的方法
CN111224782B (zh) 基于数字签名的数据校验方法、智能设备及存储介质
CN110913397B (zh) 短信校验方法、装置、存储介质和计算机设备
CN116233120B (zh) 一种基于数据处理的大文件分片传输方法、系统和介质
CN107844520A (zh) 电子装置、车辆数据导入方法及存储介质
CN108632318B (zh) 一种数据校验方法、数据发送方法、相关装置及系统
US11146571B2 (en) Data transmission method, apparatus, terminal device, and medium
CN116708488A (zh) 水利物联网设备状态同步方法、装置、设备及存储介质
CN113904955B (zh) 数据传输链路的检测方法、装置及系统
CN113162997B (zh) 数据传输方法、装置、电子设备及可读存储介质
CN110493735B (zh) 一种短信处理方法及装置
CN106528248A (zh) 一种移动终端基于软件完整性的下载方法及系统
CN107872493A (zh) 一种信息处理方法、终端和服务器
CN113112235A (zh) 物料审核方法、物料审核系统及计算机可读存储介质
CN112631798A (zh) 消息同步方法、装置、计算机设备及存储介质
CN110995658A (zh) 网关保护方法、装置、计算机设备及存储介质
CN110750366A (zh) 消息处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant