CN117459519A - 可回溯文件处理方法、装置、计算机设备和存储介质 - Google Patents
可回溯文件处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117459519A CN117459519A CN202311233520.2A CN202311233520A CN117459519A CN 117459519 A CN117459519 A CN 117459519A CN 202311233520 A CN202311233520 A CN 202311233520A CN 117459519 A CN117459519 A CN 117459519A
- Authority
- CN
- China
- Prior art keywords
- file
- segmented
- server
- files
- traceable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/43—Assembling or disassembling of packets, e.g. segmentation and reassembly [SAR]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种可回溯文件处理方法、装置、计算机设备和存储介质。所述方法包括:对待存储的可回溯文件进行拆分,获得多个分段文件,可回溯文件对应有第一编号,每个分段文件对应有第二编号;对第一编号进行哈希取模,获得取模结果,哈希取模的模数为服务器的个数;基于取模结果,将多个分段文件发送至取模结果对应的服务器;确定第一编号与第二编号之间的关联关系完整时,对发送至服务器的多个分段文件进行合并,关联关系表征由可回溯文件拆分得到的多个分段文件的发送状态。采用本方法能够提高可回溯文件的上传效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种可回溯文件处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的不断发展,越来越多的用户通过客户端的手机银行应用,或者手机银行网页等进行各项金融交易。
为用户能够查验历史交易行为,客户端通常在用户进行交易时,对当前交易数据进行记录,生成可回溯文件,然后将可回溯文件上传、保存至服务端,使得用户能够通过读取可回溯文件回溯历史交易数据。
然而,可回溯文件通常较大,在将可回溯文件从客户端上传至服务端时,存在由于网络传输带宽的限制,造成的上传不及时的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高可回溯文件的上传效率的可回溯文件处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种可回溯文件处理方法,包括:
对待存储的可回溯文件进行拆分,获得多个分段文件,所述可回溯文件对应有第一编号,每个所述分段文件对应有第二编号;
对所述第一编号进行哈希取模,获得取模结果,所述哈希取模的模数为服务器的个数;
基于所述取模结果,将多个所述分段文件发送至所述取模结果对应的服务器;
确定所述第一编号与所述第二编号之间的关联关系完整时,对发送至所述服务器的多个所述分段文件进行合并,所述关联关系表征由所述可回溯文件拆分得到的多个所述分段文件的发送状态。
在其中一个实施例中,所述基于所述取模结果,将多个所述分段文件发送至所述取模结果对应的服务器,包括:
获取第三编号,所述第三编号与所述服务器一一对应;
基于所述取模结果,将多个所述分段文件发送至第一服务器,所述第一服务器对应的第三编号与所述取模结果相等。
在其中一个实施例中,所述对待存储的可回溯文件进行拆分,包括:
对可回溯文件按第一顺序进行拆分;
基于所述第一顺序,确定由所述可回溯文件拆分得到的分段文件对应的第二编号。
在其中一个实施例中,所述将多个所述分段文件发送至所述取模结果对应的服务器,之后还包括:
基于发送至所述服务器的多个所述分段文件,确定所述第一编号与所述第二编号之间的关联关系。
在其中一个实施例中,所述确定所述第一编号与所述第二编号之间的关联关系,包括:
确定所述分段文件发送成功时,更新所述分段文件对应的所述第二编号的附加信息;
将所述第二编号及其附加信息更新至关联关系;
确定所述关联关系的完整性。
在其中一个实施例中,所述确定所述关联关系的完整性,包括:
并行确定多个所述关联关系的完整性。
在其中一个实施例中,所述对发送至所述服务器的多个所述分段文件进行合并,包括:
合并发送至所述服务器的多个所述分段文件,获得第一分段文件;
合并多个所述第一分段文件。
第二方面,本申请还提供了一种可回溯文件处理装置,包括:
拆分模块,用于对待存储的可回溯文件进行拆分,获得多个分段文件,所述可回溯文件对应有第一编号,每个所述分段文件对应有第二编号;
计算模块,用于对所述第一编号进行哈希取模,获得取模结果,所述哈希取模的模数为服务器的个数;
发送模块,用于基于所述取模结果,将多个所述分段文件发送至所述取模结果对应的服务器;
合并模块,用于确定所述第一编号与所述第二编号之间的关联关系完整时,对发送至所述服务器的多个所述分段文件进行合并,所述关联关系表征由所述可回溯文件拆分得到的多个所述分段文件的发送状态。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述可回溯文件处理方法、装置、计算机设备和存储介质,通过将记录用户交易行为的可回溯文件进行拆分,基于可回溯文件对应的第一编号将由同一可回溯文件拆分得到的分段文件发送至同一服务器;基于分段文件对应的第二编号,在第一编号与第二编号的关联关系完整时,合并服务器中的分段文件,得到了还原一致的可回溯文件,实现了交易行为的可回溯性,提升了可回溯文件上传至服务器的效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中可回溯文件处理方法的应用环境图;
图2为一个实施例中可回溯文件处理方法的流程示意图;
图3为另一个实施例中可回溯文件处理方法的流程示意图;
图4为一个实施例中可回溯文件处理装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的可回溯文件处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102可以记录用户的交易数据,并生成可回溯文件上传至服务器104,服务器104是多个服务器组成的分布式服务器集群。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
在一个示例性的实施例中,如图2所示,提供了一种可回溯文件处理方法,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤201至步骤204。其中:
步骤210,对待存储的可回溯文件进行拆分,获得多个分段文件,可回溯文件对应有第一编号,每个分段文件对应有第二编号。
其中,可回溯文件可以包括记录用户交易行为的交易数据。可回溯文件可以是图片、音频或视频等。基于可回溯文件能够还原用户的交易行为。在一种可能的实现方式中,可以在用户进行交易时,对终端102进行录屏,以得到记录有当前交易行为的可回溯文件。
需要说明的是,可回溯文件的数量可以是一个或多个,可回溯文件与第一编号一一对应,也即是,基于第一编号能够确定唯一的可回溯文件。当可回溯文件的数量为多个时,由不同可回溯文件拆分得到的分段文件,可以对应相同的第二编号;由同一可回溯文件拆分得到的分段文件,对应各不相同的第二编号。例如,两个可回溯文件A和B的第一编号分别为FA和FB.其中可回溯文件A分成3段,每个分段文件的第二编号分别为001、002、003;可回溯文件B分成两段,每个分段文件的第二编号分别为001、002。
步骤220,对第一编号进行哈希取模,获得取模结果,哈希取模的模数为服务器的个数。
具体的,当服务器的个数为N时,在基于哈希函数得到第一编号的哈希值后,对第一编号的哈希值按N取余,得到取模结果,取模结果为小于N的自然数。例如,当服务器的个数为4时,在基于哈希函数得到第一编号的哈希值为17后,对17按4取余,得到取模结果为1。
步骤230,基于取模结果,将多个分段文件发送至取模结果对应的服务器。
具体的,取模结果总为小于服务器个数的自然数,取模结果可以与分布式服务器集群中的服务器一一对应。示例性地,得到取模结果后,可以获取服务器的编号、以及预先存储的取模结果与服务器的编号的对应关系,确定取模结果对应的服务器的编号,基于该服务器的编号将多个分段文件发送至该服务器。
可以理解的是,由同一可回溯文件拆分得到的分段文件,对应相同的第一编号。基于对第一编号进行哈希取模得到的取模结果,确定分段文件在分布式服务器集群中的存储位置,能够保证由同一可回溯文件拆分得到的分段文件,存储于同一台服务器。
步骤240,确定第一编号与第二编号之间的关联关系完整时,对发送至服务器的多个分段文件进行合并,关联关系表征由可回溯文件拆分得到的多个分段文件的发送状态。
其中,第一编号与第二编号之间的关联关系为同一可回溯文件对应的第一编号,与该可回溯文件拆分得到的分段文件对应的第二编号之间的关联关系。
示例性地,可以在将分段文件发送至取模结果对应的服务器时,存储已发送分段文件对应的第一编号和第二编号至数据库或缓存服务器,并基于已发送分段文件对应的第一编号和第二编号,确定第一编号与第二编号之间的关联关系。可以理解的是,若第一编号对应的可回溯文件拆分得到的分段文件已全部发送,数据库或缓存服务器存储有该可回溯文件拆分得到的所有分段文件对应的第二编号,此时,可以确定第一编号与第二编号之间的关联关系完整。
例如,可回溯文件A的第一编号为FA,可回溯文件A分成3段,每个分段文件的第二编号分别为001、002、003。若基于终端102的发送记录确定分段文件001已发送、分段文件002和分段文件003未发送,存储分段文件001对应的第一编号FA和第二编号001至数据库或缓存服务器,建立第一编号FA与第二编号001之间的关联关系,此时,可以确定第一编号与第二编号之间的关联关系不完整;若基于终端102的发送记录确定分段文件001、分段文件002和分段文件003已发送,存储分段文件001对应的第一编号FA和第二编号001、分段文件002对应的第一编号FA和第二编号002、分段文件003对应的第一编号FA和第二编号003至数据库或缓存服务器,建立第一编号FA与第二编号001、第二编号002、第二编号003之间的关联关系,此时,可以确定第一编号与第二编号之间的关联关系完整。
进一步地,确定第一编号与第二编号之间的关联关系完整时,可以基于对第一编号进行哈希取模得到的取模结果,确定该第一编号对应的可回溯文件所在的服务器,进而对该服务器中的多个分段文件进行合并。
上述可回溯文件处理方法中,通过将记录用户交易行为的可回溯文件进行拆分,基于可回溯文件对应的第一编号将由同一可回溯文件拆分得到的分段文件发送至同一服务器;基于分段文件对应的第二编号,在第一编号与第二编号的关联关系完整时,合并服务器中的分段文件,得到了还原一致的可回溯文件,实现了交易行为的可回溯性,提升了可回溯文件上传至服务器的效率。
图3示出了另一种可回溯文件处理方法,以该方法应用于图1中的服务器104为例进行说明。在一个示例性的实施例中,如图3所示,上述步骤210包括以下步骤211、步骤212,本实施例涉及的是如何对可回溯文件进行拆分的一种可选的实现过程。其中:
步骤211,对可回溯文件按第一顺序进行拆分。
可选地,可以获取可回溯文件的数据量,若可回溯文件的数据量大于预设的阈值,将可回溯文件拆分为小于阈值的多个分块文件。在一种可能的实现方式中,预设的阈值可以由网络传输带宽确定。
步骤212,基于第一顺序,确定由可回溯文件拆分得到的分段文件对应的第二编号。
具体的,可以基于第一顺序对多个分段文件进行排序,并依次对分段文件进行编号。在一种可能的实现方式中,排序后的分段文件对应的第二编号可以为依次增大的自然数。可以理解的是,基于分段文件对应的第二编号,能够按照第一顺序合并分段文件。
本实施例中,通过记录由可回溯文件拆分得到的多个分段文件之间的顺序,并按顺序对分段文件进行编号,实现了基于分段文件的编号能够还原可回溯文件,保证了对可回溯文件进行拆分再还原的一致性。
在一个示例性的实施例中,如图3所示,上述步骤230包括以下步骤231、步骤231,本实施例涉及的是如何将分段文件发送至指定服务器的一种可选的实现过程。其中:
步骤231,获取第三编号,第三编号与服务器一一对应。
在一种可能的实现方式中,第三编号可以为预先对分布式服务器集群中的服务器进行编号得到。
步骤232,基于取模结果,将多个分段文件发送至第一服务器,第一服务器对应的第三编号与取模结果相等。
可选地,也可以基于预先存储的第三编号与取模结果的对应关系,将多个分段文件发送至第二服务器,第二服务器对应的第三编号与取模结果相对应。
本实施例中,通过对分布式服务器集群中服务器进行编号,实现了将由同一可回溯文件拆分得到的多个分段文件,发送至与取模结果相等的第三编号对应的服务器,提升了分段文件的上传效率,并且,当存在多个待存储的可回溯文件时,能够保证分布式服务器集群中每台服务器的文件数量基本相等,便于对分布式服务器集群进行资源管理。
在一个示例性的实施例中,上述可回溯文件处理方法还可以包括:步骤250,本实施例涉及的是如何确定多个分段文件的发送状态的一种可选的实现过程,其中:
步骤250,基于发送至服务器的多个分段文件,确定第一编号与第二编号之间的关联关系。
示例性地,可以获取发送至服务器的多个分段文件对应的第二编号,并基于服务器中分段文件对应的第一编号和第二编号,确定第一编号与第二编号之间的关联关系。可以理解的是,若服务器中的多个分段文件包括第一编号对应的可回溯文件拆分得到的所有分段文件,此时,第一编号与第二编号之间的关联关系完整。在一种可能的实现方式中,可以间隔预设的获取时间,获取服务器中多个分段文件对应的第一编号和第二编号。
本实施例中,通过查阅服务器中的分段文件,能够确定分段文件的发送状态,进而将发送成功的分段文件的第二编号记录至关联关系,实现了基于关联关系确定可回溯文件拆分得到的分段文件是否已全部上传,保证了还原可回溯文件的准确性。
在一个示例性的实施例中,如图3所示,上述步骤250包括以下步骤251至步骤253,本实施例涉及的是确定关联关系的一种具体实现方式。其中:
步骤251,确定分段文件发送成功时,更新分段文件对应的第二编号的附加信息。
示例性地,第二编号的初始附加信息为空。若基于发送至服务器的多个分段文件,确定分段文件发送成功,更新该第二编号的附加信息,例如,可以更新该第二编号的附加信息为“已发送”。
步骤252,将第二编号及其附加信息更新至关联关系。
示例性地,数据库或缓存服务器存储有第一编号与第二编号之间的关联关系,基于第一编号能够获取第二编号的附加信息。
步骤253,确定关联关系的完整性。
示例性地,可以间隔预设的查询时间,查询数据库或缓存服务器存储的关联关系,若该关联关系中所有第二编号的附加信息均为“已发送”,确定该关联关系完整。
本实施例中,通过查阅服务器中的分段文件,变更发送成功的分段文件对应的第二编号的附加信息,实现了基于关联关系中的附加信息确定可回溯文件拆分得到的分段文件是否已全部上传,保证了还原可回溯文件的准确性。
在一个示例性的实施例中,上述步骤253可以包括步骤253A,本实施例涉及的是待存储的可回溯文件的数量为多个的情况下,验证关联关系的具体过程。
其中:
步骤253A,并行确定多个关联关系的完整性。
具体的,可以通过启动多个处理线程,同步验证数据库或缓存服务器存储的关联关系,若存在关联关系完整,执行上述步骤240;若关联关系不完整,跳过该关联关系对应的可回溯文件,同步合并关联关系完整的多个可回溯文件。
本实施例中,通过对多个关联关系进行同步验证,进一步提升了可回溯文件的上传效率,
在一个示例性的实施例中,上述步骤240包括以下步骤241、步骤242,本实施例涉及的是如何对发送至服务器的多个分段文件进行合并的一种可选的实现过程。其中:
步骤241,合并发送至服务器的多个分段文件,获得第一分段文件。
步骤242,合并多个第一分段文件。
其中,第一分段文件包括的数据量大于分段文件包括的数据量,可回溯文件的包括的数据量大于第一分段文件包括的数据量。在一种可能的实现方式中,可以通过启动多个合并线程,将服务器中的分段文件合并为第一分段文件,然后将多个第一分段文件合并,还原为可回溯文件。例如,服务器中的分段文件的个数为20个,可以通过启动两个合并线程,将10个分段文件合并为1个第一分段文件,得到2个第一分段文件,然后合并2个第一分段文件。
可选地,对分段文件进行合并后,可以将还原得到的可回溯文件存储于分段文件所在的服务器。
进一步地,在可回溯文件较大且数量较多的情况下,可以通过启动多个线程、以及增加分布式服务器集群中服务器的数量,保证可回溯文件的上传效率较高。
本实施例中,通过对服务器中的分段文件进行分批次的同步合并,进一步提高了可回溯文件的上传效率。
综上所述,本实施例提供的可回溯文件处理方法,通过将记录用户交易行为的可回溯文件进行拆分,基于可回溯文件对应的第一编号将由同一可回溯文件拆分得到的分段文件发送至同一服务器;基于分段文件对应的第二编号,在第一编号与第二编号的关联关系完整时,合并服务器中的分段文件,得到了还原一致的可回溯文件,实现了交易行为的可回溯性,提升了可回溯文件上传至服务器的效率。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的可回溯文件处理方法的可回溯文件处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个可回溯文件处理装置实施例中的具体限定可以参见上文中对于可回溯文件处理方法的限定,在此不再赘述。
在一个示例性的实施例中,如图4所示,提供了一种可回溯文件处理装置300,包括:拆分模块310、计算模块320、发送模块330、合并模块340,其中:
拆分模块310,用于对待存储的可回溯文件进行拆分,获得多个分段文件,可回溯文件对应有第一编号,每个分段文件对应有第二编号。
计算模块320,用于对第一编号进行哈希取模,获得取模结果,哈希取模的模数为服务器的个数。
发送模块330,用于基于取模结果,将多个分段文件发送至取模结果对应的服务器。
合并模块340,用于确定第一编号与第二编号之间的关联关系完整时,对发送至服务器的多个分段文件进行合并,关联关系表征由可回溯文件拆分得到的多个分段文件的发送状态。
在一个示例性的实施例中,上述发送模块330包括:
获取子模块,用于获取第三编号,第三编号与服务器一一对应。
发送子模块,用于基于取模结果,将多个分段文件发送至第一服务器,第一服务器对应的第三编号与取模结果相等。
在一个示例性的实施例中,上述拆分模块310包括:
拆分子模块,用于对可回溯文件按第一顺序进行拆分;
第一确定子模块,用于基于第一顺序,确定由可回溯文件拆分得到的分段文件对应的第二编号。
在一个示例性的实施例中,可回溯文件处理装置300还包括:
确定模块,用于基于发送至服务器的多个分段文件,确定第一编号与第二编号之间的关联关系。
在一个示例性的实施例中,上述确定模块包括:
第一更新子模块,用于确定分段文件发送成功时,更新分段文件对应的第二编号的附加信息;
第二更新子模块,用于将第二编号及其附加信息更新至关联关系;
第二确定子模块,用于确定关联关系的完整性。
在一个示例性的实施例中,上述第二确定子模块包括:
并行确定单元,用于并行确定多个关联关系的完整性。
在一个示例性的实施例中,上述合并模块340包括:
第一合并子模块,用于合并发送至服务器的多个分段文件,获得第一分段文件
第二合并子模块,用于合并多个第一分段文件。
上述可回溯文件处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储交易数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种可回溯文件处理方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种可回溯文件处理方法,其特征在于,所述方法包括:
对待存储的可回溯文件进行拆分,获得多个分段文件,所述可回溯文件对应有第一编号,每个所述分段文件对应有第二编号;
对所述第一编号进行哈希取模,获得取模结果,所述哈希取模的模数为服务器的个数;
基于所述取模结果,将多个所述分段文件发送至所述取模结果对应的服务器;
确定所述第一编号与所述第二编号之间的关联关系完整时,对发送至所述服务器的多个所述分段文件进行合并,所述关联关系表征由所述可回溯文件拆分得到的多个所述分段文件的发送状态。
2.根据权利要求1所述的方法,其特征在于,所述基于所述取模结果,将多个所述分段文件发送至所述取模结果对应的服务器,包括:
获取第三编号,所述第三编号与所述服务器一一对应;
基于所述取模结果,将多个所述分段文件发送至第一服务器,所述第一服务器对应的第三编号与所述取模结果相等。
3.根据权利要求1所述的方法,其特征在于,所述对待存储的可回溯文件进行拆分,包括:
对可回溯文件按第一顺序进行拆分;
基于所述第一顺序,确定由所述可回溯文件拆分得到的分段文件对应的第二编号。
4.根据权利要求1所述的方法,其特征在于,所述将多个所述分段文件发送至所述取模结果对应的服务器,之后还包括:
基于发送至所述服务器的多个所述分段文件,确定所述第一编号与所述第二编号之间的关联关系。
5.根据权利要求4所述的方法,其特征在于,所述确定所述第一编号与所述第二编号之间的关联关系,包括:
确定所述分段文件发送成功时,更新所述分段文件对应的所述第二编号的附加信息;
将所述第二编号及其附加信息更新至关联关系;
确定所述关联关系的完整性。
6.根据权利要求5所述的方法,其特征在于,所述确定所述关联关系的完整性,包括:
并行确定多个所述关联关系的完整性。
7.根据权利要求1所述的方法,其特征在于,所述对发送至所述服务器的多个所述分段文件进行合并,包括:
合并发送至所述服务器的多个所述分段文件,获得第一分段文件;
合并多个所述第一分段文件。
8.一种可回溯文件处理装置,其特征在于,所述装置包括:
拆分模块,用于对待存储的可回溯文件进行拆分,获得多个分段文件,所述可回溯文件对应有第一编号,每个所述分段文件对应有第二编号;
计算模块,用于对所述第一编号进行哈希取模,获得取模结果,所述哈希取模的模数为服务器的个数;
发送模块,用于基于所述取模结果,将多个所述分段文件发送至所述取模结果对应的服务器;
合并模块,用于确定所述第一编号与所述第二编号之间的关联关系完整时,对发送至所述服务器的多个所述分段文件进行合并,所述关联关系表征由所述可回溯文件拆分得到的多个所述分段文件的发送状态。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311233520.2A CN117459519A (zh) | 2023-09-21 | 2023-09-21 | 可回溯文件处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311233520.2A CN117459519A (zh) | 2023-09-21 | 2023-09-21 | 可回溯文件处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117459519A true CN117459519A (zh) | 2024-01-26 |
Family
ID=89591821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311233520.2A Pending CN117459519A (zh) | 2023-09-21 | 2023-09-21 | 可回溯文件处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117459519A (zh) |
-
2023
- 2023-09-21 CN CN202311233520.2A patent/CN117459519A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111177302B (zh) | 业务单据处理方法、装置、计算机设备和存储介质 | |
CN113901395A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN116644250B (zh) | 页面检测方法、装置、计算机设备和存储介质 | |
CN115168499B (zh) | 数据库表的分片方法、装置、计算机设备和存储介质 | |
CN116910820A (zh) | 数据报表处理方法、装置、计算机设备以及存储介质 | |
CN117459519A (zh) | 可回溯文件处理方法、装置、计算机设备和存储介质 | |
CN114218013A (zh) | 搜索方法、装置、电子设备存储介质 | |
CN116932779B (zh) | 知识图谱的数据处理方法和装置 | |
CN112860755B (zh) | 业务标识生成方法、装置、计算机设备和介质 | |
CN117910035A (zh) | 数据导入导出方法、系统、计算机设备和存储介质 | |
CN117785674A (zh) | 接口用例生成方法、装置、计算机设备和存储介质 | |
CN117407156A (zh) | 目标数据提取方法、装置、计算机设备和存储介质 | |
CN117873391A (zh) | 芯片数据缓存方法、装置、计算机设备和存储介质 | |
CN117435198A (zh) | 页面生成方法和装置 | |
CN118467174A (zh) | 一种基于人工智能的云计算数据处理方法与系统 | |
CN116541137A (zh) | 事务处理方法、装置、计算机设备、存储介质和程序产品 | |
CN118133331A (zh) | 芯片存储数据的隐私保护方法、装置和计算机设备 | |
CN116910115A (zh) | 客群查询方法、装置、计算机设备和存储介质 | |
CN118193547A (zh) | 日志管理方法、日志管理系统和存储介质 | |
CN116450240A (zh) | 文本文件加载方法、装置、计算机设备和存储介质 | |
CN116089296A (zh) | 业务逻辑测试方法、装置、计算机设备和存储介质 | |
CN117216009A (zh) | 文件处理方法、装置、设备、存储介质和计算机程序产品 | |
CN116975063A (zh) | 向量数据处理方法、装置、计算机设备和存储介质 | |
CN117951135A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN117234562A (zh) | 配置参数更新方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |