CN116955302A - 业务文件的存储方法、装置、存储介质及电子装置 - Google Patents
业务文件的存储方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN116955302A CN116955302A CN202310939496.8A CN202310939496A CN116955302A CN 116955302 A CN116955302 A CN 116955302A CN 202310939496 A CN202310939496 A CN 202310939496A CN 116955302 A CN116955302 A CN 116955302A
- Authority
- CN
- China
- Prior art keywords
- file
- service
- initial
- target
- initial service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005192 partition Methods 0.000 claims abstract description 137
- 238000012795 verification Methods 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 26
- 230000002159 abnormal effect Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种业务文件的存储方法、装置、存储介质及电子装置。涉及云计算领域,该方法包括:获取在目标时间段内业务系统的第一文件集合;根据每个初始业务文件的目标文件特征以及每个初始业务文件所对应的参考业务文件改造每个初始业务文件,得到第二文件集合,其中,目标文件特征用于指示初始业务文件的更新频率以及初始业务文件是否为增量文件,第二文件集合包括N个满足目标业务特征的可回溯文件,每个可回溯文件用于在业务系统使用对应的初始业务文件出现错误的情况下将业务系统所使用的文件回溯到对应的参考业务文件;将第二文件集合存储至目标存储空间中的目标业务分区。通过本申请,解决了相关技术中异常数据的处理效率较低的问题。
Description
技术领域
本申请涉及云计算领域,具体而言,涉及一种业务文件的存储方法、装置、存储介质及电子装置。
背景技术
随着分布式技术的推广,文件从单个提供方变为多个提供方,即文件从由单一主机平台提供变为由各分布式平台提供,在现有技术中,由于文件的提供平台存在一定的时间差,并且提供的文件过于分散,所以使得多提供方的文件使用性较低,也就是说,导致文件的使用方需要进行大量调整和切换工作,甚至可能出现因为数据源太多导致逻辑错误,从而造成大面积的生产事故。
针对相关技术中异常数据的处理效率较低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种业务文件的存储方法、装置、存储介质及电子装置,以解决相关技术中异常数据的处理效率较低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种业务文件的存储方法。该方法包括:获取在目标时间段内业务系统的第一文件集合,其中,所述业务系统用于办理目标业务,所述第一文件集合包括N个初始业务文件,N大于或者等于1,所述初始业务文件用于记录所述业务系统在所述目标时间段内办理所述目标业务所产生的业务数据;根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,其中,所述目标文件特征用于指示所述初始业务文件的更新频率以及所述初始业务文件是否为增量文件,所述第二文件集合包括N个满足所述目标业务特征的可回溯文件,每个所述可回溯文件用于在所述业务系统使用对应的所述初始业务文件出现错误的情况下将所述业务系统所使用的文件回溯到对应的所述参考业务文件,所述参考业务文件是所述目标时间段之前的参考时间段上被改造并存储的业务文件;将所述第二文件集合存储至目标存储空间中的目标业务分区,其中,所述目标存储空间包括M个业务分区,M大于或者等于1。
可选的,所述根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,包括:检测所述初始业务文件的所述目标文件特征,其中,所述目标文件特征包括新增文件特征和更新频率特征,所述新增文件特征用于指示所述初始业务文件是否为增量文件,所述更新频率特征包括高频率和低频率,所述高频率用于指示所述初始业务文件的更新频率大于或者等于频率阈值,所述低频率用于指示所述初始业务文件的更新频率小于所述频率阈值;根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件。
可选的,所述检测所述初始业务文件的所述目标文件特征,包括:检测所述初始业务文件是否为增量文件,其中,所述增量文件用于指示所述初始业务文件为新增的业务文件;根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征。
可选的,所述根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征,包括:获取所述初始业务文件中每个业务数据在所述目标时间段内的更新次数;根据所述更新次数计算所述初始业务文件在所述目标时间段的所述更新频率;将所述更新频率确定为所述初始业务文件的所述更新频率特征。
可选的,所述根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件,包括:从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,其中,所述参考业务分区是所述目标业务分区的上一业务分区;根据所述新增文件特征从所述初始业务文件中获取第二业务数据;组合所述第一业务数据与所述第二业务数据得到所述可回溯文件。
可选的,所述根据所述新增文件特征从所述初始业务文件中获取第二业务数据,包括:在所述新增文件特征指示了所述初始业务文件为所述增量文件的情况下,从所述初始业务文件中获取最新一条业务数据作为所述第二业务数据;在所述新增文件特征指示了所述初始业务文件不是所述增量文件的情况下,从所述初始业务文件以及所述参考业务文件中获取每个主键对应的最新一条业务数据作为所述第二业务数据。
可选的,所述从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,包括:在所述更新频率为所述高频率的情况下,确定所述参考业务分区为第一业务分区;在所述更新频率特征为所述低频率的情况下,确定所述参考业务分区为第二业务分区,其中,所述第二业务分区的时间长度大于所述第一业务分区。
可选的,所述根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,包括:根据注册文件对所述第一文件集合进行校验,其中,所述注册文件用于记录所述第一文件集合中每个所述业务数据的基础信息,所述第一文件集合包括主机文件与分布式文件;根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件;根据每个所述待改造文件的目标文件特征以及每个所述待改造文件所对应的所述参考业务文件改造每个所述待改造文件,得到第二文件集合。
可选的,所述根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件,包括:将所述主机文件与所述注册文件进行匹配;在所述注册文件未记录所述主机文件的第一基础信息的情况下,确定所述主机文件的校验结果为未通过校验;获取更新主机文件并将所述更新主机文件与所述注册文件进行匹配,直至获取到校验结果为通过校验的所述更新主机文件,将通过校验的所述更新主机文件确定为所述待改造文件;在所述注册文件已记录所述主机文件的所述第一基础信息的情况下,将所述分布式文件与所述注册文件进行匹配;从所述分布式文件获取在所述注册文件中已记录第二基础信息的部分文件;将所述主机文件和所述部分文件确定为所述待改造文件。
为了实现上述目的,根据本申请的另一方面,提供了一种业务文件的存储装置。
该装置包括:
获取模块,用于获取在目标时间段内业务系统的第一文件集合,其中,所述业务系统用于办理目标业务,所述第一文件集合包括N个初始业务文件,N大于或者等于1,所述初始业务文件用于记录所述业务系统在所述目标时间段内办理所述目标业务所产生的业务数据;
改造模块,用于根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,其中,所述目标文件特征用于指示所述初始业务文件的更新频率以及所述初始业务文件是否为增量文件,所述第二文件集合包括N个满足所述目标业务特征的可回溯文件,每个所述可回溯文件用于在所述业务系统使用对应的所述初始业务文件出现错误的情况下将所述业务系统所使用的文件回溯到对应的所述参考业务文件,所述参考业务文件是所述目标时间段之前的参考时间段上被改造并存储的业务文件;
存储模块,用于将所述第二文件集合存储至目标存储空间中的目标业务分区,其中,所述目标存储空间包括M个业务分区,M大于或者等于1。
通过本申请,采用以下步骤:获取在目标时间段内用于办理目标业务的业务系统的第一文件集合,第一文件集合包括N个用于记录业务系统在目标时间段内办理目标业务所产生的业务数据的初始业务文件,N大于或者等于1;根据每个初始业务文件的目标文件特征以及每个初始业务文件所对应的参考业务文件改造每个初始业务文件,得到第二文件集合;将第二文件集合存储至目标存储空间中的目标业务分区,其中,目标存储空间包括M个业务分区,M大于或者等于1。即根据初始业务文件的更新频率以及初始业务文件是否为增量文件将初始业务文件改造为满足目标业务特征的可回溯文件,在业务系统使用对应的初始业务文件出现错误的情况下将业务系统所使用的文件回溯到目标时间段之前的参考时间段上被改造并存储的业务文件,实现在文件的使用方出现错误的情况下,使用改造后的业务文件将业务系统回退至目标时间段之前的参考时间段上。解决了相关技术中异常数据的处理效率较低的问题,进而达到了提高异常数据的处理效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的业务文件的存储方法的流程图;
图2是根据本申请实施例的一种改造初始业务文件的示意图一;
图3是根据本申请实施例的一种改造初始业务文件的示意图二;
图4是根据本申请实施例的一种改造初始业务文件的示意图三;
图5是根据本申请实施例的一种改造初始业务文件的示意图四;
图6是根据本申请实施例的一种对第一文件集合进行改造的示意图;
图7是根据本申请实施例的业务文件的存储装置的示意图;
图8是根据本申请实施例的电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请提出的业务文件的存储方法使用的场景广泛,可以但不限于包括:包括主机系统和分布式系统的文件处理平台、分布式系统等等,在如下实施例中,可以但不限于以包括主机系统和分布式系统的文件处理平台场景为例,对上述业务文件的存储方法进行说明,但不对使用场景进行限定,也就是说,任何需要进行系统回退操作的多业务系统均可以使用本申请提出的业务文件的存储方法。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
下面结合优选的实施步骤对本申请进行说明,图1是根据本申请实施例提供的业务文件的存储方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,获取在目标时间段内业务系统的第一文件集合,其中,所述业务系统用于办理目标业务,所述第一文件集合包括N个初始业务文件,N大于或者等于1,所述初始业务文件用于记录所述业务系统在所述目标时间段内办理所述目标业务所产生的业务数据;
步骤S102,根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,其中,所述目标文件特征用于指示所述初始业务文件的更新频率以及所述初始业务文件是否为增量文件,所述第二文件集合包括N个满足所述目标业务特征的可回溯文件,每个所述可回溯文件用于在所述业务系统使用对应的所述初始业务文件出现错误的情况下将所述业务系统所使用的文件回溯到对应的所述参考业务文件,所述参考业务文件是所述目标时间段之前的参考时间段上被改造并存储的业务文件;
步骤S103,将所述第二文件集合存储至目标存储空间中的目标业务分区,其中,所述目标存储空间包括M个业务分区,M大于或者等于1。
在上述步骤S101提供的技术方案中,上述业务系统可以但不限于包括一个或者多个用于办理目标业务的系统,比如:将主机系统作为业务系统办理目标业务,将分布式系统作为业务系统办理目标业务,业务系统包括主机系统和分布式系统等等。
可选的,在本实施例中,上述第一文件集合中的业务文件可以但不限于来自一个或者多个业务系统,可以但不限于从业务系统的存储空间中获取每个业务系统在一定时间段办理目标业务产生的业务文件得到第一文件集合,比如:业务系统办理目标业务产生了业务数据,并将业务数据记录在业务文件中,将业务文件存储至每个业务系统对应的存储空间中,从每个业务系统对应的存储空间中获取每个业务系统在一定时间段办理目标业务产生的业务文件得到第一文件集合。或者,将业务系统办理目标业务产生的业务数据记录在业务文件中,并每个业务系统的业务文件存储至同一存储空间,从存储空间中获取业务系统在一定时间段内办理目标业务产生的业务文件得到第一文件集合。
可选的,在本实施例中,上述目标业务是通过业务系统办理的业务,可以但不限于通过业务数据记录在业务系统办理目标业务的过程,目标业务可以但不限于包括:负债业务、资产业务、中间业务等。
在上述步骤S102提供的技术方案中,可以但不限于根据初始业务文件上记录的业务数据在目标时间段内更新的情况确定初始业务文件的更新频率,比如:将初始业务文件上记录的业务数据的更新频率确定为初始业务文件的更新频率。或者,将初始业务文件上记录的业务数据的更新频率的平均数确定为初始业务文件的更新频率。
可选的,在本实施例中,第二文件集合可以但不限于是在业务系统使用对应的初始业务文件出现错误的情况下构造的,或者是在目标时间段到达情况下构造的,比如:可以但不限于在业务系统使用对应的初始业务文件出现错误的情况下,改造初始业务文件得到初始业务文件满足目标业务特征的可回溯文件,并使用可回溯文件将业务系统所使用的文件回溯到对应的参考业务文件。或者,在到达目标时间段的情况下,使用目标时间段的初始业务文件得到初始业务文件满足目标业务特征的可回溯文件,在业务系统使用对应的初始业务文件出现错误的情况下,使用可回溯文件将业务系统所使用的文件回溯到对应的参考业务文件,满足目标业务特征的可回溯文件用于在业务系统发生错误的情况下,将业务系统发生错误的文件替代为对应的可回溯文件,秒级回退到可回溯文件状态的业务系统。
在一个示例性实施例中,可以但不限于采用以下方式根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合:检测所述初始业务文件的所述目标文件特征,其中,所述目标文件特征包括新增文件特征和更新频率特征,所述新增文件特征用于指示所述初始业务文件是否为增量文件,所述更新频率特征包括高频率和低频率,所述高频率用于指示所述初始业务文件的更新频率大于或者等于频率阈值,所述低频率用于指示所述初始业务文件的更新频率小于所述频率阈值;根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件。
可选的,在本实施例中,可以但不限于从存储了业务系统的业务文件的存储空间确定初始业务文件是否为增量文件,比如:检测存储了业务系统的业务文件的存储空间是否存在目标时间段之前,与初始业务文件对应的业务文件(即与初始业务文件记录了同一业务数据的业务文件),在存储空间未存储与初始业务文件对应的业务文件的情况下,将初始业务文件确定为增量文件;在存储空间存储了与初始业务文件对应的业务文件的情况下,将初始业务文件确定为存量文件。
可选的,在本实施例中,对于第一文件集合来说上述频率阈值可以但不限于是根据初始业务文件确定的,比如:第一文件集合中的每个初始业务文件都有其对应的频率阈值,初始业务文件与其对应的频率阈值相比确定其更新频率特征。或者频率阈值是唯一定值,比如:第一文件集合中的每个初始业务文件都与同一频率阈值相比确定其更新频率特征。
可选的,在本实施例中,参考业务文件是与初始业务文件具有对应关系的业务文件,比如:参考业务文件与初始业务文件用于记录不同时间段内办理相同业务所产生的业务数据,参考业务文件与初始业务文件记录了不同时间段相同时间长度的业务数据等。
可选的,在本实施例中,初始业务文件用于记录业务系统在目标时间段内办理目标业务所产生的业务数据,初始业务文件的新增文件特征用于指示在目标时间段之前业务系统是否办理了目标业务以及是否存在办理目标业务产生的业务数据,可以但不限于从业务系统对应的存储空间中获取对应的业务数据,从而确定初始业务文件的新增文件特征,比如:从业务系统对应的存储空间中查找在目标时间段之前是否存在办理目标业务所记录的业务数据,在存储空间中不存在目标时间段之前办理目标业务的业务数据的情况下,确定初始业务文件是新增的业务文件即增量文件;或者,在存储空间中存在目标时间段之前办理目标业务的业务数据的情况下,确定初始业务文件不是新增的业务文件即存量文件。或者,从用于存储改造后的可回溯文件的目标存储空间中查找是否存在目标时间段之前改造的可回溯文件与初始业务文件记录了同一业务的业务数据,在目标存储空间中不存在目标时间段之前改造的可回溯文件与初始业务文件记录了同一业务的业务数据的业务文件的情况下,确定初始业务文件是新增的业务文件即增量文件;或者,在从目标存储空间中查找到了目标时间段之前改造的可回溯文件与初始业务文件记录了同一业务的业务数据的业务文件的情况下,确定初始业务文件不是新增的业务文件即存量文件。
可选的,在本实施例中,使用参考业务文件改造初始业务文件得到可回溯文件,参考业务文件存储在目标存储空间的业务分区中,可以但不限于根据初始业务文件的新增文件特征确定参考业务文件所在的业务分区,比如:在初始业务文件记录了目标业务在00:15-00:30时间段内的业务数据的情况下,从目标存储空间中获取存储了目标业务在00:00-00:15时间段内的业务数据的业务分区,并将业务分区内存储的可回溯文件确定为参考业务文件。
在一个示例性实施例中,可以但不限于采用以下方式检测所述初始业务文件的所述目标文件特征:检测所述初始业务文件是否为增量文件,其中,所述增量文件用于指示所述初始业务文件为新增的业务文件;根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征。
可选的,在本实施例中,初始业务文件记录了多项业务数据,业务数据可以但不限于包括:主键,多个字段,业务数据的接收时间等。可以但不限于根据每个业务数据在目标时间段内变化的次数确定初始业务文件的更新次数,比如:将每个业务数据在目标时间段内变化的次数之和确定为初始业务文件的更新次数;或者,计算业务数据在目标时间段内变化的次数平均数确定为初始业务文件的更新次数。根据初始业务文件的更新次数确定初始业务文件的更新频率特征,比如:将初始业务文件的更新次数与目标时间段的时间长度的比值确定为初始业务文件的更新频率,再将初始业务文件的更新频率与频率阈值进行比较从而确定初始业务文件的更新频率特征。
在一个示例性实施例中,可以但不限于采用以下方式根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征:获取所述初始业务文件中每个业务数据在所述目标时间段内的更新次数;根据所述更新次数计算所述初始业务文件在所述目标时间段的所述更新频率;将所述更新频率确定为所述初始业务文件的所述更新频率特征。
可选的,在本实施例中,可以但不限于根据初始业务文件的更新次数计算初始业务文件的更新频率,比如:将初始业务文件在目标时间段的更新次数与目标时间段的时间长度的比值确定为初始业务文件的更新频率。或者,将初始业务文件在目标时间段的更新次数确定为初始业务文件的更新频率。
可选的,在本实施例中,初始业务文件的更新频率特征包括初始业务文件的更新频率为高频率或者初始业务文件的更新频率为低频率,根据初始业务文件在目标时间段内的更新次数确定初始业务文件的更新频率,比如:在初始业务文件的更新频率大于或者等于频率阈值的情况下,确定初始业务文件的更新频率特征为高频率。或者,在初始业务文件的更新频率小于频率阈值的情况下,确定初始业务文件的更新频率特征为低频率。
在一个示例性实施例中,可以但不限于采用以下方式根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件:从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,其中,所述参考业务分区是所述目标业务分区的上一业务分区;根据所述新增文件特征从所述初始业务文件中获取第二业务数据;组合所述第一业务数据与所述第二业务数据得到所述可回溯文件。
可选的,在本实施例中,目标存储空间可以但不限于用于存储每次经过改造后得到的可回溯文件,目标存储空间可以但不限于包括:数据湖,数据库,缓存,寄存器等等。可以但不限于使用数据湖作为目标存储空间,由于数据湖不对接收到的业务数据进行转换、清洗、加工等处理,因此能够保留业务数据的原始特征,使用数据湖实现了对贴源层数据的整合纳管,并且数据湖中的业务数据存储格式和数据源保持一致,因此能够提供数据支撑,且面向多数据源的信息存储用于汇聚原始业务数据。
可选的,在本实施例中,可以但不限于根据时间长度的不同将目标存储空间划分为多个业务分区,并根据初始业务文件的更新频率特征确定每个初始业务文件改造后得到的可回溯文件存储的目标业务分区,比如:在初始业务文件的更新频率为低频率的情况下,将初始业务文件改造后的可回溯文件写入以天为单位进行存储的业务分区。或者,在初始业务文件的更新频率为高频率的情况下,将初始业务文件改造后的可回溯文件写入以小时为单位进行存储的业务分区。
可选的,在本实施例中,对初始业务文件进行改造后得到的可回溯文件的目标业务分区是与初始业务文件对应的参考业务文件所在的参考业务分区的下一个业务分区,参考业务分区与初始业务分区记录的可回溯文件的时间长度相同。
可选的,在本实施例中,可以但不限于根据初始业务文件是否为增量文件从初始业务文件中获取第二业务数据,比如:在初始业务文件为增量文件的情况下,从初始业务文件中选择目标时间段内最新的部分业务数据作为第二业务数据。或者,在初始业务文件为存量文件的情况下,从初始业务文件以及参考业务文件中选择每个业务数据最新的部分业务数据作为第二业务数据。
在一个示例性实施例中,可以但不限于采用以下方式根据所述新增文件特征从所述初始业务文件中获取第二业务数据:在所述新增文件特征指示了所述初始业务文件为所述增量文件的情况下,从所述初始业务文件中获取最新一条业务数据作为所述第二业务数据;在所述新增文件特征指示了所述初始业务文件不是所述增量文件的情况下,从所述初始业务文件以及所述参考业务文件中获取每个主键对应的最新一条业务数据作为所述第二业务数据。
可选的,在本实施例中,可以但不限于根据初始业务文件是否为增量文件从初始业务文件中获取部分业务数据作为第二业务数据,比如:在初始业务文件为增量文件的情况下,将初始业务文件中最新的一条业务数据作为第二业务数据。或者,在初始业务文件为存量文件的情况下,从初始业务文件以及参考业务文件中选择每个业务数据最新的一条业务数据作为第二业务数据。
可选的,在本实施例中,每个业务数据可以但不限于通过其对应的主键确定业务数据是否属于同一数据,可以但不限于通过业务数据中的字段确定业务数据是否发生更新,比如:对于同一主键,在主键对应的字段发生变化的情况下,确定业务数据发生了更新。
可选的,在本实施例中,表1是2023年01月12日时间段00:00:00-00:15:00内接收到的业务数据,包括:2023年01月12日00:01:00接收到Value-1A(字段1),Value-2A(字段2)的业务数据;2023年01月12日00:07:00接收到Value-1B(字段1),Value-2B(字段2)的业务数据。
表1
主键 | 字段1 | 字段2 | 接收时间 |
K000001 | Value-1A | Value-2A | 2023年01月12日00:01:00 |
K000002 | Value-1B | Value-2B | 2023年01月12日00:07:00 |
由表1可知,每个业务数据都有主键:Value-1A(字段1),Value-2A(字段2)的业务数据对应的主键为K000001;Value-1B(字段1),Value-2B(字段2)的业务数据对应的主键为K000002。
将2023年01月12日的00:00:00-00:15:00内接收到的业务数据直接加载到目标存储空间中2023年01月12日的首个业务分区01中,得到表2。
表2
主键 | 字段1 | 字段2 | 业务分区 |
K000001 | Value-1A | Value-2A | 2023-01-12-01 |
K000002 | Value-1B | Value-2B | 2023-01-12-01 |
由表2可知,可以但不限于将主键为K000001的Value-1A(字段1),Value-2A(字段2)的业务数据以及主键为K000002的Value-1B(字段1),Value-2B(字段2)写入目标存储空间的业务分区2023-01-12-01中。
可选的,在本实施例中,图2是根据本申请实施例的一种改造初始业务文件的示意图一,如图2所示,以参考业务文件为如表2所示的参考业务区间内的业务数据,初始业务文件为如表3所示的2023年01月12日00:15:00-00:29:59接收到的业务文件,初始业务文件的更新频率为高频率,且初始业务文件为增量文件为例,可以但不限于通过以下方式改造初始业务文件得到初始业务文件的可回溯文件:
表3
主键 | 字段1 | 字段2 | 接收时间 |
K000001 | Value-1A | Value-2A | 2023年01月12日00:18:00 |
K000002 | Value-1B | Value-2B | 2023年01月12日00:19:00 |
K000003 | Value-1C | Value-2C | 2023年01月12日00:20:00 |
K000001 | Value-1D | Value-2D | 2023年01月12日00:20:00 |
由表3可知,2023年01月12日00:15:00-00:29:59内接收到的业务数据包括:2023年01月12日00:18:00接收到的Value-1A(字段1),Value-2A(字段2),主键为K000001;2023年01月12日00:19:00接收到的Value-1B(字段1),Value-2B(字段2),主键为K000002;2023年01月12日00:20:00接收到的Value-1C(字段1),Value-2C(字段2),主键为K000003;2023年01月12日00:20:00接收到的Value-1D(字段1),Value-2D(字段2),主键为K000001。
根据初始业务文件的更新频率从目标存储空间中获取初始业务文件对应的参考业务文件为如表2所示的业务数据作为第一业务数据。由于初始业务文件为增量文件,因此从表3中获取目标时间段的最新一条业务数据(2023年01月12日00:20:00接收到的Value-1D(字段1),Value-2D(字段2),主键为K000001)作为第二业务数据,组合第一业务数据与第二业务数据得到如表4所示的可回溯文件,并将第二业务数据写入目标存储空间中的业务分区2023-01-12-02。
表4
主键 | 字段1 | 字段2 | 业务分区 |
K000001 | Value-1A | Value-2A | 2023-01-12-01 |
K000002 | Value-1B | Value-2B | 2023-01-12-01 |
K000003 | Value-1C | Value-2C | 2023-01-12-02 |
K000001 | Value-1D | Value-2D | 2023-01-12-02 |
由表4可知,在初始业务文件相对于参考业务文件有主键新增的情况下,可以但不限于将新增主键对应的字段也写入业务分区2023-01-12-02。
可选的,在本实施例中,图3是根据本申请实施例的一种改造初始业务文件的示意图二,如图3所示,以初始业务文件为如表5所示的2023年01月12日00:15:00~00:29:59内接收到的业务数据,参考业务文件包括如表2所示的业务数据,初始业务文件的更新频率为高频率,且初始业务文件为不是增量文件为例,可以但不限于通过以下方式改造初始业务文件得到初始业务文件的可回溯文件:
表5
主键 | 字段1 | 字段2 | 接收时间 |
K000001 | Value-1C | Value-2C | 2023年01月12日00:18:00 |
K000003 | Value-1E | Value-2E | 2023年01月12日00:19:00 |
K000001 | Value-1F | Value-2F | 2023年01月12日00:20:00 |
由表5可知的2023年01月12日00:15:00~00:29:59内接收到的业务数据包括:2023年01月12日00:18:00接收到的Value-1C(字段1)、Value-2C(字段2),主键为K000001;2023年01月12日00:19:00接收到的Value-1E(字段1)、Value-2E(字段2),主键为K000003;2023年01月12日00:20:00接收到的Value-1F(字段1)、Value-2F(字段2),主键为K000001。
由于初始业务文件为存量文件,从表5中获取每个主键的最新一条业务数据作为第二业务数据(Value-1F(字段1)、Value-2F(字段2),主键为K000001;Value-1B(字段1)、Value-2B(字段2),主键为K000002;Value-1E(字段1)、Value-2E(字段2),主键为K000003)得到如表6所示的可回溯文件:
表6
主键 | 字段1 | 字段2 | 业务分区 |
K000001 | Value-1A | Value-2A | 2023-01-12-01 |
K000002 | Value-1B | Value-2B | 2023-01-12-01 |
K000001 | Value-1F | Value-2F | 2023-01-12-02 |
K000002 | Value-1B | Value-2B | 2023-01-12-02 |
K000003 | Value-1E | Value-2E | 2023-01-12-02 |
由表6可知,将第二业务数据(Value-1F(字段1)、Value-2F(字段2),主键为K000001;Value-1B(字段1)、Value-2B(字段2),主键为K000002;Value-1E(字段1)、Value-2E(字段2),主键为K000003)写入业务分区2023-01-12-02。
可选的,在本实施例中,表7是2023年01月12日内接收到的业务数据,可以但不限于将首日接收到的业务数据写入首个业务分区。
表7
主键 | 字段1 | 字段2 | 接收时间 |
K000001 | Value-1A | Value-2A | 2023年01月12日00:01:00 |
K000001 | Value-1B | Value-2B | 2023年01月12日00:07:00 |
K000002 | Value-1C | Value-2C | 2023年01月12日00:17:00 |
K000001 | Value-1D | Value-2D | 2023年01月12日00:27:00 |
K000001 | Value-1E | Value-2E | 2023年01月12日00:37:00 |
K000001 | Value-1F | Value-2F | 2023年01月13日01:17:00 |
由表7可知,2023年01月12日内接收到的业务数据包括2023年01月12日00:01:00接收到的Value-1A(字段1)、Value-2A(字段2),主键K000001;2023年01月12日00:07:00接收到的Value-1B(字段1)、Value-2B(字段2),主键K000001;2023年01月12日00:17:00接收到的Value-1C(字段1)、Value-2C(字段2),主键K000002;2023年01月12日00:27:00接收到的Value-1D(字段1)、Value-2D(字段2),主键K000001;2023年01月12日00:37:00接收到的Value-1E(字段1)、Value-2E(字段2),主键K000001;2023年01月13日01:17:00接收到的Value-1F(字段1)、Value-2F(字段2),主键K000001。
根据表7中的业务数据,可以但不限于根据每个业务数据的主键,筛选如表8所示的每个主键对应的在2023年01月12日最新的业务数据作为第二业务数据写入2023年01月的首个业务分区。
表8
主键 | 字段1 | 字段2 | 接收时间 |
K000002 | Value-1C | Value-2C | 2023年01月12日00:17:00 |
K000001 | Value-1E | Value-2E | 2023年01月12日00:37:00 |
由表8可知,主键K000002在2023年01月12日最新的业务数据为2023年01月12日00:17:00的Value-1C(字段1)、Value-2C(字段2);主键K000001在2023年01月12日最新的业务数据为2023年01月12日00:37:00的Value-1E(字段1)、Value-2E(字段2)。
可以但不限于按照如表9所示将每个主键在2023年01月12日最新的业务数据作为第二业务数据写入2023年01月的业务分区2023-01-12-01。
表9
主键 | 字段1 | 字段2 | 业务分区 |
K000002 | Value-1C | Value-2C | 2023-01-12-01 |
K000001 | Value-1E | Value-2E | 2023-01-12-01 |
根据表9可知,主键K000002在2023年01月12日最新的业务数据为2023年01月12日00:17:00的Value-1C(字段1)、Value-2C(字段2),主键K000001在2023年01月12日最新的业务数据为2023年01月12日00:37:00的Value-1E(字段1)、Value-2E(字段2),并将每个主键在2023年01月12日最新的业务数据作为第二业务数据写入2023年01月的业务分区2023-01-12-01。
可选的,在本实施例中,图4是根据本申请实施例的一种改造初始业务文件的示意图三,如图4所示,以如表7所示的业务数据包括2023年01月13日接收到的业务数据为初始业务文件,初始业务文件对应的参考业务文件包括如表9所示的业务数据,初始业务文件的更新频率为低频率,且初始业务文件为增量文件为例,可以但不限于通过以下方式改造初始业务文件得到初始业务文件的可回溯文件:
根据初始业务文件为新增文件,从表7中获取2023年01月13日接收到的最新一条业务数据,得到如表10所示的第二业务数据。
表10
主键 | 字段1 | 字段2 | 接收时间 |
K000001 | Value-1F | Value-2F | 2023年01月13日01:17:00 |
由表10可知,第二业务数据包括2023年01月13日01:17:00的Value-1F(字段1)、Value-2F(字段2),主键K000001。可以但不限于将第二业务数据与参考业务文件组合得到可回溯文件,得到如表11所示,将第二业务数据写入参考业务文件的业务分区2023-01-13-01。
表11
主键 | 字段1 | 字段2 | 业务分区 |
K000001 | Value-1C | Value-2C | 2023-01-12-01 |
K000002 | Value-1D | Value-2D | 2023-01-12-01 |
K000001 | Value-1F | Value-2F | 2023-01-13-01 |
可选的,在本实施例中,如表12所示,业务数据包括2023年01月12日和2023年01月13日接收到的业务数据,在接收到业务数据的情况下,可以但不限于将业务数据存储至对应的数据库中,可以但不限于将业务数据在数据库中的生效时间确定为业务数据的接收时间。
表12
主键 | 字段1 | 字段2 | 最后更新日期 | 数据库生效时间 |
K000001 | Value-1A | Value-2A | 2023年01月11日 | 2023年01月12日00:05:00 |
K000001 | Value-1B | Value-2B | 2023年01月12日 | 2023年01月12日00:10:00 |
K000002 | Value-1C | Value-2C | 2023年01月12日 | 2023年01月12日00:15:00 |
K000001 | Value-1D | Value-2D | 2023年01月12日 | 2023年01月12日22:00:00 |
K000001 | Value-1E | Value-2E | 2023年01月13日 | 2023年01月13日00:05:00 |
由表12可知,可以但不限于从表12中获取每个主键在数据库生效时间对应的最新一条业务数据得到如表13所示的业务数据:
表13
主键 | 字段1 | 字段2 | 最后更新日期 | 数据库生效时间 |
K000002 | Value-1C | Value-2C | 2023年01月12日 | 2023年01月12日00:15:00 |
K000001 | Value-1D | Value-2D | 2023年01月12日 | 2023年01月12日22:00:00 |
如表14所示,将2023年01月12日每个主键最新的业务数据写入参考业务文件的业务分区2023-01-12:
表14
主键 | 字段1 | 字段2 | 业务分区 |
K000002 | Value-1C | Value-2C | 2023-01-12 |
K000001 | Value-1D | Value-2D | 2023-01-12 |
可选的,在本实施例中,图5是根据本申请实施例的一种改造初始业务文件的示意图四,如图5所示,以如表12所示的2023年01月13日的业务数据为初始业务文件,初始业务文件对应的参考业务文件为如表14所示业务分区为2023-01-12的业务数据,初始业务文件的更新频率为低频率,且初始业务文件为存量文件为例,可以但不限于通过以下方式改造初始业务文件得到初始业务文件的可回溯文件:
从表12所示的2023年01月13日业务数据中选择每个主键最新的一条业务数据得到如表15所示的第二业务数据:
表15
主键 | 字段1 | 字段2 | 业务分区 |
K000002 | Value-1C | Value-2C | 2023-01-13 |
K000001 | Value-1E | Value-2E | 2023-01-13 |
将如表15所示的第二业务数据与参考业务文件的第一业务数据组合得到如表16所示的可回溯文件:
表16
主键 | 字段1 | 字段2 | 业务分区 |
K000002 | Value-1C | Value-2C | 2023-01-12 |
K000001 | Value-1D | Value-2D | 2023-01-12 |
K000002 | Value-1C | Value-2C | 2023-01-13 |
K000001 | Value-1E | Value-2E | 2023-01-13 |
由表14可知,可以但不限于将第二业务数据写入业务分区2023-01-13。
在一个示例性实施例中,可以但不限于采用以下方式从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件:在所述更新频率为所述高频率的情况下,确定所述参考业务分区为第一业务分区;在所述更新频率特征为所述低频率的情况下,确定所述参考业务分区为第二业务分区,其中,所述第二业务分区的时间长度大于所述第一业务分区。
可选的,在本实施例中,可以但不限于根据初始业务数据的更新频率确定初始业务数据的参考业务数据所处的参考业务分区,比如:在初始业务数据的更新频率为高频率的情况下,确定参考业务分区为目标存储空间在目标时间段之前15分钟改造的可回溯文件。或者,在初始业务数据的更新频率特征为低频率的情况下,确定参考业务分区为目标存储空间在目标时间段之前1天改造的可回溯文件。
在一个示例性实施例中,可以但不限于采用以下方式根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合:根据注册文件对所述第一文件集合进行校验,其中,所述注册文件用于记录所述第一文件集合中每个所述业务数据的基础信息,所述第一文件集合包括主机文件与分布式文件;根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件;根据每个所述待改造文件的目标文件特征以及每个所述待改造文件所对应的所述参考业务文件改造每个所述待改造文件,得到第二文件集合。
可选的,在本实施例中,第一文件集合包括主机文件与分布式文件,主机文件可以但不限于来自主机系统,比如:通过FTP(File Transfer Protocol,文件传输协议)获取主机文件。分布式文件可以但不限于来自于包括多个分布式平台的分布式系统,比如:通过kafka(一个分布式的基于发布/订阅模式的消息队列)接收分布式系统的分布式文件。在接收到包括主机文件与分布式文件的第一文件集合的情况下,可以但不限于对第一文件集合进行备份处理。
可选的,在本实施例中,可以但不限于根据开关判断确定第一文件集合是否需要进行改造,在不需要进行改造的情况下,可以但不限于将主机文件存储至对应的存储空间;在需要进行改造的情况下,可以但不限于对第一文件集合进行校验操作。
可选的,在本实施例中,注册文件用于对主机文件与分布式文件进行校验,注册文件用于记录第一文件集合中业务数据的基础信息,基础信息可以但不限于包括:文件的字节数、记录数、每行记录的长度等。
可选的,在本实施例中,可以但不限于根据主机文件与分布式文件中业务数据的基础信息确定主机文件与分布式文件是否通过校验,比如:在主机文件与分布式文件的基础信息和注册文件完全相同的情况下,认为主机文件与分布式文件通过效验。或者,在主机文件与分布式文件的基础信息和注册文件的相似度落入目标阈值的情况下,认为主机文件与分布式文件通过效验。
在一个示例性实施例中,可以但不限于采用以下方式根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件:将所述主机文件与所述注册文件进行匹配;在所述注册文件未记录所述主机文件的第一基础信息的情况下,确定所述主机文件的校验结果为未通过校验;获取更新主机文件并将所述更新主机文件与所述注册文件进行匹配,直至获取到校验结果为通过校验的所述更新主机文件,将通过校验的所述更新主机文件确定为所述待改造文件;在所述注册文件已记录所述主机文件的所述第一基础信息的情况下,将所述分布式文件与所述注册文件进行匹配;从所述分布式文件获取在所述注册文件中已记录第二基础信息的部分文件;将所述主机文件和所述部分文件确定为所述待改造文件。
可选的,在本实施例中,可以但不限于将主机文件与注册文件进行匹配,在注册文件记录了主机文件的第一基础信息的情况下,确定主机文件的通过校验;在注册文件未记录主机文件的第一基础信息的情况下,确定主机文件未通过校验,并获取最新的主机文件得到更新主机文件,并对更新主机文件进行校验直至得到通过效验的主机文件。
可选的,在本实施例中,在主机文件通过效验的情况下,将分布式文件与注册文件进行匹配,在注册文件未记录分布式文件的第二基础信息的情况下,将通过效验的主机文件确定为待改造文件;在注册文件记录了完整分布式文件的第二基础信息的情况下,将通过效验的主机文件以及分布式文件确定为待改造文件;在注册文件记录了部分分布式文件的第二基础信息的情况下,将通过效验的主机文件以及通过效验的分布式文件确定为待改造文件。
在上述步骤S103提供的技术方案中,可以但不限于根据初始业务文件的更新频率确定第二文件集合的目标业务分区,第二文件集合包括参考业务分区的第一业务数据以及初始业务文件的第二业务数据,可以但不限于将第一业务数据以及第二业务数据都存入目标业务分区,或者将第一业务数据以及第二业务数据分别存入对应的目标业务分区,比如:第一业务数据为参考业务分区的业务数据,仅将第二业务数据存入参考业务分区在目标存储空间的下一个业务分区中;或者,将第一业务数据以及第二业务数据都存入参考业务分区在目标存储空间的下一个业务分区中。
可选的,在本实施例中,图6是根据本申请实施例的一种对第一文件集合进行改造的示意图,如图6所示,以第一文件集合包括主机文件与分布式文件,目标存储空间为数据湖为例,可以但不限于通过FTP获取主机文件,通过kafka接收多数据源分布式文件(包括分布式文件1至分布式文件n),可以但不限于将主机文件记录的业务数据与分布式文件记录的业务数据分别与注册文件中记录的业务数据的基础信息进行匹配,实现对主机文件和分布式文件的校验,可以但不限于包括以下四种情况:
在主机文件不通过校验的情况下,获取更新后的主机文件进行校验,直至主机文件通过校验。在主机文件通过校验的情况下,对分布式文件进行校验;在所有的分布式文件都未通过校验的情况下,将主机文件做入湖处理(写入数据湖)。在如果部分分布式文件通过校验的情况下,将通过校验的分布式文件以及主机文件确定为待改造文件进行改造。在所有的分布式文件都通过校验的情况下,将所有的分布式文件和主机文件确定为待改造文件进行改造。
可以但不限于通过以下过程对待改造文件进行改造,得到第二文件集合:
根据每个待改造文件的更新频率是否为高频率确定待改造文件对应的业务分区,并根据待改造文件对应的业务分区得到对应的参考业务文件(比如:在待改造文件为高频率的情况下,使用多批次算法进行处理,即按照等份时间段在一天内进行多批次处理;或者,在待改造文件为低频率的情况下,使用日终算法进行处理,即在一天内进行一次处理),并根据待改造文件是否为存量文件从待改造文件中选择第二业务数据,组合参考业务文件中的业务数据以及第二业务数据得到可回溯文件,从而得到可回溯文件的集合即第二文件集合,并将第二文件集合中的每个可回溯文件根据待改造文件的更新频率存入对应的业务分区中。
本申请实施例提供的业务文件的存储方法,获取在目标时间段内用于办理目标业务的业务系统的第一文件集合,第一文件集合包括N个用于记录业务系统在目标时间段内办理目标业务所产生的业务数据的初始业务文件,N大于或者等于1;根据每个初始业务文件的目标文件特征以及每个初始业务文件所对应的参考业务文件改造每个初始业务文件,得到第二文件集合;将第二文件集合存储至目标存储空间中的目标业务分区,其中,目标存储空间包括M个业务分区,M大于或者等于1。即根据初始业务文件的更新频率以及初始业务文件是否为增量文件将初始业务文件改造为满足目标业务特征的可回溯文件,在业务系统使用对应的初始业务文件出现错误的情况下将业务系统所使用的文件回溯到目标时间段之前的参考时间段上被改造并存储的业务文件,实现在文件的使用方出现错误的情况下,使用改造后的业务文件将业务系统回退至目标时间段之前的参考时间段上。解决了相关技术中异常数据的处理效率较低的问题,进而达到了提高异常数据的处理效率的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种业务文件的存储装置,需要说明的是,本申请实施例的业务文件的存储装置可以用于执行本申请实施例所提供的用于业务文件的存储方法。以下对本申请实施例提供的业务文件的存储装置进行介绍。
图7是根据本申请实施例的业务文件的存储装置的示意图。如图7所示,该装置包括:
获取模块72,用于获取在目标时间段内业务系统的第一文件集合,其中,所述业务系统用于办理目标业务,所述第一文件集合包括N个初始业务文件,N大于或者等于1,所述初始业务文件用于记录所述业务系统在所述目标时间段内办理所述目标业务所产生的业务数据;
改造模块74,用于根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,其中,所述目标文件特征用于指示所述初始业务文件的更新频率以及所述初始业务文件是否为增量文件,所述第二文件集合包括N个满足所述目标业务特征的可回溯文件,每个所述可回溯文件用于在所述业务系统使用对应的所述初始业务文件出现错误的情况下将所述业务系统所使用的文件回溯到对应的所述参考业务文件,所述参考业务文件是所述目标时间段之前的参考时间段上被改造并存储的业务文件;
存储模块76,用于将所述第二文件集合存储至目标存储空间中的目标业务分区,其中,所述目标存储空间包括M个业务分区,M大于或者等于1。
可选地,在本申请实施例提供的业务文件的存储装置中,所述改造模块,包括:
检测单元,用于检测所述初始业务文件的所述目标文件特征,其中,所述目标文件特征包括新增文件特征和更新频率特征,所述新增文件特征用于指示所述初始业务文件是否为增量文件,所述更新频率特征包括高频率和低频率,所述高频率用于指示所述初始业务文件的更新频率大于或者等于频率阈值,所述低频率用于指示所述初始业务文件的更新频率小于所述频率阈值;
第一改造单元,用于根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件。
可选地,在本申请实施例提供的业务文件的存储装置中,所述检测单元,用于:检测所述初始业务文件是否为增量文件,其中,所述增量文件用于指示所述初始业务文件为新增的业务文件;根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征。
可选地,在本申请实施例提供的业务文件的存储装置中,所述检测单元,用于:获取所述初始业务文件中每个业务数据在所述目标时间段内的更新次数;根据所述更新次数计算所述初始业务文件在所述目标时间段的所述更新频率;将所述更新频率确定为所述初始业务文件的所述更新频率特征。
可选地,在本申请实施例提供的业务文件的存储装置中,所述第一改造单元,用于:从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,其中,所述参考业务分区是所述目标业务分区的上一业务分区;根据所述新增文件特征从所述初始业务文件中获取第二业务数据;组合所述第一业务数据与所述第二业务数据得到所述可回溯文件。
可选地,在本申请实施例提供的业务文件的存储装置中,所述第一改造单元,用于:在所述新增文件特征指示了所述初始业务文件为所述增量文件的情况下,从所述初始业务文件中获取最新一条业务数据作为所述第二业务数据;在所述新增文件特征指示了所述初始业务文件不是所述增量文件的情况下,从所述初始业务文件以及所述参考业务文件中获取每个主键对应的最新一条业务数据作为所述第二业务数据。
可选地,在本申请实施例提供的业务文件的存储装置中,所述第一改造单元,用于:在所述更新频率为所述高频率的情况下,确定所述参考业务分区为第一业务分区;在所述更新频率特征为所述低频率的情况下,确定所述参考业务分区为第二业务分区,其中,所述第二业务分区的时间长度大于所述第一业务分区。
可选地,在本申请实施例提供的业务文件的存储装置中,所述改造模块,包括:
校验单元,用于根据注册文件对所述第一文件集合进行校验,其中,所述注册文件用于记录所述第一文件集合中每个所述业务数据的基础信息,所述第一文件集合包括主机文件与分布式文件;
获取单元,用于根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件;
第二改造单元,用于根据每个所述待改造文件的目标文件特征以及每个所述待改造文件所对应的所述参考业务文件改造每个所述待改造文件,得到第二文件集合。
可选地,在本申请实施例提供的业务文件的存储装置中,所述获取单元,用于:将所述主机文件与所述注册文件进行匹配;在所述注册文件未记录所述主机文件的第一基础信息的情况下,确定所述主机文件的校验结果为未通过校验;获取更新主机文件并将所述更新主机文件与所述注册文件进行匹配,直至获取到校验结果为通过校验的所述更新主机文件,将通过校验的所述更新主机文件确定为所述待改造文件;在所述注册文件已记录所述主机文件的所述第一基础信息的情况下,将所述分布式文件与所述注册文件进行匹配;从所述分布式文件获取在所述注册文件中已记录第二基础信息的部分文件;将所述主机文件和所述部分文件确定为所述待改造文件。
本申请实施例提供的业务文件的存储装置,获取在目标时间段内用于办理目标业务的业务系统的第一文件集合,第一文件集合包括N个用于记录业务系统在目标时间段内办理目标业务所产生的业务数据的初始业务文件,N大于或者等于1;根据每个初始业务文件的目标文件特征以及每个初始业务文件所对应的参考业务文件改造每个初始业务文件,得到第二文件集合;将第二文件集合存储至目标存储空间中的目标业务分区,其中,目标存储空间包括M个业务分区,M大于或者等于1。即根据初始业务文件的更新频率以及初始业务文件是否为增量文件将初始业务文件改造为满足目标业务特征的可回溯文件,在业务系统使用对应的初始业务文件出现错误的情况下将业务系统所使用的文件回溯到目标时间段之前的参考时间段上被改造并存储的业务文件,实现在文件的使用方出现错误的情况下,使用改造后的业务文件将业务系统回退至目标时间段之前的参考时间段上。解决了相关技术中异常数据的处理效率较低的问题,进而达到了提高异常数据的处理效率的效果。
所述Z装置包括处理器和存储器,上述模块、单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高异常数据的处理效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述业务文件的存储方法。
本申请实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述业务文件的存储方法。
如图8所示,本申请实施例提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
获取在目标时间段内业务系统的第一文件集合,其中,所述业务系统用于办理目标业务,所述第一文件集合包括N个初始业务文件,N大于或者等于1,所述初始业务文件用于记录所述业务系统在所述目标时间段内办理所述目标业务所产生的业务数据;
根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,其中,所述目标文件特征用于指示所述初始业务文件的更新频率以及所述初始业务文件是否为增量文件,所述第二文件集合包括N个满足所述目标业务特征的可回溯文件,每个所述可回溯文件用于在所述业务系统使用对应的所述初始业务文件出现错误的情况下将所述业务系统所使用的文件回溯到对应的所述参考业务文件,所述参考业务文件是所述目标时间段之前的参考时间段上被改造并存储的业务文件;
将所述第二文件集合存储至目标存储空间中的目标业务分区,其中,所述目标存储空间包括M个业务分区,M大于或者等于1。
可选的,所述根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,包括:
检测所述初始业务文件的所述目标文件特征,其中,所述目标文件特征包括新增文件特征和更新频率特征,所述新增文件特征用于指示所述初始业务文件是否为增量文件,所述更新频率特征包括高频率和低频率,所述高频率用于指示所述初始业务文件的更新频率大于或者等于频率阈值,所述低频率用于指示所述初始业务文件的更新频率小于所述频率阈值;
根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件。
可选的,所述检测所述初始业务文件的所述目标文件特征,包括:
检测所述初始业务文件是否为增量文件,其中,所述增量文件用于指示所述初始业务文件为新增的业务文件;
根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征。
可选的,所述根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征,包括:
获取所述初始业务文件中每个业务数据在所述目标时间段内的更新次数;
根据所述更新次数计算所述初始业务文件在所述目标时间段的所述更新频率;
将所述更新频率确定为所述初始业务文件的所述更新频率特征。
可选的,所述根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件,包括:
从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,其中,所述参考业务分区是所述目标业务分区的上一业务分区;
根据所述新增文件特征从所述初始业务文件中获取第二业务数据;
组合所述第一业务数据与所述第二业务数据得到所述可回溯文件。
可选的,所述根据所述新增文件特征从所述初始业务文件中获取第二业务数据,包括:
在所述新增文件特征指示了所述初始业务文件为所述增量文件的情况下,从所述初始业务文件中获取最新一条业务数据作为所述第二业务数据;
在所述新增文件特征指示了所述初始业务文件不是所述增量文件的情况下,从所述初始业务文件以及所述参考业务文件中获取每个主键对应的最新一条业务数据作为所述第二业务数据。
可选的,所述从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,包括:
在所述更新频率为所述高频率的情况下,确定所述参考业务分区为第一业务分区;
在所述更新频率特征为所述低频率的情况下,确定所述参考业务分区为第二业务分区,其中,所述第二业务分区的时间长度大于所述第一业务分区。
可选的,所述根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,包括:
根据注册文件对所述第一文件集合进行校验,其中,所述注册文件用于记录所述第一文件集合中每个所述业务数据的基础信息,所述第一文件集合包括主机文件与分布式文件;
根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件;
根据每个所述待改造文件的目标文件特征以及每个所述待改造文件所对应的所述参考业务文件改造每个所述待改造文件,得到第二文件集合。
可选的,所述根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件,包括:
将所述主机文件与所述注册文件进行匹配;
在所述注册文件未记录所述主机文件的第一基础信息的情况下,确定所述主机文件的校验结果为未通过校验;获取更新主机文件并将所述更新主机文件与所述注册文件进行匹配,直至获取到校验结果为通过校验的所述更新主机文件,将通过校验的所述更新主机文件确定为所述待改造文件;
在所述注册文件已记录所述主机文件的所述第一基础信息的情况下,将所述分布式文件与所述注册文件进行匹配;从所述分布式文件获取在所述注册文件中已记录第二基础信息的部分文件;将所述主机文件和所述部分文件确定为所述待改造文件。
本文中的设备可以是服务器、P异常数据的处理效率较低、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
获取在目标时间段内业务系统的第一文件集合,其中,所述业务系统用于办理目标业务,所述第一文件集合包括N个初始业务文件,N大于或者等于1,所述初始业务文件用于记录所述业务系统在所述目标时间段内办理所述目标业务所产生的业务数据;
根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,其中,所述目标文件特征用于指示所述初始业务文件的更新频率以及所述初始业务文件是否为增量文件,所述第二文件集合包括N个满足所述目标业务特征的可回溯文件,每个所述可回溯文件用于在所述业务系统使用对应的所述初始业务文件出现错误的情况下将所述业务系统所使用的文件回溯到对应的所述参考业务文件,所述参考业务文件是所述目标时间段之前的参考时间段上被改造并存储的业务文件;
将所述第二文件集合存储至目标存储空间中的目标业务分区,其中,所述目标存储空间包括M个业务分区,M大于或者等于1。
可选的,所述根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,包括:
检测所述初始业务文件的所述目标文件特征,其中,所述目标文件特征包括新增文件特征和更新频率特征,所述新增文件特征用于指示所述初始业务文件是否为增量文件,所述更新频率特征包括高频率和低频率,所述高频率用于指示所述初始业务文件的更新频率大于或者等于频率阈值,所述低频率用于指示所述初始业务文件的更新频率小于所述频率阈值;
根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件。
可选的,所述检测所述初始业务文件的所述目标文件特征,包括:
检测所述初始业务文件是否为增量文件,其中,所述增量文件用于指示所述初始业务文件为新增的业务文件;
根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征。
可选的,所述根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征,包括:
获取所述初始业务文件中每个业务数据在所述目标时间段内的更新次数;
根据所述更新次数计算所述初始业务文件在所述目标时间段的所述更新频率;
将所述更新频率确定为所述初始业务文件的所述更新频率特征。
可选的,所述根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件,包括:
从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,其中,所述参考业务分区是所述目标业务分区的上一业务分区;
根据所述新增文件特征从所述初始业务文件中获取第二业务数据;
组合所述第一业务数据与所述第二业务数据得到所述可回溯文件。
可选的,所述根据所述新增文件特征从所述初始业务文件中获取第二业务数据,包括:
在所述新增文件特征指示了所述初始业务文件为所述增量文件的情况下,从所述初始业务文件中获取最新一条业务数据作为所述第二业务数据;
在所述新增文件特征指示了所述初始业务文件不是所述增量文件的情况下,从所述初始业务文件以及所述参考业务文件中获取每个主键对应的最新一条业务数据作为所述第二业务数据。
可选的,所述从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,包括:
在所述更新频率为所述高频率的情况下,确定所述参考业务分区为第一业务分区;
在所述更新频率特征为所述低频率的情况下,确定所述参考业务分区为第二业务分区,其中,所述第二业务分区的时间长度大于所述第一业务分区。
可选的,所述根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,包括:
根据注册文件对所述第一文件集合进行校验,其中,所述注册文件用于记录所述第一文件集合中每个所述业务数据的基础信息,所述第一文件集合包括主机文件与分布式文件;
根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件;
根据每个所述待改造文件的目标文件特征以及每个所述待改造文件所对应的所述参考业务文件改造每个所述待改造文件,得到第二文件集合。
可选的,所述根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件,包括:
将所述主机文件与所述注册文件进行匹配;
在所述注册文件未记录所述主机文件的第一基础信息的情况下,确定所述主机文件的校验结果为未通过校验;获取更新主机文件并将所述更新主机文件与所述注册文件进行匹配,直至获取到校验结果为通过校验的所述更新主机文件,将通过校验的所述更新主机文件确定为所述待改造文件;
在所述注册文件已记录所述主机文件的所述第一基础信息的情况下,将所述分布式文件与所述注册文件进行匹配;从所述分布式文件获取在所述注册文件中已记录第二基础信息的部分文件;将所述主机文件和所述部分文件确定为所述待改造文件。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、异常数据的处理效率较低D-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(异常数据的处理效率较低PU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(异常数据的处理效率较低D-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、异常数据的处理效率较低D-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种业务文件的存储方法,其特征在于,包括:
获取在目标时间段内业务系统的第一文件集合,其中,所述业务系统用于办理目标业务,所述第一文件集合包括N个初始业务文件,N大于或者等于1,所述初始业务文件用于记录所述业务系统在所述目标时间段内办理所述目标业务所产生的业务数据;
根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,其中,所述目标文件特征用于指示所述初始业务文件的更新频率以及所述初始业务文件是否为增量文件,所述第二文件集合包括N个满足所述目标业务特征的可回溯文件,每个所述可回溯文件用于在所述业务系统使用对应的所述初始业务文件出现错误的情况下将所述业务系统所使用的文件回溯到对应的所述参考业务文件,所述参考业务文件是所述目标时间段之前的参考时间段上被改造并存储的业务文件;
将所述第二文件集合存储至目标存储空间中的目标业务分区,其中,所述目标存储空间包括M个业务分区,M大于或者等于1。
2.根据权利要求1所述的方法,其特征在于,所述根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,包括:
检测所述初始业务文件的所述目标文件特征,其中,所述目标文件特征包括新增文件特征和更新频率特征,所述新增文件特征用于指示所述初始业务文件是否为增量文件,所述更新频率特征包括高频率和低频率,所述高频率用于指示所述初始业务文件的更新频率大于或者等于频率阈值,所述低频率用于指示所述初始业务文件的更新频率小于所述频率阈值;
根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件。
3.根据权利要求2所述的方法,其特征在于,所述检测所述初始业务文件的所述目标文件特征,包括:
检测所述初始业务文件是否为增量文件,其中,所述增量文件用于指示所述初始业务文件为新增的业务文件;
根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征。
4.根据权利要求3所述的方法,其特征在于,所述根据所述初始业务文件在所述目标时间段内的更新次数计算所述初始业务文件的所述更新频率特征,包括:
获取所述初始业务文件中每个业务数据在所述目标时间段内的更新次数;
根据所述更新次数计算所述初始业务文件在所述目标时间段的所述更新频率;
将所述更新频率确定为所述初始业务文件的所述更新频率特征。
5.根据权利要求2所述的方法,其特征在于,所述根据所述更新频率特征和所述新增文件特征使用所述参考业务文件改造所述初始业务文件得到所述可回溯文件,包括:
从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,其中,所述参考业务分区是所述目标业务分区的上一业务分区;
根据所述新增文件特征从所述初始业务文件中获取第二业务数据;
组合所述第一业务数据与所述第二业务数据得到所述可回溯文件。
6.根据权利要求5所述的方法,其特征在于,所述根据所述新增文件特征从所述初始业务文件中获取第二业务数据,包括:
在所述新增文件特征指示了所述初始业务文件为所述增量文件的情况下,从所述初始业务文件中获取最新一条业务数据作为所述第二业务数据;
在所述新增文件特征指示了所述初始业务文件不是所述增量文件的情况下,从所述初始业务文件以及所述参考业务文件中获取每个主键对应的最新一条业务数据作为所述第二业务数据。
7.根据权利要求5所述的方法,其特征在于,所述从所述目标存储空间中获取参考业务分区的第一业务数据作为所述参考业务文件,包括:
在所述更新频率为所述高频率的情况下,确定所述参考业务分区为第一业务分区;
在所述更新频率特征为所述低频率的情况下,确定所述参考业务分区为第二业务分区,其中,所述第二业务分区的时间长度大于所述第一业务分区。
8.根据权利要求1所述的方法,其特征在于,所述根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,包括:
根据注册文件对所述第一文件集合进行校验,其中,所述注册文件用于记录所述第一文件集合中每个所述业务数据的基础信息,所述第一文件集合包括主机文件与分布式文件;
根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件;
根据每个所述待改造文件的目标文件特征以及每个所述待改造文件所对应的所述参考业务文件改造每个所述待改造文件,得到第二文件集合。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一文件集合的校验结果从所述第一文件集合中获取待改造文件,包括:
将所述主机文件与所述注册文件进行匹配;
在所述注册文件未记录所述主机文件的第一基础信息的情况下,确定所述主机文件的校验结果为未通过校验;获取更新主机文件并将所述更新主机文件与所述注册文件进行匹配,直至获取到校验结果为通过校验的所述更新主机文件,将通过校验的所述更新主机文件确定为所述待改造文件;
在所述注册文件已记录所述主机文件的所述第一基础信息的情况下,将所述分布式文件与所述注册文件进行匹配;从所述分布式文件获取在所述注册文件中已记录第二基础信息的部分文件;将所述主机文件和所述部分文件确定为所述待改造文件。
10.一种业务文件的存储装置,其特征在于,包括:
获取模块,用于获取在目标时间段内业务系统的第一文件集合,其中,所述业务系统用于办理目标业务,所述第一文件集合包括N个初始业务文件,N大于或者等于1,所述初始业务文件用于记录所述业务系统在所述目标时间段内办理所述目标业务所产生的业务数据;
改造模块,用于根据每个所述初始业务文件的目标文件特征以及每个所述初始业务文件所对应的参考业务文件改造每个所述初始业务文件,得到第二文件集合,其中,所述目标文件特征用于指示所述初始业务文件的更新频率以及所述初始业务文件是否为增量文件,所述第二文件集合包括N个满足所述目标业务特征的可回溯文件,每个所述可回溯文件用于在所述业务系统使用对应的所述初始业务文件出现错误的情况下将所述业务系统所使用的文件回溯到对应的所述参考业务文件,所述参考业务文件是所述目标时间段之前的参考时间段上被改造并存储的业务文件;
存储模块,用于将所述第二文件集合存储至目标存储空间中的目标业务分区,其中,所述目标存储空间包括M个业务分区,M大于或者等于1。
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至9中任意一项所述的业务文件的存储方法。
12.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至9中任意一项所述的业务文件的存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310939496.8A CN116955302A (zh) | 2023-07-27 | 2023-07-27 | 业务文件的存储方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310939496.8A CN116955302A (zh) | 2023-07-27 | 2023-07-27 | 业务文件的存储方法、装置、存储介质及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116955302A true CN116955302A (zh) | 2023-10-27 |
Family
ID=88444279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310939496.8A Pending CN116955302A (zh) | 2023-07-27 | 2023-07-27 | 业务文件的存储方法、装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116955302A (zh) |
-
2023
- 2023-07-27 CN CN202310939496.8A patent/CN116955302A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108647357B (zh) | 数据查询的方法及装置 | |
CN105989059B (zh) | 数据记录核对方法及装置 | |
CN107992492B (zh) | 一种数据区块的存储方法、读取方法、其装置及区块链 | |
US9513997B2 (en) | Test data management | |
CN107766354A (zh) | 一种用于保证数据正确性的方法与设备 | |
US20220019566A1 (en) | System and method for integrating systems to implement data quality processing | |
CN110457332B (zh) | 一种信息处理方法及相关设备 | |
CN105468623A (zh) | 数据处理方法及装置 | |
CN106878365B (zh) | 一种数据同步方法和设备 | |
CN114996240A (zh) | 数据表校验方法、装置、设备、存储介质及程序 | |
CN118297718A (zh) | 一种基于多维度模型的预算计算方法、设备及存储介质 | |
CN116955302A (zh) | 业务文件的存储方法、装置、存储介质及电子装置 | |
CN116340328A (zh) | 数据更新方法、数据查询方法、设备及存储介质 | |
CN115878707A (zh) | 一种外汇行情数据处理方法、装置、存储介质及设备 | |
CN114564501A (zh) | 一种数据库数据存储、查询方法、装置、设备及介质 | |
CN111309749B (zh) | 一种保单信息的处理方法及装置、设备、介质 | |
CN114168595A (zh) | 一种数据分析方法及装置 | |
CN116107801A (zh) | 交易处理方法及相关产品 | |
US10558647B1 (en) | High performance data aggregations | |
CN111177478A (zh) | 一种查询方法、装置及系统 | |
CN117010936B (zh) | 基于现货交易的短期价格预测方法、装置及电子设备 | |
KR102620080B1 (ko) | 주문 데이터를 처리하는 방법 및 장치 | |
CN112860755B (zh) | 业务标识生成方法、装置、计算机设备和介质 | |
CN103312835A (zh) | 地址溯源方法和装置 | |
CN110990466B (zh) | 一种数据同步方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |