CN110362531A - 一种自动归档方法及装置 - Google Patents

一种自动归档方法及装置 Download PDF

Info

Publication number
CN110362531A
CN110362531A CN201910524177.4A CN201910524177A CN110362531A CN 110362531 A CN110362531 A CN 110362531A CN 201910524177 A CN201910524177 A CN 201910524177A CN 110362531 A CN110362531 A CN 110362531A
Authority
CN
China
Prior art keywords
data
filing
archived
parameter
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910524177.4A
Other languages
English (en)
Inventor
蒋中专
何岳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongan Online Property Insurance Co Ltd
Original Assignee
Zhongan Online Property Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongan Online Property Insurance Co Ltd filed Critical Zhongan Online Property Insurance Co Ltd
Priority to CN201910524177.4A priority Critical patent/CN110362531A/zh
Publication of CN110362531A publication Critical patent/CN110362531A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/113Details of archiving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种自动归档方法及装置,该方法包括:根据待归档数据的业务类型从预设的规则库中获取相应的归档规则;根据业务类型以及归档规则进行归档参数组装,并且对归档参数进行校验;若归档参数校验通过,则使用归档参数在原业务表中查询符合条件的待归档数据,将符合条件的待归档数据插入对应的历史表以及搜索表中;将历史表以及搜索表中的数据量与待归档数据的总量进行核对,若一致,则将已执行归档迁移操作的待归档数据从原业务表中清除。本发明通过针对不同业务类型的业务数据配置相应的归档规则,定时触发归档操作,能够对业务数据进行自动归档处理,减少系统的数据压力,同时可以根据具体业务场景灵活调整归档操作。

Description

一种自动归档方法及装置
技术领域
本发明涉及计算机应用技术领域,特别涉及一种自动归档方法及装置。
背景技术
案件的完整生命周期主要包括案件入催、案件委外、案件回收、案件出催、案件归档五个阶段。
案件入催主要是指各个产品借款发生逾期的订单进入到催收系统中,来源的方式主要包括系统逾期文件(SFTP服务器或者OSS服务器),同时也支持手工上传文件或者系统接口调用的方式。针对原始数据进行简单加工处理,形成基本的案件信息。
案件委外主要是指针对案件按照产品维度执行不同的分案策略,将对应案件委外给不同的厂商进行催收,厂商主管可以手工分配和调整案件到不同的催收员,委外一般具备一定的周期性,即有委外开始时间以及委外结束时间。
案件回收主要是指从委外厂商那将已经委外出去的案件收回,当前厂商不能再继续作业了。一般分为自动回收和手工回收,自动回收主要是针对委外结束时间到期了而并未出催的案件进行回收,而手工回收主要是针对外界人为因素需要立马停止当前厂商催收作业而进行提前回收的一些特殊案件。
案件出催是指系统里逾期的案件在用户还款后对正在催收中的案件进行出催处理。案件一旦出催,则案件的状态就会变为结案,如果有委外出去的案件同样也要做对应的结案,即停止一切催收作业。
案件归档主要针对已经出催或者已到期回收的历史案件需要进行归档处理,降低对应业务压力,提高查询效率。为了不影响历史案件的查询,可以通过对应ES表来查询,其中ES表就是ElasticSearch技术实现的一种表。
因此,催收系统,会对接各种渠道来源的逾期产品数据,随着产品不断接入以及对应业务的发展,逾期案件的数量也随之迅速增长。围绕逾期案件,又会每天按照分案策略委外给不同的催收机构以及催收人员进行催收,委外又具备一定的周期,周期到了还未出催,则可能需要重新委外。由于案件周期性的特性,会产生很多已到期回收或者已出催的案件数据。随着时间迁移,数据日积月累,业务方又要求多维度查询与统计,这样系统性能也会逐步下降。但其实这些案件数据都是具备一定的时效,一旦过了某个时效,则业务方不需要太关注的。因此针对这部分数据如何进行自动归档,减少案件的数据压力,成了当前催收系统急需解决的问题。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种自动归档方法,以克服现有技术中随着时间迁移,数据日积月累,导致系统的数据压力大,系统性能逐步下降等问题。
为解决上述一个或多个技术问题,本发明采用的技术方案是:
一方面,提供了一种自动归档方法,该方法包括如下步骤:
根据待归档数据的业务类型从预设的规则库中获取相应的归档规则;
根据所述业务类型以及所述归档规则进行归档参数组装,并且对所述归档参数进行校验;
若所述归档参数校验通过,则使用所述归档参数在原业务表中查询符合条件的待归档数据,将所述符合条件的待归档数据插入对应的历史表以及搜索表中;
将所述历史表以及所述搜索表中的数据量与所述待归档数据的总量进行核对,若一致,则将已执行归档迁移的所述待归档数据从所述原业务表中清除。
进一步的,所述对所述归档参数进行校验包括:
对待归档数据的范围进行校验,所述待归档数据的范围至少包括归档数据的时间范围。
进一步的,所述方法还包括:
若所述历史表以及所述搜索表中的数据量与所述待归档数据的总量不一致,则将差异数据记录至异常表中,并根据所述异常表中的数据进行补偿归档
进一步的,所述方法还包括:
在将所述待归档数据插入历史表以及搜索表中时,若数据插入有异常,则将出现插入异常的数据记录至所述异常表中,并根据所述异常表中的数据进行补偿归档。
进一步的,所述使用所述归档参数在原业务表中查询符合条件的待归档数据包括:
读取所述归档参数,获取所述归档参数中的查询起始时间以及查询终止时间;
从所述查询起始时间开始按序按分页大小查询所述原业务表,获取每页中符合条件的待归档数据。
进一步的,所述方法还包括:
在所述根据数据的业务类型从预设的规则库中读取出相应的归档规则前,根据不同业务类型数据的特点制定对应的归档规则,生成规则库。
另一方面,提供了一种自动归档装置,所述装置包括:
规则获取模块,用于根据待归档数据的业务类型从预设的规则库中获取相应的归档规则;
参数组装模块,用于根据所述业务类型以及所述归档规则进行归档参数组装,并且对所述归档参数进行校验;
归档执行模块,用于若所述归档参数校验通过,则使用所述归档参数在原业务表中查询符合条件的待归档数据,将所述符合条件的待归档数据插入对应的历史表以及搜索表中;
归档对账模块:用于将所述历史表以及所述搜索表中的数据量与所述待归档数据的总量进行核对;
归档清理模块,用于将已执行归档迁移操作的所述待归档数据从所述原业务表中清除。
进一步的,所述参数组装模块包括:
参数校验单元,用于对待归档数据的范围进行校验,所述待归档数据的范围至少包括归档数据的时间范围。
进一步的,所述装置还包括:
异常处理模块,用于若所述历史表以及所述搜索表中的数据量与所述待归档数据的总量不一致,则将差异数据记录至异常表中;
归档补偿模块,用于根据所述异常表中的数据进行补偿归档。
进一步的,所述异常处理模块还用于:
在将所述待归档数据插入历史表以及搜索表中时,若数据插入有异常,则将出现插入异常的数据记录至所述异常表中。
进一步的,所述归档执行模块包括:
参数读取单元,用于读取所述归档参数,获取所述归档参数中的查询起始时间以及查询终止时间;
数据查询单元,用于从所述查询起始时间开始按序按分页大小查询所述原业务表,获取每页中符合条件的待归档数据。
进一步的,所述装置还包括:
规则配置模块,用于在所述根据数据的业务类型从预设的规则库中读取出相应的归档规则前,根据不同业务类型数据的特点制定对应的归档规则,生成规则库。
本发明实施例提供的技术方案带来的有益效果是:
1、本发明实施例提供的自动归档方法及装置,通过针对不同业务类型的业务数据配置相应的归档规则,定时触发归档操作,即能够对业务数据进行自动归档处理,减少系统的数据压力;
2、本发明实施例提供的自动归档方法及装置,通过针对不同业务类型的业务数据配置相应的归档规则,可以根据具体业务场景灵活调整归档操作;
3、本发明实施例提供的自动归档方法及装置,引入了搜索表,通过搜索表能够灵活实现历史已归档的数据多维度快速高效查询。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的自动归档方法的流程图;
图2是根据一示例性实施例示出的自动归档装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的自动归档方法及装置,会针对催收系统中逾期案件表、委外案件表等不同业务类型的数据归档配置特定的时间点、以及归档参数传入,定时触发归档操作,可以根据具体业务场景灵活调整。其中逾期案件信息主要包括:案件号,入催时信息,案件逾期信息,分案信息,结案信息,详细说明如下表1所示:
表1
委外案件信息主要包括:案件号,入催时信息,案件逾期信息,分案信息,结案信息,详细说明如下表2所示:
表2
这里需要说明的是,这里的催收系统只是作为一种示例对本发明实施例提供的自动归档方法及装置进行说明,本发明实施例提供的自动归档方法及装置并不局限于催收系统的数据归档。
图1是根据一示例性实施例示出的自动归档方法的流程图,参照图1所示,该方法包括如下步骤:
根据待归档数据的业务类型从预设的规则库中读取出相应的归档规则。
具体的,同样作为一种示例,以催收系统为例来阐述本发明实施例提供的自动归档方法对数据进行归档的流程。其中,催收系统中的业务数据的业务类型包括逾期案件、委外案件等。首先会根据待归档数据的业务类型从预设的规则库中获取相应的归档规则。
根据所述业务类型以及所述归档规则进行归档参数组装,并且对所述归档参数进行校验。
具体的,本发明实施例中,根据业务类型执行不同的归档规则对业务数据进行差异化处理。首先会对归档规则中的参数(如参数中的时间维度值、并发线程数等)进行基本校验,一般校验参数值是否为空,不为空则基本校验,基本校验通过则流程继续,否则进行告警提示。
然后进行归档参数的组装,根据归档规则中设置的时间维度,确定业务表的时间字段名。假设业务表的时间字段名为business_date,时间范围起始时间onDate和结束时间offDate如果不为空,则直接作为business_date的起止时间范围,否则需要通过当前时间前多少天N以及时间跨度天数M两个参数值来计算得到business_date的起止时间范围,即起始时间=当前日期-N天,结束时间=当前日期-M天。并发线程数L直接取出存放即可,并且可以通过L乘以一定数值(该数值可以根据实际需求进行设置,如100等)得到分页大小值pageSize。最后通过得到的各个参数值执行对应的校验规则,校验符合规则,则流程继续,否则可以通过邮件等方式进行告警提示。校验规则可以根据实际需求进行设置,例如,对于“已结案数据归档”的校验规则可以按照如下配置:“距离当前日期最大的天数K=31and结束时间>开始时间and线程数L>0”,校验时则需要判断是否同时满足当前待迁移归档的业务日期business_date<当前日期-31天且offDate>onDate且线程数L>0且100<=分页大小pageSize<=500,同时满足才能校验通过,否则有个一不满足条件,则迁移停止。综上所述,获取到的有效归档参数有:时间字段名business_date、以及business_date的起止时间范围onDate和offDate、并发线程数L、每次分页查询的pageSize等。
若所述归档参数校验通过,则使用所述归档参数在原业务表中查询符合条件的待归档数据,将所述符合条件的待归档数据插入对应的历史表以及搜索表中。
具体的,若归档参数校验通过,则将归档参数作为查询条件在原业务表中查询符合条件的待归档数据。针对每页查询得到的数据列表进行循环处理,处理过程大致如下:启动多线程数L并发执行,一方面往原业务表所对应的分库分表的历史表幂等插入,另一方面往对应的搜索表(即业务ES表)幂等插入。其中,历史表与原业务表数据结构一致,只不过根据主键ID分库分表,16库1024张表,搜索表与业务表一一对应,结构字段基本保持一致。这里需要说明的是,本发明实施例中,搜索表(即业务ES表)是指elasticsearch实现的一种搜索表。
将所述历史表以及所述搜索表中的数据量与所述待归档数据的总量进行核对,若一致,则将已执行归档迁移操作的所述待归档数据从所述原业务表中清除。
具体的,从起始日期onDate起逐日按分页大小pageSize查询已执行归档的业务数据列表(即原业务表),针对每页查询得到的数据列表进行循环对账处理,处理过程大致如下:启动多线程数L并发执行,通过主键ID分别查询对应的分库分表的历史表和搜索表的记录,若两方都能查到记录,则表明对账OK,即表示历史表以及搜索表中的数据量与待归档数据的总量一致,此时对完成归档的待归档数据进行清理。清理的主要是原业务表的数据,根据业务主键ID做物理删除即可,而历史已归档完成的数据则主要通过走搜索表数据查询即可。
作为一种较优的实施方式,本发明实施例中,所述对所述归档参数进行校验包括:
对待归档数据的范围进行校验,所述待归档数据的范围至少包括归档数据的时间范围。
具体的,对待归档数据的范围进行校验包括对数据业务类型、时间维度、时间范围等进行校验。时间范围一般有两种方式,一种是指定起止时间,格式是YYYYMMDD,即年月日,其中YYYY这4位表示年,MM和DD分别表示月和日,分别2位,另外一种是可以通过配置迁移N天之前的数据,时间跨度是M天,其中必须满足N>M,则可以根据这两个参数算出起止时间点,计算公式为:起始时间=当前日期-N天,结束时间=当前日期-M天。这两种方式需要二选一,每种方式的两个参数都必须不能为空。对归档数据的范围进行校验主要为对归档数据的的时间范围进行校验,比如配置只允许迁移至K天前的数据,则应满足结束时间<当前日期-K天。
作为一种较优的实施方式,本发明实施例中,所述方法还包括:
若所述历史表以及所述搜索表中的数据量与所述待归档数据的总量不一致,则将差异数据记录至异常表中,并根据所述异常表中的数据进行补偿归档。
具体的,在针对每页查询得到的数据列表进行循环对账处理过程中,即启动多线程数L并发执行,通过主键ID分别查询对应的分库分表的历史表和搜索表的记录,若有一方没有查到对应记录,则表明对账不平,需要往归档异常表中记录这条数据信息,记录的主要关键字段信息包括业务数据类型、主键ID、business_date业务日期、异常次数等。
本发明实施例中,还根据异常表中的数据进行补偿归档。即在异常表查找本业务类型是否存在异常归档的记录信息,若存在,则就需要进行补偿。补偿失败一次则异常次数+1。为了提高系统的处理效率,可以对异常次数的上限进行设置,例如,设置异常次数不能超过3次,失败次数超过3次则会通过邮件等方式告警提示进行人工干预,补偿成功则清除对应异常记录。
作为一种较优的实施方式,本发明实施例中,所述方法还包括:
在将所述待归档数据插入历史表以及搜索表中时,若数据插入有异常,则将出现插入异常的数据记录至所述异常表中,并根据所述异常表中的数据进行补偿归档。
具体的,在将待归档数据插入历史表以及搜索表的过程中,如果出现任何异常(主要指数据插入异常),则记录到对应的归档异常表中。主要异常信息字段包括,业务表的业务数据类型、主键ID、business_date业务日期、异常次数。待后面进行补偿归档。具体补偿归档方式参照上文,这里不再一一赘述。
作为一种较优的实施方式,本发明实施例中,所述使用所述归档参数在原业务表中查询符合条件的待归档数据包括:
读取所述归档参数,获取所述归档参数中的查询起始时间以及查询终止时间;
从所述查询起始时间开始按序按分页大小查询所述原业务表,获取每页中符合条件的待归档数据。
具体的,读取归档参数,获取归档参数中的查询起始时间以及查询终止时间,如business_date的起止时间为[onDate,offDate),则查询起始时间为onDate,查询终止时间为offDate。根据business_date的起止时间即[onDate,offDate)计算两者之间的天数之差,假设这个差值为y,f(x)为计算日期为x时的总天数,则可以通过公式y=f(offDate)-f(onDate)得到y的值。由于offDate>onDate,因此,y>=1。然后从起始时间onDate开始逐日按分页大小pageSize在原业务表中查询,获取每页中符合条件的待归档数据。这里需要说明的是,首先差值y是指迁移归档日期的终止时间与起始时间相差的天数,差值y主要是针对首次归档迁移的时候,需要指定日期范围。计算差值y的目的是因为按逐日归档迁移对账时,这个差值其实就是循环的次数,即有多少天,即需要循环多少次去执行。减少归档迁移的时间范围,即不同天的迁移归档不相互影响,类似按日隔离。
作为一种较优的实施方式,本发明实施例中,所述方法还包括:
在所述根据数据的业务类型从预设的规则库中读取出相应的归档规则前,根据不同业务类型数据的特点制定对应的归档规则,生成规则库。
具体的,根据不同业务类型数据的特点制定对应的归档规则,主要用到的规则变量有业务数据类型、时间维度,时间范围、校验规则,并发线程数等。其中,业务数据类型主要是根据表名来区分定义不同类型,时间维度主要是针对不同业务数据类型的时间维度字段,比如案件表主要是根据结案日期,委外表则可以同时根据结案日期和回收日期。时间范围可以有两种方式,一种是指定起始时间,另外一种是可以通过配置迁移N天之前的数据,时间跨度是M天,其中必须满足N>M,则可以根据这两个参数算出起止时间点,前者主要用于历史数据的分段归档或者补偿归档,后者方式则更为灵活,适合每天自动归档。校验规则主要是针对数据归档的范围进行校验,比如配置只允许迁移至K天前的数据,则结束时间<当前日期-K天。并发线程数是可以通过线程池的方式多线程去执行归档逻辑,比如参数值设为L,当L=1,则是单线程,L>1,则多线程。下表3是一套完整的催收案件归档规则配置的示例:
表3
图2是根据一示例性实施例示出的自动归档装置的结构示意图,参照图2所示,该装置包括:
规则获取模块,用于根据待归档数据的业务类型从预设的规则库中获取相应的归档规则;
参数组装模块,用于根据所述业务类型以及所述归档规则进行归档参数组装,并且对所述归档参数进行校验;
归档执行模块,用于若所述归档参数校验通过,则使用所述归档参数在原业务表中查询符合条件的待归档数据,将所述符合条件的待归档数据插入对应的历史表以及搜索表中;
归档对账模块:用于将所述历史表以及所述搜索表中的数据量与所述待归档数据的总量进行核对;
归档清理模块,用于将完成归档的所述待归档数据从所述原业务表中清除。
作为一种较优的实施方式,本发明实施例中,所述参数组装模块包括:
参数校验单元,用于对待归档数据的范围进行校验,所述待归档数据的范围至少包括归档数据的时间范围。
作为一种较优的实施方式,本发明实施例中,所述装置还包括:
异常处理模块,用于若所述历史表以及所述搜索表中的数据量与所述待归档数据的总量不一致,则将差异数据记录至异常表中;
归档补偿模块,用于根据所述异常表中的数据进行补偿归档。
作为一种较优的实施方式,本发明实施例中,所述异常处理模块还用于:
在将所述待归档数据插入历史表以及搜索表中时,若数据插入有异常,则将出现插入异常的数据记录至所述异常表中。
作为一种较优的实施方式,本发明实施例中,所述归档执行模块包括:
参数读取单元,用于读取所述归档参数,获取所述归档参数中的查询起始时间以及查询终止时间;
数据查询单元,用于从所述查询起始时间开始按序按分页大小查询所述原业务表,获取每页中符合条件的待归档数据。
作为一种较优的实施方式,本发明实施例中,所述装置还包括:
规则配置模块,用于在所述根据数据的业务类型从预设的规则库中读取出相应的归档规则前,根据不同业务类型数据的特点制定对应的归档规则,生成规则库。
综上所述,本发明实施例提供的技术方案带来的有益效果是:
1、本发明实施例提供的自动归档方法及装置,通过针对不同业务类型的业务数据配置相应的归档规则,定时触发归档操作,即能够对业务数据进行自动归档处理,减少系统的数据压力;
2、本发明实施例提供的自动归档方法及装置,通过针对不同业务类型的业务数据配置相应的归档规则,可以根据具体业务场景灵活调整归档操作;
3、本发明实施例提供的自动归档方法及装置,引入了搜索表,通过搜索表能够灵活实现历史已归档的数据多维度快速高效查询。
需要说明的是:上述实施例提供的自动归档装置在触发数据归档业务时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的自动归档装置与自动归档方法实施例属于同一构思,即该装置是基于该自动归档方法的,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种自动归档方法,其特征在于,所述方法包括如下步骤:
根据待归档数据的业务类型从预设的规则库中获取相应的归档规则;
根据所述业务类型以及所述归档规则进行归档参数组装,并且对所述归档参数进行校验;
若所述归档参数校验通过,则使用所述归档参数在原业务表中查询符合条件的待归档数据,将所述符合条件的待归档数据插入对应的历史表以及搜索表中;
将所述历史表以及所述搜索表中的数据量与所述待归档数据的总量进行核对,若一致,则将已执行归档迁移操作的所述待归档数据从所述原业务表中清除。
2.根据权利要求1所述的自动归档方法,其特征在于,所述对所述归档参数进行校验包括:
对待归档数据的范围进行校验,所述待归档数据的范围至少包括归档数据的时间范围。
3.根据权利要求1或2所述的自动归档方法,其特征在于,所述方法还包括:
若所述历史表以及所述搜索表中的数据量与所述待归档数据的总量不一致,则将差异数据记录至异常表中,并根据所述异常表中的数据进行补偿归档。
4.根据权利要求3所述的自动归档方法,其特征在于,所述方法还包括:
在将所述待归档数据插入历史表以及搜索表中时,若数据插入有异常,则将出现插入异常的数据记录至所述异常表中,并根据所述异常表中的数据进行补偿归档。
5.根据权利要求1或2所述的自动归档方法,其特征在于,所述使用所述归档参数在原业务表中查询符合条件的待归档数据包括:
读取所述归档参数,获取所述归档参数中的查询起始时间以及查询终止时间;
从所述查询起始时间开始按序按分页大小查询所述原业务表,获取每页中符合条件的待归档数据。
6.根据权利要求1或2所述的自动归档方法,其特征在于,所述方法还包括:
在所述根据数据的业务类型从预设的规则库中读取出相应的归档规则前,根据不同业务类型数据的特点制定对应的归档规则,生成规则库。
7.一种自动归档装置,其特征在于,所述装置包括:
规则获取模块,用于根据待归档数据的业务类型从预设的规则库中获取相应的归档规则;
参数组装模块,用于根据所述业务类型以及所述归档规则进行归档参数组装,并且对所述归档参数进行校验;
归档执行模块,用于若所述归档参数校验通过,则使用所述归档参数在原业务表中查询符合条件的待归档数据,将所述符合条件的待归档数据插入对应的历史表以及搜索表中;
归档对账模块,用于将所述历史表以及所述搜索表中的数据量与所述待归档数据的总量进行核对;
归档清理模块,用于将已执行归档迁移操作的所述待归档数据从所述原业务表中清除。
8.根据权利要求7所述的自动归档装置,其特征在于,所述参数组装模块包括:
参数校验单元,用于对待归档数据的范围进行校验,所述待归档数据的范围至少包括归档数据的时间范围。
9.根据权利要求7或8所述的自动归档装置,其特征在于,所述装置还包括:
异常处理模块,用于若所述历史表以及所述搜索表中的数据量与所述待归档数据的总量不一致,则将差异数据记录至异常表中;
归档补偿模块,用于根据所述异常表中的数据进行补偿归档。
10.根据权利要求9所述的自动归档装置,其特征在于,所述异常处理模块还用于:
在将所述待归档数据插入历史表以及搜索表中时,若数据插入有异常,则将出现插入异常的数据记录至所述异常表中。
11.根据权利要求7或8所述的自动归档装置,其特征在于,所述归档执行模块包括:
参数读取单元,用于读取所述归档参数,获取所述归档参数中的查询起始时间以及查询终止时间;
数据查询单元,用于从所述查询起始时间开始按序按分页大小查询所述原业务表,获取每页中符合条件的待归档数据。
12.根据权利要求7或8所述的自动归档装置,其特征在于,所述装置还包括:
规则配置模块,用于在所述根据数据的业务类型从预设的规则库中读取出相应的归档规则前,根据不同业务类型数据的特点制定对应的归档规则,生成规则库。
CN201910524177.4A 2019-06-17 2019-06-17 一种自动归档方法及装置 Pending CN110362531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910524177.4A CN110362531A (zh) 2019-06-17 2019-06-17 一种自动归档方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910524177.4A CN110362531A (zh) 2019-06-17 2019-06-17 一种自动归档方法及装置

Publications (1)

Publication Number Publication Date
CN110362531A true CN110362531A (zh) 2019-10-22

Family

ID=68216338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910524177.4A Pending CN110362531A (zh) 2019-06-17 2019-06-17 一种自动归档方法及装置

Country Status (1)

Country Link
CN (1) CN110362531A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090652A (zh) * 2019-12-20 2020-05-01 山大地纬软件股份有限公司 一种可水平扩展归档数据库的数据归档方法和装置
CN111143281A (zh) * 2019-12-31 2020-05-12 精英数智科技股份有限公司 一种档案管理方法、装置、系统及介质
CN111538699A (zh) * 2020-03-31 2020-08-14 首钢京唐钢铁联合有限责任公司 一种数据归档方法及装置
CN112102028A (zh) * 2020-08-11 2020-12-18 北京思特奇信息技术股份有限公司 业务数据统一配置和校验方法及系统
CN112181945A (zh) * 2020-09-28 2021-01-05 中国平安人寿保险股份有限公司 数据归档处理方法、装置、计算机设备及存储介质
CN113836114A (zh) * 2021-09-27 2021-12-24 北京互金新融科技有限公司 数据迁移方法、系统、设备及存储介质
CN114416638A (zh) * 2021-12-13 2022-04-29 航天信息股份有限公司广州航天软件分公司 一种电子文件自动归档方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080077892A (ko) * 2007-02-21 2008-08-26 후지제롯쿠스 가부시끼가이샤 전자 문서의 보존의 제어를 위한 프로그램을 기억한 컴퓨터판독 가능한 매체, 문서 관리 시스템, 및 방법
CN107870981A (zh) * 2017-09-30 2018-04-03 平安科技(深圳)有限公司 电子装置、数据表归档处理的方法及存储介质
CN109726174A (zh) * 2018-12-28 2019-05-07 江苏满运软件科技有限公司 数据归档方法、系统、设备以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080077892A (ko) * 2007-02-21 2008-08-26 후지제롯쿠스 가부시끼가이샤 전자 문서의 보존의 제어를 위한 프로그램을 기억한 컴퓨터판독 가능한 매체, 문서 관리 시스템, 및 방법
CN107870981A (zh) * 2017-09-30 2018-04-03 平安科技(深圳)有限公司 电子装置、数据表归档处理的方法及存储介质
CN109726174A (zh) * 2018-12-28 2019-05-07 江苏满运软件科技有限公司 数据归档方法、系统、设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋华等: "政务服务网行政审批电子文件_一键式_归档设计与实现", 《浙江档案》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090652A (zh) * 2019-12-20 2020-05-01 山大地纬软件股份有限公司 一种可水平扩展归档数据库的数据归档方法和装置
CN111143281A (zh) * 2019-12-31 2020-05-12 精英数智科技股份有限公司 一种档案管理方法、装置、系统及介质
CN111538699A (zh) * 2020-03-31 2020-08-14 首钢京唐钢铁联合有限责任公司 一种数据归档方法及装置
CN112102028A (zh) * 2020-08-11 2020-12-18 北京思特奇信息技术股份有限公司 业务数据统一配置和校验方法及系统
CN112102028B (zh) * 2020-08-11 2024-04-23 北京思特奇信息技术股份有限公司 业务数据统一配置和校验方法及系统
CN112181945A (zh) * 2020-09-28 2021-01-05 中国平安人寿保险股份有限公司 数据归档处理方法、装置、计算机设备及存储介质
CN112181945B (zh) * 2020-09-28 2023-11-21 中国平安人寿保险股份有限公司 数据归档处理方法、装置、计算机设备及存储介质
CN113836114A (zh) * 2021-09-27 2021-12-24 北京互金新融科技有限公司 数据迁移方法、系统、设备及存储介质
CN113836114B (zh) * 2021-09-27 2024-04-26 北京互金新融科技有限公司 数据迁移方法、系统、设备及存储介质
CN114416638A (zh) * 2021-12-13 2022-04-29 航天信息股份有限公司广州航天软件分公司 一种电子文件自动归档方法及系统

Similar Documents

Publication Publication Date Title
CN110362531A (zh) 一种自动归档方法及装置
CN109271435B (zh) 一种支持断点续传的数据抽取方法及系统
US10572156B2 (en) Capacity forecasting based on capacity policies and transactions
CN110532247A (zh) 数据迁移方法和数据迁移系统
CN110069572A (zh) 基于大数据平台的hive任务调度方法、装置、设备及存储介质
CN105069134A (zh) 一种Oracle统计信息自动收集方法
US20180136971A1 (en) Techniques for virtual machine migration
CN101916290B (zh) 内存数据库的管理方法和装置
CN109885642B (zh) 面向全文检索的分级存储方法及装置
CN110471754A (zh) 作业调度中的数据展示方法、装置、设备及存储介质
CN103605585A (zh) 一种基于数据发现的智能备份方法
CN111400011A (zh) 一种实时任务调度方法、系统、设备及可读存储介质
CN110609830A (zh) 基于审核策略的决策引擎系统
CN100456255C (zh) 一种取快照数据的装置及方法
US10261718B1 (en) Adaptively controlling data copy operations that copy data in an electronic environment
CN101937334A (zh) 计算支持方法及系统
US20100106749A1 (en) Reorganizing table-based data objects
CN108829345A (zh) 日志文件的数据处理方法和终端设备
CN116860723A (zh) 跨计算中心数据迁移方法
CN110941422A (zh) 代码自动生成方法、代码生成器及可读存储介质
CN110147300A (zh) 一种硬件状态的检测方法、系统及相关组件
CN109389363A (zh) 一种基于作业调度的电话查岗方法及装置
CN109614237A (zh) 一种资源释放方法、装置、设备及介质
CN109582460A (zh) 一种Redis内存数据的淘汰方法和装置
CN107797851A (zh) 任务调度方法、装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022