CN108334633B - 数据更新方法、装置、计算机设备和存储介质 - Google Patents
数据更新方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN108334633B CN108334633B CN201810162126.7A CN201810162126A CN108334633B CN 108334633 B CN108334633 B CN 108334633B CN 201810162126 A CN201810162126 A CN 201810162126A CN 108334633 B CN108334633 B CN 108334633B
- Authority
- CN
- China
- Prior art keywords
- data
- updating
- database
- target
- operation time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/235—Update request formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Mathematical Physics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据更新方法、装置、计算机设备和存储介质。所述方法包括:接收当前数据更新请求,第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间,获取当前数据更新请求的上一数据更新请求对应的第一操作时间段,获取将第一操作时间段对应的数据从源数据库更新到第一数据库的目标更新速度。根据目标更新速度确定目标重复时间长度,根据第一操作时间段以及目标重复时间长度确定第二操作时间段,获取数据筛选条件,根据数据筛选条件从第一数据库中筛选第二操作时间段对应的更新数据,根据更新数据对第二数据库进行更新。采用本方法能够提高数据更新的准确性。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据更新方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的发展,产生的数据越来越多。在很多场景下都存在对数据进行进一步处理,以得到所需要的数据的需求,例如,需要贷款操作数据中筛选出小额贷款操作数据,并对还款余额进行计算。目前,当需要从业务数据库筛选数据时,由于筛选占用数据库资源,因此会影响业务数据库对正常业务的响应速度,而且业务数据库对正常数据的响应也会进一步占用数据库资源,导致筛选数据的速度慢。
发明内容
基于此,有必要针对上述技术问题,提供一种能够减少对数据库资源的占用程度以及提高数据筛选速度的数据更新方法、装置、计算机设备和存储介质。
一种数据更新方法,所述方法包括:获取当前数据更新请求,所述当前数据更新请求用于请求将第一数据库的数据更新到第二数据库,所述第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间;获取所述当前数据更新请求的上一数据更新请求对应的第一操作时间段;获取将所述第一操作时间段对应的数据从所述源数据库更新到所述第一数据库的目标更新速度;根据所述目标更新速度确定目标重复时间长度;根据所述第一操作时间段以及所述目标重复时间长度确定第二操作时间段;获取数据筛选条件,根据所述数据筛选条件从所述第一数据库中筛选所述第二操作时间段对应的更新数据;根据所述更新数据对所述第二数据库进行更新。
在其中一个实施例中,所述根据所述更新数据对所述第二数据库进行更新的步骤包括:将所述更新数据与所述第二数据库中的数据进行对比,确定所述更新数据与所述第二数据库中的数据是否一致;将与所述第二数据库中的数据一致的更新数据作为第一目标更新数据,将与所述第二数据库中的数据不一致的更新数据作为第二目标更新数据;设置所述第二目标更新数据的操作类型为插入,并将所述第二目标更新数据插入到第二数据库中;丢弃所述第一目标更新数据,或者,设置所述第一目标更新数据的操作类型为更新,对所述第二数据库中与所述第一目标更新数据相同的数据进行替换。
在其中一个实施例中,所述方法还包括:获取历史更新事件集合,所述历史更新数据集合包括一次或多次历史更新事件;获取所述各次历史更新事件的下一更新事件对应的各个历史第一目标更新数据,根据所述历史第一目标更新数据对应的操作时间计算所述各次下一更新事件对应的操作时间统计值,所述历史更新事件对应的操作时间段与对应的下一更新事件的操作时间段存在重复时间段;获取将所述各次历史更新事件对应的数据从所述源数据库发送到所述第一数据库的历史更新速度;根据所述历史更新速度以及对应的下一更新事件的操作时间统计值得到更新速度与重复时间长度的对应关系;所述根据所述目标更新速度确定目标重复时间长度的步骤包括:根据所述更新速度与重复时间长度的对应关系确定所述目标更新速度对应的目标重复时间长度。
在其中一个实施例中,所述根据所述历史第一目标更新数据对应的操作时间计算所述各次下一更新事件对应的操作时间统计值的步骤包括:获取所述当前历史第一目标更新数据对应的目标操作时间;获取所述目标操作时间的最早操作时间以及最晚操作时间;计算所述最早操作时间以及最晚操作时间之间的时间差值,作为所述当前历史更新对应的操作时间统计值。
在其中一个实施例中,所述根据所述第一操作时间段以及所述目标重复时间长度确定第二操作时间段的步骤包括:获取所述第一操作时间段对应的终止时间;将所述第一操作时间段对应的终止时间减去所述目标重复时间长度得到的时间作为所述第二操作时间段的起始时间;将所述起始时间加上预设时长得到所述第二操作时间段的终止时间。
在其中一个实施例中,所述方法还包括:接收所述上一数据更新请求,所述上一数据更新请求携带所述第一操作时间段;从所述源数据库的操作日志文件中获取所述第一操作时间段对应的操作日志,所述操作日志用于对所述第一数据库的数据进行更新;将所述操作日志发送到所述第一数据库对应的计算机设备中,获取发送所述操作日志对应的网络传输速度;根据所述操作日志对应的网络传输速度得到所述目标更新速度。
在其中一个实施例中,所述操作行为为借贷操作行为,所述借贷操作行为对应的借贷数据包括借贷合同号、借贷类型以及借贷金额,所述方法还包括:获取所述第二数据库中各个借贷操作行为对应的借贷合同号;根据所述各个借贷数据的借贷类型将具有相同借贷合同号的借贷金额进行统计计算,得到所述各个借贷合同号对应的统计数据,并将所述各个借贷合同号对应的统计数据保存到第三数据表中。
一种数据更新装置,所述装置包括:当前请求接收模块,用于获取当前数据更新请求,所述当前数据更新请求用于请求将第一数据库的数据更新到第二数据库,所述第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间;第一时间段获取模块,用于获取所述当前数据更新请求的上一数据更新请求对应的第一操作时间段;目标速度获取模块,用于获取将所述第一操作时间段对应的数据从所述源数据库更新到所述第一数据库的目标更新速度;重复时间长度确定模块,用于根据所述目标更新速度确定目标重复时间长度;第二时间段获取模块,用于根据所述第一操作时间段以及所述目标重复时间长度确定第二操作时间段;筛选模块,用于获取数据筛选条件,根据所述数据筛选条件从所述第一数据库中筛选所述第二操作时间段对应的更新数据;更新模块,用于根据所述更新数据对所述第二数据库进行更新。
在其中一个实施例中,所述更新模块包括:对比单元,用于将所述更新数据与所述第二数据库中的数据进行对比,确定所述更新数据与所述第二数据库中的数据是否一致;数据分类单元,用于将与所述第二数据库中的数据一致的更新数据作为第一目标更新数据,将与所述第二数据库中的数据不一致的更新数据作为第二目标更新数据;插入单元,用于设置所述第二目标更新数据的操作类型为插入,并将所述第二目标更新数据插入到第二数据库中;替换单元,用于丢弃所述第一目标更新数据,或者,设置所述第一目标更新数据的操作类型为更新,对所述第二数据库中与所述第一目标更新数据相同的数据进行替换。
在其中一个实施例中,所述装置还包括:集合获取模块,用于获取历史更新事件集合,所述历史更新数据集合包括一次或多次历史更新事件;时间统计值计算模块,用于获取所述各次历史更新事件的下一更新事件对应的各个历史第一目标更新数据,根据所述历史第一目标更新数据对应的操作时间计算所述各次下一更新事件对应的操作时间统计值,所述历史更新事件对应的操作时间段与对应的下一更新事件的操作时间段存在重复时间段;更新数据获取模块,用于获取将所述各次历史更新事件对应的数据从所述源数据库发送到所述第一数据库的历史更新速度;对应关系得到模块,用于根据所述历史更新速度以及对应的下一更新事件的操作时间统计值得到更新速度与重复时间长度的对应关系;所述重复时间长度确定模块用于:根据所述更新速度与重复时间长度的对应关系确定所述目标更新速度对应的目标重复时间长度。
在其中一个实施例中,所述时间统计值计算模块还用于:获取所述当前历史第一目标更新数据对应的目标操作时间;获取所述目标操作时间的最早操作时间以及最晚操作时间;计算所述最早操作时间以及最晚操作时间之间的时间差值,作为所述当前历史更新对应的操作时间统计值。
在其中一个实施例中,所述第二时间段获取模块用于:获取所述第一操作时间段对应的终止时间;将所述第一操作时间段对应的终止时间减去所述目标重复时间长度得到的时间作为所述第二操作时间段的起始时间;将所述起始时间加上预设时长得到所述第二操作时间段的终止时间。
在其中一个实施例中,所述装置还包括:上一请求接收模块,用于接收所述上一数据更新请求,所述上一数据更新请求携带所述第一操作时间段;日志获取模块,用于从所述源数据库的操作日志文件中获取所述第一操作时间段对应的操作日志,所述操作日志用于对所述第一数据库的数据进行更新;传输速度模块,用于将所述操作日志发送到所述第一数据库对应的计算机设备中,获取发送所述操作日志对应的网络传输速度;目标数据得到模块,用于根据所述操作日志对应的网络传输速度得到所述目标更新速度。
在其中一个实施例中,所述操作行为为借贷操作行为,所述借贷操作行为对应的借贷数据包括借贷合同号、借贷类型以及借贷金额,所述装置还包括:合同号获取模块,用于获取所述第二数据库中各个借贷操作行为对应的借贷合同号;数据计算模块,用于根据所述各个借贷数据的借贷类型将具有相同借贷合同号的借贷金额进行统计计算,得到所述各个借贷合同号对应的统计数据,并将所述各个借贷合同号对应的统计数据保存到第三数据表中。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据更新方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述处理器执行所述计算机程序时实现上述数据更新方法的步骤。
上述数据更新方法、装置、计算机设备和存储介质,通过接收当前数据更新请求,第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间,获取当前数据更新请求的上一数据更新请求对应的第一操作时间段,获取将第一操作时间段对应的数据从源数据库更新到第一数据库的目标更新速度。根据目标更新速度确定目标重复时间长度,根据第一操作时间段以及目标重复时间长度确定第二操作时间段,获取数据筛选条件,根据数据筛选条件从第一数据库中筛选第二操作时间段对应的更新数据,根据更新数据对第二数据库进行更新。由于在更新数据时,可以将源数据库的数据存储在第一数据库后,再根据数据筛选条件从第一数据中获取更新数据更新到第二数据库中,因此可以减少筛选数据时对源数据库的影响,同时当次更新与上一次更新存在重复时间,且重复时间根据更新速度得到,故可以减少从源数据库更新数据到第一数据库时,由于网络延时导致源数据库的操作事件未及时更新到第一数据库,导致第二数据库的数据不完整的情况发生,提高了数据更新的准确性。
附图说明
图1为一个实施例中数据更新方法的应用场景图;
图2为一个实施例中数据更新方法的流程示意图;
图3为一个实施例中根据更新数据对第二数据库进行更新步骤的流程示意图;
图4为另一个实施例中数据更新方法的流程示意图;
图5为一个实施例中数据更新装置的结构框图;
图6为一个实施例中数据更新模块的结构框图;
图7为一个实施例中数据更新装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据更新方法,可以应用于如图1所示的应用环境中。其中,第一计算机设备102通过网络与第二计算机设备104通过网络进行通信。第一计算机设备上设置有源数据库,即业务数据库,第二计算机设备104上可以设置有第一数据库以及第二数据库。第一数据库中的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间,当要对第二数据库的数据进行更新时,第二计算机设备104接收将第一数据库的数据更新到第二数据库的当前数据更新请求,当前数据更新请求中可以携带数据筛选条件,第二计算机设备104获取当前数据更新请求的上一数据更新请求对应的第一操作时间段,然后获取将第一操作时间段对应的数据从源数据库更新到第一数据库的目标更新速度,根据目标更新速度确定目标重复时间长度,并根据第一操作时间段以及目标重复时间长度确定第二操作时间段,得到第二操作时间段后,根据数据筛选条件从第一数据库中筛选第二操作时间段对应的更新数据,根据更新数据对第二数据库进行更新。在本发明实施例中,第一计算机设备102以及第二计算机设备104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据更新方法,以该方法应用于图1中的第二计算机设备为例进行说明,包括以下步骤:
步骤S202,获取当前数据更新请求,当前数据更新请求用于请求将第一数据库的数据更新到第二数据库,第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间。
具体地,源数据库是指数据产生的数据库,例如,源数据库是进行贷款业务时存储贷款业务数据的贷款数据库。当前数据更新请求可以是自动触发的也可以是用户通过终端等计算机设备实时触发的。例如,可以设置每24小时更新一次数据,因此,每隔24小时第二计算机设备可以自动触发更新数据的数据更新请求。或者当需要更新数据时,用户可以向第二计算机设备发送将第一数据库的数据更新到第二数据库的当前数据更新请求,第二计算机设备接收该当前数据更新请求。操作行为可以包括删除、增加以及更新三种类型,操作行为对应的数据是指该操作行为所涉及的数据,例如,若在源数据库中删除了某一数据,则操作行为对应的数据包括被删除的数据的数据标识,例如被删除的数据的主键以及字段名。若在源数据库中更新了某一数据,则操作行为对应的数据包括被更新的数据的数据标识以及更新后的数据。若在源数据库中插入了某一数据,则操作行为对应的数据包括被插入的数据的数据标识以及插入后的数据。操作时间是指该操作发生的时间。例如,2016年12:01进行了删除操作,则删除操作的操作时间为2016年12:01。
在一个实施例中,对源数据库进行操作的操作行为对应的数据可以是直接发送给第一数据库中的,例如,第二计算机设备可以获取对源数据库进行操作的操作行为对应的数据以及操作时间,并发送给第一数据库。
在一个实施例中,还可以获取对源数据库进行操作的操作行为所对应的操作日志,将操作日志发送到第二计算机设备中,第二计算机设备可以根据操作日志构造操作语句例如SQL语句,然后根据SQL语句对第一数据库进行更新。
步骤S204,获取当前数据更新请求的上一数据更新请求对应的第一操作时间段。
具体的,当前数据更新请求的上一数据更新请求是指当前数据更新请求的前一次数据更新请求。第一操作时间段是指上一数据更新请求对应的需要更新的数据对应的操作行为在源数据库的操作时间。例如,例如,16:00发出了当前数据更新请求,而离当前数据更新请求最近的数据更新请求是12:00,则12:00的更新请求为上一次更新请求,若上一次更新请求对应的需要更新的数据在源数据库上的操作时间为9:00~12:00之间的数据,则第一操作时间段为9:00~12:00。
步骤S206,获取将第一操作时间段对应的数据从源数据库更新到第一数据库的目标更新速度。
具体地,目标更新速度可以是指从源数据库获取第一操作时间段对应的数据后并在第一数据库中更新完成的速度,当通过源数据库中的操作日志对第一数据库进行更新时,为了能够简化目标更新速度获取算法,提高获取目标更新速度的效率,目标更新速度可以是将操作日志传输到第二计算机设备中的网络传输速度。网络传输速度可以是平均网络传输速度也可以是最快网络传输速度或者最慢的网络传输速度等,具体不做限制。
在一个实施例中,确定目标更新数据的步骤包括:接收上一数据更新请求,上一数据更新请求携带第一操作时间段。从源数据库的操作日志文件中获取第一操作时间段对应的操作日志,操作日志用于对第一数据库的数据进行更新。将操作日志发送到第一数据库对应的计算机设备中,获取发送操作日志对应的网络传输速度。根据操作日志对应的网络传输速度得到目标更新速度。
具体地,源数据库的操作日志文件中可以是在线日志文件也可以是归档日志文件,上一数据更请求中携带了第一操作时间段,当得到第一操作时间段后,从操作日志文件中获取第一操作事件段对应的操作日志,然后将操作日志发送到第一数据库对应的第二计算机设备中,使该计算机设备可以根据操作日志构造操作语句,根据操作语句对第一数据库的数据进行更新。同时,第二计算机设备还可以获取传输该操作日志的网络传输速度,并根据网络传输速度得到目标更新速度。例如,可以将发送操作日志的最大网络传输速度、最小网络传输数据或者平均网络传输数据作为目标更新数据。
步骤S208,根据目标更新速度确定目标重复时间长度。
具体地,可以预先设置重复时间长度与更新速度的对应关系,具体可以根据需要进行设置,在一个实施例中,重复时间长度与更新速度可以是负相关关系,当更新速度快时,重复时间长度短。当更新速度慢时,重复时间长度长。得到目标更新速度后,根据目标更新速度得到目标重复时间长度。
步骤S210,根据第一操作时间段以及目标重复时间长度确定第二操作时间段。
具体地,重复时间长度是指第一操作时间段与第二操作时间段的重叠时间段,例如,当重复时间段为1小时时,则第一操作时间段与第二操作时间段的重复时间段为1小时。得到目标重复时间长度后,根据第一操作时间段以及目标重复时间长度确定第二操作时间段。
在一个实施例中,可以获取第一操作时间段的终止时间,将第一操作时间段对应的终止时间减去目标重复时间长度得到的时间作为第二操作时间段的起始时间。将起始时间加上预设时长得到第二操作时间段的终止时间。
具体地,预设时长具体可以根据需要设置。例如,当第一操作时间段为当天的9:00~12:00,重复时间长度为0.5小时,预设时长为3小时,则第二操作时间段的起始时间为12-0.5=11:30,第二操作时间段的终止时间为11:30+3=14:30。因此,第二操作时间段为11:30~14:30。
步骤S212,获取数据筛选条件,根据数据筛选条件从第一数据库中筛选第二操作时间段对应的更新数据。
具体地,数据筛选条件可以是预先设置的,也可以是在当前数据更新请求中携带的。具体的数据筛选条件可以根据需要进行设置,例如若为筛选小额贷款数据,而小额贷款数据对应的公司标识“000856”,则数据筛选条件可以是获取公司标识为“000856”的贷款数据。得到数据筛选条件后,根据数据筛选条件从第一数据库中筛选操作时间在第二操作时间段内的数据作为更新数据。
步骤S214,根据更新数据对第二数据库进行更新。
具体地,得到更新数据后,将更新数据发送到第二数据库中,以对第二数据库进行更新。进行更新时,可以是以操作行为为维度进行更新,一个操作行为对应的数据可以是一行数据。以借贷数据为例,源数据库中记录了一笔凭证对应的数据,一笔凭证对应一次借贷行为,即每进行一次借贷,生成一个对应的主键,第一数据表以及第二数据表以该主键为维度进行存储数据。第一数据表中以及第二数据表中的数据可以包括主键、借贷数额、借贷类型(借款方或贷款方)以及对应的合同号等数据。
在一个实施例中,操作行为为借贷操作行为,借贷操作行为对应的借贷数据包括借贷合同号、借贷类型以及借贷金额,数据更新方法还包括:获取第二数据库中各个借贷操作行为对应的借贷合同号。根据各个借贷数据的借贷类型将具有相同借贷合同号的借贷金额进行统计计算,得到各个借贷合同号对应的统计数据,并将各个借贷合同号对应的统计数据保存到第三数据表中。
具体地,借贷类型可以包括借款类型或者还款类型,因此,更新第二数据库的数据后,可以获取各个借贷操作行为对应的借贷合同号,对同一借贷合同后的借款金额进行统计计算,得到每个借贷合同号对应的借款总余额,并保存到第三数据表中。进行统计计算时,若为借款。则加上该借贷金额,若为还款,则减去该借贷金额。本实施例中,在统计各个借贷合同号对应的统计数据时,先将源数据的数据获取到第一数据库中,再进行筛选后更新到第二数据库中,根据第二数据库中的数据统计各个借贷合同号的统计数据,因此,可以减轻直接根据源数据库的借贷数据进行统计时对源数据库的设备资源的占用程度。
在一个实施例中,得到第三数据表的数据后,还可以将合同基础表与第三数据表进行表连接,得到包括借贷统计数据以及合同基础信息的借贷信息表。合同基础表的合同基础信息可以包括合同的签订日期以及合同对应的公司名称等,具体不做限制。
在一个实施例中,得到借贷信息表后,还可以接收用户发送的数据核对请求,根据数据核对请求对数据进行核对,得到核对结果。在进行数据核对时,首先可以对借贷信息表的合同基础信息与合同基础表的信息进行核对,确认数据是否无误,若无误,则根据第三数据表的借贷合同号对应查询到第二数据表中相同的借贷合同号对应的借贷类型以及借贷金额。根据借贷类型将第二数据表借贷合同号对应的借贷金额计算得到的余额统计数据,与第三数据表的统计数据进行匹配,得到匹配结果。可以以每个借贷合同号为维度,记录各个数据表之间的匹配结果并展示。
上述数据更新方法中,由于在更新数据时,可以将源数据库的数据存储在第一数据库后,再根据数据筛选条件从第一数据中获取更新数据更新到第二数据库中,因此可以减少筛选数据时对源数据库的影响,同时当次更新与上一次更新存在重复时间,且重复时间根据更新速度得到,故可以减少从源数据库下载数据到第一数据库时由于网络延时导致源数据库的操作事件未及时更新到第一数据库导致第二数据库的数据不完整的情况发生,提高了数据准确性。
在一个实施例中,由于当前更新与上一次更新存在重复时间长度,因此,可能会存在部分重复更新的数据,因此,如图3所示,根据更新数据对第二数据库进行更新可以包括以下步骤:
步骤S302,将更新数据与第二数据库中的数据进行对比,确定更新数据与第二数据库中的数据是否一致。
具体地,得到更新数据后,将各个更新数据与第二数据库中的数据进行对比,更新数据与第二数据库中的数据是否一致是指更新数据与第二数据库中的数据是否完全相同。例如,以借贷行为为维度存储数据时,需要对比更新数据中每一个借贷行为对应的数据与第二数据库中的借贷行为对应的数据是否一致。即主键、借贷数额、借贷类型(借款方或贷款方)以及对应的合同号等数据是否均相同。若均相同,则该更新数据与第二数据库中的数据一致。
步骤S304,将与第二数据库中的数据一致的更新数据作为第一目标更新数据,将与第二数据库中的数据不一致的更新数据作为第二目标更新数据。
具体地,若更新数据与第二数据库中的数据一致,则该更新数据为第一目标数据,若更新数据与第二数据库中的数据不一致,则该更新数据为第二目标数据。
步骤S306,设置第二目标更新数据的操作类型为插入,并将第二目标更新数据插入到第二数据库中。
具体地,由于第二目标数据与第二数据库的数据不一致。则可以将第二目标数据插入到第二更新数据库中,
步骤S308,丢弃第一目标更新数据,或者,设置第一目标更新数据的操作类型为更新,对第二数据库中与第一目标更新数据相同的数据进行替换。
具体地,由于第一目标数据与第二数据库的数据一致,即可以确定第一数据库中已经存在相同的数据,因此可以丢弃该第一目标更新数据,或者可以用第一目标更新数据替换第二数据库中相同的数据。因此,可以使得第二数据库不会由于对第二数据库更新时与上一次更新存在重复时间段而导致数据重复。
在一个实施例中,如图4所示,数据更新方法还可以包括以下步骤:
步骤S402,获取历史更新事件集合,历史更新数据集合包括一次或多次历史更新事件。
具体地,历史更新事件为当前数据更新请求之前,将第一数据的数据更新到第二数据库的历史数据更新请求对应的事件,一次历史数据更新请求对应一次事件。历史更新事件可以有一次或多次。
步骤S404,获取各次历史更新事件的下一更新事件对应的各个历史第一目标更新数据,根据历史第一目标更新数据对应的操作时间计算各次下一更新事件对应的操作时间统计值,历史更新事件对应的操作时间段与对应的下一更新事件的操作时间段存在重复时间段。
具体地,历史更新事件的下一更新事件是指历史更新事件的下一次更新事件,下一更新事件对应的历史第一目标更新数据是指执行下一更新事件时对应的更新数据中与第二数据库中的数据相同的更新数据。例如,历史更新事件可以是当前数据更新请求之前,将第一数据库的数据更新到第二数据库的最近十次事件。可以根据这十次历史更新事件的下一更新事件中,与第二数据库的数据相同的历史第一目标更新数据的操作时间计算操作时间统计值。操作时间统计值可以是下一更新事件对应的操作时间的平均值、最大时间差或者平均之间差等,具体不做限制。
在一个实施例中,操作时间统计值为下一更新事件对应的操作时间的最大时间差,根据历史第一目标更新数据对应的操作时间计算各次下一更新事件对应的操作时间统计值的步骤包括:获取当前历史第一目标更新数据对应的目标操作时间。获取目标操作时间的最早操作时间以及最晚操作时间。计算最早操作时间以及最晚操作时间之间的时间差值,作为当前历史更新对应的操作时间统计值。
具体地,当前历史第一目标更新数据指当前下一更新事件对应的历史第一目标更新数据。当前下一更新事件是指当前需要计算操作时间统计值的下一更新事件。例如,A历史更新事件的下一更新事件为B事件,则计算B事件对应的操作时间统计值时B事件为当前下一更新事件,B历史更新事件的下一更新事件为C事件,则计算C事件对应的操作时间统计值时C事件为当前下一更新事件。假设B事件的更新数据中与第二数据库数据相同的有6个,对应的操作时间分别为16:25、16:27、16:28,16:30、16:50以及16:20。则最大时间差为16:50-16:20=30分钟,C事件的更新数据中与第二数据库数据相同的有3个,对应的操作时间分别为19:25、18:55、19:28。则最大时间差为19:28-18:55=33分钟。
步骤S406,获取将各次历史更新事件对应的数据从源数据库发送到第一数据库的历史更新速度。
具体地,历史更新速度可以是历史更新事件中从源数据库获取对应的数据后并在第一数据库中更新完成的速度,当通过源数据库中的操作日志对第一数据库进行更新时,为了能够简化历史更新速度获取算法,提高获取历史更新速度的效率,历史更新速度可以是将历史更新事件对应的操作日志传输到第一计算机设备中的网络传输速度。网络传输速度可以是平均网络传输速度也可以是最快网络传输速度或者最慢的网络传输速度等,具体不做限制。例如,若A历史更新事件对应的数据的操作日志从源数据库传输到第一数据库的平均速度为100M/S,则A历史更新事件对应的历史更新速度为100M/S。
步骤S408,根据历史更新速度以及对应的下一更新事件的操作时间统计值得到更新速度与重复时间长度的对应关系。
具体地,根据历史更新速度以及对应的下一更新事件的操作时间统计值得到更新速度与重复时间长度的对应关系的对应数学模型具体可以根据需要设置。例如可以用一次方程模型以及二次方程模型计算得到历史更新速度与对应的下一更新事件的操作时间统计值的回归方程,回归方程(regression equation)是对变量之间统计关系进行定量描述的一种数学表达式。或者可以直接设置各个更新速度对应的重复时间段。例如,假设历史更新事件的下一更新事件的操作时间统计值分别为30分钟、45分钟、60分钟以及50分钟,而历史更新事件对应的数据的历史更新速度为5M/S、4M/S、1M/S、2M/S,因此若设置回归方程为一次方程,则可以得到对应关系为y=-6.5x+65.75。若设置回归方程为指数方程,则可以得到对应关系为y=70.179e-0.149x,其中,y指重复时间长度,x指更新速度。
步骤S208即根据目标更新速度确定目标重复时间长度的步骤包括:根据更新速度与重复时间长度的对应关系确定目标更新速度对应的目标重复时间长度。
具体地,得到更新速度与重复时间长度的对应关系后,可以获取目标更新速度对应的目标重复时间长度。例如,可以将目标更新速度代入回归方程y=-6.5x+65.75中,得到对应的y值为重复时间长度。举个实际的例子,假设目标更新速度为6M/s,则可以得到重复时间长度为-6.5*6+65.75=26.75分钟。本发明实施例中,由于可以根据历史更新事件对应的数据从源数据库中更新到第一数据库中的更新速度,以及历史更新时间的下一个更新事件的重复更新的数据的操作时间得到更新速度与重复时间段的关系,因此,可以提高设置重复时间长度的准确性,进一步提高了数据更新效率。
应该理解的是,虽然上述的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种数据更新装置,包括:当前请求接收模块502、第一时间段获取模块504、目标速度获取模块506、重复时间长度确定模块508、第二时间段获取模块510、筛选模块512和更新模块514,其中:
当前请求接收模块502,用于获取当前数据更新请求,当前数据更新请求用于请求将第一数据库的数据更新到第二数据库,第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间。
第一时间段获取模块504,用于获取当前数据更新请求的上一数据更新请求对应的第一操作时间段。
目标速度获取模块506,用于获取将第一操作时间段对应的数据从源数据库更新到第一数据库的目标更新速度。
重复时间长度确定模块508,用于根据目标更新速度确定目标重复时间长度。
第二时间段获取模块510,用于根据第一操作时间段以及目标重复时间长度确定第二操作时间段。
筛选模块512,用于获取数据筛选条件,根据数据筛选条件从第一数据库中筛选第二操作时间段对应的更新数据。
更新模块514,用于根据更新数据对第二数据库进行更新。
在其中一个实施例中,如图6所示,更新模块514包括:
对比单元514A,用于将更新数据与第二数据库中的数据进行对比,确定更新数据与第二数据库中的数据是否一致。
数据分类单元514B,用于将与第二数据库中的数据一致的更新数据作为第一目标更新数据,将与第二数据库中的数据不一致的更新数据作为第二目标更新数据。
插入单元514C,用于设置第二目标更新数据的操作类型为插入,并将第二目标更新数据插入到第二数据库中。
替换单元514D,用于丢弃第一目标更新数据,或者,设置第一目标更新数据的操作类型为更新,对第二数据库中与第一目标更新数据相同的数据进行替换。
在其中一个实施例中,如图7所示,装置还包括:
集合获取模块702,用于获取历史更新事件集合,历史更新数据集合包括一次或多次历史更新事件。
时间统计值计算模块704,用于获取各次历史更新事件的下一更新事件对应的各个历史第一目标更新数据,根据历史第一目标更新数据对应的操作时间计算各次下一更新事件对应的操作时间统计值,历史更新事件对应的操作时间段与对应的下一更新事件的操作时间段存在重复时间段。
更新数据获取模块706,用于获取将各次历史更新事件对应的数据从源数据库发送到第一数据库的历史更新速度。
对应关系得到模块708,用于根据历史更新速度以及对应的下一更新事件的操作时间统计值得到更新速度与重复时间长度的对应关系。
重复时间长度确定模块508用于:根据更新速度与重复时间长度的对应关系确定目标更新速度对应的目标重复时间长度。
在其中一个实施例中,时间统计值计算模块还用于:获取当前历史第一目标更新数据对应的目标操作时间。获取目标操作时间的最早操作时间以及最晚操作时间。计算最早操作时间以及最晚操作时间之间的时间差值,作为当前历史更新对应的操作时间统计值。
在其中一个实施例中,第二时间段获取模块用于:获取第一操作时间段对应的终止时间。将第一操作时间段对应的终止时间减去目标重复时间长度得到的时间作为第二操作时间段的起始时间。将起始时间加上预设时长得到第二操作时间段的终止时间。
在其中一个实施例中,装置还包括:上一请求接收模块,用于接收上一数据更新请求,上一数据更新请求携带第一操作时间段。日志获取模块,用于从源数据库的操作日志文件中获取第一操作时间段对应的操作日志,操作日志用于对第一数据库的数据进行更新。传输速度模块,用于将操作日志发送到第一数据库对应的计算机设备中,获取发送操作日志对应的网络传输速度。目标数据得到模块,用于根据操作日志对应的网络传输速度得到目标更新速度。
在其中一个实施例中,操作行为为借贷操作行为,借贷操作行为对应的借贷数据包括借贷合同号、借贷类型以及借贷金额,装置还包括:合同号获取模块,用于获取第二数据库中各个借贷操作行为对应的借贷合同号。数据计算模块,用于根据各个借贷数据的借贷类型将具有相同借贷合同号的借贷金额进行统计计算,得到各个借贷合同号对应的统计数据,并将各个借贷合同号对应的统计数据保存到第三数据表中。
关于数据更新装置的具体限定可以参见上文中对于数据更新方法的限定,在此不再赘述。上述数据更新装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据更新数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据更新方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:获取当前数据更新请求,当前数据更新请求用于请求将第一数据库的数据更新到第二数据库,第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间;获取当前数据更新请求的上一数据更新请求对应的第一操作时间段;获取将第一操作时间段对应的数据从源数据库更新到第一数据库的目标更新速度;根据目标更新速度确定目标重复时间长度;根据第一操作时间段以及目标重复时间长度确定第二操作时间段;获取数据筛选条件,根据数据筛选条件从第一数据库中筛选第二操作时间段对应的更新数据;根据更新数据对第二数据库进行更新。
在其中一个实施例中,处理器所执行的根据更新数据对第二数据库进行更新的步骤包括:将更新数据与第二数据库中的数据进行对比,确定更新数据与第二数据库中的数据是否一致;将与第二数据库中的数据一致的更新数据作为第一目标更新数据,将与第二数据库中的数据不一致的更新数据作为第二目标更新数据;设置第二目标更新数据的操作类型为插入,并将第二目标更新数据插入到第二数据库中;丢弃第一目标更新数据,或者,设置第一目标更新数据的操作类型为更新,对第二数据库中与第一目标更新数据相同的数据进行替换。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:获取历史更新事件集合,历史更新数据集合包括一次或多次历史更新事件;获取各次历史更新事件的下一更新事件对应的各个历史第一目标更新数据,根据历史第一目标更新数据对应的操作时间计算各次下一更新事件对应的操作时间统计值,历史更新事件对应的操作时间段与对应的下一更新事件的操作时间段存在重复时间段;获取将各次历史更新事件对应的数据从源数据库发送到第一数据库的历史更新速度;根据历史更新速度以及对应的下一更新事件的操作时间统计值得到更新速度与重复时间长度的对应关系;根据目标更新速度确定目标重复时间长度的步骤包括:根据更新速度与重复时间长度的对应关系确定目标更新速度对应的目标重复时间长度。
在其中一个实施例中,处理器所执行的根据历史第一目标更新数据对应的操作时间计算各次下一更新事件对应的操作时间统计值的步骤包括:获取当前历史第一目标更新数据对应的目标操作时间;获取目标操作时间的最早操作时间以及最晚操作时间;计算最早操作时间以及最晚操作时间之间的时间差值,作为当前历史更新对应的操作时间统计值。
在其中一个实施例中,处理器所执行的根据第一操作时间段以及目标重复时间长度确定第二操作时间段的步骤包括:获取第一操作时间段对应的终止时间;将第一操作时间段对应的终止时间减去目标重复时间长度得到的时间作为第二操作时间段的起始时间;将起始时间加上预设时长得到第二操作时间段的终止时间。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:接收上一数据更新请求,上一数据更新请求携带第一操作时间段;从源数据库的操作日志文件中获取第一操作时间段对应的操作日志,操作日志用于对第一数据库的数据进行更新;将操作日志发送到第一数据库对应的计算机设备中,获取发送操作日志对应的网络传输速度;根据操作日志对应的网络传输速度得到目标更新速度。
在其中一个实施例中,操作行为为借贷操作行为,借贷操作行为对应的借贷数据包括借贷合同号、借贷类型以及借贷金额,处理器执行计算机程序时还实现以下步骤:获取第二数据库中各个借贷操作行为对应的借贷合同号;根据各个借贷数据的借贷类型将具有相同借贷合同号的借贷金额进行统计计算,得到各个借贷合同号对应的统计数据,并将各个借贷合同号对应的统计数据保存到第三数据表中。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取当前数据更新请求,当前数据更新请求用于请求将第一数据库的数据更新到第二数据库,第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间;获取当前数据更新请求的上一数据更新请求对应的第一操作时间段;获取将第一操作时间段对应的数据从源数据库更新到第一数据库的目标更新速度;根据目标更新速度确定目标重复时间长度;根据第一操作时间段以及目标重复时间长度确定第二操作时间段;获取数据筛选条件,根据数据筛选条件从第一数据库中筛选第二操作时间段对应的更新数据;根据更新数据对第二数据库进行更新。
在其中一个实施例中,处理器所执行的根据更新数据对第二数据库进行更新的步骤包括:将更新数据与第二数据库中的数据进行对比,确定更新数据与第二数据库中的数据是否一致;将与第二数据库中的数据一致的更新数据作为第一目标更新数据,将与第二数据库中的数据不一致的更新数据作为第二目标更新数据;设置第二目标更新数据的操作类型为插入,并将第二目标更新数据插入到第二数据库中;丢弃第一目标更新数据,或者,设置第一目标更新数据的操作类型为更新,对第二数据库中与第一目标更新数据相同的数据进行替换。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:获取历史更新事件集合,历史更新数据集合包括一次或多次历史更新事件;获取各次历史更新事件的下一更新事件对应的各个历史第一目标更新数据,根据历史第一目标更新数据对应的操作时间计算各次下一更新事件对应的操作时间统计值,历史更新事件对应的操作时间段与对应的下一更新事件的操作时间段存在重复时间段;获取将各次历史更新事件对应的数据从源数据库发送到第一数据库的历史更新速度;根据历史更新速度以及对应的下一更新事件的操作时间统计值得到更新速度与重复时间长度的对应关系;根据目标更新速度确定目标重复时间长度的步骤包括:根据更新速度与重复时间长度的对应关系确定目标更新速度对应的目标重复时间长度。
在其中一个实施例中,处理器所执行的根据历史第一目标更新数据对应的操作时间计算各次下一更新事件对应的操作时间统计值的步骤包括:获取当前历史第一目标更新数据对应的目标操作时间;获取目标操作时间的最早操作时间以及最晚操作时间;计算最早操作时间以及最晚操作时间之间的时间差值,作为当前历史更新对应的操作时间统计值。
在其中一个实施例中,处理器所执行的根据第一操作时间段以及目标重复时间长度确定第二操作时间段的步骤包括:获取第一操作时间段对应的终止时间;将第一操作时间段对应的终止时间减去目标重复时间长度得到的时间作为第二操作时间段的起始时间;将起始时间加上预设时长得到第二操作时间段的终止时间。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:接收上一数据更新请求,上一数据更新请求携带第一操作时间段;从源数据库的操作日志文件中获取第一操作时间段对应的操作日志,操作日志用于对第一数据库的数据进行更新;将操作日志发送到第一数据库对应的计算机设备中,获取发送操作日志对应的网络传输速度;根据操作日志对应的网络传输速度得到目标更新速度。
在其中一个实施例中,操作行为为借贷操作行为,借贷操作行为对应的借贷数据包括借贷合同号、借贷类型以及借贷金额,处理器执行计算机程序时还实现以下步骤:获取第二数据库中各个借贷操作行为对应的借贷合同号;根据各个借贷数据的借贷类型将具有相同借贷合同号的借贷金额进行统计计算,得到各个借贷合同号对应的统计数据,并将各个借贷合同号对应的统计数据保存到第三数据表中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据更新方法,所述方法包括:
获取当前数据更新请求,所述当前数据更新请求用于请求将第一数据库的数据更新到第二数据库,所述第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间;
获取所述当前数据更新请求的上一数据更新请求对应的第一操作时间段;
获取将所述第一操作时间段对应的数据从所述源数据库更新到所述第一数据库的目标更新速度;
根据所述目标更新速度确定目标重复时间长度;
根据所述第一操作时间段以及所述目标重复时间长度确定第二操作时间段,所述目标重复时间长度为所述第一操作时间段与所述第二操作时间段的重叠时间段;
获取数据筛选条件,根据所述数据筛选条件从所述第一数据库中筛选所述第二操作时间段对应的更新数据;
根据所述更新数据对所述第二数据库进行更新。
2.根据权利要求1所述的方法,其特征在于,所述根据所述更新数据对所述第二数据库进行更新的步骤包括:
将所述更新数据与所述第二数据库中的数据进行对比,确定所述更新数据与所述第二数据库中的数据是否一致;
将与所述第二数据库中的数据一致的更新数据作为第一目标更新数据,将与所述第二数据库中的数据不一致的更新数据作为第二目标更新数据;
设置所述第二目标更新数据的操作类型为插入,并将所述第二目标更新数据插入到第二数据库中;
丢弃所述第一目标更新数据,或者,设置所述第一目标更新数据的操作类型为更新,对所述第二数据库中与所述第一目标更新数据相同的数据进行替换。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取历史更新事件集合,所述历史更新数据集合包括一次或多次历史更新事件;
获取所述各次历史更新事件的下一更新事件对应的各个历史第一目标更新数据,根据所述历史第一目标更新数据对应的操作时间计算所述各次历史更新事件的下一更新事件对应的操作时间统计值,所述历史更新事件对应的操作时间段与对应的下一更新事件的操作时间段存在重复时间段;
获取将所述各次历史更新事件对应的数据从所述源数据库发送到所述第一数据库的历史更新速度;
根据所述历史更新速度以及对应的下一更新事件的操作时间统计值得到更新速度与重复时间长度的对应关系;
所述根据所述目标更新速度确定目标重复时间长度的步骤包括:
根据所述更新速度与重复时间长度的对应关系确定所述目标更新速度对应的目标重复时间长度。
4.根据权利要求3所述的方法,其特征在于,所述根据所述历史第一目标更新数据对应的操作时间计算所述各次历史更新事件的下一更新事件对应的操作时间统计值的步骤包括:
获取所述当前历史第一目标更新数据对应的目标操作时间;
获取所述目标操作时间的最早操作时间以及最晚操作时间;
计算所述最早操作时间以及最晚操作时间之间的时间差值,作为所述当前历史更新对应的操作时间统计值。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述根据所述第一操作时间段以及所述目标重复时间长度确定第二操作时间段的步骤包括:
获取所述第一操作时间段对应的终止时间;
将所述第一操作时间段对应的终止时间减去所述目标重复时间长度得到的时间作为所述第二操作时间段的起始时间;
将所述起始时间加上预设时长得到所述第二操作时间段的终止时间。
6.根据权利要求1~4任一项所述的方法,其特征在于,所述方法还包括:
接收所述上一数据更新请求,所述上一数据更新请求携带所述第一操作时间段;
从所述源数据库的操作日志文件中获取所述第一操作时间段对应的操作日志,所述操作日志用于对所述第一数据库的数据进行更新;
将所述操作日志发送到所述第一数据库对应的计算机设备中,获取发送所述操作日志对应的网络传输速度;
根据所述操作日志对应的网络传输速度得到所述目标更新速度。
7.根据权利要求1~4任一项所述的方法,其特征在于,所述操作行为为借贷操作行为,所述借贷操作行为对应的借贷数据包括借贷合同号、借贷类型以及借贷金额,所述方法还包括:
获取所述第二数据库中各个借贷操作行为对应的借贷合同号;
根据所述各个借贷数据的借贷类型将具有相同借贷合同号的借贷金额进行统计计算,得到所述各个借贷合同号对应的统计数据,并将所述各个借贷合同号对应的统计数据保存到第三数据表中。
8.一种数据更新装置,所述装置包括:
当前请求接收模块,用于获取当前数据更新请求,所述当前数据更新请求用于请求将第一数据库的数据更新到第二数据库,所述第一数据库的数据包括对源数据库进行操作的操作行为对应的数据以及操作时间;
第一时间段获取模块,用于获取所述当前数据更新请求的上一数据更新请求对应的第一操作时间段;
目标速度获取模块,用于获取将所述第一操作时间段对应的数据从所述源数据库更新到所述第一数据库的目标更新速度;
重复时间长度确定模块,用于根据所述目标更新速度确定目标重复时间长度;
第二时间段获取模块,用于根据所述第一操作时间段以及所述目标重复时间长度确定第二操作时间段,所述目标重复时间长度为所述第一操作时间段与所述第二操作时间段的重叠时间段;
筛选模块,用于获取数据筛选条件,根据所述数据筛选条件从所述第一数据库中筛选所述第二操作时间段对应的更新数据;
更新模块,用于根据所述更新数据对所述第二数据库进行更新。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810162126.7A CN108334633B (zh) | 2018-02-26 | 2018-02-26 | 数据更新方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810162126.7A CN108334633B (zh) | 2018-02-26 | 2018-02-26 | 数据更新方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108334633A CN108334633A (zh) | 2018-07-27 |
CN108334633B true CN108334633B (zh) | 2020-09-15 |
Family
ID=62930047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810162126.7A Active CN108334633B (zh) | 2018-02-26 | 2018-02-26 | 数据更新方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108334633B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109766349B (zh) * | 2018-12-13 | 2024-03-15 | 深圳市晶测科技有限公司 | 任务防重方法、装置、计算机设备及存储介质 |
CN109634140B (zh) * | 2018-12-25 | 2020-05-15 | 珠海格力电器股份有限公司 | 运行环境数据的更新方法、装置、机组及计算机设备 |
CN111104540B (zh) * | 2019-12-26 | 2023-06-13 | 深圳云天励飞技术有限公司 | 图像搜索方法、装置、设备及计算机可读存储介质 |
CN111530080B (zh) * | 2020-04-26 | 2021-03-26 | 苏州沁游网络科技有限公司 | 一种虚拟对象的行为控制方法、装置、设备及存储介质 |
CN112783719B (zh) * | 2020-12-31 | 2023-02-28 | 杭州趣链科技有限公司 | 监控数据获取方法、服务器、系统及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102591993A (zh) * | 2012-02-16 | 2012-07-18 | 中国工商银行股份有限公司 | 一种用于热表数据更新的异步处理方法及装置 |
CN103020304A (zh) * | 2012-12-31 | 2013-04-03 | 中国工商银行股份有限公司 | 一种数据处理方法及设备 |
CN104247407A (zh) * | 2012-02-10 | 2014-12-24 | 易卜拉欣·纳拉 | 数据、多媒体和视频传输更新系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100764690B1 (ko) * | 2005-12-15 | 2007-10-08 | 주식회사 아이온커뮤니케이션즈 | 웹사이트의 통합 관리시스템 및 이를 이용한 관리방법 |
JP2017228213A (ja) * | 2016-06-24 | 2017-12-28 | 富士通株式会社 | 演算処理装置及び演算処理装置の制御方法 |
-
2018
- 2018-02-26 CN CN201810162126.7A patent/CN108334633B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104247407A (zh) * | 2012-02-10 | 2014-12-24 | 易卜拉欣·纳拉 | 数据、多媒体和视频传输更新系统 |
CN102591993A (zh) * | 2012-02-16 | 2012-07-18 | 中国工商银行股份有限公司 | 一种用于热表数据更新的异步处理方法及装置 |
CN103020304A (zh) * | 2012-12-31 | 2013-04-03 | 中国工商银行股份有限公司 | 一种数据处理方法及设备 |
Non-Patent Citations (1)
Title |
---|
大数据分析与高速数据更新;陈世敏;《计算机研究与发展》;20150215;第333-342页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108334633A (zh) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108334633B (zh) | 数据更新方法、装置、计算机设备和存储介质 | |
CN108734453B (zh) | 区块链数据处理方法、装置、计算机设备和存储介质 | |
CN110399380B (zh) | 一种数据处理方法、电子装置及存储介质 | |
CN109684347B (zh) | 对账方法、装置、计算机设备和存储介质 | |
CN109583758B (zh) | 监察系统的预警规则修正方法、装置和计算机设备 | |
CN111741112B (zh) | 基于人工智能的文件下载方法、装置、设备和存储介质 | |
CN109544014B (zh) | 基于历史数据回放的反欺诈方法及装置 | |
CN111104644A (zh) | 可靠性评估方法、装置、计算机设备和存储介质 | |
CN113723956A (zh) | 异常监控方法、装置、设备及存储介质 | |
CN112104671A (zh) | 接口授权监控方法、装置、计算机设备和存储介质 | |
CN114138634B (zh) | 测试用例的选取方法、装置、计算机设备和存储介质 | |
CN114385485A (zh) | 接口测试方法、装置、设备及存储介质 | |
CN108629699A (zh) | 数据上传方法、数据上传设备、存储介质及装置 | |
CN111523921B (zh) | 漏斗分析方法、分析设备、电子设备及可读存储介质 | |
CN112613288A (zh) | 结算单生成方法、装置、计算机设备和存储介质 | |
CN110119989B (zh) | 异常对账列表处理方法、装置、计算机设备及存储介质 | |
CN116542771A (zh) | 异常信息确定方法、装置、设备、介质及产品 | |
CN116342256A (zh) | 风控策略测试方法、装置、计算机设备和存储介质 | |
CN115827922A (zh) | 基于风电数据的可视化分析处理方法、系统和计算机设备 | |
CN113221151A (zh) | 基于区块链的数据处理方法、装置及存储介质 | |
CN115017027A (zh) | 接口自动化持续集成测试方法、装置、设备及存储介质 | |
CN115080366B (zh) | 告警方法、装置、计算机设备和存储介质 | |
CN112650734B (zh) | 一种区块修复方法及相关装置 | |
CN116703184B (zh) | 数据处理方法、数据处理装置、电子设备及可读存储介质 | |
JP2004334737A (ja) | 信用リスクモデル決定装置、プログラムおよび信用リスクモデル決定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |