CN111475517A

CN111475517A - 数据更新方法、装置、计算机设备及存储介质

Info

Publication number: CN111475517A
Application number: CN202010152296.4A
Authority: CN
Inventors: 周亮
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2020-03-06
Filing date: 2020-03-06
Publication date: 2020-07-31
Anticipated expiration: 2040-03-06
Also published as: WO2021174696A1; CN111475517B

Abstract

本发明公开了一种数据更新方法、装置、计算机设备及存储介质。所述方法包括：在接收到读数指令时，获取前端数据库中配置表唯一数据记录和写入时间；解析读数指令中的同步数据时间范围，遍历查询与同步数据时间范围匹配的写入时间，以及与匹配的各写入时间关联的唯一数据记录，将与同步数据时间范围匹配的各写入时间关联的唯一数据记录标记为待读取数据标识；在接口表中查询与各待读取数据标识对应的指标数据，根据分割符号确定待读取数据标识对应的指标数据所属的待读取批次，将待读取批次的所有指标数据记录为新增批次指标数据；将读取的所有批次的新增批次指标数据更新存储后端数据库的目标数据表中。本发明可提高后端服务器的运行性能。

Description

数据更新方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据更新领域，尤其涉及一种数据更新方法、装置、计算机设备及存储介质。

背景技术

目前在数据库的数据处理场景中，前端需要把指标数据写入在一个接口表中，以供后端获取并且存储指标数据。为了保证后端数据的完整性，需要获取接口表中的所有指标数据。但目前存在一种方法，其按照时间分区往后端所在数据库中同步指标数据，此方法容易导致部分指标数据的时间跨度较大，产生数据更新不全的问题。另有一种方法则是按照指标进行同步的方法，但此方法在存在多个指标的时候，就需要在后端设置多个对应的程序，随着指标不断增长，后端需同步的程序会越来越多，因此会造成难以开发和难以维护的问题。且上述两种方法后端每次都是进行整个接口表同步，会导致后端所在的数据库积累太多无用的数据，会影响到后端服务器的运行性能，增加后端服务器运行任务的运行时间。因此，本领域技术人员亟需寻找一种技术方案解决上述提到的技术问题。

发明内容

基于此，有必要针对上述技术问题，提供一种数据更新方法、装置、计算机设备及存储介质，用于提高后端服务器的运行性能，减少后端服务器运行任务的运行时间。

一种数据更新方法，包括：

在接收到读数指令时，后端服务器获取前端服务器的前端数据库中配置表所有唯一数据记录，以及与所述唯一数据记录关联的写入时间；其中，所述唯一数据记录是指在所述前端数据库的接口表中分批次写入的指标数据，同时在所述配置表中为该批次的所述指标数据中的第一个所述指标数据更新配置的唯一标识，且所述唯一数据记录与该批次的所述指标数据写入所述接口表的所述写入时间关联存储在所述配置表中；每一批次的所述指标数据中包含至少一个指标数据，所述接口表中以分割符号分割各个批次的所述指标数据；

所述后端服务器解析所述读数指令中的同步数据时间范围，从所述配置表中获取的所有所述写入时间和所述唯一数据记录中，遍历查询与所述同步数据时间范围匹配的所述写入时间，以及与所述同步数据时间范围匹配的各所述写入时间关联的唯一数据记录，将与所述同步数据时间范围匹配的各所述写入时间关联的唯一数据记录标记为待读取数据标识；

所述后端服务器在所述接口表中查询与各所述待读取数据标识对应的指标数据，根据所述接口表中的所述分割符号确定所述待读取数据标识对应的指标数据所属的待读取批次，并将所述待读取批次的所有指标数据记录为新增批次指标数据；

所述后端服务器自接口表中获取所有批次的新增批次指标数据之后，将读取的所有批次的所述新增批次指标数据更新存储所述后端服务器的后端数据库的目标数据表中，同时在所述配置表中删除与所有所述待读取批次的指标数据中的第一个指标数据对应的所述唯一数据记录以及与其关联存储的所述写入时间。

一种数据更新装置，包括：

获取模块，用于在接收到读数指令时，后端服务器获取前端服务器的前端数据库中配置表所有唯一数据记录，以及与所述唯一数据记录关联的写入时间；其中，所述唯一数据记录是指在所述前端数据库的接口表中分批次写入的指标数据，同时在所述配置表中为该批次的所述指标数据中的第一个所述指标数据更新配置的唯一标识，且所述唯一数据记录与该批次的所述指标数据写入所述接口表的所述写入时间关联存储在所述配置表中；每一批次的所述指标数据中包含至少一个指标数据，所述接口表中以分割符号分割各个批次的所述指标数据；

第一标记模块，用于所述后端服务器解析所述读数指令中的同步数据时间范围，从所述配置表中获取的所有所述写入时间和所述唯一数据记录中，遍历查询与所述同步数据时间范围匹配的所述写入时间，以及与所述同步数据时间范围匹配的各所述写入时间关联的唯一数据记录，将与所述同步数据时间范围匹配的各所述写入时间关联的唯一数据记录标记为待读取数据标识；

记录模块，用于所述后端服务器在所述接口表中查询与各所述待读取数据标识对应的指标数据，根据所述接口表中的所述分割符号确定所述待读取数据标识对应的指标数据所属的待读取批次，并将所述待读取批次的所有指标数据记录为新增批次指标数据；

存储模块，用于所述后端服务器自接口表中获取所有批次的新增批次指标数据之后，将读取的所有批次的所述新增批次指标数据更新存储所述后端服务器的后端数据库的目标数据表中，同时在所述配置表中删除与所有所述待读取批次的指标数据中的第一个指标数据对应的所述唯一数据记录以及与其关联存储的所述写入时间。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据更新方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据更新方法。

上述数据更新方法、装置、计算机设备及存储介质，通过在数据库的接口表中不断验证接口表的各个批次的指标数据是否为新增批次指标数据，并将符合条件(包括各个批次指标数据对应的写入时间要落入至同步数据时间范围内)的新增批次指标数据更新存储至后端数据库所在的目标数据表中，起到一种增量更新的目的，目标数据表中的数据将会更符合后端数据库的使用，目标数据表所在的后端数据库将不会积累太多无用的数据(已同步至目标数据表中的各个历史的批次的指标数据，若再同步，将会造成目标数据表出现重复的各个批次的指标数据)，后端数据库的运行性能不会大幅度受到影响，也即后端数据库对应的后端服务器也不会受到影响，因此通过本发明可提高后端服务器的运行性能，减少后端服务器运行任务的运行时间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中数据更新方法的一应用环境示意图；

图2是本发明一实施例中数据更新方法的一流程图；

图3是本发明一实施例中数据更新装置的结构示意图；

图4是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的数据更新方法，可应用在如图1的应用环境中，其中，客户端通过网络与后端服务器进行通信。其中，客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。后端服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种数据更新方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S10，在接收到读数指令时，后端服务器获取前端服务器的前端数据库中配置表所有唯一数据记录，以及与所述唯一数据记录关联的写入时间；其中，所述唯一数据记录是指在所述前端数据库的接口表中分批次写入的指标数据，同时在所述配置表中为该批次的所述指标数据中的第一个所述指标数据更新配置的唯一标识，且所述唯一数据记录与该批次的所述指标数据写入所述接口表的所述写入时间关联存储在所述配置表中；每一批次的所述指标数据中包含至少一个指标数据，所述接口表中以分割符号分割各个批次的所述指标数据；

可理解地，接口表和配置表都位于前端服务器的前端数据库中；各个批次的指标数据是通过在前端数据库执行SQL语句的增加数据操作而写入到前端服务器中的接口表中(以批次数据的形式写入，可以将一个预设时间或一个业务场景等情况下的指标数据作为一个批次的指标数据，比如10分钟内的指标数据作为一个批次的指标数据，公司的一个数据报表中的指标数据作为一个批次的指标数据等)，且接口表中的各个批次的指标数据被分割符号进行分割(分割符号可以为逗号、斜线等其他具有分割意义的符号)；唯一数据记录是指在接口表中分批次新增写入指标数据时，在配置表为写入的新增的批次的指标数据中的第一个指标数据对应生成的一个唯一标识(该唯一标识为自指标数据中提取的关键信息，关键信息包括但不限于指标类型等，可对照预先设定指标数据的关键信息表，去提取指标数据的关键信息，进而而形成该唯一标识)；在本实施例中，凡是在配置表中具有对应的唯一数据记录的指标数据均为新增的指标数据，可理解地，由于指标数据是分批次写入接口表中，因此，在一个批次的指标数据中具有一个新增的指标数据时，说明该批次的所有指标数据均为新增的指标数据。

在本实施例中，由于指标数据分批次导入到接口表中，因此可通过分割符号在接口表中呈现以两个分割符号之间的指标数据为一个批次的指标数据的形式，将指标数据以批次的形式导入可减少多次导入的时间，也便于在接口表中查询指标数据，且由于配置表中的唯一数据记录仅为一个批次的指标数据的第一个指标数据，因此在后续的数据处理过程中，可减少配置表中的负载程度，同时提升数据处理的速度和效率。

S20，所述后端服务器解析所述读数指令中的同步数据时间范围，从所述配置表中获取的所有所述写入时间和所述唯一数据记录中，遍历查询与所述同步数据时间范围匹配的所述写入时间，以及与所述同步数据时间范围匹配的各所述写入时间关联的唯一数据记录，将与所述同步数据时间范围匹配的各所述写入时间关联的唯一数据记录标记为待读取数据标识；

可理解地，读数指令是后端服务器需要读取接口表中一段时间范围的批次指标数据(需同步至后端数据库的批次指标数据)的指令。

S30，所述后端服务器在所述接口表中查询与各所述待读取数据标识对应的指标数据，根据所述接口表中的所述分割符号确定所述待读取数据标识对应的指标数据所属的待读取批次，并将所述待读取批次的所有指标数据记录为新增批次指标数据；

在本实施例中，在解析出读数指令中包含的同步数据时间范围后，先遍历查询配置表中的与同步数据时间范围匹配的写入时间，确定出匹配成功的写入时间关联的唯一数据记录，该唯一数据记录杯标记为待读取数据标识；再根据查询出来的待读取数据标识和分割符号来验证接口表中的各个批次的指标数据(先从接口表中确定与待读取数据标识匹配的指标数据，之后确定该指标数据所属的批次，由于两个分割符号可确定出一个批次的指标数据，因而识别到离该指标数据前后最近的两个分割符号后，就可以确定两个符号之间的指标数据为一个批次的指标数据，也即该指标数据所属的批次)中第一个指标数据是否关联待读取数据标识，以批次的指标数据作为一个对象，并验证此对象的第一个指标数据，在确定第一个指标数据与待读取数据标识是关联的时候，则可以说明该指标数据为新增的指标数据，也可以说明整个对象(一个批次的指标数据)为新增批次指标数据，从而避免后端服务器进行验证全部批次的指标数据，减少后端服务器的工作负担和工作时间，且由于待读取数据标识只对应一个批次的指标数据的第一个指标数据，也减少了后端服务器的查询验证次数，进一步也减少后端服务器的工作负担和工作时间。

进一步地，所述根据所述接口表中的所述分割符号确定所述待读取数据标识对应的指标数据所属的待读取批次，包括：

识别第一个未进行标记的所述分割符号后，将该所述分割符号标记为已识别；

再次识别位于第一个所述分割符号之后且未进行标记的第一个所述分割符号，以两个识别的所述分割符号之间的所述指标数据作为一个批次的所述指标数据，直至每一个批次的所述指标数据之间的两个所述分割符号都被标记已识别；

从识别成功的各批次的所述指标数据中查询确定出排序顺序为第一个的所述指标数据，并验证第一个所述指标数据是否与所述所述待读取数据标识进行关联成功，并在关联成功后确定第一个所述指标数据所属的所述待读取批次。

在本实施例中，以识别两个未标记的分割符号来确定出一个批次的指标数据，可提高各批次的指标数据的识别效率，也可提高各批次的指标数据第一个指标数据得确定效率。

S40，所述后端服务器自接口表中获取所有批次的新增批次指标数据之后，将读取的所有批次的所述新增批次指标数据更新存储所述后端服务器的后端数据库的目标数据表中，同时在所述配置表中删除与所有所述待读取批次的指标数据中的第一个指标数据对应的所述唯一数据记录以及与其关联存储的所述写入时间。

在本实施例中，通过在数据库的接口表中不断验证接口表的各个批次的指标数据是否为新增批次指标数据，并将符合条件(包括各个批次指标数据对应的写入时间要落入至同步数据时间范围内)的新增批次指标数据更新存储至后端数据库所在的目标数据表中，起到一种增量更新的目的，目标数据表中的数据将会更符合后端数据库的使用，目标数据表所在的后端数据库将不会积累太多无用的数据(已同步至目标数据表中的各个历史的批次的指标数据，若再同步，将会造成目标数据表出现重复的各个批次的指标数据)，后端数据库的运行性能不会大幅度受到影响；且将删除与所有待读取批次的指标数据中的第一个指标数据对应的唯一数据记录以及与其关联存储的写入时间的原因为：由于唯一数据记录和写入时间是判断批次的指标数据是否为新增批次指标数据的依据，因此在将新增批次指标数据更新存储后端数据库后，为了避免下一次影响对新增批次指标数据的判断从而将已同步过新增批次指标数据关联的唯一数据记录和写入时间从配置表进行删除。

在步骤S10至步骤S40所在的实施例中，首先可在前端服务器中的前端数据库的接口表以批次指标数据的形式新增写入A批次指标数据和B批次指标数据(该接口表中还存在历史写入的批次指标数据，比如：C批次指标数据；历史写入的批次指标数据是指已经被传输并存储至目标数据表中的批次指标数据)，且A批次的指标数据和B批次指标数据在新增写入接口表之后，A批次指标数据和B批次指标数据的首部和尾部均被插入用于与其他批次指标数据分隔的分割符号(比如，A批次指标数据之前具有一个分割符号，A批次指标数据和B批次指标数据之间存在一个分割符号，B批次指标数据和C批次指标数据之间存在一个分割符号)，分割符号可将A批次的指标数据、B批次的指标数据和C批次指标数据等在接口表分隔。

在步骤S10至步骤S40所在的实施例中，A批次指标数据中的所有指标数据均在2019年10月1日下午3点被作为一个批次新增写入接口表中，B批次指标数据中的所有指标数据均在2019年10月1日下午1点被作为一个批次新增写入接口表中，此时，在A批次指标数据和B批次指标数据新增写入接口表的的同时，还需要在前端数据库中的配置表写入与A批次指标数据的第一个指标数据以及B批次指标数据的第一个指标数据对应的唯一数据记录(唯一数据记录是指从第一指标数据中提取的第一个指标数据的类型和关键数据属性等)，同时在该配置表中，A批次指标数据的唯一数据记录与A批次指标数据被写入到接口表的写入时间(也即2019年10月1日下午3点)关联存储，B批次指标数据的唯一数据记录与B批次指标数据的被写入到接口表的写入时间(也即2019年10月1日下午1点)关联存储。可理解地，历史写入的批次指标数据在该配置表中不具有与其对应的任何唯一数据记录或写入时间等信息，在历史写入的批次指标数据被传输并存储至目标数据表中之后，其在配置表中的上述信息均已被从配置表中删除。

然后，后端服务器解析出读数指令中的同步数据时间范围，比如，若同步数据时间范围为当天下午的2点到4点，此时，由于A批次指标数据的写入时间为当天下午3点时，B批次指标数据的写入时间为当天下午1点时；此时，A批次指标数据的写入时间落入到同步数据时间范围(2点到4点)，而B批次指标数据的写入时间并不属于该同步数据时间范围，因此，后端服务器仅从配置表中，获取与落入同步数据时间范围的A批次指标数据写入时间关联的A批次指标数据的唯一数据记录，并将该唯一数据记录记录为待读取数据标识；接着在接口表中查询与待读取数据标识对应的A批次指标数据，具体查询过程为：先从接口表中确定与待读取数据标识匹配的唯一指标数据，之后确定该唯一指标数据所属的批次(根据该唯一指标数据的前后距离其最近的分割符号进行确定，也即，此时确定的该批次即为A批次指标数据)，之后，确定该A批次指标数据均为需要传输至目标数据表中的新增批次指标数据(可理解地，由于在本发明中，每一个批次的指标数据均在同一个写入时间写入并形成一个与写入时间对应的批次，且指标数据从前端数据库的接口表中传输至后端服务器中的后端数据库的目标数据表，均为分批次传输，因此，在一个批次的指标数据中具有一个新增的指标数据时，说明该批次的所有指标数据均为新增的指标数据)。

最后后端服务器自接口表中获取确定出为需要传输至目标数据表中的新增批次指标数据的A批次指标数据，并将其存储至后端服务器中的后端数据库的目标数据表，同时将配置表中与A批次指标数据的第一个指标数据关联的写入时间和唯一数据记录进行删除。(B批次指标数据由于其写入时间与同步数据时间范围并不匹配，因此，其为新增批次指标数据，但不与读数指令对应，因此并不需要根据本次读数指令被存储至目标数据表，B批次指标数据关联的写入时间和唯一数据记录也依旧被存储在配置表中)。

进一步地，所述将读取的所有批次的所述新增批次指标数据更新存储所述后端服务器的后端数据库的目标数据表中，包括：

通过预设指标类型表确定出所述新增批次指标数据对应的指标类型；

按照所述指标类型将与其对应的所述新增批次指标数据更新存储至所述后端数据库所在的所述目标数据表中与所述指标类型对应的存储分区；一个所述存储分区对应一个所述指标类型。

可理解地，指标类型是新增批次指标数据所属的数据类型，比如目前确定的180个数据类型的指标数据，而各指标类型可对应一个目标数据表中一个存储分区(该目标数据表已通过指标类型进行数据分区)。

在本实施例中，通过指标类型将与其对应的新增批次指标数据存储至目标数据表中与指标类型对应的存储分区，从而可分类同步存储新增指标数据，方便与从中获取。

进一步地，所述将读取的所有批次的所述新增批次指标数据更新存储所述后端服务器的后端数据库的目标数据表中之前，还包括：

通过指标数据校验判断所述接口表中的各批次的所述新增批次指标数据是否出现预设数据异常；

若其中一个批次的所述新增批次指标数据出现所述预设数据异常，则标记该批次的所述新增批次指标数据并发出提醒。

在本实施例中，由于在将各个批次的新增批次指标数据写入到接口表的过程中或在后端服务器准备获取接口表中的新增批次指标数据的过程中，可能受到外界因素的干扰(比如计算机性能不稳定、有干扰的程序等)，导致接口表中的指标数据出现预设数据异常(比如空白数据、乱码数据等)，因此可通过标记出现异常的批次指标数据并提醒预设人员，从而可及时解决预设数据异常，可减少错误数据的产生，保证数据的准确性。

进一步地，所述自接口表中获取所有批次的新增批次指标数据，包括：

按照线程优先级顺序从多线程中获取具有空闲的第一处理线程后，将各批次的所述新增批次指标数据关联的批次编号关联于各所述第一处理线程，并下发各批次的所述新增批次指标数据至与其批次编号关联的各所述第一处理线程；所述批次编号按照各批次的所述新增批次指标数据对应的所述配置表中的所述写入时间的先后顺序生成；

检验当前处理各批次的所述新增批次指标数据对应的各所述第一处理线程是否出现预设进程异常；

若一个批次的所述新增批次指标数据对应的一个所述第一处理线程出现所述预设进程异常，则按照所述线程优先级顺序将该批次的所述新增批次指标数据关联的所述批次编号再次关联于具有空闲的第二处理线程，并按照各批次的所述新增批次指标数据关联的各所述批次编号和预设排列顺序对各批次的所述新增批次指标数据进行排列；

自所述接口表获取已排列成功的各批次的所述新增批次指标数据。

可理解地，批次编号的数字越小，就说明该批次编号关联的新增批次指标数据是越先被获取的；多线程中的处理线程是用来运行对各批次的新增批次指标数据进行排列的任务。

在本实施例中，通过将各批次生成的批次编号(批次编号是按照各批次的新增批次指标数据对应的配置表中的所述写入时间的先后顺序生成，其中，写入时间的时间越早，批次编号就越小，越小批次编号的新增批次指标数据是需要鲜卑获取的指标数据)关联于各个第一处理线程后，再下发各个批次的新增批次指标数据至与其批次编号关联的各第一处理线程，此种方式可增加第一处理线程处理各个批次的新增批次指标数据的工作效率(通过批次编号为第一处理线程安排各批次的新增批次指标数据数据，一个处理线程只能关联一个批次编号，即一个处理只能单独处理一个批次的新增批次指标数据，不会出现一个第一处理线程处理多个批次的新增批次指标数据，因此，一个处理线程只要识别到批次编号，就可以快速处理与批次编号关联的一个批次的新增批次指标数据，此时也按照批次编号的数字大小为各个批次的新增批次指标数据安排存在优先级顺序的各第一处理线程，其中，第一处理线程的优先级顺序高，第一处理线程优先处理批次编号的数字较小的新增批次指标数据，从而第一处理线程可按照批次编号的数字大小处理新增批次指标数据，不会发生第一处理线程无目的处理各个批次的新增批次指标数据，加快第一处理线程的处理效率)；通过检测当前处理各个批次的新增批次指标数据对应的各第一处理线程是否出现预设进程异常，在第一处理线程出现预设进程异常时，为出现预设进程异常的第一处理线程所对应的批次的新增批次指标数据重新设置一个第二处理线程，从而可保证各个批次的新增批次指标数据都有一个处理线程可进行处理(也即将自接口表获取新增批次指标数据)，保证及时处理好各个批次的新增批次指标数据。本实施例根据处理线程去获取新增批次指标数据，加快获取新增批次指标数据的进度。

进一步地，所述自接口表中获取所有批次的新增批次指标数据之后，还包括：

判断所述获取所述接口表中的所述新增批次指标数据的过程中是否出现获取中断的问题；

若出现所述获取中断的问题，则在异常日志中记录该批次的所述新增批次指标数据所对应的所述写入时间，在所述异常日志中记录获取该批次所述新增批次指标数据的工作进度，并在下一次启动写入时，根据所述异常日志中的所述写入时间确定出该批次的所述新增批次指标数据，根据所述异常日志中的所述工作进度和所述写入时间确定出的该批次的所述新增批次指标数据剩余的所述指标数据。

在本实施例中，由于在通过处理线程获取各个批次的新增批次指标数据的过程中，有可能由于网络、服务器奔溃等原因而出现获取中断的问题，因此后续启动写入能通过异常日志去确定上一次获取中断时所对应的新增批次指标数据，也能确定出上一获取该批次的新增批次指标数据的工作进度，从而可保证数据处理不中断的问题。

综上所述，上述提供了一种数据更新方法，通过在数据库的接口表中不断验证接口表的各个批次的指标数据是否为新增批次指标数据，并将符合条件(包括各个批次指标数据对应的写入时间要落入至同步数据时间范围内)的新增批次指标数据更新存储至后端数据库所在的目标数据表中，起到一种增量更新的目的，目标数据表中的数据将会更符合后端数据库的使用，目标数据表所在的后端数据库将不会积累太多无用的数据(已同步至目标数据表中的各个历史的批次的指标数据，若再同步，将会造成目标数据表出现重复的各个批次的指标数据)，后端数据库的运行性能不会大幅度受到影响，也即后端数据库对应的后端服务器也不会受到影响，因此通过本发明可提高后端服务器的运行性能，减少后端服务器运行任务的运行时间。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种数据更新装置，该数据更新装置与上述实施例中数据更新方法一一对应。如图3所示，该数据更新装置包括获取模块11、第一标记模块12、记录模块13和存储模块14。各功能模块详细说明如下：

获取模块11，用于在接收到读数指令时，后端服务器获取前端服务器的前端数据库中配置表所有唯一数据记录，以及与所述唯一数据记录关联的写入时间；其中，所述唯一数据记录是指在所述前端数据库的接口表中分批次写入的指标数据，同时在所述配置表中为该批次的所述指标数据中的第一个所述指标数据更新配置的唯一标识，且所述唯一数据记录与该批次的所述指标数据写入所述接口表的所述写入时间关联存储在所述配置表中；每一批次的所述指标数据中包含至少一个指标数据，所述接口表中以分割符号分割各个批次的所述指标数据；

第一标记模块12，用于所述后端服务器解析所述读数指令中的同步数据时间范围，从所述配置表中获取的所有所述写入时间和所述唯一数据记录中，遍历查询与所述同步数据时间范围匹配的所述写入时间，以及与所述同步数据时间范围匹配的各所述写入时间关联的唯一数据记录，将与所述同步数据时间范围匹配的各所述写入时间关联的唯一数据记录标记为待读取数据标识；

记录模块13，用于所述后端服务器在所述接口表中查询与各所述待读取数据标识对应的指标数据，根据所述接口表中的所述分割符号确定所述待读取数据标识对应的指标数据所属的待读取批次，并将所述待读取批次的所有指标数据记录为新增批次指标数据；

存储模块14，用于所述后端服务器自接口表中获取所有批次的新增批次指标数据之后，将读取的所有批次的所述新增批次指标数据更新存储所述后端服务器的后端数据库的目标数据表中，同时在所述配置表中删除与所有所述待读取批次的指标数据中的第一个指标数据对应的所述唯一数据记录以及与其关联存储的所述写入时间。

进一步地，所述记录模块包括：

标记子模块，用于识别第一个未进行标记的所述分割符号后，将该所述分割符号标记为已识别；

识别子模块，用于再次识别位于第一个所述分割符号之后且未进行标记的第一个所述分割符号，以两个识别的所述分割符号之间的所述指标数据作为一个批次的所述指标数据，直至每一个批次的所述指标数据之间的两个所述分割符号都被标记已识别；

第一确定子模块，用于从识别成功的各批次的所述指标数据中查询确定出排序顺序为第一个的所述指标数据，并验证第一个所述指标数据是否与所述所述待读取数据标识进行关联成功，并在关联成功后确定第一个所述指标数据所属的所述待读取批次。

进一步地，所述存储模块包括：

第二确定子模块，用于通过预设指标类型表确定出所述新增批次指标数据对应的指标类型；

存储子模块，用于按照所述指标类型将与其对应的所述新增批次指标数据更新存储至所述后端数据库所在的所述目标数据表中与所述指标类型对应的存储分区；一个所述存储分区对应一个所述指标类型。

进一步地，所述数据更新装置还包括：

第一判断模块，用于通过指标数据校验判断所述接口表中的各批次的所述新增批次指标数据是否出现预设数据异常；

第二标记模块，用于若其中一个批次的所述新增批次指标数据出现所述预设数据异常，则标记该批次的所述新增批次指标数据并发出提醒。

进一步地，所述存储模块包括：

下发子模块，用于按照线程优先级顺序从多线程中获取具有空闲的第一处理线程后，将各批次的所述新增批次指标数据关联的批次编号关联于各所述第一处理线程，并下发各批次的所述新增批次指标数据至与其批次编号关联的各所述第一处理线程；所述批次编号按照各批次的所述新增批次指标数据对应的所述配置表中的所述写入时间的先后顺序生成；

检验子模块，用于检验当前处理各批次的所述新增批次指标数据对应的各所述第一处理线程是否出现预设进程异常；

排列子模块，用于若一个批次的所述新增批次指标数据对应的一个所述第一处理线程出现所述预设进程异常，则按照所述线程优先级顺序将该批次的所述新增批次指标数据关联的所述批次编号再次关联于具有空闲的第二处理线程，并按照各批次的所述新增批次指标数据关联的各所述批次编号和预设排列顺序对各批次的所述新增批次指标数据进行排列；

获取子模块，用于自所述接口表获取已排列成功的各批次的所述新增批次指标数据。

进一步地，所述数据更新装置还包括：

第二判断模块，用于判断所述获取所述接口表中的所述新增批次指标数据的过程中是否出现获取中断的问题；

确定模块，用于若出现所述获取中断的问题，则在异常日志中记录该批次的所述新增批次指标数据所对应的所述写入时间，在所述异常日志中记录获取该批次所述新增批次指标数据的工作进度，并在下一次启动写入时，根据所述异常日志中的所述写入时间确定出该批次的所述新增批次指标数据，根据所述异常日志中的所述工作进度和所述写入时间确定出的该批次的所述新增批次指标数据剩余的所述指标数据。

关于数据更新装置的具体限定可以参见上文中对于数据更新方法的限定，在此不再赘述。上述数据更新装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据更新方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据更新方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中数据更新方法的步骤，例如图2所示的步骤S10至步骤S40。或者，处理器执行计算机程序时实现上述实施例中数据更新装置的各模块/单元的功能，例如图3所示模块11至模块14的功能。为避免重复，这里不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中数据更新方法的步骤，例如图2所示的步骤S10至步骤S40。或者，计算机程序被处理器执行时实现上述实施例中数据更新装置的各模块/单元的功能，例如图3所示模块11至模块14的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM

(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims

1.一种数据更新方法，其特征在于，包括：

2.根据权利要求1所述的数据更新方法，其特征在于，所述根据所述接口表中的所述分割符号确定所述待读取数据标识对应的指标数据所属的待读取批次，包括：

3.根据权利要求1所述的数据更新方法，其特征在于，所述将读取的所有批次的所述新增批次指标数据更新存储所述后端服务器的后端数据库的目标数据表中，包括：

4.根据权利要求1所述的数据更新方法，其特征在于，所述将读取的所有批次的所述新增批次指标数据更新存储所述后端服务器的后端数据库的目标数据表中之前，还包括：

5.根据权利要求1所述的数据更新方法，其特征在于，所述自接口表中获取所有批次的新增批次指标数据，包括：

6.根据权利要求1所述的数据更新方法，其特征在于，所述自接口表中获取所有批次的新增批次指标数据之后，还包括：

7.一种数据更新装置，其特征在于，包括：

8.根据权利要求7所述的数据更新装置，其特征在于，所述记录模块包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述数据更新方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述数据更新方法。