CN110263050A - 数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法、装置、设备及存储介质，涉及大数据技术领域。该方法包括：对于离线处理的目标周期的目标字段对应的数据，确定目标周期的上一周期的数据中是否存在该目标字段；若目标周期的上一周期的数据中不存在该目标字段，则将目标周期的该目标字段对应的数据回写至在线数据库；若目标周期的上一周期的数据中存在该目标字段，则确定在目标周期与目标周期的上一周期中该目标字段对应的数据是否相同；若不相同，则将目标周期的该目标字段对应的数据回写至该在线数据库。本申请实施例的技术方案能够显著减少向在线数据库写入的数据量，提高在线数据库的操作性能。

Description

数据处理方法、装置、设备及存储介质

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据处理方法、数据处理装置、数据处理设备以及计算机可读存储介质。

背景技术

随着互联网技术的飞速发展，业务系统需要处理的数据量也呈指数级增长，如何高效处理日益增长的海量数据成为了关注的焦点。

对于海量的数据，仅依赖在线业务系统进行处理，会导致严重的性能问题。在一种技术方案中，通过离线处理平台对数据进行处理，将处理后的离线数据回写到在线数据库。然而，在这种技术方案中，随着离线数据量的增大，在线数据库的存储占用也会越来越大，造成在线数据库的操作性能下降。

发明内容

本申请实施例的目的是提供一种数据处理方法、数据处理装置、数据处理设备以及计算机可读存储介质，以解决随着离线数据量的增大造成在线数据库的操作性能下降的问题。

为解决上述技术问题，本申请实施例是这样实现的：

根据本申请实施例的第一方面，提供了一种数据处理方法，包括：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。

在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。

在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：

若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。

在本申请的一些实施例中，基于上述方案，确定所述目标周期的上一周期的数据中是否存在所述目标字段，包括：判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。

在本申请的一些实施例中，基于上述方案，所述目标字段为数据表的主键。

根据本申请示例的第二方面，提供了一种数据处理装置，包括：字段确定模块，用于对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；第一回写模块，用于若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；数据确定模块，用于若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；第二回写模块，用于若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

在本申请的一些实施例中，基于上述方案，所述数据处理装置还包括：周期增加模块，用于若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；周期判断模块，用于判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；第三回写模块，用于若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

在本申请的一些实施例中，基于上述方案，所述数据处理装置还包括：重置模块，用于在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。

在本申请的一些实施例中，基于上述方案，所述数据处理装置还包括：查询确定模块，用于若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；替换模块，用于若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。

在本申请的一些实施例中，基于上述方案，所述数据处理装置还包括：补齐模块，用于若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。

在本申请的一些实施例中，基于上述方案，所述字段确定模块包括：主键确定单元，用于判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；存在确定单元，用于若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。

在本申请的一些实施例中，基于上述方案，所述目标字段为数据表的主键。

根据本申请实施例的第三方面，提供了一种数据处理设备，包括：处理器；以及被配置成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述第一方面中任一项所述的数据处理方法的步骤。

根据本申请实施例的第四方面，提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述第一方面中任一项所述的数据处理方法的步骤。

通过本申请实施例中的技术方案，在离线数据处理时，仅向在线数据库回写上一周期中不存在的数据或当前周期发生变更的数据，能够显著减少向在线数据库写入的数据量，从而能够显著减少在线数据库中存储的数据量，提高在线数据库的操作性能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请的一些实施例提供的数据处理方法的应用场景的示意框图；

图2示出了根据本申请的一些实施例提供的数据处理方法的流程示意图；

图3示出了根据本申请的一些实施例提供的将数据回写至在线数据库的流程示意图；

图4示出了根据本申请的一些实施例提供的离线数据表和在线数据表的结构映射的示意图；

图5示出了根据本申请的一些实施例提供的从在线数据库查询数据的流程示意图；

图6示出了根据本申请的另一些实施例提供的数据处理方法的流程示意图；

图7示出了根据本申请的一些实施例提供的数据处理装置的示意框图；

图8示出了根据本申请的另一些实施例提供的数据处理装置的示意框图；以及

图9示出了根据本申请的一些实施例提供的数据处理设备的示意框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1示出了根据本申请的一些实施例提供的数据处理方法的应用场景的示意框图。参照图1所示，该应用场景包括离线数据处理平台110、在线数据处理平台120，其中，离线数据处理平台110包括离线数据库115；在线数据处理平台120包括在线数据库125。其中，离线数据处理平台110用于对离线数据进行处理，将处理后的离线数据保存到离线数据库115中，以及以预定时间间隔为周期将离线数据库115中的数据同步到在线数据库125中；在线数据处理平台120用于对在线数据进行处理，以及将离线数据处理平台115发送的离线数据保存到在线数据库125中。该预定时间间隔可以为1天、2天或1周，也可以为其他适当的时间间隔，本申请对此不进行特殊限定。

下面结合图1的应用场景，参考图2来描述根据本申请的示例性实施例的数据处理方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施例在此方面不受任何限制。相反，本申请的实施例可以应用于适用的任何场景。

图2示出了根据本申请的一些实施例提供的数据处理方法的流程示意图。该数据处理方法可以应用于图1的离线数据处理平台。参照图2所示，该数据处理方法包括步骤S210至步骤S240，下面结合图2对本申请的示例实施例中的数据处理方法进行详细的说明。

参照图2所示，在步骤S210中，对于离线处理的目标周期的目标字段对应的数据，确定目标周期的上一周期的数据中是否存在该目标字段。

在示例实施例中，目标周期可以为1天、2天或1周，也可以为其他适当的时间间隔例如3天或10天，本申请对此不进行特殊限定。下面以目标周期是1天为例进行详细的说明。此外，目标字段可以为离线数据表的主键，也可以为其他适当的字段，此外，在键值对数据库中，目标字段还可以为键值对中的关键字，本申请对此不进行特殊限定。

以目标周期为1日为例，在离线处理目标日期的目标字段对应的数据时，确定该目标日期的上一日的数据中是否存在该目标字段。例如，在离线处理支付宝账户的2019.4.21日的历史日终余额字段对应的数据时，从离线数据库中查询2019.4.20日的数据中是否存在该历史日终余额字段。

在步骤S220中，若该目标周期的上一周期的数据中不存在该目标字段，则将该目标周期的该目标字段对应的数据回写至在线数据库。

在示例实施例中，若从离线数据库中的该目标周期的上一周期的数据中查找不到该目标字段，则确定该目标周期的上一周期的数据中不存在该目标字段，将该目标周期的该目标字段对应的数据回写至在线数据库。例如，以目标周期为1日、目标字段为历史余额字段为例，在离线处理支付宝账户的2019.4.21日的历史余额字段对应的数据时，若从离线数据库的2019.4.20日的数据中查找不到该历史日终余额字段，则确定该目标日期的上一日期的数据中不存在该历史日终余额字段。

在步骤S230中，若该目标周期的上一周期的数据中存在该目标字段，则确定在该目标周期与上一周期中该目标字段对应的数据是否相同。

在示例实施例中，若从离线数据库中的该目标周期的上一周期的数据中查找到该目标字段，则确定该目标周期的上一周期的数据中存在该目标字段。进一步地，在确定该目标周期的上一周期的数据中存在该目标字段，则需要进一步确定在该目标周期中该目标字段对应的数据与上一周期的数据中该目标字段对应的数据是否相同。例如，以目标周期为1日、目标字段为历史余额字段为例，在离线处理支付宝账户的2019.4.21日的历史余额字段对应的数据时，若从离线数据库的2019.4.20日的数据中查找到该历史日终余额字段，则确定该目标日期的上一日期的数据中存在该历史日终余额字段，需要进一步确定该目标日期与该目标日期的上一日期中该目标字段对应的数据是否相同。

在步骤S240中，若不相同，则将该目标周期的该目标字段对应的数据回写至该在线数据库。

在示例实施例中，若确定在该目标周期中该目标字段对应的数据与上一周期中该目标字段对应的数据不相同，则将该目标周期的该目标字段对应的数据回写至该在线数据库。例如，以该目标日期为1日、目标字段为历史余额字段为例，对目标日期例如2019.4.21日的历史余额字段对应的数据与上一日期例如2019.4.20日的历史余额字段对应的数据进行比较，若目标日期的与上一日期的历史余额字段对应的数据不相同，则将该目标日期的该目标字段对应的数据回写至该在线数据库。

根据图2的示例实施例中的数据处理方法，在离线数据处理时，仅向在线数据库回写上一周期中不存在的数据或当前周期发生变更的数据，能够显著减少向在线数据库写入的数据量，从而能够显著减少在线数据库中存储的数据量，提高在线数据库的操作性能。

图3示出了根据本申请的一些实施例提供的将数据回写至在线数据库的流程示意图。

在步骤S310中，若确定在目标周期与上一周期中目标字段对应的数据相同，则增加目标周期的目标字段对应的数据的未回写周期。

在示例实施例中，在离线数据库的离线数据表中设置未回写周期字段，该未回写周期字段用于标识一条数据距离上次回写到在线数据库的周期数，若以1天为周期，则该未回写周期字段用于标识该条数据距离上次回写到在线数据库的天数。

图4示出了根据本申请的一些实施例提供的离线数据表和在线数据表的结构映射的示意图。参照图4所示，在离线数据库的离线数据表中，包含三个字段：主键字段、内容字段、未回写天数字段。在线数据库的在线数据表中，包含两个字段：主键字段、内容字段。主键字段col_key用于唯一标识数据表中的一条数据，对数据的增删读写操作均通过该字段标识出对应的数据后执行。与在线数据表相比，离线数据表包含unbackwrite_days字段即未回写周期字段，未回写周期字段用于标识该条数据距离上次回写在线数据库的周期，在离线数据表中，所有数据的该未回写周期字段初始化为0。

进一步地，在示例实施例中，若确定在目标周期与上一周期中离线数据表中的目标字段对应的数据相同，则增加目标周期的目标字段对应的数据的未回写周期，例如将未回写周期加1。

在步骤S320中，判断增加后的目标字段对应的数据的未回写周期是否大于等于预定阈值。

在示例实施例中，为了进一步提高在线数据库的性能，在在线数据库中设置了在线服务时间阈值，该在线服务时间阈值为在线服务平台承诺提供数据的天数，例如，以历史日终余额为例，该在线服务时间阈值可以为365天，表示在线服务平台承诺提供365天的历史日终余额的数据。在示例实施例中，该预定阈值可以为该在线服务时间阈值，也可以为其他适当的时间阈值，本申请对比不进行特殊限定。

在步骤S330中，若大于等于预定阈值，则将目标周期的目标字段对应的数据回写至在线数据库。

在示例实施例中，若增加了目标周期的目标字段对应的数据的未回写周期之后，若该未回写周期大于等于该预定阈值，则将目标周期的目标字段对应的数据回写至在线数据库。通过将大于等于预定阈值的目标周期的目标字段对应的数据回写至在线数据库，能够保证在线数据库中直至保存一条该预定阈值对应的周期数的数据。

图5示出了根据本申请的一些实施例提供的从在线数据库查询数据的流程示意图。

参照图5所示，在步骤S510中，若从在线数据库查询预定周期的目标字段对应的数据，则确定在该预定周期是否回写了该目标字段对应的数据。

在示例实施例中，由于在线数据库中不一定回写了目标字段对应的数据，因此，若从在线数据库中查询预定周期的目标字段对应的数据，需要确定该预定周期是否回写了该目标字段对应的数据。以预定周期为1天、目标字段为历史余额字段为例，在从在线数据库查询预定周期例如2018.10.3日的历史余额字段对应的数据时，若查询不到该预定周期即2018.10.3日的历史余额数据，则确定在该预定周期未回写该目标字段对应的数据。

在步骤S520中，若未回写该目标字段对应的数据，则将预定周期之前最近周期的已回写的该目标字段对应的数据作为该预定周期的该目标字段对应的数据。

在示例实施例中，若查询不到预定周期的该目标字段对应的数据，则确定未回写该目标字段对应的数据，则将该预定周期之前最近周期的已回写的该目标字段的数据作为该预定周期的该目标字段对应的数据。以预定周期为1天、目标字段为历史日终余额字段为例，若确定未回写该预定周期即2018.10.3日的历史余额数据，则查找2018.10.3日之前的最近日期的已回写的历史日终余额数据，将查找到距2018.10.3日最近日期例如2018.10.1日的历史日终余额数据作为2018.10.3日的历史日终余额数据。

此外，在示例实施例中，若从在线数据库查询预定时间区间的目标字段对应的数据，则基于查询到的周期的目标字段对应的数据来补齐未查询到的周期的目标字段对应的数据。例如，以预定周期为1天、目标字段为历史日终余额字段为例，预定时间区间为31天，查询时间区间为[20181001，201801031]共计31天的日终余额，参照下表1所示，在该历史日终余额数据表中，账号+日期为该表的主键，会查询到日期为20181001的一条数据，说明该时间区间内的历史日终余额均等于查询到的20181001日的历史日终余额，用该条数据补齐其余未查询到的日期的历史日终余额字段对应的数据。

表1.历史日终余额数据表

进一步，在查询时间区间为[20180929，20181029]共计31天的日终余额时，会查询到日期等于20180929以及日期等于20181001的两条数据，则日期为20180930的日终余额用日期等于20180920的日终余额补充，[20181002，20181029]的日终余额用日终等于20101001的数据补充。

根据该示例实施例的技术方案，通过用已回写的周期的数据来补齐未回写的周期的数据，能够显著减少从在线数据库中读取的数据量，从而能够解决在线数据库读取大量数据造成的性能瓶颈问题。

图6示出了根据本申请的另一些实施例提供的数据处理方法的流程示意图。

参照图6所示，在步骤S605中，离线数据平台每天执行一次，处理前一日即T日的目标主键标识的目标数据，例如主键col_key为001的数据。例如，2018年11月1日执行离线任务，处理2018年10月31日的数据，则T日＝20181031，相应地，T-1日＝20181030日。

在离线数据平台的离线数据表中，包含三个字段：主键字段、内容字段、未回写天数字段。在线数据库的在线数据表中，包含两个字段：主键字段、内容字段。主键字段col_key用于唯一标识数据表中的一条数据，对数据的增删读写操作均通过该字段标识出对应的数据后执行。与在线数据表相比，离线数据表包含unbackwrite_days字段即未回写天数字段，未回写天数字段用于标识该条数据距离上次回写在线数据库的天数，在离线数据表中，所有数据的该未回写天数字段初始化为0。

在步骤S610中，判断T日的前一日即T-1日是否存在该目标主键，例如，将T-日的数据的主键中查找该目标主键，若查找到该目标主键，则进行至步骤S615，若未查找到该目标主键，则进行至步骤S630。

在步骤S615中，若确定T-1日存在该目标主键，则确定T日、T-1日中的与该目标主键对应的内容字段的数据内容是否相同，若数据内容相同，则进行至步骤S620；若数据内容不同，则进行至步骤S630。

在步骤S620中，将T日的该目标主键对应的数据的未回写天数加1。

在步骤S625中，判断增加后的T日的该目标主键对应的数据的未回写天数是否大于等于预定阈值例如N，若大于等于该预定阈值，则进行至步骤S630；若小于该预定阈值，则不进行操作。该预定阈值可以为在线服务承诺提供数据的天数，例如，对于历史日终余额，在服务承诺提供过去365天的历史日终余额，则该预定阈值N等于365。

在步骤S630中，将T日的该目标主键对应的数据的未回写天数重置为0。

在步骤S635中，将T日的该目标主键对应的数据回写至在线数据库。

在步骤S640中，基于在线应用系统从在线数据库中查询预定天数的数据例如N天的数据。

在步骤S645中，查询到M条数据，M为在线系统查询近N天数据时实际从在线数据库中查找到的数据记录数，缺失的数据即为离线判断不需要回写的数据。

在步骤S650中，判断M是否大于等于1，若M小于1，则没有查询到数据，判断发生异常；若M大于等于1，则进行至步骤S660。

在步骤S660中，使用M条数据补齐N天的数据，即基于查询到的M条数据按照数据的缺失时间逐段补齐N条数据中缺失的数据。

在步骤S665中，基于补齐后的数据提供在线服务，例如，向用户展示N条补齐后的数据。

根据图6的示例实施例中的技术方案，一方面，在离线数据处理时，仅向在线数据库回写上一日中不存在的数据或当前日期发生变更的数据，能够显著减少向在线数据库写入的数据量，从而能够显著减少在线数据库中存储的数据量，提高在线数据库的操作性能；另一方面，通过用已回写的日期的数据来补齐未回写的日期的数据，能够显著减少从在线数据库中读取的数据量，从而能够解决在线数据库读取大量数据造成的性能瓶颈问题。

在本申请的示例实施例中，还提供了一种数据处理装置。参照图7所示，该数据处理装置700包括：字段确定模块710、第一回写模块720、数据确定模块730以及第二回写模块740。其中，字段确定模块710用于对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；第一回写模块720用于若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；数据确定模块730用于若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；第二回写模块740用于若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

在本申请的一些实施例中，基于上述方案，所述数据处理装置700还包括：周期增加模块，用于若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；周期判断模块，用于判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；第三回写模块，用于若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

在本申请的一些实施例中，基于上述方案，所述数据处理装置700还包括：重置模块，用于在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。

在本申请的一些实施例中，基于上述方案，所述数据处理装置700还包括：查询确定模块，用于若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；替换模块，用于若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。

在本申请的一些实施例中，基于上述方案，所述数据处理装置700还包括：补齐模块750，用于若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。

在本申请的一些实施例中，基于上述方案，所述字段确定模块包括：主键确定单元，用于判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；存在确定单元，用于若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。

在本申请的一些实施例中，基于上述方案，所述目标字段为数据表的主键。

根据图6的示例实施例中的数据处理装置，在离线数据处理时，仅向在线数据库回写上一周期中不存在的数据或当前周期发生变更的数据，能够显著减少向在线数据库写入的数据量，从而能够显著减少在线数据库中存储的数据量，提高在线数据库的操作性能。

本申请实施例提供的数据处理装置能够实现前述方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

进一步地，本申请实施例还提供了一种数据处理设备，如图9所示。

数据处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器901和存储器902，存储器902中可以存储有一个或一个以上存储应用程序或数据。其中，存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对数据处理设备中的一系列计算机可执行指令。更进一步地，处理器901可以设置为与存储器902通信，在数据处理设备上执行存储器902中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源903，一个或一个以上有线或无线网络接口904，一个或一个以上输入输出接口905，一个或一个以上键盘906等。

在一个具体的实施例中，数据处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

可选地，计算机可执行指令在被执行时，所述数据处理方法还包括：若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

可选地，计算机可执行指令在被执行时，所述数据处理方法还包括：在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。

可选地，计算机可执行指令在被执行时，所述数据处理方法还包括：若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。

可选地，计算机可执行指令在被执行时，所述数据处理方法还包括：若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。

可选地，计算机可执行指令在被执行时，确定所述目标周期的上一周期的数据中是否存在所述目标字段，包括：判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。

根据图9的示例实施例中的数据处理设备，在离线数据处理时，仅向在线数据库回写上一周期中不存在的数据或当前周期发生变更的数据，能够显著减少向在线数据库写入的数据量，从而能够显著减少在线数据库中存储的数据量，提高在线数据库的操作性能。

本申请实施例提供的数据处理设备能够实现前述方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

此外，本申请实施例还提供了一种存储介质，用于存储计算机可执行指令，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述数据处理方法还包括：若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述数据处理方法还包括：在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述数据处理方法还包括：若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述数据处理方法还包括：若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，确定所述目标周期的上一周期的数据中是否存在所述目标字段，包括：判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。

根据本申请实施例的计算机可读存储介质，在离线数据处理时，仅向在线数据库回写上一周期中不存在的数据或当前周期发生变更的数据，能够显著减少向在线数据库写入的数据量，从而能够显著减少在线数据库中存储的数据量，提高在线数据库的操作性能。

本申请实施例提供的计算机可读存储介质能够实现前述方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种数据处理方法，其特征在于，包括：

对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；

若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；

若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；

若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；

判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；

若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

3.根据权利要求2所述的数据处理方法，其特征在于，所述数据处理方法还包括：

在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。

4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；

若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。

5.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。

6.根据权利要求1所述的数据处理方法，其特征在于，确定所述目标周期的上一周期的数据中是否存在所述目标字段，包括：

判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；

若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。

7.根据权利要求1至6中任一项所述的数据处理方法，其特征在于，所述目标字段为数据表的主键。

8.一种数据处理装置，其特征在于，包括：

字段确定模块，用于对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；

第一回写模块，用于若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；

数据确定模块，用于若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；

第二回写模块，用于若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

9.根据权利要求8所述的数据处理装置，其特征在于，所述数据处理装置还包括：

周期增加模块，用于若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；

周期判断模块，用于判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；

第三回写模块，用于若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

10.根据权利要求9所述的数据处理装置，其特征在于，所述数据处理装置还包括：

重置模块，用于在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。

11.根据权利要求8所述的数据处理装置，其特征在于，所述数据处理装置还包括：

查询确定模块，用于若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；

替换模块，用于若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。

12.根据权利要求8所述的数据处理装置，其特征在于，所述数据处理装置还包括：

补齐模块，用于若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。

13.根据权利要求8所述的数据处理装置，其特征在于，所述字段确定模块包括：

主键确定单元，用于判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；

存在确定单元，用于若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。

14.根据权利要求8至13中任一项所述的数据处理装置，其特征在于，所述目标字段为数据表的主键。

15.一种数据处理设备，其特征在于，包括：处理器；以及被配置成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述权利要求1至7中任一项所述的数据处理方法的步骤。

16.一种存储介质，用于存储计算机可执行指令，其特征在于，所述计算机可执行指令在被执行时实现上述权利要求1至7中任一项所述的数据处理方法的步骤。