CN107967361B - 一种数据库的增量处理方法和系统 - Google Patents

Abstract

本发明实施例提供了一种数据库的增量处理方法和系统，涉及数据库技术领域。该方法应用于数据库的增量处理系统中，包括：在数据库的增量处理系统启动后，确定待接入的数据源；读取所述数据源对应的增量时间；依据所述增量时间，从所述数据源中读取增量数据；对所述增量数据进行存储。本发明实施例简化了数据对接流程，以及加快了数据读取速度。

Description

一种数据库的增量处理方法和系统

技术领域

本发明涉及数据库技术领域，特别是涉及一种数据库的增量处理方法、一种数据库的增量处理系统、一种电子设备以及一种可读存储介质。

背景技术

随着数据处理量增长，目前已出现一些数据交互过程中的增量标识方法，可以对数据库的增量数据进行标识。

具体而言，数据库的增量数据通常是数据交互中的待处理数据。在硬件环境和数据管理软件一定的情况下，增量数据的有效识别成为影响交换处理速度的最大瓶颈。在大批量数据交换的过程，为了有效地标识增量数据，目前主要是通过在数据库的数据表中添加了标识字段，在数据增加时设置新增加的数据对应的标识字段的状态，或者，在数据更新时改变更新的数据对应的标识字段的状态，从而达到标识增量数据的目的。

显然，现有技术需要对数据库或者业务系统做出相应的调整，才能标记增量数据，导致数据对接交换流程复杂，降低了数据读取速度。

发明内容

鉴于上述问题，本发明实施例提供一种数据库的增量处理方法，以加快数据读取速度。

相应的，本发明实施例还提供了一种数据库的增量处理系统、一种设备以及一种可读存储介质，用以保证上述方法的实现及应用。

为了解决上述问题，本发明实施例公开了一种数据库的增量处理方法，应用于数据库的增量处理系统中，所述方法包括：

在数据库的增量处理系统启动后，确定待接入的数据源；

读取所述数据源对应的增量时间；

依据所述增量时间，从所述数据源中读取增量数据；

对所述增量数据进行存储。

可选地，所述读取所述数据源对应的增量时间之前，还包括：

通过所述增量处理系统的统一数据访问接口，接入所述数据源，所述数据源包括：数据库的输入数据源和/或输出数据源；

其中，所述读取所述数据源对应的增量时间，包括：通过所述统一数据访问接口，读取所述数据源对应的增量时间，所述增量时间包括以下至少一种：存储增量时间和缓存增量时间。

可选地，依据所述增量时间，从所述数据源中读取增量数据，包括：

通过所述增量处理系统的应用层，判断所述存储增量时间的值是否为预设的空值；

若所述存储增量的值为空值，则确定所述数据源中的数据为增量数据，通过所述统一数据访问接口，从所述数据源的数据起始位置开始读取增量数据；

若所述存储增量的值不为空值，则确定所述存储增量时间对应的数据读取位置，通过所述统一数据访问接口，从所述数据读取位置开始读取增量数据。

可选地，还包括：

记录所述增量数据对应的存储时间；

对所述存储时间进行存储。

可选地，所述记录所述增量数据对应的存储时间之前，还包括：

判断是否读取完所述数据源中的增量数据；

若读取完所述数据源中的增量数据，则执行所述记录所述增量数据对应的存储时间的步骤。

本发明实施例公开了一种数据库的增量处理系统，包括：

数据源确定模块，用于在数据库的增量处理系统启动后，确定待接入的数据源；

增量时间读取模块，用于读取所述数据源对应的增量时间；

增量数据读取模块，用于依据所述增量时间，从所述数据源中读取增量数据；

增量数据存储模块，用于对所述增量数据进行存储。

可选地，还包括：

数据源接入模块，用于通过所述增量处理系统的统一数据访问接口，接入所述数据源，所述数据源包括：数据库的输入数据源和/或输出数据源；

其中，所述增量时间读取模块，具体用于通过所述统一数据访问接口，读取所述数据源对应的增量时间，所述增量时间包括以下至少一种：存储增量时间和缓存增量时间。

可选地，所述增量数据读取模块包括：

时间判断子模块，用于通过所述增量处理系统的应用层，判断所述存储增量时间的值是否为预设的空值；

第一读取子模块，用于在所述存储增量的值为空值时，确定所述数据源中的数据为增量数据，通过所述统一数据访问接口，从所述数据源的数据起始位置开始读取增量数据；

第二读取子模块，用于在所述存储增量的值不为空值时，确定所述存储增量时间对应的数据读取位置，通过所述统一数据访问接口，从所述数据读取位置开始读取增量数据。

可选地，还包括：

存储时间记录模块，用于记录所述增量数据对应的存储时间；

存储时间存储模块，用于对所述存储时间进行存储。

可选地，还包括：

增量数据判断模块，用于判断是否读取完所述数据源中的增量数据；若读取完所述数据源中的增量数据，则触发存储时间记录模块执行所述记录所述增量数据对应的存储时间的步骤。

本发明实施例还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例中的数据库的增量处理方法的步骤。

本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例中的数据库的增量处理方法的步骤

本发明实施例包括以下优点：

本发明实施例在确定待接入的数据源后，可以读取该数据源对应的增量时间，以依据增量时间完成增量数据的完整读取，不需要对数据库和业务系统做出任何调整，简化了数据对接流程，降低了数据对接成本，以及加快了数据读取速度，能够为数据抽取提供便利。

附图说明

图1是本发明的一种数据库的增量处理方法实施例的步骤流程图；

图2是本发明一个可选示例的一种数据库的增量处理系统的执行流程图；

图3是示出了本发明的一种数据库的增量处理系统实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

目前，现有技术通过数据库标识位来标识增量数据，与业务的依赖性比较强，且需要在数据库的源数据表添加标识字段，即必须对源数据表结构做出调整，以及并且，在原有业务数据存入和修改时，需要设置或者调整标识位的数值，即必须在提供源数据的平台的存储功能上做出改变。当数据同步平台对接平台或者系统比较多，需要对数据库或者业务做出相应的调整，致使整个对接交换流程趋于复杂、体系愈加庞大，影响用户体验，增加数据对接成本。其中，用户可以包括数据同步产品客户、源数据提供平台所有者、源数据接收平台所有者等等。

本发明实施例的核心构思之一在于，从实际需求和应用的角度出发，基于增量时间标识，提出了一种新的数据库的增量处理方法和系统，以依据增量时间完成增量数据的完整读取，不需要对数据库和业务系统做出任何调整，加快了数据读取速度，为数据抽取提供便利。

需要说明的是，数据同步(Data synchronization)可以是指：通过计算机的方式，完成数据或者文件从一个地址到另一个地址的迁移、复制。

增量时间标识(Incremental Timestamp)可以是指：数据库中的数据增量变化，通过时间字段标识的方式。

参照图1，示出了本发明的一种数据库的增量处理方法实施例的步骤流程图，该方法可以应用于数据库的增量处理系统中，具体可以包括如下步骤：

步骤102，在数据库的增量处理系统启动后，确定待接入的数据源。

本发明实施例中，数据库的增量处理系统在启动后，可以对需要接入的数据源进行定义，如定义数据源的数据结构等。在完成数据结构的定义后，数据库的增量处理系统可以进入数据待同步状态，以及可以依据预先定义的接入信息，确定待接入的数据源，如可以依据预先定义的数据结构，确定待接入数据库的输入数据源和/或输出数据源，随后可通过统一数据访问接口，接入数据库的输入数据源和/或输出数据源，以便后续可以从接入的数据源中读取数据。

步骤104，读取所述数据源对应的增量时间。

本发明实施例中，在接入数据源后，可以通过统一数据访问接口，查询数据源中的数据对应的增量时间，以及可以通过该统一数据访问接口，从数据源中读取查询到的增量时间。该增量时间可以包括针对数据源的数据记录的存储时间，缓存时间、更新时间等等，本发明实施例对此不作限制。其中，针对数据源的数据记录的存储时间可以表征该数据存储到数据源的时间，如数据存储到存储数据库的时间；针对数据源的数据记录的缓存时间可以表征缓存数据的时间，如将数据缓存至缓存数据库的时间；针对数据源的数据记录的更新时间可以表征在数据源中更新数据的时间，如修改数据的时间等等。

在本发明的一个可选实施例中，所述读取所述数据源对应的增量时间之前，还可以包括：通过所述增量处理系统的统一数据访问接口，接入所述数据源，所述数据源包括：数据库的输入数据源和/或输出数据源。其中，所述读取所述数据源对应的增量时间，可以包括：通过所述统一数据访问接口，读取所述数据源对应的增量时间，所述增量时间包括以下至少一种：存储增量时间和缓存增量时间。具体而言，数据库的增量处理系统在启动后，可以通过统一数据访问接口，接入数据存储层的数据源，如接入存储层中诸如增量时间比对数据库、时间存储数据库等数据库的输入数据源和/或输出数据源，随后可通过统一数据访问接口读取数据源对应的增量存储时间和/或增量缓存数据等。其中，增量存储数据可表征数据库中增量数据对应的存储时间；增量缓存时间可以表征数据库的增量数据对应的缓存时间。

步骤106，依据所述增量时间，从所述数据源中读取增量数据。

本发明实施例中，可以根据读取到的增量时间，进行增量数据的读取。具体的，数据库的增量处理系统可以基于增量时间确定数据读取位置，然后可以从该数据读取位置开始，从接入的数据源中读取增量数据。其中，增量时间可以用于区分已处理数据和未处理数据，如可以用于确定数据库的处理系统已读取的数据和未读取的数据，又如可以确定数据库中已同步的输入数据和待同步的输入数据，等等。

在本发明的一个可选实施例中，依据所述增量时间，从所述数据源中读取增量数据，可以包括：通过所述增量处理系统的应用层，判断所述存储增量时间的值是否为预设的空值；若所述存储增量的值为空值，则确定所述数据源中的数据为增量数据，通过所述统一数据访问接口，从所述数据源的数据起始位置开始读取增量数据；若所述存储增量的值不为空值，则确定所述存储增量时间对应的数据读取位置，通过所述统一数据访问接口，从所述数据读取位置开始读取增量数据。

例如，在数据库的增量处理系统的软件架构从总体上分为存储层和应用层的情况下，在读取存储层中存储数据库的输入数据源对应增量存储时间后，可以通过应用层判断增量存储时间是否为空(Null)，来确定是否是首次针对该输入数据源执行增量采集程序。该增量采集程序可以用于对数据源进行数据处理，如采集该输入数据源中的增量数据等等。若增量存储时间为空，即在首次针对该输入数据源执行增量采集程序时，则可以将该输入输入数据源中的所有数据确定为增量数据，从该输入数据源的起始位置开始，通过统一数据访问接口读取该输入数据源的起始数据，直到读取完该输入数据源中的全部数据。若增量存储时间不为空，即不是在首次针对该输入数据源执行增量采集程序时，如在第二或第三次针对该输入数据源执行增量采集程序时，则可以基于增量存储时间的值确定出该输入数据源中的增量数据对应的数据读取位置，即确定待处理数据对应的读取位置，以从确定的数据读取位置开始，从输入数据源中读取增量数据，如可以按照时间顺序从输入数据源中读取增量数据。

步骤108，对所述增量数据进行存储。

具体而言，数据库的增量处理系统在读取到增量数据后，可以对该增量数据进行处理，如可将该增量数据存储到存储层中的目标数据库，即将增量数据复制、迁移到目标数据库中，完成增量数据的同步，从而数据源与目标数据库之间的数据对接，不需要对数据库和业务系统做出任何调整，简化了数据对接流程，降低了数据对接成本，以及加快了数据读取速度，提高用户体验。

在本发明实施例中，可选地，数据库的增量处理方法还可以包括：记录所述增量数据对应的存储时间；对所述存储时间进行存储。在具体实现中，数据库的增量数据库在完成增量数据的读取时，还可以记录当前时间，如获取当前的系统时间，并对当前获取到的系统时间进行记录；随后，可将记录的当前时间作为增量数据对应的存储时间，存储到存储层中，如可以增量数据对应的存储时间与该增量数据进行关联，以将该存储时间的值存储到增量数据对应的时间字段中，实现了存储时间的存储，为下次增量数据识别做好准备。

在本发明的一个可选实施例中，所述记录所述增量数据对应的存储时间之前，还可以包括：判断是否读取完所述数据源中的增量数据；若读取完所述数据源中的增量数据，则执行所述记录所述增量数据对应的存储时间的步骤。具体而言，数据读取过程中，数据库的增量处理系统可以通过判断是否读取完接入的数据源中的增量数据，来确定是否需要记录增量数据对应的存储时间，以便后续可以依据存储的时间确定出下一次需要读取的增量数据对应的增量时间。若未读取完数据源中的增量数据，则可以不记录当前存储的增量数据对应的存储时间，缩小数据存储开销，加快数据存储速度，从而能够快速完成数据对接；若读取完数据中的增量数据，则可以记录最后存储的增量数据对应的存储时间，以便后续可依据当前存储的存储时间确定出下一次处理增量数据时的增量时间，为下一次增量数据识别做好准备。

为使本领域技术人员更好地理解本发明实施例，下文结合示例对本发明实施例中的数据库的增量处理方法进行说明。

一个可选示例中，本发明实施例提供的数据库的增量处理系统，可以通过软件架构总体上分为两个层次：存储层和应用层。其中，存储层可以在具有数据库创建权限的数据库中创建增量时间存储表，可以用于动态存储数据库增量时间；应用层可以从增量时间存储表读取增量时间，并且可以根据增量时间进行增量数据读取，从而达到使用增量时间完成增量数据识别的过程。

在具体实现中，通过存储层，能够实现独立于业务之外的增量数据存储，从而能够避免下次数据读取时对已处理的增量数据重新识别或者忘记数据读取位置的问题，保证了增量数据识别能不断的、高效的执行。应用层可以依赖于存储层存储的增量时间，并且可以根据增量时间过滤掉已处理的数据，如在数据的存储时间小于增量时间时可不访问该数据，即读取不小于增量范围的数据，从而实现增量数据的有序读取，为下一步增量数据的运用做好准备。

参照图2，示出了本发明一个可选示例的一种数据库的增量处理系统的执行流程图，具体可以包括如下步骤：

步骤202，接入数据源。

在本示例中，数据库的增量处理系统在完成数据输入源和数据输出源的定义，可以针对数据输入源和/或数据输出源进行数据结构结构，以定义数据输入源和/或数据输出源中的数据结构。在完成数据结构定义后，可以进入数据待同步状态。其中，数据输入源可以是指待处理的增量数据所在的数据终端，如关系型数据库、增量时间对比数据库、存储层所接入的源数据表、文件等等；数据输出源可以是用于存储数据库的增量处理所输出的增量数据，如可以是目标数据库、存储层中所接入的时间存储数据库等等。

具体的，在数据库的增量处理系统启动后，可以通过统一数据访问接口接入存储层的输入数据源，以在完成输入数据源接入后查询该输入数据源对应的增量时间。

步骤204，读取增量时间。

具体的，在存储层接入数据源后，应用层可以通过统一数据访问接口，完成增量时间的查询，如查询数据源存储增量数据对应的存储增量时间、查询数据源缓存增量数据对应的缓存增量时间等；随后，可通过该统一数据访问接口，读取查询到的增量时间。

步骤206，判断增量时间是否为空。

在具体实现中，应用层可以通过判断读取到的增量存储时间是否为空，来确定接入的数据源中的所有数据是否都是增量数据。若增量时间为空，则可以转至步骤208执行；若增量时间不为空，则可以转至步骤210继续执行。

步骤208，从数据源的起始位置开始读取数据。

具体而言，增量时间为空的情况下，如在判断出读取到的存储增量时间的值为空值时，可以将数据源中的所有输入数据确为增量数据，随后应用层可以通过存储层的统一数据访问接口，从接入的数据源的起始位置开始读取数据，直到读取完数据源中的数据。例如，应用层可以调用数据采集程序，然后通过调用的数据采集程序，按时间顺序从数据输入源读取所有数据，即从数据源的起始数据开始进行数据读取。在数据读取过程中，可以判断读取到数据的值是否为预设的空值，如判断读取到数据是否为空，以确定是否读取完数据源中的所有数据。若没有读取完数据源中的所有数据，则进行继续读取数据源中的未读取的数据，直到完成该数据源中所有数据的读取；若读取完数据源中的所有数据，则可以转至步骤212执行。

步骤210，根据增量时间读取增量数据。

本示例中，应用层可以通过存储层的统一数据访问接口，完成数据源中的增量数据的读取。具体的，应用层可以按照时间顺序，从接入的数据源中，读取增量时间以外的增量数据，如在数据对应的时间字段中记录的时间值大于增量时间的值时，可以将该数据确定为增量数据，然后读取该数据的值。在数据读取成功后，即在读取到数据的值后，可以判断读取到的数据的值是否为预设的空值，即判断读取到的数据是否为空，以确定是否读取完该数据源中的全部增量数据。若读取到的数据为空，即在读取完数据源的增量数据后，则可以转至步骤212执行。若读取到的数据不为空，即没有读取完数据源的增量数据，则可以进行读取该数据源中未读取的增量数据，直到完成该数据源中的全部增量数据的读取。

步骤212，对读取到的增量数据进行存储。

在具体实现中，应用层在根据增量时间读取到增量数据后，可以通过存储层对将读取到的增量数据进行存储，如可以将读取到的增量数据存储到存储层中的目标数据库中，同时可以记录存储该增量数据对应的时间，即记录增量数据对应的存储时间，以及将该存储时间存储到存储层中，以为下一次增量数据识别做好准备。

其中，存储层中可以接入一个或多个数据库，如接入时间存储数据库、增量存储数据库、增量时间比对数据库等等。时间存储数据库可以用于存储数据对应的存储时间、缓存时间等，该存储时间可以用于确定下一次增量数据识别的存储增量时间，该缓存时间可以用于确定下一次增量数据识别的缓存增量时间。增量存储数据库可以用于存储数据库的增量处理系统读取到增量数据库，如可作为存储增量处理系统输出的增量数据的而目标数据库等。增量时间比对数据库可以用于动态存储数据库的增量处理系统读取到的增量时间，以便在下一次增量数据识别时可以从该增量时间比对数据库中读取到增量时间，为下一次增量数据识别做好准备。

本示例从实际需求和应用的角度出发，可以基于时间增量标识技术，提出了一种新的数据库的增量处理方法和系统，采用数据库数据本身的时间更新记录，完成数据库的增量数据标识，并且可以存储增量数据对应的增量时间，以便后续可依据增量时间完成了增量数据的完整读取，不需要对数据库和业务系统做出任何调整，加快了数据读取速度，为数据抽取提供便利，节约成本。

此外，本示例中的数据库的处理系统可以通过统一数据接口，完成应用层和存储层的对接，保证系统运行的稳定性，且不受数据库自身性能限制，提高数据对接的灵活性，以及不需要数据库端开放日志访问权限，提高数据安全性，方便用户使用，提高用户体验。

本发明实施例中，基于时间标识位技术，可在不破坏源数据的数据结构设计的前提下，通过对源数据中的时间记录的第三方的存储时间和不间断地更新维护，完成源数据已处理数据和未处理数据的区分，该过程不需要源数据提供平台，也不需要源数据接收平台做出任何调整，通过数据源提供的对接数据的读取位置或者读取方式，即能进行增量数据同步、交换，从而能够有效地降低了对接成本，提高用户体验，且使用的时间分段读取可以增强数据读取速度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图3，示出了本发明的一种数据库的增量处理系统实施例的结构框图，具体可以包括如下模块：

数据源确定模块302，用于在数据库的增量处理系统启动后，确定待接入的数据源；

增量时间读取模块304，用于读取所述数据源对应的增量时间；

增量数据读取模块306，用于依据所述增量时间，从所述数据源中读取增量数据；

增量数据存储模块308，用于对所述增量数据进行存储。

在本发明的一个可选实施例中，数据库的增量处理系统还可以包括：数据源接入模块。该数据源接入模块，用于通过所述增量处理系统的统一数据访问接口，接入所述数据源，所述数据源包括：数据库的输入数据源和/或输出数据源。其中，所述增量时间读取模块304，具体用于通过所述统一数据访问接口，读取所述数据源对应的增量时间，所述增量时间包括以下至少一种：存储增量时间和缓存增量时间。

在本发明的一个可选实施例中，所述增量数据读取模块306可以包括如下子模块：

时间判断子模块，用于通过所述增量处理系统的应用层，判断所述存储增量时间的值是否为预设的空值；

第一读取子模块，用于在所述存储增量的值为空值时，确定所述数据源中的数据为增量数据，通过所述统一数据访问接口，从所述数据源的数据起始位置开始读取增量数据；

第二读取子模块，用于在所述存储增量的值不为空值时，确定所述存储增量时间对应的数据读取位置，通过所述统一数据访问接口，从所述数据读取位置开始读取增量数据。

在本发明的一个可选实施例中，数据库的增量处理系统还可以包括如下模块：

存储时间记录模块，用于记录所述增量数据对应的存储时间；

存储时间存储模块，用于对所述存储时间进行存储。

在本发明实施例中，可选地，数据库的增量处理系统还可以增量数据判断模块。该增量数据判断模块，用于判断是否读取完所述数据源中的增量数据；若读取完所述数据源中的增量数据，则触发存储时间记录模块执行所述记录所述增量数据对应的存储时间的步骤。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可以实现以下步骤：在数据库的增量处理系统启动后，确定待接入的数据源；读取所述数据源对应的增量时间；依据所述增量时间，从所述数据源中读取增量数据；对所述增量数据进行存储。

可选地，所述读取所述数据源对应的增量时间之前，还包括：

通过所述增量处理系统的统一数据访问接口，接入所述数据源，所述数据源包括：数据库的输入数据源和/或输出数据源；

其中，所述读取所述数据源对应的增量时间，包括：通过所述统一数据访问接口，读取所述数据源对应的增量时间，所述增量时间包括以下至少一种：存储增量时间和缓存增量时间。

可选地，依据所述增量时间，从所述数据源中读取增量数据，包括：

通过所述增量处理系统的应用层，判断所述存储增量时间的值是否为预设的空值；

若所述存储增量的值为空值，则确定所述数据源中的数据为增量数据，通过所述统一数据访问接口，从所述数据源的数据起始位置开始读取增量数据；

若所述存储增量的值不为空值，则确定所述存储增量时间对应的数据读取位置，通过所述统一数据访问接口，从所述数据读取位置开始读取增量数据。

可选地，还包括：

记录所述增量数据对应的存储时间；

对所述存储时间进行存储。

可选地，所述记录所述增量数据对应的存储时间之前，还包括：

判断是否读取完所述数据源中的增量数据；

若读取完所述数据源中的增量数据，则执行所述记录所述增量数据对应的存储时间的步骤。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可以实现本发明实施例中的数据库的增量处理方法的步骤。

对于电子设备、计算机可读存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种数据库的增量处理方法、系统、设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据库的增量处理方法，其特征在于，应用于数据库的增量处理系统中，所述方法包括：

在数据库的增量处理系统启动后，确定待接入的数据源；

读取所述数据源对应的增量时间；

通过所述增量处理系统的应用层，判断存储增量时间的值是否为预设的空值；

若所述存储增量的值为空值，则确定所述数据源中的数据为增量数据，通过统一数据访问接口，从所述数据源的数据起始位置开始读取增量数据；

若所述存储增量的值不为空值，则确定所述存储增量时间对应的数据读取位置，通过所述统一数据访问接口，从所述数据读取位置开始读取增量数据；

对所述增量数据进行存储。

2.根据权利要求1所述的方法，其特征在于，所述读取所述数据源对应的增量时间之前，还包括：

通过所述增量处理系统的统一数据访问接口，接入所述数据源，所述数据源包括：数据库的输入数据源和/或输出数据源；

其中，所述读取所述数据源对应的增量时间，包括：通过所述统一数据访问接口，读取所述数据源对应的增量时间，所述增量时间包括以下至少一种：存储增量时间和缓存增量时间。

3.根据权利要求1至2任一所述的方法，其特征在于，还包括：

记录所述增量数据对应的存储时间；

对所述存储时间进行存储。

4.根据权利要求3所述的方法，其特征在于，所述记录所述增量数据对应的存储时间之前，还包括：

判断是否读取完所述数据源中的增量数据；

若读取完所述数据源中的增量数据，则执行所述记录所述增量数据对应的存储时间的步骤。

5.一种数据库的增量处理系统，其特征在于，包括：

数据源确定模块，用于在数据库的增量处理系统启动后，确定待接入的数据源；

增量时间读取模块，用于读取所述数据源对应的增量时间；

增量数据读取模块，用于依据所述增量时间，从所述数据源中读取增量数据；

增量数据存储模块，用于对所述增量数据进行存储；

所述增量数据读取模块包括：

时间判断子模块，用于通过所述增量处理系统的应用层，判断存储增量时间的值是否为预设的空值；

第一读取子模块，用于在所述存储增量的值为空值时，确定所述数据源中的数据为增量数据，通过统一数据访问接口，从所述数据源的数据起始位置开始读取增量数据；

第二读取子模块，用于在所述存储增量的值不为空值时，确定所述存储增量时间对应的数据读取位置，通过所述统一数据访问接口，从所述数据读取位置开始读取增量数据。

6.根据权利要求5所述的系统，其特征在于，还包括：

数据源接入模块，用于通过所述增量处理系统的统一数据访问接口，接入所述数据源，所述数据源包括：数据库的输入数据源和/或输出数据源；

其中，所述增量时间读取模块，具体用于通过所述统一数据访问接口，读取所述数据源对应的增量时间，所述增量时间包括以下至少一种：存储增量时间和缓存增量时间。

7.根据权利要求5至6任一所述的系统，其特征在于，还包括：

存储时间记录模块，用于记录所述增量数据对应的存储时间；

存储时间存储模块，用于对所述存储时间进行存储。

8.根据权利要求7所述的系统，其特征在于，还包括：

增量数据判断模块，用于判断是否读取完所述数据源中的增量数据；若读取完所述数据源中的增量数据，则触发存储时间记录模块执行所述记录所述增量数据对应的存储时间的步骤。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

在数据库的增量处理系统启动后，确定待接入的数据源；

读取所述数据源对应的增量时间；

通过所述增量处理系统的应用层，判断存储增量时间的值是否为预设的空值；

若所述存储增量的值为空值，则确定所述数据源中的数据为增量数据，通过统一数据访问接口，从所述数据源的数据起始位置开始读取增量数据；

若所述存储增量的值不为空值，则确定所述存储增量时间对应的数据读取位置，通过所述统一数据访问接口，从所述数据读取位置开始读取增量数据；

对所述增量数据进行存储。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。