CN110019512A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法，所述方法包括：对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表；每隔预设时间间隔，从所述数据库的第二数据库表中，查询所述第一数据库表对应的操作指示信息，其中，所述操作指示信息用于表征所述第一数据库表所发生的数据变化；基于所述操作指示信息，将所述第一数据库表中发生变化的数据同步到所述同步数据库表，获得更新后的同步数据库表。在第一数据库表的数据量较大时，能够减少数据同步所需的时间，使得任务调度系统实现快速数据同步。本发明实施例同时还公开了一种数据处理装置。

Description

一种数据处理方法及装置

技术领域

本发明涉及电子信息技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着信息化的发展以及计算机技术和互联网技术的普及，人们可以通过数据库实现管理、存储各类数据。而任务调度系统是一种根据预先配置的规则及任务在规定的时间范围内执行任务的系统，为了确保任务调度的时间的准确性，任务调度系统会将数据库中数据库表的数据同步存储到内存中。

目前，任务调度系统对数据库表的源数据的同步过程主要分为两步：第一步，任务调度系统通常会先将数据库表的源数据初始化同步到内存中；第二步，任务调度系统通过定时轮询数据库表的数据，并将任务调度系统的内存中已存储的上次查询数据全部替换为本次查询数据的方式，来保证内存中的数据与数据库表中的数据一致。但是，在数据库表的数据量较大的情况下，任务调度系统通过查询数据库表的全表内容并更新到内存的方式来实现数据同步时，往往需要耗费较多的时间。

可见，现有技术在数据库表的数据量较大时，任务调度系统无法实现快速数据同步。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法及装置，在数据库表的数据量较大时，能够减少数据同步所需的时间，使得任务调度系统实现快速数据同步。

为达到上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表；每隔预设时间间隔，从所述数据库的第二数据库表中，查询所述第一数据库表对应的操作指示信息，其中，所述操作指示信息用于表征所述第一数据库表所发生的数据变化；基于所述操作指示信息，将所述第一数据库表中发生变化的数据同步到所述同步数据库表，获得更新后的同步数据库表。

第二方面，本发明实施例提供一种数据处理装置，所述装置包括：第一获得单元、查询单元以及第二获得单元，其中，所述第一获得单元，用于对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表；所述查询单元，用于每隔预设时间间隔，从所述数据库的第二数据库表中，查询所述第一数据库表对应的操作指示信息，其中，所述操作指示信息用于表征所述第一数据库表所发生的数据变化；所述第二获得单元，用于基于所述操作指示信息，将所述第一数据库表中发生变化的数据同步到所述同步数据库表，获得更新后的同步数据库表。

第三方面，本发明实施例提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述数据处理方法。

第四方面，本发明实施例提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述数据处理方法。

本发明实施例提供的一种数据处理方法和装置，在对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表后，任务调度系统就会每隔预设时间间隔，从数据库的第二数据库表中，查询第一数据库表对应的操作指示信息，其中，操作指示信息用于表征第一数据库表所发生的数据变化；再基于操作指示信息，将第一数据库表中发生变化的数据同步到同步数据库表，获得更新后的同步数据库表。这样，在任务调度系统进行了初始化同步后，任务调度系统就可以通过从第二数据库表中所查询的操作指示信息，将第一数据库表中发生变化的数据更新至内存的方式来实现二次同步，而不用查询第一数据库表的全表内容，也不用将全表内容重新同步到内存中，从而，就能够在第一数据库表数据量过大时，减少查询数据和数据更新所需的时间，提高了数据同步的效率，使得任务调度系统能够实现快速数据同步。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1-1示出了本发明实施例一中的数据处理系统的组成示意图；

图1-2示出了本发明实施例一中的数据处理方法的流程示意图；

图2示出了本发明实施例二中的数据处理方法的流程示意图；

图3示出了本发明实施例三中的数据处理装置的结构示意图；

图4示出了本发明实施例四中的数据处理设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

实施例一

本发明实施例提供一种数据处理方法，该数据处理方法可以应用于数据处理系统，图1-1为本发明实施例一中的数据处理系统的组成示意图，参见图1-1所示，该数据处理系统包括：数据库11、内存12以及任务调度系统13。

其中，数据库中至少包括第一数据库表和第二数据库表；内存用于存储第一数据库表对应的同步数据库表；任务调度系统，用于将数据库中的第一数据库表中的数据同步至内存中。

这里，在数据库领域中，数据库表也可称为数据表或者表，是数据库最重要的组成部分之一，一个数据库中可以有一个或多个数据库表，用于管理不同类型的数据。示例性地，假设某一任务调度系统中存在一“任务调度”数据库，该“任务调度”数据库可以包含分别围绕特定主题的2个数据表：“任务类型”表、“任务来源”表，分别用来管理任务调度过程中任务类型，如内存密集型任务、磁盘密集型任务等，以及任务来源，如网卡、处理器等。

在实际应用中，数据库可以设置于外部存储器中，也可以设置于内部存储器中，当然，还可以设置于其它存储器中，本发明实施例不做具体限定。这里，外部存储器是指除计算机内存及缓存以外的储存器，可以由硬盘、磁盘等实现。内存，也可称为内部存储器或内存储器，可以由随机存储器(Random Access Memory，RAM)等实现。任务调度系统可以由处理器，如中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)、或现场可编程门阵列(FieldProgrammable Gate Array，FPGA)等实现。

需要说明的是，上述数据库、内存以及任务调度系统在物理上可以集成在一个功能模块中，也可以分开设置在不同功能模块中，如将数据库放置在一个独立的功能模块中，并将内存以及任务调度系统放置在另一个独立的功能模块中，当然，还可以为其它分设方式，这里，本发明实施例不做具体限定。

在实际应用中，该数据处理方法可以应用于各种需要数据处理的场合，如终端的任务调度系统进行高效同步数据任务、将服务器上某一数据库表中的数据配置到终端的计算机内存中、将终端某一数据库表中的数据备份到内存中等。

下面结合上述数据处理系统对本发明实施例提供的数据处理方法进行说明。

图1-2为本发明实施例一中的数据处理方法的流程示意图，参见图1-2所示，该数据处理方法包括：

S101：对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表；

在实施过程中，为了确保任务调度的时间的准确性，任务调度系统会预先对数据库的第一数据库表进行初始化同步，即读取数据库中的第一数据库表，将第一数据库表的所有数据都存储至内存中，这样，任务调度系统就会获得存储于内存中的同步数据库表，以便后续在第一数据库表的数据发生变化时，对同步数据库表进行更新。

在实际应用中，数据库的第一数据库表为源数据库表，第一数据库表中的数据为源数据，因此，为了确保源数据稳定存储，不易丢失，一般情况下，可以将第一数据库表中的数据存储于外部存储器中。同步数据库表为目标数据库表，同步数据库表中的数据为与源数据对应的同步数据，即源数据的副本数据，主要用于任务调度系统完成任务调度，而由于内存数据可以被任务调度系统快速高效地读取，因此，为了便于任务调度系统在进行任务调度时可以快速获取所需的数据，同步数据库表一般会存储于内存中。

S102：每隔预设时间间隔，从数据库的第二数据库表中，查询第一数据库表对应的操作指示信息；

其中，操作指示信息用于表征第一数据库表所发生的数据变化。

在实施过程中，由于在任务调度系统进行任务调度的整个工作过程中，第一数据库表中的数据随时可能会发生变化，那么，为了确保内存中的数据与数据库的第一数据库表中的数据一致，并提高查询的效率，减少非关注数据查询和遍历次数，降低资源消耗，在第一数据库表的数据发生变化后，任务调度系统可以采用轮询的方式来从数据库的第二数据库表中查询操作指示信息，即任务调度系统每隔预设时间间隔，就会从数据库的第二数据库表中，查询第一数据库表中发生变化的数据所对应的操作指示信息，这样，任务调度系统就可以获得第一数据库表对应的操作指示信息，以便任务调度系统后续可以根据操作指示信息来确定第一数据库表所发生的数据变化。

在实际应用中，预设时间间隔可以由任务调度系统根据任务调度系统查询和遍历的经验值来设置，也可以由任务调度系统根据第一数据库表中发生数据变化的频率或者第一数据库表中发生变化的数据的个数来设置，当然，还可以通过其它方法来设置，这里，本发明实施例不做具体限定。

在本发明其它实施例中，当通过第一数据库表发生数据变化的频率或者第一数据库表中发生变化的数据的个数来实现设置预设时间间隔时，在S102之前，上述方法还可以包括：在预设时长内，基于第二数据库表中的数据量，统计第一数据库表发生数据变化的频率或者个数；基于频率或者个数，生成预设时间间隔。

示例性地，假设第一数据库表发生数据变化的频率为5秒/次，那么，任务调度系统就可以将预设时间间隔设置为5秒，也可以将预设时间间隔设置为5±σ秒，其中，σ为预设的查询时间误差值，如设置σ≤1。这里，σ一般为经验值。

示例性地，假设第一数据库表在10秒内发生变化的数据的个数为5个，那么，任务调度系统可以将预设时间间隔设置为10÷5＝2秒，也可以将预设时间间隔设置为2±σ。

在实施过程中，数据库的第二数据库表为第一数据库表对应的数据变化记录表，用于存储第一数据库表所发生的数据变化。

在实际应用中，数据库触发器(Database Trigger)，也可称为数据表触发器或者触发器，它可以在指定的数据库表发生数据变化时自动启动，从而，它可以在数据库层面捕捉指定的数据库表所发生的数据变化。那么，通过数据库触发器就可以实时监控并确定第一数据库表所发生的数据变化。

在本发明其它实施例中，当通过数据库触发器的形式来生成第二数据库表中的数据时，在S102之前，上述方法还可以包括：为第一数据库表建立数据库触发器和第二数据库表；当第一数据库表发生数据变化时，触发数据库触发器基于第一数据库表所发生的数据变化，生成对应的操作指示信息；将操作指示信息存储至第二数据库表中。

在具体实施过程中，为了减少数据查询时间，快速确定第一数据库表中发生变化的数据，可以为第一数据库表建立数据库触发器，接下来，当第一数据库表发生数据变化时，就会触发数据库触发器基于第一数据库表所发生的数据变化，生成对应的操作指示信息，并将操作指示信息存储至第二数据库表中，从而，就获得了用于存储数据库触发器生成的数据的第二数据库表。

在实际应用中，第一数据库表发生的数据操作类型可以为插入(INSERT)操作、更新(UPDATE)操作、删除(DELETE)操作，对应地，第一数据库表中数据发生的变化可以为新增数据、更新数据、删除数据。那么，为了确定第一数据库表中发生变化的数据，至少可以为第一数据库表建立INSERT触发器、UPDATE触发器和DELETE触发器这三种数据库触发器。

这里，当通过INSERT语句在第一数据库表中插入数据时，会自动触发INSERT触发器；当通过UPDATE语句在第一数据库表中更新数据时，会自动触发UPDATE触发器；当通过DELETE语句在第一数据库表中更新数据时，会自动触发DELETE触发器。

在实际应用中，为了表征第一数据库表所发生的数据变化，可以通过数据标识和数据状态来实现操作指示信息。

这里，数据标识用于唯一表征数据，可使得任务调度系统能够从第一数据库表中查询到所关联的数据，如可以用主键来实现。其中，主键是可以标识事物唯一性的属性，可以为数据库表一个列或多列的组合，其值能唯一地标识表中的每一行。数据状态用于表征第一数据库表中数据所发生的变化的状态，根据第一数据库表中数据发生的变化，数据状态可以为新增(insert)状态、更新(update)状态、删除(delete)状态。

示例性地，在第一时刻，第一数据库表如表1所示，第一数据库表中存储有主键分别为0290001、0290002、0290003的员工数据；在第二时刻，通过INSERT语句在第一数据库表中插入主键为0290004的员工数据，那么，第一数据库表如表2所示，此时，INSERT触发器可以生成“数据标识为‘0290004’和数据状态为‘insert状态’”的操作指示信息；在第三时刻，通过UPDATE语句将第一数据库表中主键为0290002的数据中的员工2月工资的值替换为2500元，并通过DELETE语句删除了第一数据库表中主键为0290001的数据，那么，第一数据库表如表3所示，此时，UPDATE触发器可以生成“数据标识为‘0290002和员工2月工资’，数据状态为‘update状态’”的操作指示信息，DELETE触发器可以生成“数据标识为‘0290001’，数据状态为‘delete状态’”的操作指示信息。这样，在将所获得的操作指示信息存储至第二数据库表中后，就可以获得如表4所示的第二数据库表。

表1

员工工号	员工姓名	员工性别	员工年龄	员工2月工资
					0290001	张山	男	20	2100元
0290002	李司	男	26	2000元
					0290003	王舞	女	24	2300元

表2

员工工号	员工姓名	员工性别	员工年龄	员工2月工资
					0290001	张山	男	20	2100元
0290002	李司	男	26	2000元
					0290003	王舞	女	24	2300元
0290004	赵柳	女	22	2200元

表3

员工工号	员工姓名	员工性别	员工年龄	员工2月工资
					0290002	李司	男	26	2500元
0290003	王舞	女	24	2300元
					0290004	赵柳	女	22	2200元

表4

数据变化记录编号	数据标识	数据状态
			201709171201	0290004	insert状态
201709171415	0290002	update状态
			201709171417	0290001	delete状态

需要说明的是，第二数据库表中相同数据标识的数据应该保存的是最终的数据状态。示例性地，接前例，在第四时刻，先通过UPDATE语句将第一数据库表中主键为0290002的数据中的员工2月工资的值替换为2600元，后通过DELETE语句删除了第一数据库表中主键为0290002的数据，那么，第一数据库表如表5所示，此种情况下，先是UPDATE触发器会生成“数据标识为‘0290002’，数据状态为‘update状态’”的操作指示信息，然后DELETE触发器又会生成“数据标识为‘0290002’，数据状态为‘delete状态’”的操作指示信息。这样，在将所获得的操作指示信息存储至第二数据库表中后，就可以获得如表6所示的第二数据库表。

表5

员工工号	员工姓名	员工性别	员工年龄	员工2月工资
					0290003	王舞	女	24	2300元
0290004	赵柳	女	22	2200元

表6

数据变化记录编号	数据标识	数据状态
			201709171201	0290004	insert状态
201709171520	0290002	delete状态
			201709171417	0290001	delete状态

在实施过程中，为了避免查询到有误的数据，在S102之后，上述方法还可以包括：将操作指示信息存储至内存中，并从第二数据库表中删除该操作指示信息。

具体地，任务调度系统是采用定时查询的方式，即每隔预设时间间隔查询的方式，来获取操作指示信息的，那么，为了防止本次查询第二数据库表时获取到与上次查询时重复的操作指示信息，任务调度系统可以在每次查询到操作指示信息后，先将已查询到的操作指示信息存储至内存中，然后根据内存中所储存的已查询到的操作指示信息调用数据库，删除第二数据库表中所存储的内存中所储存的已查询到的操作指示信息，如任务调度系统根据已查询到的操作指示信息中的数据标识，删除第二数据库表中该数据标识所对应的操作指示信息。

在实际应用中，为了确保第二数据库表中的数据与内存中所存储的已查询到的操作指示信息保持一致，任务调度系统可以将“每隔预设时间间隔查询第二数据库表数据”和“按内存中已存储的已查询到的操作指示信息删除第二数据库表中对应数据”这两个数据库操作放在同一个数据库事务中并且事务的隔离级别与数据库触发器整体的数据库事务是互斥的。

S103：基于操作指示信息，将第一数据库表中发生变化的数据同步到同步数据库表，获得更新后的同步数据库表。

具体地，为了使得内存中的同步数据库表中的数据与第一数据库表中的数据快速保持一致，提高数据同步的效率，在获得操作指示信息后，任务调度系统就可以基于操作指示信息，只将第一数据库表中发生变化的数据存储到同步数据库表中，这样，任务调度系统就可以获得与第一数据库表的数据一致的更新后的同步数据库表。

在实施过程中，当操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态时，根据数据状态的不同，任务调度系统通过操作指示信息，来将第一数据库表中发生变化的数据更新到内存中的同步数据库表的方法，可以且不限于存在以下三种情况。

第一种情况，如果数据状态为新增状态，先根据操作指示信息中的数据标识获取第一数据库表中发生变化的数据，再将第一数据库表中发生变化的数据新增至同步数据库表中。

在实施过程中，操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态，S103可以包括：如果数据状态为新增状态，从第一数据库表中获取数据标识对应的关联数据；将关联数据新增至同步数据库表中。

在实际应用中，新增状态是指第一数据库表中出现了原本不存在的新数据。

示例性地，当通过INSERT语句在第一数据库表中插入数据A时，第一数据库表发生的数据操作类型为INSERT操作，对应地，第一数据库表中数据发生的变化为新增数据，此时，数据状态为新增状态，第一数据库表中出现了新增数据A，那么，在向内存中同步第一数据库表中的数据变化时，任务调度系统可以先根据操作指示信息中的数据标识，从第一数据库表中查找到与该数据标识关联的新增数据A，然后，再将新增数据A直接存储至同步数据库表中即可。

第二种情况，如果数据状态为更新状态，先根据操作指示信息中的数据标识获取第一数据库表中发生变化的数据，再将第一数据库表中发生变化的数据更新至同步数据库表中。

在实施过程中，操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态，S103可以包括：如果数据状态为更新状态，从第一数据库表中获取数据标识对应的关联数据，并从同步数据库表中确定数据标识对应的待更新数据；将待更新数据替换为关联数据。

在实际应用中，更新状态是指第一数据库表中原本存在某一数据更新为另一数据。

示例性地，当通过UPDATE语句将第一数据库表中的原有的数据B更新为数据C时，第一数据库表发生的数据操作类型为UPDATE操作，对应地，第一数据库表中数据发生的变化为更新数据，此时，数据状态为更新状态，第一数据库表中出现了更新数据C，那么，在向内存中同步第一数据库表中发生变化的数据时，任务调度系统可以先根据操作指示信息中的数据标识，从第一数据库表中查找到与该数据标识关联的更新数据C，然后，再从同步数据库中查找到与该数据标识关联的待更新数据B，最后，将待更新数据B替换为更新数据C。

第三种情况，如果数据状态为删除状态，直接根据操作指示信息，对同步数据库表中与第一数据库表中发生变化的数据相关联的数据进行操作。

在实施过程中，操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态，S103还可以包括：如果数据状态为删除状态，从同步数据库表中，确定并删除数据标识对应的待删除数据。

在实际应用中，删除状态是指第一数据库表中的某一数据被删除了。

示例性地，当通过DELETE语句删除第一数据库表中的数据D时，第一数据库表发生的数据操作类型为DELETE操作，对应地，第一数据库表中数据发生的变化为删除数据，此时，数据状态为删除状态，那么，在向内存中同步第一数据库表中的数据变化时，由于第一数据库表中的数据D已经被删除，任务调度系统就可以根据操作指示信息中的数据标识，直接从同步数据库表中删除数据D即可。

至此，便完成了数据处理过程。

由上述内容可知，本发明实施例所提供的数据处理方法，在对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表后，任务调度系统就会每隔预设时间间隔，从数据库的第二数据库表中，查询第一数据库表对应的操作指示信息，其中，操作指示信息用于表征第一数据库表所发生的数据变化；再基于操作指示信息，将第一数据库表中发生变化的数据同步到同步数据库表，获得更新后的同步数据库表。这样，在任务调度系统进行了初始化同步后，任务调度系统通过从第二数据库表中查询操作指示信息，再通过将第一数据库表中发生变化的数据更新至内存的方式来实现二次同步，就不用查询第一数据库表的全表内容，也不用将全表内容重新同步到内存中，从而，就能够在第一数据库表数据量过大时，减少查询数据和数据更新所需的时间，提高数据同步的效率，使得任务调度系统能够实现快速数据同步。

实施例二

基于前述实施例，本实施例提供一种数据处理方法，图2为本发明实施例二中的数据处理方法的流程示意图，参见图2所示，该数据处理方法应用于以下场景中：数据库中存储有数据库表A、数据库表B，在将数据库表A同步至内存后，如果数据库表A的数据发生变化，任务调度系统就可以通过轮询数据库B的方式，对内存数据进行更新，以保持内存数据与数据库表A中的数据一致。

下面结合图2来详细介绍数据处理方法，该数据处理方法包括以下步骤：

Step1：对于数据库提供的数据库表A分别建立Insert(插入)、Update(更新)和Delete(删除)触发器；

这里，数据库表A为数据库所提供的源数据库表，触发器生成数据写入新的数据库表B中。

具体地，给数据库表A添加Insert触发器，在触发Insert触发器时，将数据库表A中新增数据的主键及新增(insert)状态写入到数据库表B中；给数据库表A添加Update触发器，在触发Update触发器时，将数据库表A中更新数据的主键及更新(update)状态写入到数据库表B中；给数据库表A添加Delete触发器，在触发Update触发器时，将数据库表A中更新数据的主键及删除(delete)状态写入到数据库表B中。

需要说明的是，在对数据库表A中同一主键的数据进行多次操作后，数据库表B中相同主键的数据应该保存的是最终的数据状态。示例性地，假设数据库表A中主键为M的数据首先被更新，则Update触发器会被触发，将主键M及更新(update)状态写入到数据库表B中，此后，数据库表A中主键为M的数据被删除，则Delete触发器会被触发，将主键M及删除(delete)状态写入到数据库表B中。此时，发现数据库表B中已经存在主键为M的数据，则将数据库表B中主键为M的数据的状态由更新(update)状态更新为删除(delete)状态。最终，数据库表B中保存的就是主键为M、状态为删除(delete)的数据内容。

Step2：任务调度系统轮询查询触发器生成的数据，保存在内存中；

这里，轮询是指每隔预设时间间隔进行查询，即定时查询。

具体地，任务调度系统可以每隔预设时间间隔查询数据库表B中的数据，并将已查询的数据保存至内存中。

在实际应用中，任务调度系统可以根据数据库表A中数据变更的频率及个数，定义一个合适的时间间隔，按照定义的时间间隔来不断地查询数据库表B的数据，并将查询到的数据库表B数据保存在内存中。

需要说明的是，任务调度系统对数据库表B的每次查询都应该保证上次查询已经完毕。在实际应用中，为了确保上次查询已经完毕，任务调度系统可以通过程序内使用单线程查询或对多线程查询添加线程锁来保证。

Step3：任务调度系统通知数据库删除已经查询到的触发器生成的数据；

具体地，由于任务调度系统已经在内存中存储了一份数据库表B的内容，那么，为了防止下次查询数据库表B内容时获取到重复的数据，任务调度系统应该根据已经查询到数据(内存中)的主键信息调用数据库删除数据库表B中在这些主键信息中的数据。

需要特别注意的是，由于查询数据库表B数据与按主键删除数据库表B中数据对于数据库来说是两个不同的执行过程，那么，就有可能会出现数据库表A中主键为M的数据更新后，Update触发器将主键M及更新(update)状态写入表B，此时，任务调度系统发生一次轮询查询，读取到内存中的数据为主键M及更新(update)状态，但是，在任务调度系统查询数据库表B之后，数据库表A中主键为M的数据被删除，Delete触发器将主键M及删除(delete)状态写入数据库表B，而任务调度系统却在此之后执行了按主键删除表B数据的操作，致使最终数据库表A中主键为M的数据状态是删除(delete)状态，而任务调度系统内存中保存的是更新(update)状态的问题。这样，为了解决这个问题，任务调度系统需要将轮询查询数据库表B数据和按主键删除数据库表B数据的两个数据库操作放在同一个数据库事务中并且事务的隔离级别与触发器整体的数据库事务是互斥的。从而，就可以保证数据库表B数据与任务调度系统内存中数据保持一致。

Step4：任务调度系统通过查询到的触发器生成的数据(insert和update)的主键关联查询数据提供的数据库表数据；

任务调度系统会使用Step3中查询到的数据库表B数据的主键关联查询数据库表A中相同主键的数据，由于删除(delete)状态的数据在数据库表A中已经被删除，所以此处查询只需针对新增(insert)及更新(update)数据。可以预见的是，在关联查询的过程中，数据库表A数据可能会被修改导致Insert、Update或Delete触发器的触发，会发生以下三种情形：

情形一，Step3中任务调度系统查询到的主键M数据的状态为新增(Insert)，关联查询前数据库表A中主键M的数据更新(update)，触发Update触发器，而后关联查询时，查询到的数据库表A中主键为M的数据为更新(update)后的数据，任务调度系统获取的数据被认为是新增(insert)数据。由于Update触发器触发表B写入主键M和更新(update)状态，所以下次任务调度系统再次轮询查询表B时便可以修正当前数据在数据库表A为更新(update)状态、任务调度系统中为新增(insert)状态的问题。

情形二，Step3中任务调度系统查询到的主键M数据的状态为新增(Insert)，关联查询前数据库表A中主键M的数据删除(delete)，触发Delete触发器，而后关联查询时，无法查询到数据库表A中主键M的数据，任务调度系统不会更新内存数据，在下次轮询表B时，任务调度系统获取到主键M的数据为Delete(状态)，此时会删除内存中数据。

情形三，Step3中任务调度系统查询到的主键M数据的状态为更新(update)，关联查询前数据库表A中主键M的数据删除(delete)，此情形类似于情形二，任务调度系统会在下次轮询时修正数据。

Step5：任务调度系统整合所有查询到的数据并同步到内存数据。

具体地，任务调度系统整合查询到的数据，然后将查询到的数据同步到内存中。这里，如果任务调度系统查询到的数据为新增数据，任务调度系统会将新增数据增加到内存中；如果任务调度系统查询到的数据为新增数据，任务调度系统会将更新数据更新原有相同主键数据到内存中；如果任务调度系统查询到的数据为删除数据，任务调度系统会直接根据主键删除内存中数据。最终，使得数据库表A的数据与任务调度系统内存中的数据保持一致。

由上述内容可知，通过数据库的触发器功能获取数据库表中变更内容的主键及变更方式，任务调度系统轮询变更内容并通过轮询查询到的主键查询原表数据，从而获取当前数据库变更的所有内容。这样，任务调度系统通过同步数据库的触发器生成的数据来保证源数据表中的数据始终与任务调度系统内存中数据保持一致，而且只对增、删、改数据进行同步，解决了数据表数据量较大时对全表数据查询的效率问题。可见，本发明实施例所提供的数据处理方法，能够提高任务调度系统轮询数据库的效率，减少非关注数据的查询及遍历。

实施例三

基于同一发明构思，作为对上述方法的实现，本发明实施例提供了一种数据处理装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

图3为本发明实施例三中的数据处理装置的结构示意图，参见图3所示，该数据处理装置30包括：第一获得单元301、查询单元302以及第二获得单元303；其中，第一获得单元301，用于对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表；查询单元302，用于每隔预设时间间隔，从数据库的第二数据库表中，查询第一数据库表对应的操作指示信息，其中，操作指示信息用于表征第一数据库表所发生的数据变化；第二获得单元303，用于基于操作指示信息，将第一数据库表中发生变化的数据同步到同步数据库表，获得更新后的同步数据库表。

在本发明其它实施例中，该数据处理装置还包括：建立单元、第一生成单元以及存储单元，其中，建立单元，用于为第一数据库表建立数据库触发器和第二数据库表；第一生成单元，用于当第一数据库表发生数据变化时，触发数据库触发器基于第一数据库表所发生的数据变化，生成对应的操作指示信息；存储单元，用于将操作指示信息存储至第二数据库表中。

在本发明实施例中，第二获得单元，还用于当操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态时，如果数据状态为新增状态，从第一数据库表中获取数据标识对应的关联数据；将关联数据新增至同步数据库表中。

在本发明实施例中，第二获得单元，还用于当操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态时，如果数据状态为更新状态，从第一数据库表中获取数据标识对应的关联数据，并从同步数据库表中确定数据标识对应的待更新数据；将待更新数据替换为关联数据。

在本发明实施例中，第二获得单元，还用于当操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态时，如果数据状态为删除状态，从同步数据库表中，确定并删除数据标识对应的待删除数据。

在本发明其它实施例中，该数据处理装置还包括：处理单元，用于将操作指示信息存储至内存中，并从第二数据库表中删除操作指示信息。

在本发明其它实施例中，该数据处理装置还包括：统计单元以及第二生成单元，其中，统计单元，用于在预设时间时长内，基于第二数据库表中的数据量，统计第一数据库表发生数据变化的频率或者个数；第二生成单元，用于基于频率或者个数，生成预设时间间隔。

上述数据处理装置包括处理器和存储器，上述第一获得单元、查询单元、第二获得单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核从存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现识别物料信息中的关键词，并基于关键词对物料信息进行分类。

存储器可能包括计算机可读介质中的非永久性存储器，RAM和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash RAM)，存储器包括至少一个存储芯片。

基于同一发明构思，本发明实施例提供一种存储介质，其上存储有程序，该程序被处理器执行时实现上述数据处理方法。

基于同一发明构思，本发明实施例提供一种处理器，处理器用于运行程序，其中，程序运行时执行上述数据处理方法。

在实际应用中，该数据处理装置可应用于终端中。终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机、服务器等固定终端。

实施例四

基于同一发明构思，本发明实施例提供一种数据处理设备。图4为本发明实施例四中的数据处理设备的结构示意图，参见图4所示，该数据处理设备40包括：存储器401、处理器402以及存储在存储器401上并可在处理器402上运行的计算机程序403，处理器执行程序403时实现以下步骤：对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表；每隔预设时间间隔，从数据库的第二数据库表中，查询第一数据库表对应的操作指示信息，其中，操作指示信息用于表征第一数据库表所发生的数据变化；基于操作指示信息，将第一数据库表中发生变化的数据同步到同步数据库表，获得更新后的同步数据库表。

在本发明实施例中，上述处理器执行程序时还可实现以下步骤：为第一数据库表建立数据库触发器和第二数据库表；当第一数据库表发生数据变化时，触发数据库触发器基于第一数据库表所发生的数据变化，生成对应的操作指示信息；将操作指示信息存储至第二数据库表中。

在本发明实施例中，上述处理器执行程序时还可实现以下步骤：当操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态时，如果数据状态为新增状态，从第一数据库表中获取数据标识对应的关联数据；将关联数据新增至同步数据库表中。

在本发明实施例中，上述处理器执行程序时还可实现以下步骤：当操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态时，如果数据状态为更新状态，从第一数据库表中获取数据标识对应的关联数据，并从同步数据库表中确定数据标识对应的待更新数据；将待更新数据替换为关联数据。

在本发明实施例中，上述处理器执行程序时还可实现以下步骤：当操作指示信息至少包括第一数据库表中发生变化的数据所对应的数据标识以及数据状态时，如果数据状态为删除状态，从同步数据库表中，确定并删除数据标识对应的待删除数据。

在本发明实施例中，上述处理器执行程序时还可实现以下步骤：将操作指示信息存储至内存中，并从第二数据库表中删除操作指示信息。

在本发明实施例中，上述处理器执行程序时还可实现以下步骤：在预设时间时长内，基于第二数据库表中的数据量，统计第一数据库表发生数据变化的频率或者个数；基于频率或者个数，生成预设时间间隔。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，RAM和/或非易失性内存等形式，如ROM或Flash RAM。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质可以是ROM、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是快闪记忆体或其他内存技术、CD-ROM、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息；还可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表；

每隔预设时间间隔，从所述数据库的第二数据库表中，查询所述第一数据库表对应的操作指示信息，其中，所述操作指示信息用于表征所述第一数据库表所发生的数据变化；

基于所述操作指示信息，将所述第一数据库表中发生变化的数据同步到所述同步数据库表，获得更新后的同步数据库表。

2.根据权利要求1所述的方法，其特征在于，在所述每隔预设时间间隔，从所述数据库的第二数据库表中，查询所述第一数据库表对应的操作指示信息之前，所述方法还包括：

为所述第一数据库表建立数据库触发器和第二数据库表；

当所述第一数据库表发生数据变化时，触发所述数据库触发器基于所述第一数据库表所发生的数据变化，生成对应的操作指示信息；

将所述操作指示信息存储至所述第二数据库表中。

3.根据权利要求1或2所述的方法，其特征在于，所述操作指示信息至少包括所述第一数据库表中发生变化的数据所对应的数据标识以及数据状态，以及

所述基于所述操作指示信息，将所述第一数据库表中发生变化的数据同步到所述同步数据库表，包括：

如果数据状态为新增状态，从所述第一数据库表中获取所述数据标识对应的关联数据；

将所述关联数据新增至所述同步数据库表中。

4.根据权利要求1或2所述的方法，其特征在于，所述操作指示信息至少包括所述第一数据库表中发生变化的数据所对应的数据标识以及数据状态，以及

所述基于所述操作指示信息，将所述第一数据库表中发生变化的数据同步到所述同步数据库表，包括：

如果数据状态为更新状态，从所述第一数据库表中获取所述数据标识对应的关联数据，并从所述同步数据库表中确定所述数据标识对应的待更新数据；

将所述待更新数据替换为所述关联数据。

5.根据权利要求1或2所述的方法，其特征在于，所述操作指示信息至少包括所述第一数据库表中发生变化的数据所对应的数据标识以及数据状态，以及

所述基于所述操作指示信息，将所述第一数据库表中发生变化的数据同步到所述同步数据库表，包括：

如果所述数据状态为删除状态，从所述同步数据库表中，确定并删除所述数据标识对应的待删除数据。

6.根据权利要求1所述的方法，其特征在于，所述从所述数据库中的第二数据库表中，获取所述第一数据库表对应的操作指示信息之后，所述方法还包括：

将所述操作指示信息存储至内存中，并从所述第二数据库表中删除所述操作指示信息。

7.根据权利要求1所述的方法，其特征在于，在所述每隔预设时间间隔，从所述数据库的第二数据库表中，查询所述第一数据库表对应的操作指示信息之前，所述方法还包括：

在预设时长内，基于所述第二数据库表中的数据量，统计所述第一数据库表发生数据变化的频率或者个数；

基于所述频率或者个数，生成所述预设时间间隔。

8.一种数据处理装置，其特征在于，所述装置包括：第一获得单元、查询单元以及第二获得单元，其中，

所述第一获得单元，用于对数据库的第一数据库表进行初始化同步，获得存储于内存中的同步数据库表；

所述查询单元，用于每隔预设时间间隔，从所述数据库的第二数据库表中，查询所述第一数据库表对应的操作指示信息，其中，所述操作指示信息用于表征所述第一数据库表所发生的数据变化；

所述第二获得单元，用于基于所述操作指示信息，将所述第一数据库表中发生变化的数据同步到所述同步数据库表，获得更新后的同步数据库表。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至7任一项所述的数据处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1至7任一项所述的数据处理方法。