CN109164989A - 一种数据处理方法和装置 - Google Patents

Abstract

本申请实施例公开一种数据处理方法和装置，在接收到针对缓存系统中指定数据的修改指令时，针对修改指令记录指定数据的安全日志，当记录成功后，根据修改信息对指定数据进行修改。安全日志包括修改指令针对指定数据的修改信息，根据修改信息可知晓对指定数据哪部分进行了哪些修改，由于安全日志存储在缓存系统所在设备中，而非缓存系统中，即使缓存系统所在设备出现掉电、程序进程宕机等故障，安全日志也不会丢失，故根据安全日志和数据源中的指定数据可确定出已被修改的指定数据，避免已被修改的指定数据丢失。并且指定数据存储在缓存系统中，无需针对每次修改访问数据源，在修改请求并发或数据改变量过多时，减少对数据源的访问，提高执行效率。

Description

一种数据处理方法和装置

技术领域

本申请涉及数据处理领域，特别是涉及一种数据处理方法和装置。

背景技术

大多数高并发等对运行速度有较高要求的场景下都会有数据缓存的需求，通常的做法是将数据从数据源中读出，再根据应用场景的需要重新组织数据并缓存到例如内存的缓存系统中。

传统的数据处理方法中，数据源中的数据缓存到缓存系统后，在对缓存数据进行处理的过程中，例如，对缓存系统中的数据进行修改操作以实现对数据源中的该数据进行修改，但是，为了减少对数据源的访问，提高执行效率，已被修改的数据并不会立即存储到数据源中。这样，一旦缓存系统所在设备出现掉电、程序进程宕机等故障，由于已被修改的数据位于缓存系统中，尚未存储到数据源中，可能会导致缓存系统中已被修改的数据丢失，从而无法实现修改操作。

发明内容

为了解决上述技术问题，本申请提供了一种数据处理方法和装置，在减少了对数据源的访问，提高了执行效率的前提下，避免已被修改的指定数据的丢失。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

若接收到针对缓存系统中指定数据的修改指令，针对所述修改指令记录所述指定数据的安全日志；所述安全日志包括所述修改指令针对所述指定数据的修改信息；所述安全日志存储在所述缓存系统所在设备中；所述缓存系统中的所述指定数据是从数据源中调取的；

根据所述修改指令对所述指定数据进行修改。

可选的，在所述设备中的程序进程重新启动后，若确定在所述程序进程重新启动之前，已被修改的指定数据未被存储至数据源中，所述方法还包括：

根据所述安全日志中的修改信息和所述数据源中的所述指定数据，将所述已被修改的指定数据恢复到所述数据源中。

可选的，所述方法还包括：

当满足更新数据源条件时，利用所述缓存系统中所述已被修改的指定数据对所述数据源中的所述指定数据进行更新。

可选的，在所述利用所述缓存系统中所述已被修改的指定数据对所述数据源中的所述指定数据进行更新之后，所述方法还包括：

更新所述安全日志，更新后的安全日志用于标识更新所述安全日志之前得到的已被修改的指定数据是否被成功地更新到所述数据源中。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括记录单元和修改单元：

所述记录单元，用于若接收到针对缓存系统中指定数据的修改指令，针对所述修改指令记录所述指定数据的安全日志；所述安全日志包括所述修改指令针对所述指定数据的修改信息；所述安全日志存储在所述缓存系统所在设备中；所述缓存系统中的所述指定数据是从数据源中调取的；

所述修改单元，用于根据所述修改指令对所述指定数据进行修改。

可选的，在所述设备中的程序进程重新启动后，若确定在所述程序进程重新启动之前，已被修改的指定数据未被存储至数据源中，所述装置还包括恢复单元：

所述恢复单元，用于根据所述安全日志中的修改信息和所述数据源中的所述指定数据，将所述已被修改的指定数据恢复到所述数据源中。

可选的，所述装置还包括第一更新单元：

所述第一更新单元，用于当满足更新数据源条件时，利用所述缓存系统中所述已被修改的指定数据对所述数据源中的所述指定数据进行更新。

可选的，所述装置还包括第二更新单元：

所述第二更新单元，用于更新所述安全日志，更新后的安全日志用于标识更新所述安全日志之前得到的已被修改的指定数据是否被成功地更新到所述数据源中。

由上述技术方案可以看出，本申请实施例具有以下优点：

在接收到针对缓存系统中指定数据的修改指令时，针对修改指令记录指定数据的安全日志，当安全日志记录成功后，根据修改信息对指定数据进行修改。其中，该安全日志包括修改指令针对指定数据的修改信息，根据修改信息可以知晓对指定数据的哪一部分进行了哪些修改，由于安全日志存储在缓存系统所在设备中，而非缓存系统中，即使缓存系统所在设备出现掉电、程序进程宕机等故障，安全日志也不会丢失，这样，可以根据安全日志和数据源中的指定数据确定出已被修改的指定数据，避免已被修改的指定数据的丢失。并且由于指定数据存储在缓存系统中，无需针对每次修改访问数据源，在修改请求并发或者数据改变量过多的情况下，减少了对数据源的访问，提高了执行效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的流程图；

图2为本申请实施例提供的一种数据处理装置的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在传统的数据处理方法中，由于已被修改的数据并不会立即存储到数据源中。这样，一旦缓存系统所在设备出现掉电、程序进程宕机等故障，由于已被修改的数据位于缓存系统中，尚未存储到数据源中，可能会导致缓存系统中已被修改的数据丢失，从而无法实现修改操作。

为此，本申请实施例提供一种数据处理方法，该方法通过记录安全日志，记录修改指令针对指定数据的修改信息，当安全日志记录成功后，才会根据修改信息对指定数据进行修改。由于安全日志存储在缓存系统所在设备中，而非缓存系统中，即使出现缓存系统所在设备掉电、宕机等故障，安全日志也不会丢失，这样，可以根据安全日志和数据源中的指定数据确定出已被修改的指定数据，避免已被修改的指定数据的丢失。并且由于指定数据存储在缓存系统中，在修改请求并发或者数据改变量过多的情况下，也无需针对每次修改访问数据源，减少了对数据源的访问，提高了执行效率。

下面结合附图，对本申请实施例提供的数据处理方法进行介绍。

参见图1，图1示出了一种数据处理方法的流程图，所述方法包括：

S101、若接收到针对缓存系统中指定数据的修改指令，针对所述修改指令记录所述指定数据的安全日志。

其中，所述缓存系统中的所述指定数据是从数据源中调取的，这样，可以通过在缓存系统中对所述指定数据进行修改，进而完成对数据源中所述指定数据的修改。

所述安全日志包括所述修改指令针对所述指定数据的修改信息，所述修改信息例如可以包括指定数据的修改时间、指定数据中被修改的内容、针对指定数据被修改的内容进行的修改等等；所述安全日志存储在所述缓存系统所在设备中，所述缓存系统所在设备可以是服务器。

需要说明的是，在S101之前，可以根据数据源中的数据建立数据集合，数据集合可以具有描述信息，所述描述信息包括每个字段的名字，类型，字节大小，特征码等，通过数据集合的描述信息可以确定数据源中数据结构与缓存系统中数据结构的映射关系，从而快速的确定数据源中的数据在缓存系统中如何存储，以及缓存系统中的数据在数据源中是如何存储。

建立的数据集合可以是一个，也可以是多个，数据集合的个数由数据源中的数据决定，例如，数据源中的数据以数据表的形式存在，那么，数据源中数据表的个数即所需建立的数据集合的个数。

指定数据可以是指定数据集合中的任一数据，指定数据可以是根据指定关键字从指定数据集合中获取的。

S102、根据所述修改指令对所述指定数据进行修改。

在成功记录安全日志后，才可以执行对所述指定数据进行修改的步骤，从而避免已被修改的指定数据丢失。

需要说明的是，在所述根据所述修改指令对所述指定数据进行修改时，所述指定数据处于锁定状态，从而防止同时存在其他修改指令以对该指定数据进行修改或者对所述指定数据进行利用，避免发生数据错乱。在完成指定数据的修改后，可以解除所述指定数据的锁定状态。

需要说明的是，所述指定数据具有状态标记，在所述根据所述修改指令对所述指定数据进行修改之后，还可以更新所述状态标记，所述状态标记用于标识所述指定数据是否被修改，这样，在利用已被修改的指定数据更新数据源中的指定数据时，可以根据状态标记快速的确定出被修改过的指定数据，从而将已被修改的指定数据更新到数据源中。

可以理解的是，在利用缓存系统中已被修改的指定数据对数据源中的指定数据进行更新之后，虽然缓存系统所在设备执行了更新数据源的动作，但是，在利用缓存系统中已被修改的指定数据对数据源中的指定数据进行更新的过程中，可能由于缓存系统所在设备出现掉电、程序进程宕机等问题导致程序进程重新启动，而在程序进程重新启动之前，已被修改的指定数据可能已经被成功地更新到数据源中，也可能未被成功地更新到数据源中，因此，为了能够在程序进程重新启动后，可以确定已被修改的指定数据是否被成功地更新到数据源中，在利用缓存系统中已被修改的指定数据对数据源中的指定数据进行更新之后，更新所述安全日志，更新后的安全日志用于标识更新所述安全日志之前得到的已被修改的指定数据是否被成功地更新到所述数据源中。

例如，若已被修改的指定数据被成功地更新到所述数据源中，安全日志中可以记录已被修改的指定数据已被更新到数据源中，当然，安全日志中也可以记录更新时间等；若已被修改的指定数据未被成功地更新到所述数据源中，安全日志中可以记录已被修改的指定数据更新失败或者安全日志中无法查找到针对将已被修改的指定数据更新到数据源中的日志等。这样，在程序进程重新启动后，通过检查安全日志，可以确定程序进程重新启动之前，已被修改的指定数据是否被存储至数据源中。

接下来，本实施例将对在程序进程重新启动的情况下，如何将已被修改的指定数据恢复到数据源中进行介绍。

可以理解的是，缓存系统所在设备可能由于掉电、宕机等故障而重新启动，在所述设备重新启动后，若确定在程序进程重新启动之前已被修改的指定数据未被存储至数据源中，还可以根据安全日志中的修改信息和数据源中的指定数据，将已被修改的指定数据恢复到所述数据源中。

具体的，可以根据修改信息，将针对指定数据中被修改的内容进行的修改写入到数据源中指定数据中，从而得到已被修改的指定数据，实现将已被修改的指定数据恢复到所述数据源中；或者，将数据源中指定数据存储至缓存系统中，根据修改信息对缓存系统中指定数据进行修改，再将已被修改的指定数据存储至数据源中。

其中，可以通过检查安全日志确定程序进程重新启动之前已被修改的指定数据是否被存储至数据源中。具体的，可以通过对指定数据的安全日志的分析，确定该指定数据是否被修改过，若是，则通过安全日志确定设备重新启动之前针对该修改得到的已被修改的指定数据是否被存储至数据源中。

需要说明的是，在将已被修改的指定数据恢复到所述数据源中时，若恢复失败，则停止工作，发出报警提示。

需要说明的是，在传统方式中，每对指定数据修改一次，便立刻将已被修改的指定数据存储至数据源中，从而导致频繁的访问数据源。与传统方式不同，在本实施例中，一般在满足更新数据源条件时，才利用所述缓存系统中所述已被修改的指定数据对所述数据源中的所述指定数据进行更新，无需每修改一次指定数据就访问一次数据源，从而减少了对数据源的访问次数，提高了执行效率。

其中，满足更新数据源的条件可以包括多种情况，本实施例以两种情况为例，一种满足更新数据源的条件可以是到达预设的数据源更新周期。例如，在游戏场景中，用户可能持续进行很长时间的游戏，在用户进行游戏的过程中，在缓存系统中不断的修改与游戏相关的数据，随着时间的增长，可能已经达到了检查缓存系统中是否存在数据被修改的周期，若检查到了存在数据修改，则可以利用缓存系统中已被修改的与游戏相关的数据对所述数据源中与游戏相关的数据进行更新，例如，在到达预设的数据源更新周期时，利用缓存系统中已被修改的指定数据对数据源中的指定数据进行更新。其中，已被修改的与游戏相关的数据可以作为已被修改的指定数据，与游戏相关的数据可以作为指定数据。

另一种满足更新数据源的条件可以是退出登录。例如，在游戏场景中，用户在登陆游戏后，启动缓存系统，并且随着游戏的进行，不断的修改缓存系统中的指定数据，在用户退出登录结束游戏时，为了保证此次游戏过程中的数据不会丢失，可以在退出登录时，利用缓存系统中已被修改的指定数据对数据源中的指定数据进行更新。

在一种实现方式中，利用缓存系统中已被修改的指定数据对数据源中的指定数据进行更新的方式可以是：复制缓存系统中已被修改的指定数据，将已被修改的指定数据存储到数据源中，从而覆盖数据源中的指定数据。

需要说明的是，在利用缓存系统中已被修改的指定数据对数据源中的指定数据进行更新时，在复制缓存系统中已被修改的指定数据之前，已被修改的指定数据处于锁定状态，从而防止同时存在其他修改指令以对该已被修改的指定数据继续进行修改或者对已被修改的指定数据进行利用，避免发生数据错乱。在完成缓存系统中已被修改的指定数据复制后，可以解除所述已被修改的指定数据的锁定状态。

由上述技术方案可以看出，在接收到针对缓存系统中指定数据的修改指令时，针对修改指令记录指定数据的安全日志，当安全日志记录成功后，根据修改信息对指定数据进行修改。其中，该安全日志包括修改指令针对指定数据的修改信息，根据修改信息可以知晓对指定数据的哪一部分进行了哪些修改，由于安全日志存储在缓存系统所在设备中，而非缓存系统中，即使缓存系统所在设备出现掉电、程序进程宕机等故障，安全日志也不会丢失，这样，可以根据安全日志和数据源中的指定数据确定出已被修改的指定数据，避免已被修改的指定数据的丢失。并且由于指定数据存储在缓存系统中，无需针对每次修改访问数据源，在修改请求并发或者数据改变量过多的情况下，减少了对数据源的访问，提高了执行效率。

基于前述实施例提供的数据处理方法，本实施例还提供了一种数据处理装置，参见图2，图2示出了一种数据处理装置的结构图，所述装置包括记录单元201和修改单元202：

所述记录单元201，用于若接收到针对缓存系统中指定数据的修改指令，针对所述修改指令记录所述指定数据的安全日志；所述安全日志包括所述修改指令针对所述指定数据的修改信息；所述安全日志存储在所述缓存系统所在设备中；所述缓存系统中的所述指定数据是从数据源中调取的；

所述修改单元202，用于根据所述修改指令对所述指定数据进行修改。

可选的，在所述设备中的程序进程重新启动后，若确定在所述程序进程重新启动之前，已被修改的指定数据未被存储至数据源中，所述装置还包括恢复单元：

所述恢复单元，用于根据所述安全日志中的修改信息和所述数据源中的所述指定数据，将所述已被修改的指定数据恢复到所述数据源中。

可选的，所述装置还包括第一更新单元：

所述第一更新单元，用于当满足更新数据源条件时，利用所述缓存系统中所述已被修改的指定数据对所述数据源中的所述指定数据进行更新。

可选的，所述装置还包括第二更新单元：

所述第二更新单元，用于更新所述安全日志，更新后的安全日志用于标识更新所述安全日志之前得到的已被修改的指定数据是否被成功地更新到所述数据源中。

由上述技术方案可以看出，在接收到针对缓存系统中指定数据的修改指令时，针对修改指令记录指定数据的安全日志，当安全日志记录成功后，根据修改信息对指定数据进行修改。其中，该安全日志包括修改指令针对指定数据的修改信息，根据修改信息可以知晓对指定数据的哪一部分进行了哪些修改，由于安全日志存储在缓存系统所在设备中，而非缓存系统中，即使缓存系统所在设备出现掉电、程序进程宕机等故障，安全日志也不会丢失，这样，可以根据安全日志和数据源中的指定数据确定出已被修改的指定数据，避免已被修改的指定数据的丢失。并且由于指定数据存储在缓存系统所在设备中，无需针对每次修改访问数据源，在修改请求并发或者数据改变量过多的情况下，减少了对数据源的访问，提高了执行效率。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种数据处理方法，其特征在于，所述方法包括：

若接收到针对缓存系统中指定数据的修改指令，针对所述修改指令记录所述指定数据的安全日志；所述安全日志包括所述修改指令针对所述指定数据的修改信息；所述安全日志存储在所述缓存系统所在设备中；所述缓存系统中的所述指定数据是从数据源中调取的；

根据所述修改指令对所述指定数据进行修改。

2.根据权利要求1所述的方法，其特征在于，在所述设备中的程序进程重新启动后，若确定在所述程序进程重新启动之前，已被修改的指定数据未被存储至数据源中，所述方法还包括：

根据所述安全日志中的修改信息和所述数据源中的所述指定数据，将所述已被修改的指定数据恢复到所述数据源中。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当满足更新数据源条件时，利用所述缓存系统中所述已被修改的指定数据对所述数据源中的所述指定数据进行更新。

4.根据权利要求3所述的方法，其特征在于，在所述利用所述缓存系统中所述已被修改的指定数据对所述数据源中的所述指定数据进行更新之后，所述方法还包括：

更新所述安全日志，更新后的安全日志用于标识更新所述安全日志之前得到的已被修改的指定数据是否被成功地更新到所述数据源中。

5.一种数据处理装置，其特征在于，所述装置包括记录单元和修改单元：

所述记录单元，用于若接收到针对缓存系统中指定数据的修改指令，针对所述修改指令记录所述指定数据的安全日志；所述安全日志包括所述修改指令针对所述指定数据的修改信息；所述安全日志存储在所述缓存系统所在设备中；所述缓存系统中的所述指定数据是从数据源中调取的；

所述修改单元，用于根据所述修改指令对所述指定数据进行修改。

6.根据权利要求5所述的装置，其特征在于，在所述设备中的程序进程重新启动后，若确定在所述程序进程重新启动之前，所述已被修改的指定数据未被存储至数据源中，所述装置还包括恢复单元：

所述恢复单元，用于根据所述安全日志中的修改信息和所述数据源中的所述指定数据，将所述已被修改的指定数据恢复到所述数据源中。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括第一更新单元：

所述第一更新单元，用于当满足更新数据源条件时，利用所述缓存系统中所述已被修改的指定数据对所述数据源中的所述指定数据进行更新。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括第二更新单元：

所述第二更新单元，用于更新所述安全日志，更新后的安全日志用于标识更新所述安全日志之前得到的已被修改的指定数据是否被成功地更新到所述数据源中。