CN106959969B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置，接收个体数据处理请求；判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。上述方法及装置采用同步更新的方式，能够解决现有技术中由于内存缓存的数据更新与磁盘的数据更新是异步的而造成的无法成功更新数据的问题。

Description

一种数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，更具体的说，是涉及一种数据处理方法及装置。

背景技术

OLTP(On-Line Transaction Processing，联机事务处理)系统也称为面向交易的处理系统，典型的OLTP系统有电子商务系统、银行、证券等。目前，将数据存放在磁盘上，采用关系数据库来实现的OLTP系统简称为磁盘OLTP系统，将数据存放在内存，直接操作内存来实现的OLTP系统简称内存OLTP系统。

对于磁盘OLTP系统来说，处理读、写请求主要的瓶颈在磁盘IO(Input Output，输入输出)接口上，因此，为了加快磁盘OLTP系统处理读、写请求的速度，通常采用内存缓存部分数据的办法，即优先操作内存缓存的数据，并在内存缓存的数据更新后，再更新到磁盘，或者，磁盘的数据更新后，再刷新内存缓存的数据。

但是，上述方法中，内存缓存的数据更新与磁盘的数据更新是异步的，以“内存缓存的数据更新后，再更新到磁盘”为例，“内存缓存的数据更新”与“发现内存缓存的数据更新，再把更新的数据更新到磁盘”，是两个独立的事务，如果在“发现内存缓存的数据更新，再把更新的数据更新到磁盘”这一事务完成之前出现宕机，则内存缓存更新的数据由于系统重启会被清除，因此，无法被更新到磁盘。相应的，磁盘的数据更新后，可能会导致未成功刷新内存缓存的数据，导致内存缓存的数据与磁盘数据不一致。

发明内容

有鉴于此，本发明提供了一种数据处理方法及装置，以克服现有技术中由于内存缓存的数据更新与磁盘的数据更新是异步的，而导致内存缓存的数据更新后无法成功更新磁盘数据以及磁盘的数据更新后无法成功刷新内存缓存的数据的问题。

为实现上述目的，本发明提供如下技术方案：

一种数据处理方法，所述方法包括：

接收个体数据处理请求；

判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；

当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；

判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；

当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。

优选的，所述方法还包括：

当所述第一判断结果为否时，校验所述个体数据归属为所述当前内存处理机后，将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储；

判断是否成功将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储，得出第三判断结果；

当所述第三判断结果为是时，则执行对所述当前内存处理机中存储的所述个体数据进行处理的步骤；

当所述第三判断结果为否时，则生成失败应答消息。

优选的，所述同步更新数据库中的所述个体数据之后，所述方法还包括：

判断是否成功同步更新数据库中的所述个体数据，得出第四判断结果；

当所述第四判断结果为否时，释放所述当前内存处理机中存储的所述个体数据，并生成失败应答消息；

当所述第四判断结果为是时，则生成成功应答消息。

优选的，所述方法还包括：

当所述第二判断结果为否时，则生成成功应答消息。

优选的，所述方法还包括：

当所述当前内存处理机故障时，则由常规处理机对所述个体数据进行处理。

一种数据处理装置，所述装置包括：

接收单元，用于接收个体数据处理请求；

第一判断单元，用于判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；

处理单元，用于当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；

第二判断单元，用于判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；

更新单元，用于当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。

优选的，所述处理单元还用于：

当所述第一判断结果为否时，校验所述个体数据归属为所述当前内存处理机后，将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储；

则所述装置还包括：

第三判断单元，用于判断是否成功将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储，得出第三判断结果；

则所述处理单元还用于当所述第三判断结果为是时，则执行对所述当前内存处理机中存储的所述个体数据进行处理的步骤；当所述第三判断结果为否时，则生成失败应答消息。

优选的，所述装置还包括：

第四判断单元，用于在所述同步更新数据库中的所述个体数据之后，判断是否成功同步更新数据库中的所述个体数据，得出第四判断结果；

则所述处理单元还用于当所述第四判断结果为否时，释放所述当前内存处理机中存储的所述个体数据，并生成失败应答消息；

当所述第四判断结果为是时，则生成成功应答消息。

优选的，所述处理单元还用于：

当所述第二判断结果为否时，则生成成功应答消息。

优选的，所述处理单元还用于：

当所述当前内存处理机故障时，则由常规处理机对所述个体数据进行处理。

经由上述的技术方案可知，与现有技术相比，本发明公开了一种数据处理方法及装置，接收个体数据处理请求；判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。上述方法及装置采用同步更新的方式，能够解决现有技术中由于内存缓存的数据更新与磁盘的数据更新是异步的而造成的无法成功更新数据的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种数据处理方法流程示意图；

图2为本发明实施例公开的OLTP系统架构示意图；

图3为本发明实施例公开的另一种数据处理方法流程示意图；

图4为本发明实施例公开的一种数据处理装置结构示意图；

图5为本发明实施例公开的一种数据处理装置结构示意图；

图6为本发明实施例公开的一种数据处理装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

由背景技术可知，现有技术中由于内存缓存的数据更新与磁盘的数据更新是异步的，而导致内存缓存的数据更新后无法成功更新磁盘数据以及磁盘的数据更新后无法成功刷新内存缓存的数据的问题。

为此，本发明公开了一种数据处理方法及装置，接收个体数据处理请求；判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。上述方法及装置采用同步更新的方式，能够解决现有技术中由于内存缓存的数据更新与磁盘的数据更新是异步的而造成的无法成功更新数据的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

请参阅附图1，为本发明实施例公开的一种数据处理方法流程示意图，该方法具体包括如下步骤：

S101：接收个体数据处理请求。

在本实施例中，对OLTP系统中的数据分成以下三类：

一般性全局数据，如系统性配置参数等；

竞争性全局数据，如系统内唯一的流水号；

个体数据，如只跟某个体相关的数据，不同的个体数据之间没有直接关系。

S102：判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果。

在本实施例中，公开了如图2所示的OLTP系统架构示意图，该OLTP系统由N台内存处理机和多个常规处理机组成，所述N台内存处理机和多个常规处理机均与数据库连接，内存处理机与常规处理机的差别在于，前者在需要时会把数据库的数据加载到内存，后续处理请求时，直接使用本机内存中的数据，而后者则在每次处理请求过程中都访问数据库获取数据。

每个个体对应的个体数据均归属于某一内存处理机，即本实施例中所说的当前内存处理机。

S103：当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理。

S104：判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果。

S105：当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。

本实施例公开了一种数据处理方法，接收个体数据处理请求；判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；当所述第二判断结果为是时，则同步更新数据库中的所述个体数据。上述方法采用同步更新数据的方式，能够解决现有技术中由于内存缓存的数据更新与磁盘的数据更新是异步的而造成的无法成功更新数据的问题。

在上述本发明公开的实施例的基础上，本发明实施例还公开了另一种数据处理方法，下面将通过以下实施例进行详细说明。

请参阅附图3，为本发明实施例公开的另一种数据处理方法流程示意图，该方法具体包括如下步骤：

S201：接收个体数据处理请求。

S202：判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果，当所述第一判断结果为是时，执行S203，当所述第一判断结果为否时，执行208。

S203：对所述当前内存处理机中存储的所述个体数据进行处理。

S204：判断对所述当前内存处理机中存储的所述个体数据是否成功处理，当成功处理时，执行S205，当未成功处理时，执行S210。

S205：判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果，当所述第二判断结果为是时，执行S206，当所述第二判断结果为否时，执行S211。

S206：校验所述个体数据归属为所述当前内存处理机后，同步更新数据库中的所述个体数据。

S207：判断是否成功同步更新数据库中的所述个体数据，得出第四判断结果；当所述第四判断结果为否时，释放所述当前内存处理机中存储的所述个体数据，并执行S210；当所述第四判断结果为是时，执行S211。

S208：校验所述个体数据归属为所述当前内存处理机后，将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储。

S209：判断是否成功将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储，得出第三判断结果；当所述第三判断结果为是时，执行S203，当所述第三判断结果为否时，执行S210。

S210：生成失败应答消息。

S211：生成成功应答消息。

需要说明的是，对于已经加载到当前内存处理机的个体数据，在内存处理机故障或其他需要的情况下，可转由常规处理机对所述个体数据进行处理，同时在更改其数据的事务中清除个体当前设置的内存处理机，避免当前内存处理机对该个体数据的修改，保证数据的正确性。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。

请参阅附图4，为本发明实施例公开的一种数据处理装置结构示意图，该装置具体包括如下单元：

接收单元11，用于接收个体数据处理请求；

第一判断单元12，用于判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；

处理单元13，用于当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；

第二判断单元14，用于判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；

更新单元15，用于当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。

所述处理单元13还用于：

当所述第一判断结果为否时，校验所述个体数据归属为所述当前内存处理机后，将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储；

如图5所示，则所述装置还包括：

第三判断单元16，用于判断是否成功将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储，得出第三判断结果；

则所述处理单元13还用于当所述第三判断结果为是时，则执行对所述当前内存处理机中存储的所述个体数据进行处理的步骤；当所述第三判断结果为否时，则生成失败应答消息。

如图6所示，所述装置还包括：

第四判断单元17，用于在所述同步更新数据库中的所述个体数据之后，判断是否成功同步更新数据库中的所述个体数据，得出第四判断结果；

则所述处理单元13还用于当所述第四判断结果为否时，释放所述当前内存处理机中存储的所述个体数据，并生成失败应答消息；

当所述第四判断结果为是时，则生成成功应答消息。

所述处理单元13还用于：

当所述第二判断结果为否时，则生成成功应答消息。

所述处理单元13还用于：

当所述当前内存处理机故障时，则由常规处理机对所述个体数据进行处理。

需要说明的是，上述各个单元的具体功能实现已在方法实施例中描述，本实施例不再赘述。

综上所述：

本发明公开了一种数据处理方法及装置，接收个体数据处理请求；判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。上述方法及装置采用同步更新的方式，能够解决现有技术中由于内存缓存的数据更新与磁盘的数据更新是异步的而造成的无法成功更新数据的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

接收个体数据处理请求；

判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；

当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；

判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；

当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一判断结果为否时，校验所述个体数据归属为所述当前内存处理机后，将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储；

判断是否成功将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储，得出第三判断结果；

当所述第三判断结果为是时，则执行对所述当前内存处理机中存储的所述个体数据进行处理的步骤；

当所述第三判断结果为否时，则生成失败应答消息。

3.根据权利要求1所述的方法，其特征在于，所述同步更新数据库中的所述个体数据之后，所述方法还包括：

判断是否成功同步更新数据库中的所述个体数据，得出第四判断结果；

当所述第四判断结果为否时，释放所述当前内存处理机中存储的所述个体数据，并生成失败应答消息；

当所述第四判断结果为是时，则生成成功应答消息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第二判断结果为否时，则生成成功应答消息。

5.根据权利要求1～4中任意一项所述的方法，其特征在于，所述方法还包括：

当所述当前内存处理机故障时，则由常规处理机对所述个体数据进行处理。

6.一种数据处理装置，其特征在于，所述装置包括：

接收单元，用于接收个体数据处理请求；

第一判断单元，用于判断当前内存处理机中是否存储有所述个体数据，得到第一判断结果；

处理单元，用于当所述第一判断结果为是时，则对所述当前内存处理机中存储的所述个体数据进行处理；

第二判断单元，用于判断所述当前内存处理机中存储的所述个体数据是否有更新，得到第二判断结果；

更新单元，用于当所述第二判断结果为是时，校验所述个体数据归属为所述当前内存处理机后，则同步更新数据库中的所述个体数据。

7.根据权利要求6所述的装置，其特征在于，所述处理单元还用于：

当所述第一判断结果为否时，校验所述个体数据归属为所述当前内存处理机后，将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储；

则所述装置还包括：

第三判断单元，用于判断是否成功将所述个体数据从所述数据库中加载至所述当前内存处理机中进行存储，得出第三判断结果；

则所述处理单元还用于当所述第三判断结果为是时，则执行对所述当前内存处理机中存储的所述个体数据进行处理的步骤；当所述第三判断结果为否时，则生成失败应答消息。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第四判断单元，用于在所述同步更新数据库中的所述个体数据之后，判断是否成功同步更新数据库中的所述个体数据，得出第四判断结果；

则所述处理单元还用于当所述第四判断结果为否时，释放所述当前内存处理机中存储的所述个体数据，并生成失败应答消息；

当所述第四判断结果为是时，则生成成功应答消息。

9.根据权利要求6所述的装置，其特征在于，所述处理单元还用于：

当所述第二判断结果为否时，则生成成功应答消息。

10.根据权利要求6～9中任意一项所述的装置，其特征在于，所述处理单元还用于：

当所述当前内存处理机故障时，则由常规处理机对所述个体数据进行处理。

Images