CN109033420B - 一种数据处理方法和装置 - Google Patents

Abstract

本发明提供一种数据处理方法和装置，包括：根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，其中所述第一数据为所述客户端对第二数据执行写操作成功后得到的数据，所述客户端在确定对所述第二数据执行写操作成功后调用所述读接口发送读取第一数据的读请求；接收所述第三方接口返回的第三数据；根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据；将所述第一数据返回至所述客户端。本发明通过对第三数据进行一次本地的假写操作，使得假写操作后能够得到第一数据，从而达到了数据实时同步更新，保证了不同接口调用的数据同步。

Description

一种数据处理方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法和装置。

背景技术

在高并发大数据量的情况下，由于服务器采用的锁机制、集群主从机制、读写分离机制以及缓存机制，都可能引发服务器中的数据更新不及时的问题，进而导致接口调用的数据不同步的问题，如当服务器中存放在不同地址的相同数据无法执行同步更新或更新不及时时，若一个接口调用的某个地址的数据及时进行了数据更新，而另一个接口调用的另一个地址的数据并未及时进行数据更新，就会出现两个不同接口调用的数据不同步的问题。下面以一个应用场景为例进行说明：

在该应用场景中需要将某个人设置为管理员(写操作)后，该人的头像处需要及时显示管理员标签(读操作)，然而由于读操作返回的数据不是最近一次更新后的数据，该人的头像处无法及时显示管理员标签，使得数据不同步，并且还可能会引发用户的误操作，比如重复执行将该人设置为管理员的写操作。

发明内容

有鉴于此，本发明提供一种数据处理方法和装置，以解决现有技术中存在的不同接口调用的数据不同步的问题。技术方案如下：

基于本发明的一方面，本发明提供一种数据处理方法，所述方法包括：

根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，其中所述第一数据为所述客户端对第二数据执行写操作成功后得到的数据，所述客户端在确定对所述第二数据执行写操作成功后调用所述读接口发送读取第一数据的读请求；

接收所述第三方接口返回的第三数据；

根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据；

将所述第一数据返回至所述客户端。

可选地，所述根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据包括：

根据所述读请求中携带的更新操作类型和发送所述读请求的所述读接口，从预设知识库中选取与所述读请求中携带的更新操作类型和发送所述读请求的所述读接口对应的写操作，并对所述第三数据执行所选取的写操作，得到所述第一数据，其中所述预设知识库中存储有读接口、更新操作类型和写操作之间的对应关系。

可选地，所述根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求之前，所述方法还包括：

判断所述读接口是否位于预设特殊接口集合中，所述预设特殊接口集合中的任一读接口为发生数据更新不同步的概率值大于预设阈值的接口；

如果所述读接口位于所述预设特殊接口集合中，则执行所述根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求的步骤。

可选地，所述方法还包括：

如果所述读接口不位于所述预设特殊接口集合中，则确定所述第一数据的存储地址，从所述存储地址中获取所述第一数据，并将获取的所述第一数据返回至所述客户端。

基于本发明的另一方面，本发明提供一种数据处理装置，所述装置包括：

请求单元，用于根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，其中所述第一数据为所述客户端对第二数据执行写操作成功后得到的数据，所述客户端在确定对所述第二数据执行写操作成功后调用所述读接口发送读取第一数据的读请求；

接收单元，用于接收所述第三方接口返回的第三数据；

写操作单元，用于根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据；

发送单元，用于将所述第一数据返回至所述客户端。

可选地，所述写操作单元具体用于，根据所述读请求中携带的更新操作类型和发送所述读请求的所述读接口，从预设知识库中选取与所述读请求中携带的更新操作类型和发送所述读请求的所述读接口对应的写操作，并对所述第三数据执行所选取的写操作，得到所述第一数据，其中所述预设知识库中存储有读接口、更新操作类型和写操作之间的对应关系。

可选地，所述装置还包括：

判断单元，用于判断所述读接口是否位于预设特殊接口集合中，所述预设特殊接口集合中的任一读接口为发生数据更新不同步的概率值大于预设阈值的接口；

所述请求单元具体用于，在所述判断单元判断所述读接口位于所述预设特殊接口集合中时，再根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求。

可选地，所述装置还包括：

确定单元，用于在所述判断单元判断所述读接口不位于所述预设特殊接口集合中时，确定所述第一数据的存储地址；

获取单元，用于从所述存储地址中获取所述第一数据；

此时所述发送单元还用于，将所述获取单元获取的所述第一数据返回至所述客户端。

本发明提供的数据处理方法和装置中包括，根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，其中所述第一数据为所述客户端对第二数据执行写操作成功后得到的数据，所述客户端在确定对所述第二数据执行写操作成功后调用所述读接口发送读取第一数据的读请求；接收所述第三方接口返回的第三数据；根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据；将所述第一数据返回至所述客户端。

本发明在接收到第三方接口返回的第三数据后，根据读请求中携带的更新操作类型，对第三数据执行与所述更新操作类型对应的写操作，即对第三数据进行一次本地的假写操作。因为该假写操作与客户端对第二数据执行的写操作相同，因此对第三数据执行与所述更新操作类型对应的写操作后能够得到第一数据，从而达到了数据实时同步更新，保证了不同接口调用的数据同步。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种数据处理方法的流程图；

图2为本发明提供的另一种数据处理方法的流程图；

图3为本发明提供的一种数据处理装置的结构示意图；

图4为本发明提供的另一种数据处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的发明人发现，数据不同步、不一致的情况往往发生在写操作之后立即去执行读操作这种实时性要求较高的应用场景，而如果读操作返回的数据不是最近一次更新后的数据，就会引发故障，甚至还会引起用户的误操作，比如重复执行相同的写操作等。由此本发明的发明人提出，对于可能出现数据不同步的接口，客户端与页面服务层(后端servlet层)可以预先设置在此情况下需要特殊处理的更新操作类型以及各更新操作类型对应的操作方法，进而建立接口、更新操作类型和写操作三者间的映射关系。

当客户端调用后端接口执行写操作后，如果写入成功，且马上需要执行读操作时，需要将此写操作的更新操作类型加入到当前的读请求中，一并告知页面服务层；页面服务层接到客户端发送的读请求后，首先请求第三方(业务方)执行读操作，并获取到第三方返回到数据后，根据预先建立的接口、更新操作类型和写操作三者间的映射关系，找到对数据的处理方法，对该数据进行一次本地的假写操作，再将假写操作后得到的数据返回给前端展示，从而实现数据实时同步更新。

具体地，如图1所示，其示出了本发明提供的一种数据处理方法的流程图，方法包括：

步骤101，根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，其中所述第一数据为所述客户端对第二数据执行写操作成功后得到的数据，所述客户端在确定对所述第二数据执行写操作成功后调用所述读接口发送读取第一数据的读请求。

本发明中，当客户端对第二数据执行写操作，并确定写操作成功后，客户端立即调用至少一个读接口，并通过所调用的读接口向页面服务层发送读取第一数据的读请求，其中第一数据为客户端对第二数据执行写操作成功后得到的数据，所述读请求包括所述写操作的更新操作类型。

本发明针对的是写操作完成后需要立即执行读操作的应用场景，以将某个人设置为管理员(写操作)后，需要在该人的头像处及时显示管理员标签(读操作)为例，当客户端对该人的人物属性(人物属性即第二数据)执行写入“管理员”的写操作，并确定该写操作成功后，第二数据成功更新为第一数据，此时客户端立即调用至少一个读接口，通过所述读接口向页面服务层发送读取第一数据的读请求。

本发明中客户端立即调用的读接口是可能会产生数据不同步的接口，可选地，本发明可以设置为对于可能会产生数据不同步的接口执行本发明步骤101，而对于不会产生数据不同步的接口则直接采用现有的数据请求、获取、返回的方法即可。

具体地，本发明可以预先设置一预设特殊接口集合，该预设特殊接口集合中的任一读接口为发生数据更新不同步的概率值大于预设阈值的接口，其中接口发生数据更新不同步的概率值可以采用例如统计接口在N次调用数据过程中的结果进行确定的方法等，N为正整数，预设阈值则根据实际需要进行设定，本发明对于如何确定接口发生数据更新不同步的概率值的方法以及预设阈值的具体大小不作限定。

本发明中，预设特殊接口集合中记载了各种可能会产生数据不同步的接口，只要判断出当前的读接口位于该预设特殊接口集合中，则可以确定当前的读接口为可能会产生数据不同步的接口。

因此可选地，如图2所示，本发明可以在步骤101之前包括：

步骤100，判断读接口是否位于预设特殊接口集合中。如果位于，执行步骤101，如果不位于，执行步骤105。

步骤105，确定所述第一数据的存储地址，从所述存储地址中获取所述第一数据，并将获取的所述第一数据返回至所述客户端。

其中，步骤105则可以采用现有的数据请求、获取、返回等的方法，本发明不再详细描述。

在本发明中，当判断读接口位于预设特殊接口集合中时，再执行步骤101根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求。而当判断读接口不位于所述预设特殊接口集合中时，可以确定该读接口返回的数据为最近一次更新后的数据，即正确的数据，此时可以直接根据客户端通过读接口发送的读取第一数据的读请求，确定所述第一数据的存储地址，进而从所述存储地址中获取所述第一数据并返回所述第一数据至所述客户端。

进一步本发明中，客户端立即调用的读接口不仅位于预设特殊接口集合中，还是预设的读接口、更新操作类型和写操作三者间的对应关系中的接口。

作为本发明的一个可选实施例，本发明中客户端和页面服务层可以预先协商建立一个知识库，所述知识库用于存储所述读接口、更新操作类型和写操作三者间的对应关系。

具体地，所述读接口、更新操作类型和写操作三者间的映射关系包括：一个读接口对应至少一个更新操作类型，一个更新操作类型对应一种写操作。为了便于描述，本发明定义I代表读接口，W代表更新操作类型，O代表写操作，那么读接口、更新操作类型和写操作三者间的对应关系可以包括：读接口I₁-更新操作类型W₁₁-写操作O₁₁、读接口I₁-更新操作类型W₁₂-写操作O₁₂、读接口I₁-更新操作类型W₁₃-写操作O₁₃、读接口I₂-更新操作类型W₂₁-写操作O₂₁、读接口I₂-更新操作类型W₂₂-写操作O₂₂等等。

需要说明的是，本发明中各个字母的小标仅用于区别不同的主体，例如I₁用于表示一个读接口，I₂用于表示另一个读接口。

进一步以前述示例为例进行说明，假设客户端为该人的人物属性执行写入“管理员”的写操作的更新操作类型为W₁₁，在确定该写操作成功后，客户端立即调用读接口I₁，并将该写操作的更新操作类型W₁₁放入至该读请求中，通过读接口I₁向页面服务层发送该读请求。

步骤102，接收所述第三方接口返回的第三数据。

本发明中，页面服务层接收到经由读接口I₁发送过来的读请求后，请求第三方接口执行所述读请求，并接收所述第三方接口返回的第三数据。

本发明中，第三方接口返回的第三数据可能是最近一次更新后的数据，也可能是未进行最近一次更新之前的数据。如果第三数据是最近一次更新后的数据，那么该返回的第三数据即是最新的数据，其与客户端对第二数据执行写操作后得到的第一数据一致。如果该返回的第三数据是未进行最近一次更新之前的数据，那么该返回的第三数据不是最新的数据，其与客户端对第二数据执行写操作后得到的第一数据不一致，即发生了数据不同步的问题。

步骤103，根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据。

具体地本发明中，页面服务层根据所述读请求中携带的更新操作类型W₁₁和发送所述读请求的所述读接口I₁，从预设知识库中选取与所述读请求中携带的更新操作类型W₁₁和发送所述读请求的所述读接口I₁对应的写操作O₁₁，并对所述第三数据执行所选取的写操作O₁₁，得到所述第一数据，其中所述预设知识库中存储有读接口、更新操作类型和写操作之间的对应关系。

本发明中，页面服务层接收到第三方接口返回的第三数据后，并不是直接将其返回至客户端呈现，而是根据预设的读接口、更新操作类型和操作方法三者间的对应关系，获取与读接口I₁、写操作的更新操作类型W₁₁对应的写操作O₁₁。进而，页面服务层按照所述写操作O₁₁的操作方法对所述第三数据执行写操作，得到一个新的数据。

本发明依据预设的读接口I₁、更新操作类型W₁₁和写操作O₁₁三者间的对应关系，获取到的与读接口I₁、写操作的更新操作类型W₁₁对应的写操作O₁₁即是客户端对第二数据执行写操作的操作方法。由此，页面服务层在本地采用与客户端对第二数据执行写操作的相同操作方法对第三数据执行写操作，该得到的新的数据与第一数据一致，即该得到的新的数据实质就是第一数据，由此保证了数据的一致性。

步骤104，将所述第一数据返回至所述客户端。

本发明中，页面服务层得到第一数据后，将该得到的第一数据返回至客户端。

需要说明的是，本发明提供的数据处理方法中，如果步骤102中页面服务层接收到的第三方接口返回的第三数据本就是最近一次更新后的数据，即不存在数据不同步的问题时，本发明对第三数据复写写操作O₁₁的操作也不会污染数据，而只是将数据重写(覆盖)一遍。

因此，应用本发明提供的数据处理方法，当客户端对第二数据执行写操作，并确定所述写操作成功后，客户端立即调用至少一个读接口，并通过所述读接口向页面服务层发送读取第一数据的读请求，其中第一数据为客户端对第二数据执行写操作成功后得到的数据；页面服务层根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，并接收第三方接口返回的第三数据；进而，页面服务层根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据，最后将所述第一数据返回至所述客户端。

本发明中，页面服务层在接收到第三方接口返回的第三数据后，根据读请求中携带的更新操作类型，对第三数据执行与所述更新操作类型对应的写操作，即对第三数据进行一次本地的假写操作。因为该假写操作与客户端对第二数据执行的写操作相同，因此对第三数据执行与所述更新操作类型对应的写操作后能够得到第一数据，从而达到了数据实时同步更新，保证了不同接口调用的数据同步。

基于前文本发明提供的一种数据处理方法，本发明还提供一种数据处理装置，如图3所示，包括：

请求单元100，用于根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，其中所述第一数据为所述客户端对第二数据执行写操作成功后得到的数据，所述客户端在确定对所述第二数据执行写操作成功后调用所述读接口发送读取第一数据的读请求；

接收单元200，用于接收所述第三方接口返回的第三数据；

写操作单元300，用于根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据；

发送单元400，用于将所述第一数据返回至所述客户端。

具体地本发明中，所述写操作单元300具体用于，根据所述读请求中携带的更新操作类型和发送所述读请求的所述读接口，从预设知识库中选取与所述读请求中携带的更新操作类型和发送所述读请求的所述读接口对应的写操作，并对所述第三数据执行所选取的写操作，得到所述第一数据，其中所述预设知识库中存储有读接口、更新操作类型和写操作之间的对应关系。

可选地，如图4所示，本发明提供的数据处理装置还可以包括：

判断单元500，用于判断所述读接口是否位于预设特殊接口集合中，所述预设特殊接口集合中的任一读接口为发生数据更新不同步的概率值大于预设阈值的接口；

此时所述请求单元100具体用于，在所述判断单元500判断所述读接口位于所述预设特殊接口集合中时，再根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求。

确定单元600，用于在所述判断单元500判断所述读接口不位于所述预设特殊接口集合中时，确定所述第一数据的存储地址；

获取单元700，用于从所述存储地址中获取所述第一数据；

此时所述发送单元400还用于，将所述获取单元700获取的所述第一数据返回至所述客户端。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种数据处理方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种数据处理方法，其特征在于，所述方法包括：

根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，其中所述第一数据为所述客户端对第二数据执行写操作成功后得到的数据，所述客户端在确定对所述第二数据执行写操作成功后调用所述读接口发送所述读取第一数据的读请求；

接收所述第三方接口返回的第三数据；

根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据；

将所述第一数据返回至所述客户端；

所述根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据包括：

根据所述读请求中携带的更新操作类型和发送所述读请求的所述读接口，从预设知识库中选取与所述读请求中携带的更新操作类型和发送所述读请求的所述读接口对应的写操作，并对所述第三数据执行所选取的写操作，得到所述第一数据，其中所述预设知识库中存储有读接口、更新操作类型和写操作之间的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求之前，所述方法还包括：

判断所述读接口是否位于预设特殊接口集合中，所述预设特殊接口集合中的任一读接口为发生数据更新不同步的概率值大于预设阈值的接口；

如果所述读接口位于所述预设特殊接口集合中，则执行所述根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求的步骤。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

如果所述读接口不位于所述预设特殊接口集合中，则确定所述第一数据的存储地址，从所述存储地址中获取所述第一数据，并将获取的所述第一数据返回至所述客户端。

4.一种数据处理装置，其特征在于，所述装置包括：

请求单元，用于根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求，其中所述第一数据为所述客户端对第二数据执行写操作成功后得到的数据，所述客户端在确定对所述第二数据执行写操作成功后调用所述读接口发送读取第一数据的读请求；

接收单元，用于接收所述第三方接口返回的第三数据；

写操作单元，用于根据所述读请求中携带的更新操作类型，对所述第三数据执行与所述更新操作类型对应的写操作，得到所述第一数据；

发送单元，用于将所述第一数据返回至所述客户端；

所述写操作单元具体用于，根据所述读请求中携带的更新操作类型和发送所述读请求的所述读接口，从预设知识库中选取与所述读请求中携带的更新操作类型和发送所述读请求的所述读接口对应的写操作，并对所述第三数据执行所选取的写操作，得到所述第一数据，其中所述预设知识库中存储有读接口、更新操作类型和写操作之间的对应关系。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

判断单元，用于判断所述读接口是否位于预设特殊接口集合中，所述预设特殊接口集合中的任一读接口为发生数据更新不同步的概率值大于预设阈值的接口；

所述请求单元具体用于，在所述判断单元判断所述读接口位于所述预设特殊接口集合中时，再根据客户端通过读接口发送的读取第一数据的读请求，请求第三方接口执行所述读请求。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

确定单元，用于在所述判断单元判断所述读接口不位于所述预设特殊接口集合中时，确定所述第一数据的存储地址；

获取单元，用于从所述存储地址中获取所述第一数据；

此时所述发送单元还用于，将所述获取单元获取的所述第一数据返回至所述客户端。

Images