CN109189813B - 一种数据共享方法及装置 - Google Patents

Abstract

本发明公开了一种数据共享方法及装置，包括：对待进行数据共享的数据库配置缓存集群；当有数据存储至数据库时，将数据缓存至缓存集群，并对缓存至缓存集群的数据进行数据一致性处理，实现缓存至缓存集群的数据与存入数据库的数据的一致性匹配；通过将缓存集群中的缓存数据实时匹配数据库中存储的数据，生成缓存集群的数据集合；接收用户的数据访问请求，根据数据访问请求调取缓存集群的数据集合中的目标数据，并将目标数据返回至用户。通过解决了多数据源数据共享以及数据访问效率较低的问题。

Description

一种数据共享方法及装置

技术领域

本发明涉及数据技术领域，特别是涉及一种数据共享方法及装置。

背景技术

近几年来，随着大数据时代的来临，越来越多的技术人员需要获取大量的数据，以便对数据进行分析和利用。由于数据的类型和来源不同，数据会被存放在多个数据库中，而用户只能每次只能对单一数据库进行访问，并且数据库和数据库之间不能相互访问，这就使得无法满足用户多渠道数据访问的复杂请求，进而使得数据访问效率降低。

发明内容

针对于上述问题，本发明提供一种数据共享方法及装置，解决了多数据源数据共享以及数据访问效率较低的问题。

为了实现上述目的，本发明提供了如下技术方案：

一种数据共享方法，包括：

对待进行数据共享的数据库配置缓存集群；

当有数据存储至数据库时，将所述数据缓存至所述缓存集群，并对缓存至所述缓存集群的数据进行数据一致性处理，实现所述缓存至所述缓存集群的数据与存入所述数据库的数据的一致性匹配；

通过将所述缓存集群中的缓存数据实时匹配数据库中存储的数据，生成所述缓存集群的数据集合；

接收用户的数据访问请求，根据所述数据访问请求调取所述缓存集群的数据集合中的目标数据，并将所述目标数据返回至所述用户。

可选地，所述对缓存至所述缓存集群的数据进行数据一致性处理，包括：

当有数据存储至数据库时，将所述数据缓存至所述缓存集群；

判断缓存至所述缓存集群的数据是否与存储至数据库的数据一致，如果是，则保留数据至缓存集群；

如果否，则获取缓存至所述缓存集群与存储至数据库的数据不一致的数据，并将所述不一致的数据记录到待恢复数据列表中。

可选地，所述通过将所述缓存集群中的缓存数据实时匹配数据库中存储的数据，生成所述缓存集群的数据集合，包括：

获取待恢复数据列表，并根据所述待恢复数据列表中的待恢复数据的时间戳信息，在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据；

将所述数据缓存至所述缓存集群中，并在所述待恢复数据列表中删除所述待恢复数据。

可选地，还包括：

设置数据调度任务时间间隔；

依据所述时间间隔，对所述待恢复数据进行恢复处理，其中，所述数据调度任务表征获取待恢复数据的任务，所述恢复处理为在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据，将所述数据缓存至所述缓存集群中。

可选地，所述接收用户的数据访问请求，根据所述数据访问请求调取所述缓存集群的数据集合中的目标数据，并将所述目标数据返回至所述用户，包括：

接收用户的数据访问请求；

对所述数据访问请求进行解析，获得与所述数据访问请求对应的标识信息；

在所述缓存集群中的数据集合中获取与所述标识信息对应的目标数据；

将所述目标数据发送至所述用户。

一种数据共享装置，包括：

配置单元，用于对待进行数据共享的数据库配置缓存集群；

处理单元，用于当有数据存储至数据库时，将所述数据缓存至所述缓存集群，并对缓存至所述缓存集群的数据进行数据一致性处理，实现所述缓存至所述缓存集群的数据与存入所述数据库的数据的一致性匹配；

生成单元，用于通过将所述缓存集群中的缓存数据实时匹配数据库中存储的数据，生成所述缓存集群的数据集合；

数据获取单元，用于接收用户的数据访问请求，根据所述数据访问请求调取所述缓存集群的数据集合中的目标数据，并将所述目标数据返回至所述用户。

可选地，所述处理单元包括：

缓存子单元，用于当有数据存储至数据库时，将所述数据缓存至所述缓存集群；

判断子单元，用于判断缓存至所述缓存集群的数据是否与存储至数据库的数据一致，如果是，则保留数据至缓存集群；

记录子单元，用于如果否，则获取缓存至所述缓存集群与存储至数据库的数据不一致的数据，并将所述不一致的数据记录到待恢复数据列表中。

可选地，所述生成单元包括：

获取子单元，用于获取待恢复数据列表，并根据所述待恢复数据列表中的待恢复数据的时间戳信息，在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据；

删除子单元，用于将所述数据缓存至所述缓存集群中，并在所述待恢复数据列表中删除所述待恢复数据。

可选地，还包括：

时间设置子单元，用于设置数据调度任务时间间隔；

恢复处理子单元，用于依据所述时间间隔，对所述待恢复数据进行恢复处理，其中，所述数据调度任务表征获取待恢复数据的任务，所述恢复处理为在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据，将所述数据缓存至所述缓存集群中。

可选地，所述数据获取单元包括：

接收子单元，用于接收用户的数据访问请求；

解析子单元，用于对所述数据访问请求进行解析，获得与所述数据访问请求对应的标识信息；

目标数据获取子单元，用于在所述缓存集群中的数据集合中获取与所述标识信息对应的目标数据；

数据发送子单元，用于将所述目标数据发送至所述用户。

相较于现有技术，本发明提供一种数据共享方法及装置，通过对待进行数据共享的数据库配置缓存集群，可以保证各个数据库中的数据均缓存至该缓存集群中，同时通过对数据一致性处理和将缓存集群中的缓存数据实时匹配数据库中的数据，保证了该缓存集群与数据库中数据的一致性和同步性，进而可以解决了数据库之间的数据缓存问题，实现了多数据源数据共享，便于用户对多数据源数据的访问，由于只需对缓存集群中的数据进行访问，解决了访问多个数据库造成的访问效率低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据共享方法的流程示意图；

图2为本发明实施例提供的一种数据缓存处理方法的流程示意图；

图3为本发明实施例提供的一种数据共享装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例中提供了一种数据共享方法，参见图1，包括：

S11、对待进行数据共享的数据库配置缓存集群。

为了解决数据库与数据库之间的数据无法共享的问题，为待进行数据共享的数据库配置缓存集群，同时提供缓存存储组件，该缓存存储组件部署在独立的缓存集群，提供远程接口，提供数据缓存能力，具备分布式高可用解决方案。即该缓存集群配置的缓存存储组件提供增、删、改、查的缓存接口，提供缓存内部一致性功能，提供多副本高可用机制。

S12、当有数据存储至数据库时，将所述数据缓存至所述缓存集群，并对缓存至所述缓存集群的数据进行数据一致性处理。

通过该步骤实现所述缓存至所述缓存集群的数据与存入所述数据库的数据的一致性匹配。

具体的，包括：

当有数据存储至数据库时，将所述数据缓存至所述缓存集群；

判断缓存至所述缓存集群的数据是否与存储至数据库的数据一致，如果是，则保留数据至缓存集群；

如果否，则获取缓存至所述缓存集群与存储至数据库的数据不一致的数据，并将所述不一致的数据记录到待恢复数据列表中。

当数据存储至数据库时，由于设置了缓存集群则需要在数据进行存储的同时，将该数据缓存至缓存集群中，但是由于网络原因或者其他故障原因会使得缓存数据并不完整或者完全准确地保存在缓存集群中。这时需要对缓存的数据进行一致性处理，即判断与存储至数据库中的数据是否完全一致，若检测到与存储到数据库中的数据不一致时，则将该数据作为待恢复存储至待恢复数据列表中

S13、通过将所述缓存集群中的缓存数据实时匹配数据库中存储的数据，生成所述缓存集群的数据集合。

当获取到待恢复数据列表时，则需要进行数据库与缓存集群之间的持久性处理，即保证缓存集群中的数据与存储到数据库中的数据一致。

具体的包括：

获取待恢复数据列表，并根据所述待恢复数据列表中的待恢复数据的时间戳信息，在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据；

将所述数据缓存至所述缓存集群中，并在所述待恢复数据列表中删除所述待恢复数据。

其中，根据待恢复数据的时间戳信息即主要获取该待恢复数据的出现时间或者生成时间，则可以匹配该数据存储至数据库中的原数据，这样可以进行再次获取该原数据。

S14、接收用户的数据访问请求，根据所述数据访问请求调取所述缓存集群的数据集合中的目标数据，并将所述目标数据返回至所述用户。

在获取到用户的数据访问请求时，可以根据该访问请求去匹配缓存集群中的数据，然后获取到该目标数据返回至用户。

本发明提供一种数据共享方法，通过对待进行数据共享的数据库配置缓存集群，可以保证各个数据库中的数据均缓存至该缓存集群中，同时通过对数据一致性处理和将缓存集群中的缓存数据实时匹配数据库中的数据，保证了该缓存集群与数据库中数据的一致性和同步性，进而可以解决了数据库之间的数据缓存问题，实现了多数据源数据共享，便于用户对多数据源数据的访问，由于只需对缓存集群中的数据进行访问，解决了访问多个数据库造成的访问效率低的问题。

参见图2为本发明实施例提供的一种数据缓存处理方法的流程示意图。包括：

前端发起业务请求；

数据落入待恢复数据列表；

数据落入缓存，若缓存操作失败则直接退出；

数据落入数据库持久化，数据库持久化操作失败则直接退出；

缓存和数据库持久化都成功，则删除该条待恢复数据，若删除失败则直接退出。

对数据进行恢复时采用的是异步调度操作，即通过定时任务的调度来进行处理，定时任务捞取预设时间段之前的数据恢复。例如，通过记录的类名和jason字符串信息，通过反射的方式恢复成对象，并入缓存和入库。具体的，若设置异步调度任务间隔5秒发起，每次捞取前30秒前的100条待恢复数据。对数据进行恢复操作。由于是基于内网的访问，需要恢复的数据理论上较少，建议设置在100条以下。

在获取到用户的数据访问请求后，需要对所述数据访问请求进行解析，获得与所述数据访问请求对应的标识信息；在所述缓存集群中的数据集合中获取与所述标识信息对应的目标数据；将所述目标数据发送至所述用户。

也就是该缓存集群会提供联机服务请求，客户端和缓存及取取暖服务端连接后，通过对数据请求中的标识进行计算，找到存储数据的服务器，将该数据发往服务器，数据存储后服务集群内进行组播，备份节点拿到需要备份的数据放入本地服务器。

在本方案中的缓存集群采用的是分布式缓存，而分布式缓存作为一个性能由另的高可靠性数据存储平台提供共享类型数据和高频访问数据的存储能力，同时数据持久化到关系型数据库中，进一步保证数据的可靠性。针对分布式缓存和数据库需要进行一致性处理的问题，引入异步处理方案，保证数据最终一致性。

在本发明实施例中还提供了一种数据共享装置，参见图3，包括：

配置单元10，用于对待进行数据共享的数据库配置缓存集群；

处理单元20，用于当有数据存储至数据库时，将所述数据缓存至所述缓存集群，并对缓存至所述缓存集群的数据进行数据一致性处理，实现所述缓存至所述缓存集群的数据与存入所述数据库的数据的一致性匹配；

生成单元30，用于通过将所述缓存集群中的缓存数据实时匹配数据库中存储的数据，生成所述缓存集群的数据集合；

数据获取单元40，用于接收用户的数据访问请求，根据所述数据访问请求调取所述缓存集群的数据集合中的目标数据，并将所述目标数据返回至所述用户。

相较于现有技术，本发明提供一种数据共享装置，通过配置单元对待进行数据共享的数据库配置缓存集群，可以保证各个数据库中的数据均缓存至该缓存集群中，同时通过处理单元和生成单元对数据一致性处理和将缓存集群中的缓存数据实时匹配数据库中的数据，保证了该缓存集群与数据库中数据的一致性和同步性，进而可以解决了数据库之间的数据缓存问题，实现了多数据源数据共享，便于用户对多数据源数据的访问，由于只需对缓存集群中的数据进行访问，解决了访问多个数据库造成的访问效率低的问题。

在图3实施例的基础上可选地，所述处理单元包括：

缓存子单元，用于当有数据存储至数据库时，将所述数据缓存至所述缓存集群；

判断子单元，用于判断缓存至所述缓存集群的数据是否与存储至数据库的数据一致，如果是，则保留数据至缓存集群；

记录子单元，用于如果否，则获取缓存至所述缓存集群与存储至数据库的数据不一致的数据，并将所述不一致的数据记录到待恢复数据列表中。

在图3实施例的基础上可选地，所述生成单元包括：

获取子单元，用于获取待恢复数据列表，并根据所述待恢复数据列表中的待恢复数据的时间戳信息，在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据；

删除子单元，用于将所述数据缓存至所述缓存集群中，并在所述待恢复数据列表中删除所述待恢复数据。

在图3实施例的基础上可选地，还包括：

时间设置子单元，用于设置数据调度任务时间间隔；

恢复处理子单元，用于依据所述时间间隔，对所述待恢复数据进行恢复处理，其中，所述数据调度任务表征获取待恢复数据的任务，所述恢复处理为在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据，将所述数据缓存至所述缓存集群中。

在图3实施例的基础上可选地，所述数据获取单元包括：

接收子单元，用于接收用户的数据访问请求；

解析子单元，用于对所述数据访问请求进行解析，获得与所述数据访问请求对应的标识信息；

目标数据获取子单元，用于在所述缓存集群中的数据集合中获取与所述标识信息对应的目标数据；

数据发送子单元，用于将所述目标数据发送至所述用户。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据共享方法，其特征在于，包括：

对待进行数据共享的多个数据库配置缓存集群；

当有数据存储至数据库时，将所述数据缓存至所述缓存集群，判断缓存至所述缓存集群的数据是否与存储至数据库的数据一致，如果是，则保留数据至缓存集群；如果否，则获取缓存至所述缓存集群与存储至数据库的数据不一致的数据，并将所述不一致的数据记录到待恢复数据列表中；

通过将所述缓存集群中的缓存数据实时匹配数据库中存储的数据，生成所述缓存集群的数据集合；获取待恢复数据列表，并根据所述待恢复数据列表中的待恢复数据的时间戳信息，在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据，将所述数据存储至所述缓存集群的数据集合；

接收用户的数据访问请求，根据所述数据访问请求调取所述缓存集群的数据集合中的目标数据，并将所述目标数据返回至所述用户。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据缓存至所述缓存集群的数据集合时，在所述待恢复数据列表中删除所述待恢复数据。

3.根据权利要求2所述的方法，其特征在于，还包括：

设置数据调度任务时间间隔；

依据所述时间间隔，对所述待恢复数据进行恢复处理，其中，所述数据调度任务表征获取待恢复数据的任务，所述恢复处理为在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据，将所述数据缓存至所述缓存集群中。

4.根据权利要求1所述的方法，其特征在于，所述接收用户的数据访问请求，根据所述数据访问请求调取所述缓存集群的数据集合中的目标数据，并将所述目标数据返回至所述用户，包括：

接收用户的数据访问请求；

对所述数据访问请求进行解析，获得与所述数据访问请求对应的标识信息；

在所述缓存集群中的数据集合中获取与所述标识信息对应的目标数据；

将所述目标数据发送至所述用户。

5.一种数据共享装置，其特征在于，包括：

配置单元，用于对待进行数据共享的数据库配置缓存集群；

处理单元，用于当有数据存储至数据库时，将所述数据缓存至所述缓存集群，判断缓存至所述缓存集群的数据是否与存储至数据库的数据一致，如果是，则保留数据至缓存集群；如果否，则获取缓存至所述缓存集群与存储至数据库的数据不一致的数据，并将所述不一致的数据记录到待恢复数据列表中；

生成单元，用于通过将所述缓存集群中的缓存数据实时匹配数据库中存储的数据，生成所述缓存集群的数据集合；获取待恢复数据列表，并根据所述待恢复数据列表中的待恢复数据的时间戳信息，在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据，将所述数据存储至所述缓存集群的数据集合；

数据获取单元，用于接收用户的数据访问请求，根据所述数据访问请求调取所述缓存集群的数据集合中的目标数据，并将所述目标数据返回至所述用户。

6.根据权利要求5所述的装置，其特征在于，所述生成单元还包括：

删除子单元，用于当所述与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据缓存至所述缓存集群的数据集合时，在所述待恢复数据列表中删除所述待恢复数据。

7.根据权利要求6所述的装置，其特征在于，还包括：

时间设置子单元，用于设置数据调度任务时间间隔；

恢复处理子单元，用于依据所述时间间隔，对所述待恢复数据进行恢复处理，其中，所述数据调度任务表征获取待恢复数据的任务，所述恢复处理为在与所述待恢复数据匹配的数据库中获取与所述待恢复数据对应的数据，将所述数据缓存至所述缓存集群中。

8.根据权利要求5所述的装置，其特征在于，所述数据获取单元包括：

接收子单元，用于接收用户的数据访问请求；

解析子单元，用于对所述数据访问请求进行解析，获得与所述数据访问请求对应的标识信息；

目标数据获取子单元，用于在所述缓存集群中的数据集合中获取与所述标识信息对应的目标数据；

数据发送子单元，用于将所述目标数据发送至所述用户。

Images