CN104615778A - 一种避免数据重抽的方法和装置及系统 - Google Patents

Abstract

本发明提供一种避免数据重抽的方法、装置和系统。该方法包括：建立对应每一种业务类型的Topic；从所述源数据库中抽取数据；确定当前抽取的数据的业务类型；将当前抽取的数据保存到所确定的业务类型对应的Topic中；从Topic中取出数据，将取出的数据分别分发给各个应用系统。本方案能够避免对源数据库的数据重抽问题。

Description

一种避免数据重抽的方法和装置及系统

技术领域

本发明涉及网络通信技术领域，特别涉及一种避免数据重抽的方法和装置及系统。

背景技术

随着信息数据量的几何增长，数据库中的数据亦疯狂暴涨。然而因为一些特定需求，需要将一个数据库中的某些(或全部)数据输送到多个应用系统中，比如应用系统的数据库(关系或非关系)中。

目前，将一个源数据库比如数据库A中的某些(或全部)数据导入到多个应用系统的方法包括：需要使用数据的多个应用系统各自分别从源数据库中直接抽取数据。

可见，在现有技术中，对于一个源数据库中的同一份数据，需要被不同的应用系统重复抽取多次，从而导致了数据多次抽取的各种问题。比如，多次抽取，对源数据库如上述数据库A产生了较大处理压力。再如，当数据量很大时，多次数据抽取将过度占用网络带宽，可能对正常网络通信产生较大影响。

发明内容

本发明提供一种避免数据重抽的方法和装置，能够解决现有技术中数据多次重抽的问题。

一种避免数据重抽的方法，包括：

建立对应每一种业务类型的Topic；

从所述源数据库中抽取数据；

确定当前抽取的数据的业务类型；

将当前抽取的数据保存到所确定的业务类型对应的Topic中；

从Topic中取出数据，将取出的数据分别分发给各个应用系统。

该方法进一步包括：根据业务类型的数据量的大小，将多个业务类型设置为同属于第一业务类型组；

所述建立对应每一种业务类型的Topic包括：将属于第一业务类型组的多个业务类型设置为对应一个第一Topic；

在所述建立对应每一种业务类型的Topic之后，进一步包括：在所述第一Topic中设置多个标签tag，每一个tag对应第一业务类型组中的一个业务类型；

所述将当前抽取的数据保存到所确定的业务类型对应的Topic中包括：如果当前抽取的数据的业务类型属于所述第一业务类型组，则将当前抽取的数据保存到第一Topic中的所确定业务类型对应的Tag下。

所述tag表示数据中的具体表或者一个特定的数据逻辑。

所述将取出的数据分别分发给各个应用系统包括：

由strom将取出的数据分别分发给各个应用系统。

基于RoketMQ数据总线，执行所述从所述源数据库中抽取数据及所述将当前抽取的数据保存到所确定的业务类型对应的Topic中。

一种避免数据重抽的装置，包括：

Topic建立单元，用于建立对应每一种业务类型的Topic；

数据抽取单元，用于从所述源数据库中抽取数据；

保存处理单元，用于确定当前抽取的数据的业务类型；将当前抽取的数据保存到所确定的业务类型对应的Topic中；

分发单元，用于从Topic中取出数据，将取出的数据分别分发给各个应用系统。

进一步包括：类型划分单元，用于根据业务类型的数据量的大小，将多个业务类型设置为同属于第一业务类型组；

所述Topic建立单元，将属于第一业务类型组的多个业务类型设置为对应一个第一Topic；并进一步在所述第一Topic中设置多个标签tag，每一个tag对应第一业务类型组中的一个业务类型；

所述保存处理单元，在当前抽取的数据的业务类型属于所述第一业务类型组时，将当前抽取的数据保存到第一Topic中的所确定业务类型对应的Tag下。

所述分发单元为基于实时数据处理框架strom单元。

所述数据抽取单元与所述保存处理单元基于RoketMQ数据总线，执行所述从所述源数据库中抽取数据及所述将当前抽取的数据保存到所确定的业务类型对应的Topic中。

一种避免数据重抽的系统，包括多个应用系统，以及上述任意一种避免数据重抽的装置。

本发明实施例提供了一种避免数据重抽的方法、装置和系统，从源数据库中抽取一次数据，并将数据保存到Topic中，后续多个应用系统无需从源数据库中抽取数据，而是将Topic中的数据分别分发到各个应用系统即可。可见，对于源数据库没有进行针对多个应用系统的多次重抽。

在本发明实施例中，源数据库中的数据会对应多种业务类型，可以根据数据的业务类型来建立Topic，后续从源数据库中抽取的数据可以按照数据类型保存到各自的Topic中，这样则可以避免数据存入Topic时发生的数据阻塞的问题。

在本发明实施例中，一次抽取，多处分发，从根本上减小了源数据库的压力，减轻了网络通信的负担，使对高性能服务器的依赖性降低，增强了工作的效率和稳定性，且拥有较好的可扩展性，具有很好的推广使用价值。

附图说明

图1是本发明一个实施例中避免数据重抽的方法的流程图。

图2是本发明另一个实施例中避免数据重抽的方法的流程图。

图3是本发明一个实施例中避免数据重抽的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一个实施例提出了一种避免数据重抽的方法，参见图1，该方法包括：

步骤101：建立对应每一种业务类型的Topic；

步骤102：从源数据库中抽取数据；

步骤103：确定当前抽取的数据的业务类型；

步骤104：将当前抽取的数据保存到所确定的业务类型对应的Topic中；

步骤105：从Topic中取出数据，将取出的数据分别分发给各个应用系统。

可见，本发明该实施例能够从源数据库中抽取一次数据，并将数据保存到Topic中，后续多个应用系统无需从源数据库中抽取数据，而是将Topic中的数据分别分发到各个应用系统即可。可见，对于源数据库没有进行针对多个应用系统的多次重抽。

在本发明的一个实施例中，为了复用Topic资源，可以将数据量较小的业务类型的数据保存到同一个Topic中，并通过对应各个业务类型的标签来区分同一个Topic中的不同业务类型。

在本发明的一个实施例中，可以由strom或者其他的下线处理系统执行将取出的数据集分别分发给各个应用系统。

在本发明的一个实施例中，可以是基于RoketMQ数据总线执行有序分发的处理。比如，执行所述从所述源数据库中抽取数据及所述将当前抽取的数据保存到所确定的业务类型对应的Topic中。

参见图2，在本发明的另一个实施例中，避免数据重抽的过程包括：

步骤201：根据业务类型的数据量的大小，将数据量较小的多个业务类型设置为对应一个Topic。

对于此类对应多个业务类型的Topic，记为第一Topic。

这里，可以有多个第一Topic，比如一个第一Topic中对应业务类型A和B，另一个第一Topic中对应业务类型C、D和E。

步骤202：根据业务类型的数据量的大小，将数据量较大的每一个业务类型设置为分别对应一个Topic。

在实际的业务实现中，每一种业务类型的数据量大小是相差很大的。比如，对于卡口数据，其采集的是道路上各种车辆及其他交通信息，其数据量非常大。而对于其他的业务类型，比如宾馆数据或者网吧数据，其数据量则相对较小。为了后续能够复用Topic资源，在上述步骤中，可以将数据量较小的业务类型设置为对应同一个Topic，以便复用该Topic，而数据量较大的业务类型则需要分别各自占用一个Topic。比如，对于宾馆数据或者网吧数据，可以设置其均对应Topic1，而对于卡口数据，设置其对应Topic2。

步骤203：在第一Topic中设置多个标签tag，每一个tag对应该第一Topic所对应的多个业务类型中的一个业务类型。

比如，上述Topic1中可以设置2个标签tag，tag1对应宾馆数据，tag2对应网吧数据，从而能够从一个Topic中区分出不同业务类型的数据，分别存储和分发。

并且，所述tag可以表示数据中的具体表或者一个特定的数据逻辑。

步骤204：基于RoketMQ数据总线从源数据库中抽取数据。

步骤205：确定当前抽取的数据的业务类型。

步骤206：基于RoketMQ数据总线，将当前抽取的数据保存到所确定的业务类型对应的Topic中。

在上述步骤205和步骤206中，比如确定的数据的业务类型为卡口数据，则可以将数据保存到卡口数据对应的Topic2中。

如果当前抽取的数据的业务类型属于上述复用Topic的多个业务类型中的一个，比如为网吧数据，则将当前抽取的数据保存到Topic1中的Tag2下。

步骤207：Storm从Topic中取出数据，将取出的数据分别分发给各个应用系统。

这里，为了进一步保证数据分发的实时性，可以由Storm中的Spout实时监听所述Topic，在监听到有数据被存入所述Topic时，拉取所述Topic中当前被存入的数据，并将拉取的数据发送给Storm中的Bolt；Bolt根据预先获取的逻辑规则，对所述拉取的数据进行逻辑处理，比如分别分发给各个应用系统。

在本步骤中，也可以是其他的下线处理系统从Topic中取出数据，将取出的数据分别分发给各个应用系统。

本发明一个实施例提出了一种避免数据重抽的装置，参见图3，包括：

Topic建立单元301，用于建立对应每一种业务类型的Topic；

数据抽取单元302，用于从所述源数据库中抽取数据；

保存处理单元303，用于确定当前抽取的数据的业务类型；将当前抽取的数据保存到所确定的业务类型对应的Topic中；

分发单元304，用于从Topic中取出数据，将取出的数据分别分发给各个应用系统。

在本发明一个实施例中，所述Topic建立单元301，用于根据业务类型的数据量的大小，将多个业务类型设置为对应一个第一Topic；并进一步在所述第一Topic中设置多个标签tag，每一个tag对应所述多个业务类型中的一个业务类型；

所述保存处理单元303，在当前抽取的数据的业务类型属于所述多个业务类型中的一个时，则将当前抽取的数据保存到第一Topic中的所确定业务类型对应的Tag下。

在本发明一个实施例中，所述分发单元304为基于实时数据处理框架strom单元。

在本发明一个实施例中，所述数据抽取单元302与所述保存处理单元303基于RoketMQ数据总线，执行所述从所述源数据库中抽取数据及所述将当前抽取的数据保存到所确定的业务类型对应的Topic中。

本发明一个实施例还提出了一种避免数据重抽的系统，包括多个应用系统，以及本发明任意一个实施例提出的避免数据重抽的装置。

本发明的实施例至少具有如下的有益效果：

1、从源数据库中抽取一次数据，并将数据保存到Topic中，这样，Topic就可以作为抽取数据的中间代理，后续多个应用系统无需从源数据库中抽取数据，而是将作为中间代理的Topic中的数据分别分发到各个应用系统即可。可见，对于源数据库没有进行针对多个应用系统的多次重抽。

2、源数据库中的数据会对应多种业务类型，可以根据数据的业务类型来建立Topic，后续从源数据库中抽取的数据可以按照数据类型保存到各自的Topic中，这样则可以避免数据存入Topic时发生的数据阻塞的问题。

3、一次抽取，多处分发，从根本上减小了源数据库的压力，减轻了网络通信的负担，使对高性能服务器的依赖性降低，增强了工作的效率和稳定性，且拥有较好的可扩展性，具有很好的推广使用价值。

4、可以由Storm中的Spout实时监听所述Topic，在监听到有数据被存入所述Topic时，拉取所述Topic中当前被存入的数据，并将拉取的数据发送给Storm中的Bolt；Bolt根据预先获取的逻辑规则，对所述拉取的数据进行逻辑处理，比如分别分发给各个应用系统。从而进一步保证了数据分发的实时性。

5、可以将数据量较小的多个业务类型的数据保存到同一个Topic中，并通过对应各个业务类型的标签来区分同一个Topic中的不同业务类型，从而能够复用Topic资源。

6、能够利用RocketMQ数据总线技术实现避免数据重抽，因此，可以实现支持严格的消息顺序、亿级消息堆积能力、比较友好的分布式特性、支持Topic与Queue两种模式。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种避免数据重抽的方法，其特征在于，包括：

建立对应每一种业务类型的Topic；

从所述源数据库中抽取数据；

确定当前抽取的数据的业务类型；

将当前抽取的数据保存到所确定的业务类型对应的Topic中；

从Topic中取出数据，将取出的数据分别分发给各个应用系统。

2.根据权利要求1所述的方法，其特征在于，所述建立对应每一种业务类型的Topic包括：根据业务类型的数据量的大小，将多个业务类型设置为对应一个第一Topic；

在所述建立对应每一种业务类型的Topic之后，进一步包括：在所述第一Topic中设置多个标签tag，每一个tag对应所述多个业务类型中的一个业务类型；

所述将当前抽取的数据保存到所确定的业务类型对应的Topic中包括：如果当前抽取的数据的业务类型属于所述多个业务类型中的一个，则将当前抽取的数据保存到第一Topic中的所确定业务类型对应的Tag下。

3.根据权利要求2所述的方法，其特征在于，

所述tag表示数据中的具体表或者一个特定的数据逻辑。

4.根据权利要求1所述的方法，其特征在于，所述将取出的数据分别分发给各个应用系统包括：

由strom将取出的数据分别分发给各个应用系统。

5.根据权利要求1至4中任一所述的方法，其特征在于，基于RoketMQ数据总线，执行所述从所述源数据库中抽取数据及所述将当前抽取的数据保存到所确定的业务类型对应的Topic中。

6.一种避免数据重抽的装置，其特征在于，包括：

Topic建立单元，用于建立对应每一种业务类型的Topic；

数据抽取单元，用于从所述源数据库中抽取数据；

保存处理单元，用于确定当前抽取的数据的业务类型；将当前抽取的数据保存到所确定的业务类型对应的Topic中；

分发单元，用于从Topic中取出数据，将取出的数据分别分发给各个应用系统。

7.根据权利要求6所述的装置，其特征在于，所述Topic建立单元，用于根据业务类型的数据量的大小，将多个业务类型设置为对应一个第一Topic；并进一步在所述第一Topic中设置多个标签tag，每一个tag对应所述多个业务类型中的一个业务类型；

所述保存处理单元，在当前抽取的数据的业务类型属于所述多个业务类型中的一个时，则将当前抽取的数据保存到第一Topic中的所确定业务类型对应的Tag下。

8.根据权利要求6所述的装置，其特征在于，

所述分发单元为基于实时数据处理框架strom单元。

9.根据权利要求6至8中任一所述的装置，其特征在于，所述数据抽取单元与所述保存处理单元基于RoketMQ数据总线，执行所述从所述源数据库中抽取数据及所述将当前抽取的数据保存到所确定的业务类型对应的Topic中。

10.一种避免数据重抽的系统，其特征在于，包括多个应用系统，以及如权利要求6至9中任一所述的装置。