CN108304267A - 高可靠低资源开销的多源数据引接方法 - Google Patents

Abstract

本发明提供一种高可靠低资源开销的多源数据引接方法，包括：根据一预先设定的引接规则对至少一个数据源进行分类处理，将其数据源信息更改为配置信息，并且为每一类数据源分配一引接服务；采用引接服务以接收与之对应的数据源发送的数据，将数据规范格式后发送至分布式消息队列与该类数据源对应的主题中；响应于其中一个应用程序发送的调阅信息，将与之对应的主题内的数据发送至该应用程序。本发明通过容器技术、分布式消息队列技术、分布式协调技术，使整个数据引接过程具备的容灾、负载均衡、动态扩容等能力；通过配置信息外置于分布式协调服务，使引接模块无状态，可以同时启动多个副本来实现负载均衡和热启动。

Description

高可靠低资源开销的多源数据引接方法

技术领域

本发明涉及多源数据引接，属于一种高可靠低资源开销的多源数据引接方法。

背景技术

很多源数据引接技术的难点在于数据源的数量多，每一路数据源都有相应的数据处理程序，但是数据源发送数据是有时间间隔的，同一时间段可能有大量的数据源没有数据，处于空闲状态。同时对数据处理的时效性要求非常高，可能部分处理逻辑会比较复杂，需要依赖于之前处理的数据，即数据引接服务是有状态的。

多源数据引接目前主要有两种方式，一种是一个复杂引接程序，里面有很多的线程在运行，每个线程负责引接一路数据源的数据。这种方式将所有数据源的引接逻辑都集成在一个程序中，相互之间可能会产生影响，且当数据源增多时，不易切分，无法利用多台物理设备来提供计算资源。另一种是同时启动很多简单的引接程序，每一个简单引接程序负责引接一路数据源的数据。这种方式针对每路数据都启动一个常驻的进程进行处理，需要的分配很多的计算资源，在部分数据源没有数据时，会造成计算资源的极大浪费。

为解决多源数据引接的问题，一般是启动很多简单的引接程序，每一个简单引接程序负责引接一路数据源的数据。然后通过开发一个总控程序来负责数据处理程序的启停，这样的话可以将常驻进程的数量降低，一定程度上解决资源浪费的问题。

但是这一方案同样存在着一些问题，主要是某一路数据源来数据时，该方案需要重新启动一个新的处理程序，即引接处理程序存在冷启动的问题。这样在引接处理程序逻辑较为复杂时，启动时间可能会比较慢，从而增大引接数据的延时。另外一个问题就是引接程序上游引接数据源，下游对接应用，一旦中间出现问题就会造成数据的丢失，可靠性低。

发明内容

本发明的目的在于提供一种高可靠低资源开销的多源数据引接方法，通过容器技术、分布式消息队列技术、分布式协调技术，使整个数据引接过程具备的容灾、负载均衡、动态扩容等能力；通过配置信息外置于分布式协调服务，使引接模块无状态，可以同时启动多个副本来实现负载均衡和热启动；对于已有的业务系统，使用本发明提出的技术方案对数据引接进行改造时，通过引入信号处理框架以及对应用程序进行合理划分的方式，最大程度上减少由于技术方案改变而带来的应用程序改造的代价。

为达到上述目的，本发明提供如下技术方案：

一种高可靠低资源开销的多源数据引接方法，所述方法包括：

根据一预先设定的引接规则对至少一个数据源进行分类处理，将其数据源信息更改为配置信息，并且为每一类数据源分配一引接服务；

提供一分布式消息队列，该分布式消息队列中建立有若干个主题，每个主题对应一类数据源以及一应用程序；

采用引接服务以接收与之对应的数据源发送的数据，将数据规范格式后发送至分布式消息队列与该类数据源对应的主题中；

响应于其中一个应用程序发送的调阅信息，将与之对应的主题内的数据发送至该应用程序。

进一步的实施例中，所述方法还包括：

提供一分布式协调服务以记录各引接程序的状态信息、以及为对应的引接程序分配任务。

进一步的实施例中，所述引接程序和应用程序均存储在容器中，采用一容器集群管理系统以管理容器。

进一步的实施例中，所述方法还包括：

为每类引接程序启动若干个容器以响应引接数据处理任务，其中，分配给每类引接程序的空闲容器的数量满足一设定阈值，以及

响应于系统运行过程中、其中一类引接程序的空闲容器数小于其所对应的设定阈值时，启动新的容器以维持该类引接程序的空闲容器数至满足设定阈值。

进一步的实施例中，所述方法还包括：

响应于系统运行过程中、其中一类引接程序的空闲容器数大于其所对应的设定阈值时，触发一回收逻辑以关闭冗余空闲容器。

进一步的实施例中，所述方法还包括：

提供一引接程序控制器，采用引接程序控制器对引接程序的容器进行管理。

进一步的实施例中，所述引接程序控制器被设置成通过与容器集群管理系统通信来启动和停止一指定容器。

进一步的实施例中，所述方法还包括：

提供一应用程序控制器，采用应用程序控制器对应用程序进行管理。

进一步的实施例中，所述采用应用程序控制器对应用程序进行管理是指，

采用应用程序控制器以启动应用处理程序，并在应用程序控制器和应用处理程序之间建立管道；

响应于任意一个引接程序获取引接任务，监听分布式消息队列并且获取引接到的数据，将数据通过管道发送至对应的应用处理程序；

接收前述应用处理程序发送的回执，结束本轮数据处理流程。

进一步的实施例中，所述应用程序的工作方法包括：

步骤1、启动应用程序，申请内存，并且初始化相关配置信息；

步骤2、与一信号处理框架建立隧道链接；

步骤3、采用阻塞模式以获取数据；

步骤4、对获取的数据进行处理；

步骤5、将处理结果汇报至一指定地址；

步骤6、重复步骤3-5；

步骤7、结束本次工作流程，关闭应用程序。

本发明的有益效果在于：

(1)通过容器技术、分布式消息队列技术、分布式协调技术，使整个数据引接过程具备的容灾、负载均衡、动态扩容等能力。

(2)通过配置信息外置于分布式协调服务，使引接模块无状态，可以同时启动多个副本来实现负载均衡和热启动。

(3)对于已有的业务系统，使用本发明提出的技术方案对数据引接进行改造时，通过引入信号处理框架以及对应用程序进行合理划分的方式，最大程度上减少由于技术方案改变而带来的应用程序改造的代价。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1为本发明的高可靠低资源开销的多源数据引接方法的工作流程图。

图2为本发明的系统架构图。

图3为本发明的系统实现结构图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

结合图1，本发明提及一种高可靠低资源开销的多源数据引接方法，所述方法包括：

步骤a、根据一预先设定的引接规则对至少一个数据源进行分类处理，将其数据源信息更改为配置信息，并且为每一类数据源分配一引接服务。

步骤b、提供一分布式消息队列，该分布式消息队列中建立有若干个主题，每个主题对应一类数据源以及一应用程序。

步骤c、采用引接服务以接收与之对应的数据源发送的数据，将数据规范格式后发送至分布式消息队列与该类数据源对应的主题中。

步骤d、响应于其中一个应用程序发送的调阅信息，将与之对应的主题内的数据发送至该应用程序。

具体的，首先，在步骤a中，本技术方案通过分析数据源和引接服务，将数据源按照引接处理逻辑归类，然后将数据源信息改为配置信息，这样可以将引接服务与数据源解耦；其次，在步骤b中引入分布式消息队列，将数据按照数据源分类建主题；再次，在步骤c中，引接服务将引接到的数据存入不同的主题；最后，在步骤d中，上层的业务应用通过订阅消息队列的主题来接收信息，将引接服务与应用处理层解耦。

引接服务只负载接收数据源发送过来的数据，规范格式后发送给分布式消息队列，而应用处理模块通过监听分布式消息队列来获取数据，经过以上数次解耦后的引接服务可以实现无状态。

将引接到的数据存入一消息中间件，即分布式消息队列，以实现引接程序和应用程序的松耦合，同时由于利用了分布式消息队列技术，还可以保证数据处理的高可靠，确保数据的冗余的同时，使所有数据得以被正常处理。

在一些例子中，可以提供一分布式协调服务以记录各引接程序的状态信息、以及为对应的引接程序分配任务。通过分布式协调服务保存引接程序的状态信息，实现引接程序和数据源的松耦合，提高引接程序的复用性以降低开销等等，同时可以避免数据源、应用程序与引接程序的直接对接，避免出现其中任意一环出现故障时造成的数据丢失问题。

优选的，所述引接程序和应用程序均存储在容器中，该容器具有一容器集群管理系统。引接程序和应用处理程序全部都放在容器之中，享受容器技术所具备的容灾、负载均衡、动态扩容等能力。

基于前述容器技术，所述方法还包括：

为每类引接程序启动若干个容器以响应引接数据处理任务，其中，分配给每类引接程序的空闲容器的数量满足一设定阈值，以及响应于系统运行过程中、其中一类引接程序的空闲容器数小于其所对应的设定阈值时，启动新的容器以维持该类引接程序的空闲容器数至满足设定阈值。

系统启动之后，容器集群管理系统会为每类引接程序启动若干个容器以响应引接数据处理任务。在系统运行中当一类处理程序的空闲容器数小于指定数目时，容器集群管理系统便会启动新的相应的容器以使系统一直有空闲容器能够随时响应新的处理任务。可以将空闲的引接程序容器类比为进程池，而任务分配的信息将会记录在容器外的分布式协调服务中。

而在系统运行过程中，如果其中一类引接程序的空闲容器数大于其所对应的设定阈值时，触发一回收逻辑以关闭冗余空闲容器，以节约容器资源。

优选的，所述方法还包括：

提供一引接程序控制器，采用引接程序控制器对引接程序的容器进行管理。

结合图2、图3，基于引接程序控制器，本发明提及一种引接程序控制器和引接程序的工作方法。

第一步，引接程序控制器按预设规则生成容器(如A1,A2,B1,B2…)。

第二步，当数据源发生变化时，引接程序控制器会收到信号，通过分布式协调服务为指定容器分配任务。

这一步中，如果没有设置分布式协调服务，引接程序控制器需要直接监测数据源的变化，如果设置有分布式协调服务，引接程序控制器只需要监测分布式协调服务的状态。

第三步，容器通过监听分布式协调服务中与自身相关的节点信息来获取任务，加载数据源相关的配置信息。

由于容器已经预先启动好，此时只需要加载配置，所以可以保证引接数据的时效性。如前所述，分配给每类引接程序的空闲容器的数量均满足一设定阈值，在系统运行中当一类应用程序的空闲容器数小于设定阈值时，容器集群管理系统便会启动新的相应的容器以使系统一直有空闲容器能够随时响应新的处理任务，正是为了保证每类引接程序在任一时刻均具有一定数量的空闲容器用以响应任务。

第四步，数据经过引接处理之后写入分布式消息队列对应数据源的分类中，至此，该容器中的引接程序完成了本次对数据的引接任务。

第五步，当引接任务处理完成容器闲置时，将分布式协调服务中与自身相关的节点信息置为空。

引接程序控制器通过监听分布式协调服务中所有数据的变化来获知容器的状态，当闲置容器数量达到回收条件时，触发回收逻辑关闭冗余空闲容器以节省资源，以节约冗余容器。

优选的，所述引接程序控制器被设置成通过与容器集群管理系统通信来启动和停止指定的容器。

在实际运行中引接程序控制器可能会有多个实例，优选的，在进行数据修改时加设一分布式锁。

本系统应用层上的各类应用主要是使用C/C++语言开发的，如果直接在现有应用代码的基础上添加与分布式消息队列及分布式协调服务的访问逻辑的话，不但开发成本会很大而且对现有代码结构也会造成很大的影响，更重要的是这样的实现方式耦合度太高，对合作开发极为不利。

为解决上述问题，可以采用一套应用服务控制器负责与分布式消息队列、分布式协调服务交互，以及控制应用程序的生命周期。

在另一些例子中，本发明还提及一种关于应用程序的管理方法：

提供一应用程序控制器，采用应用程序控制器对应用程序进行管理。

所述“采用应用程序控制器对应用程序进行管理”是指：

步骤一、采用应用程序控制器以启动应用处理程序，并在应用程序控制器和应用处理程序之间建立管道。

步骤二、响应于任意一个引接程序获取引接任务，监听分布式消息队列并且获取引接到的数据，将数据通过管道发送至对应的应用处理程序。

步骤三、接收前述应用处理程序发送的回执，结束本轮处理流程，进入下一轮数据引接处理。

结合图3，应用程序控制器作为守护进程启动后首先启动应用处理程序，并与其建立管道，之后监听分布式协调服务来获取任务，得到任务后开始监听分布式消息队列获取数据，拿到数据后通过管道发送给应用处理程序并等待回执，收到回执后进行下一轮处理。

所述应用程序的工作方法包括：

步骤1、启动应用程序，申请内存，并且初始化相关配置信息。

步骤2、与一信号处理框架建立隧道链接。

步骤3、采用阻塞模式以获取数据。

步骤4、对获取的数据进行处理。

步骤5、将处理结果汇报至一指定地址。

步骤6、重复步骤3-5。

步骤7、结束本次工作流程，关闭应用程序。

其中，步骤3中约定两种特定数据：一种表示应用空闲重置程序，一种表示关闭程序，当接收到这两种特定数据时，做特殊处理，前述工作流程仅针对这两种特定数据之外的数据。

具体的，为了实现应用代码和应用程序控制器的通信，建议应用程序按阶段划分为几个处理过程，建议方案如下：

a)init()//初始化阶段，申请内存并初始化必要的信息

b)pipe＝create_pipe()//与信号处理框架建立隧道链接

c)data＝pipe.fetch_data()//阻塞模式获取数据，约定两种特定数据：一种表示应用空闲重置程序reset(),一种表示关闭程序close()

d)res＝proc(data)//处理数据，获得结果

e)pipe.push_data(res)//汇报结果

重复步骤c)至e)以获取新的数据。

当接收到前述两种特定数据时，例如表示关闭程序的数据时，则关闭应用程序，终止应用程序的本次工作流程，同理，当接收到表示应用空闲重置程序的数据时，重置应用程序。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种高可靠低资源开销的多源数据引接方法，其特征在于，所述方法包括：

根据一预先设定的引接规则对至少一个数据源进行分类处理，将其数据源信息更改为配置信息，并且为每一类数据源分配一引接服务；

提供一分布式消息队列，该分布式消息队列中建立有若干个主题，每个主题对应一类数据源以及一应用程序；

采用引接服务以接收与之对应的数据源发送的数据，将数据规范格式后发送至分布式消息队列与该类数据源对应的主题中；

响应于其中一个应用程序发送的调阅信息，将与之对应的主题内的数据发送至该应用程序。

2.根据权利要求1所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述方法还包括：

提供一分布式协调服务以记录各引接程序的状态信息、以及为对应的引接程序分配任务。

3.根据权利要求1所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述引接程序和应用程序均存储在容器中，采用一容器集群管理系统以管理容器。

4.根据权利要求3所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述方法还包括：

为每类引接程序启动若干个容器以响应引接数据处理任务，其中，分配给每类引接程序的空闲容器的数量满足一设定阈值，以及

响应于系统运行过程中、其中一类引接程序的空闲容器数小于其所对应的设定阈值时，启动新的容器以维持该类引接程序的空闲容器数至满足设定阈值。

5.根据权利要求4所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述方法还包括：

响应于系统运行过程中、其中一类引接程序的空闲容器数大于其所对应的设定阈值时，触发一回收逻辑以关闭冗余空闲容器。

6.根据权利要求3所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述方法还包括：

提供一引接程序控制器，采用引接程序控制器对引接程序的容器进行管理。

7.根据权利要求6所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述引接程序控制器被设置成通过与容器集群管理系统通信来启动和停止一指定容器。

8.根据权利要求1-3任意一项所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述方法还包括：

提供一应用程序控制器，采用应用程序控制器对应用程序进行管理。

9.根据权利要求8所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述采用应用程序控制器对应用程序进行管理是指，

采用应用程序控制器以启动应用处理程序，并在应用程序控制器和应用处理程序之间建立管道；

响应于任意一个引接程序获取引接任务，监听分布式消息队列并且获取引接到的数据，将数据通过管道发送至对应的应用处理程序；

接收前述应用处理程序发送的回执，结束本轮数据处理流程。

10.根据权利要求9所述的高可靠低资源开销的多源数据引接方法，其特征在于，所述应用程序的工作方法包括：

步骤1、启动应用程序，申请内存，并且初始化相关配置信息；

步骤2、与一信号处理框架建立隧道链接；

步骤3、采用阻塞模式以获取数据；

步骤4、对获取的数据进行处理；

步骤5、将处理结果汇报至一指定地址；

步骤6、重复步骤3-5；

步骤7、结束本次工作流程，关闭应用程序。