CN106354795A - 一种分布式数据交换系统 - Google Patents

Abstract

本发明公开一种分布式数据交换系统，用于对并发数据进行数据交换，提供数据交换的效率。在上述系统中，界面编辑器创建数据采集流程，并将数据采集流程发送给数据交换客户端集群中的数据交换客户端节点；数据分流控制器根据分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据分流条件将待处理的并发数据流分割为多个数据字段，并将多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；数据交换客户端集群通过数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。

Description

一种分布式数据交换系统

技术领域

本发明涉及计算机技术领域，具体涉及一种分布式数据交换系统。

背景技术

随着信息化的发展，建立统一的数据中心将成为趋势。对于大型消费类的系统，包括电子商务、游戏类系统，由于是全新构建，数据将天生具备统一存储、统一建模的基因。而对于企业、政府、行业类的大数据系统，由于历史上已有众多的系统在线运行，要强行统一数据存储与建模，不具备可行性。在此种场景下，新建的大数据系统将通过企业服务总线(Enterprise Service Bus，ESB)的模式，与原有的在线数据生成系统对接，通过已有的系统进行数据采集，经过转换与建模后进行统一存储，以达到数据共享、互通的目的。

不管是大型的消费类还是企业、政府、行业类的系统，随着业务的发展以及历史数据的积累，都将形成数据量大、业务复杂的状况，也必将导致不同系统间需要大量、频繁地进行数据交换。在ESB的应用场景下，目前的ESB不支持并发处理的数据交换，并发的多个数据存储到数据库时会造成数据冲突，无法对持续产生的大量数据进行数据交换，数据交换的效率较低。

发明内容

本发明的目的在于提供一种分布式数据交换系统，用于对并发数据进行数据交换，提供数据交换的效率。

为了达到上述目的，本发明采用这样的如下技术方案：

本发明提供一种分布式数据交换系统，包括：

界面编辑器，用于创建数据采集流程，并将所述数据采集流程发送给数据交换客户端集群中的数据交换客户端节点，所述数据采集流程包括：数据源端地址、数据采集条件、采集字段信息、调度规则和分流控制器实现类；

数据分流控制器，用于根据所述分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据所述分流条件将所述待处理的并发数据流分割为多个数据字段，并将所述多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；

数据交换客户端集群，用于通过所述数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过所述各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。

采用上述技术方案后，本发明提供的技术方案将有如下优点：

在本发明实施例提供的分布式数据交换系统中，包括有界面编辑器、数据分流控制器和数据交换客户端集群，该数据交换客户端集群中包括有多个数据交换客户端节点，数据分类控制器能够根据分流条件将待处理的并发数据流分割为多个数据字段，并将多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点，各个数据交换客户端节点可以分别对相应的数据字段进行数据交换处理，各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。因此本发明实施例提供的分布式数据交换系统通过并发地进行数据采集与传输，能够对并发数据进行数据交换，提供数据交换的效率。

附图说明

图1为本发明实施例提供的分布式数据交换系统的组成结构示意图；

图2为本发明实施例提供的数据交换客户端集群部署结构示意图；

图3为本发明实施例提供的分流控制器锁示意图；

图4为本发明实施例提供的表输入分布式锁示意图；

图5为本发明涉及的数据交换过程示意图。

具体实施方式

本发明实施例提供了一种分布式数据交换系统，用于对并发数据进行数据交换，提供数据交换的效率。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

为了提高ESB的传输效率，本发明实施例中ESB必须能支持集群并发的方式进行数据采集与传输。本发明实施例提供的分布式数据交换系统能够通过数据采集源端和ESB连接，从而实现并发数据的交换。请求参阅图1所示，本发明实施例提供的分布式数据交换系统，包括：

界面编辑器，用于创建数据采集流程，并将数据采集流程发送给数据交换客户端集群中的数据交换客户端节点，数据采集流程包括：数据源端地址、数据采集条件、采集字段信息、调度规则和分流控制器实现类；

数据分流控制器，用于根据分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据分流条件将待处理的并发数据流分割为多个数据字段，并将多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；

数据交换客户端集群，用于通过数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。

在本发明实施例中，数据采集源端和ESB连接，从分布式数据交换系统可以通过数据采集源端采集到并发数据流，本发明实施例中分布式数据交换系统中设置有数据交换客户端集群，该数据交换客户端集群中包括有多个数据交换客户端节点，本发明实施例中分布式数据交换系统中还设置有数据分流控制器，该数据分流控制器能够控制对并发数据流的分流，从而实现对并发数据流的同步操作，解决目前的ESB无法传输并发数据流的问题，本发明实施例基于分布式的集群并发处理数据交换，以确保数据交换的高效性与稳定性。

在本发明的一些实施例中，数据交换客户端集群，还用于通过数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行加密处理，并在各个数据字段进行数据交换处理完成后再对各个数据字段进行解密处理，通过各个数据交换客户端节点将解密处理完成后的各个数据字段分别存储到数据库中。

如图2所示，为本发明的数据交换客户端集群部署结构示意图，通过部署集群的数据交换客户端节点，数据交换客户端集群通过每个数据交换客户端节点对数据分流控制器分配给该数据交换客户端节点的数据字段进行加密处理，当数据交换客户端节点完成对数据字段的数据交换处理之后，数据交换客户端集群再通过每个数据交换客户端节点对数据字段进行解密处理，再将解密处理完成后的各个数据字段分别存储到数据库中。数据采集后加密进入传输通道，数据交换客户端节点的输出端获取到数据时进行解密，确保了数据传输的完整性。

在本发明的一些实施例中，数据分类控制器，具体用于当数据交换客户端集群开始调度运行时，使用分流控制器锁从待处理的并发数据流计算出一个数据字段的开始数据位置和结束数据位置，将并发数据流中从开始数据位置至结束数据位置之间的数据字段配置给数据交换客户端集群中的一个数据交换客户端节点，使用分流控制器锁继续计算分配给数据交换客户端集群中的另一个数据交换客户端节点的数据字段。

如图3所示，为本发明实施例提供的分流控制器锁示意图。两地数据并发进行数据交换时，为了避免每个数据交换客户端节点重复采集数据，可以通过分流控制器锁控制、计算每个数据交换客户端节点需要采集的数据字段，当数据交换客户端节点开始调度运行时，先从分流控制器锁获取需要采集数据的开始数据位置和结束数据位置，获取完后，负责计算开始数据位置和结束数据位置的分流控制器锁再释放给其他数据交换客户端节点节点使用。分流控制器锁通过多个节点任务调度器用于各个数据交换客户端节点获取各自对应的数据字段。举例说明，一个数据交换客户端节点的节点任务调度器分组定时调度任务，使用分类控制器锁确定该数据交换客户端节点需要采集的数据字段。

进一步的，在本发明的一些实施例中，数据交换客户端集群，具体用于使用分流控制器锁获取到分配给各个数据交换客户端节点的开始数据位置和结束数据位置，触发各个数据交换客户端节点根据配置给对应数据交换客户端节点的开始数据位置和结束数据位置从并发数据流中获取到对应各个数据交换客户端节点的数据字段。

具体的，数据交换客户端节点使用分流控制器锁获取到分配给该数据交换客户端节点的开始数据位置和结束数据位置，该数据交换客户端节点根据配置给对应数据交换客户端节点的开始数据位置和结束数据位置从并发数据流中获取到对应各个数据交换客户端节点的数据字段。举例说明，如图3所示，数据交换客户端集群中共包括有N个数据交换客户端节点，每个数据交换客户端节点使用节点任务调度器，由节点任务调度器调度分流控制器锁获取到分配给该数据交换客户端节点的开始数据位置和结束数据位置。

在本发明的一些实施例中，数据交换客户端集群，具体用于通过各个数据交换客户端节点调用表输入分布式锁，通过表输入分布式锁将相应的数据字段写入到数据库中的数据目标列表中。

如图4所示，为本发明实施例提供的表输入分布式锁示意图。在数据的接收端，通过表输入分布式锁实现控制并发数据插入数据库时的互斥性，表输入分布式锁用于并发执行时插入数据的服务，图4中，共有N个表输入，每个表输入在执行时调用表输入分布式锁，从而将通过表输入分布式锁将相应的数据字段写入到数据库中的数据目标列表中，防止彼此干扰，确保数据的一致性。

在本发明的一些实施例中，数据交换客户端集群，还用于从所有数据交换客户端节点中选择出一个数据交换客户端主节点，其余数据交换客户端节点作为数据交换客户端从节点，通过数据交换客户端主节点对界面编辑器发送的数据采集流程进行解析从而得到解析出的流程实例，并由数据交换客户端主节点将解析出的流程实例存储到数据交换客户端集群的后端缓存中，通过数据交换客户端从节点从数据交换客户端集群的后端缓存中获取到解析出的流程实例。

举例说明如下，数据交换客户端集群的部署中，会从所有数据交换客户端节点中选出一个数据交换客户端主节点，由数据交换客户端主节点负责流程发布时的解析并将解析后的流程实例放入数据交换客户端集群的后端缓存，流程在下一次调度时就无需再去解析流程的配置信息，只要从后端缓存即可快速获取，同时当修改流程进行重新发布时，数据交换客户端主节点负责缓存更新，流程配置信息的物理文件都会由数据交换客户端主节点拷贝一份到各个数据交换客户端从节点，当数据交换客户端主节点或缓存出现异常时，其他数据交换客户端从节点可以快速地竞争为主节点，并保证数据交换的流程不受影响。

在本发明的一些实施例中，数据分流控制器，还用于当数据交换客户端集群中存在数据交换客户端节点发生异常时，重新向数据交换客户端集群中的数据交换客户端节点分配数据字段。举例说明，当有数据交换客户端节点发生异常时，可以重新分配并发数据流中各个数据字段，通过数据分流控制器重新计算分流逻辑，通过集群的方式可以确保数据交换的稳定性。通过并发地进行数据采集与传输，有效保证了数据交换的高效性。

为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。本发明实施例涉及基于分布式的集群并发处理数据交换，以确保数据交换的高效性与稳定性。本发明的目的在于确保数据交换过程中的稳定性并有效提高数据交换的性能，确保数据交换能够7*24小时稳定持续运行。

如图5所示，展示了图2的“数据交换客户端节点”、图3的“分流控制器锁”、图4所涉及的“表输入分布式锁”之间的关系，即“数据交换客户端节点”要采集数据之前通过“分流控制器锁”获取要采集数据的开始位置和结束位置，采集完成后“数据交换客户端节点”进行数据的清洗、转换，数据加工后，每个“表输入”服务要插入到目标表之前通过“表输入分布式锁”控制数据插入的互斥性。A点表示数据采集源端，B点表示数据接收目的地。

本发明实施例中，采用集群部署数据交换客户端节点，通过数据分流的方式进行数据并发采集与传输，在数据的输入端通过表输入分布式锁实现插入的互斥性。当有节点出现异常时，通过数据分流控制器重新计算分流逻辑，通过集群的方式可以确保数据交换的稳定性；通过并发地进行数据采集与传输，有效保证了数据交换的高效性。

如图1至5所示，本发明实施例可以实现基于分布式数据交换的集群并发方法，具体包括以下几个步骤：

步骤1、通过可视化的界面编辑器创建一个数据采集的流程，本流程记录数据源端地址、采集数据的条件、采集字段信息、调度规则、分流控制器实现类等信息。其中，分流控制器实现类是调用分流控制器实现类的类名，因为分流控制器是支持不同的业务可二次扩展开发的。流程信息(包括：从哪些表采集数据，采集哪些字段、采集后要进行如何加工数据等采集传输的业务配置信息)最终保存为标准的XML格式数据文件。

步骤2、创建一个数据分流控制器，数据分流控制器实现对要采集的数据进行分流，数据分流控制器根据实际业务确定分流条件，如有3个集群节点：节点1采集1-4月份的数据字段，节点2采集5-8月份的数据字段，节点3采集9-12月份的数据字段。数据分流控制器实现之后要进行编译打包，编译后将文件放到步骤1所述的XML同一文件夹目录中，数据交换客户端节点解析流程配置文件时，通过反射方式调用分流控制器的逻辑实现分流数据交换，其中，反射方式是指java运行过程中根据指定的分流控制器实现类去加载实现对应的分流逻辑。

步骤3、部署集群的数据交换客户端节点，将采集数据的流程发布拷贝到集群下的每个数据交换客户端节点，数据交换客户端节点对流程进行解析并由数据交换客户端节点本身的核心引擎驱动开始数据采集。

步骤4、节点的任务调度器负责定时调度任务，由数据分流控制器确认本节点需要采集的数据信息，并将采集到的数据结果集放入传输通道输出到目标地点，传输过程中支持敏感数据的加密处理。

步骤5、在数据的接收端，通过分布式锁实现控制并发数据插入的互斥性，防止彼此干扰，确保数据的一致性。

本发明提供有效的安全保障机制，数据传输采用MD5校验数据的完整性，WEB服务提供了基于WS-Security规范的安全保护机制。数据交换客户端提供完整的跨网络通讯的安全机制，包括HTTPS、Web Service、Restful访问的身份验证机制，消息加密/解密传输机制，消息的签名和验签机制，在传输层、消息层、应用层提供安全防护措施。支持数据传输时的加密解密，在业务处理过程中，用户需要对某些敏感数据进行加密处理，在接收到加密数据时进行解密操作。

本发明实施例中，由分流控制器计算数据分流的逻辑，分流控制器可以根据实际业务的需要扩展实现以提高灵活性。集群下的数据交换客户端主节点负责解析数据交换的流程信息，并将流程信息放入缓存，当流程开始调度时，可以快速地从缓存获取流程信息，而无需每个节点再去解析流程信息；每个数据交换客户端节点要插入数据到传输目的地时，通过分布式锁控制数据的一致性。本发明实施例中安全性的等级要求取决于实际业务的需要，安全等级如果需要比较高就引入ESB本身支持的加密算法，例如DES、RSA、Base64等加密后进行传输，如果不需要则不加密传输。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种分布式数据交换系统，其特征在于，包括：

界面编辑器，用于创建数据采集流程，并将所述数据采集流程发送给数据交换客户端集群中的数据交换客户端节点，所述数据采集流程包括：数据源端地址、数据采集条件、采集字段信息、调度规则和分流控制器实现类；

数据分流控制器，用于根据所述分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据所述分流条件将所述待处理的并发数据流分割为多个数据字段，并将所述多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；

数据交换客户端集群，用于通过所述数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过所述各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。

2.根据权利要求1所述的一种分布式数据交换系统，其特征在于，所述数据交换客户端集群，还用于通过所述数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行加密处理，并在各个数据字段进行数据交换处理完成后再对各个数据字段进行解密处理，通过所述各个数据交换客户端节点将解密处理完成后的各个数据字段分别存储到数据库中。

3.根据权利要求1所述的一种分布式数据交换系统，其特征在于，所述数据分类控制器，具体用于当数据交换客户端集群开始调度运行时，使用分流控制器锁从所述待处理的并发数据流计算出一个数据字段的开始数据位置和结束数据位置，将所述并发数据流中从所述开始数据位置至所述结束数据位置之间的数据字段配置给所述数据交换客户端集群中的一个数据交换客户端节点，使用所述分流控制器锁继续计算分配给所述数据交换客户端集群中的另一个数据交换客户端节点的数据字段。

4.根据权利要求3所述的一种分布式数据交换系统，其特征在于，所述数据交换客户端集群，具体用于使用所述分流控制器锁获取到分配给各个数据交换客户端节点的开始数据位置和结束数据位置，触发各个数据交换客户端节点根据配置给对应数据交换客户端节点的开始数据位置和结束数据位置从所述并发数据流中获取到对应各个数据交换客户端节点的数据字段。

5.根据权利要求1所述的一种分布式数据交换系统，其特征在于，所述数据交换客户端集群，具体用于通过所述各个数据交换客户端节点调用表输入分布式锁，通过所述表输入分布式锁将相应的数据字段写入到数据库中的数据目标列表中。

6.根据权利要求1至5中任一项所述的一种分布式数据交换系统，其特征在于，所述数据交换客户端集群，还用于从所有数据交换客户端节点中选择出一个数据交换客户端主节点，其余数据交换客户端节点作为数据交换客户端从节点，通过所述数据交换客户端主节点对所述界面编辑器发送的数据采集流程进行解析从而得到解析出的流程实例，并由所述数据交换客户端主节点将解析出的流程实例存储到所述数据交换客户端集群的后端缓存中，通过所述数据交换客户端从节点从所述数据交换客户端集群的后端缓存中获取到所述解析出的流程实例。

7.根据权利要求1至5中任一项所述的一种分布式数据交换系统，其特征在于，所述数据分流控制器，还用于当所述数据交换客户端集群中存在数据交换客户端节点发生异常时，重新向数据交换客户端集群中的数据交换客户端节点分配数据字段。