CN109376193A - 基于自适应规则的数据交换系统 - Google Patents

Abstract

本发明涉及基于自适应规则的数据交换系统，包括发送端和接收端，其中，发送端用于预先定义发送规则，接收端用于预先定义接收规则，发送端发送文件或命令给目标域，则直接利用Sending‑Rule中描述的规则进行处理。接收端用于接收发送端的文件，接收到同步过来的内容后，按照接收规则处理文件，实现数据交换，利用本发明的技术方案可以很高效地满足业务需求的从源端到目标端的多源异构数据交换需求。

Description

基于自适应规则的数据交换系统

技术领域

本发明涉及一种基于自适应规则的数据交换系统。

背景技术

以互联网为代表的“信息高速公路”近年来的快速发展，实现了人、机、物三元世界的快速融合，在颠覆了人们生活方式的同时，也带来了数据规模的爆炸式增长，据预测，未来10年全球的数据将增加50倍，对数据的存储、处理及交换技术提出了较高的要求。

目前，数据存储的方式众多，包括多种关系型数据库、非关系型数据库、本地文件存储、分布式文件存储等，面对如此众多的数据源，要实现不同数据源、不同数据中心的数据交换的问题是当前数据交换技术要解决的一个难点，

发明内容

本发明通过自适应规则的数据交换技术，提供一种自适应规则可定制化、过程自动化、规则化、事件驱动化的数据交换解决系统，实现上述目的的技术方案如下：

基于自适应规则的数据交换系统部署在本地域和目标域的主机上，所述客户端之间通过基于自适应规则的数据交换系统发送文件和/或接收文件，所述客户端分别为发送客户端、接收客户端，基于自适应规则的数据交换系统包括发送端和接收端；发送端匹配发送客户端，通过发送端将发送客户端的文件发送出去，接收端匹配接收客户端，通过接收端将发送客户端的文件接收。

其中，发送端用于定义发送规则，接收端用于定义接收规则，发送和接收规则可分为识别规则和处理规则，并可以定义多个，由规则引擎控制不同规则间的分支、回溯。本发明中，所述发送客户端和接受客户端都可以互相发送文件和接收文件。

发送端发送文件或命令给目标域(即接收方)，如果不指定目标域，则直接利用Sending-Rule中描述的进行处理。

接收端用于接收发送端的文件，接收到发送的内容后，按照发送端的发送规则处理文件，实现数据交换。

基于自适应规则的数据交换技术核心技术是通过在发送端定义各种发送规则，使得数据文件在发送时，可以根据被处理数据的特征，基于用户定义的规则，自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，使其与所处理数据的业务特征、分布特征、结构特征相适应进而完成数据文件发送，并且在接收端也可以定义多种接收规则，并采用智能匹配的方式完成业务所需数据文件的筛选和处理，从而实现数据交换交换过程。

附图说明

图1为本发明整体系统示意图；

图2为数据交换过程示意图；

图3为规则定义示意图；

具体实施方式

下面结合附图对本发明做详细的说明。

基于自适应规则的数据交换技术支持多种操作系统平台，为了便于将基于自适应规则的数据交换技术移植到新的操作系统和硬件体系结构上，专门开发了核心库。核心库对OS和硬件作了统一的抽象，提供多种基本功能和平台功能，并且确保这些功能在所有平台上都有一致的接口和行为。使用基于自适应规则的数据交换技术的应用程序(简称应用程序)可以通过使用本技术的Java接口来实现自己的业务逻辑，如果将应用程序应用到其他设备，只要通过Java接口就可以将本发明中的技术方案应用到其他设备。

基于自适应规则的数据交换技术利用分布式消息中间件—数流控制系统完成域域之间的控制和消息传递，数据复制和同步直接采用点对点的网络通讯。并结合实际业务需求进行规则的构建和开发，完成其业务目的。其工作原理介绍如下：

(1)发送端(源域)在一次数据交换过程中，交换的初始发起机关或者发送者，发送端用于定义和发送相关的规则(Sending‐Rule)。

发送端(源域)发送文件(或命令)给目标域(如果不指定，则直接利用Sending‐Rule中描述的规则进行处理。

(2)接收端(目标域)在一次数据交换过程中，交换的最终接收机关或者接收者。

接受到同步过来的内容后，按照接收规则(Receiving‐Rule)定于的策略进行处理(保存还是作为命令处理)。在数据交换过程中，基于自适应规则的数据交换技术会利用数据交换技术的程序注册的监听器(ReplNotificationListener)跟应用进行交互，从而完成客户业务需要。

(3)Agent，泛指Agent进程，指Agent进程对外提供服务的Agent地址信息，本发明中指多通道数据共享分发技术的业务代理。

(4)Bitsflow：消息中间件，用于解决分布式环境下复杂的通讯和数据传输问题。

(5)LMDB数据库：全称是Lightning Memory-Mapped Database，闪电般的内存映射数据库。它文件结构简单，一个文件夹，里面一个数据文件，一个锁文件。数据随意复制，随意传输。它的访问简单，不需要运行单独的数据库管理进程，只要在访问数据的代码里引用LMDB库，访问时给文件路径即可。

(6)Local FS本地文件系统

(7)DataCell FS分布式文件系统

(8)Bitsflow：消息中间件，用于解决分布式环境下复杂的通讯和数据传输问题。

(9)Yoyorepl：可靠的文件传输控制系统。

本发明中，发送端用于发送数据，支持从多种数据源读取并发送数据，包括本地文件系统、分布式文件系统、关系型数据库、非关系型数据库上读取数据，并支持自定规则的对数据进行处理。

下面再详细的描述数据的交换过程：

基于自适应规则的数据交换技术数据交换过程如图2所示：

基于自适应规则的数据交换技术主要目的是通过解析及智能匹配发送端和接收端的规则定义，将文件可靠地传输到远程客户端的过程，即使在多种不利条件下，如不可用的远程主机、网络通信查、系统崩溃所引发的问题等情况下，基于自适应规则的数据交换以多通道数据共享分发技术的群组通信和逻辑地址为底层支撑，可以高效、稳定地完成数据的传输过程。基于自适应规则的数据交换技术支持多种文件系统和DataCell格式；支持通过NULL存储类型可靠地发送控制数据；其良好的兼容性，不仅支持相同平台之间(如Linux与Linux)的数据同步交换，也支持跨平台(如Linux与Windows)之间的数据同步交换，其交换过程介绍如下：

(1)发送客户端通过agent进程发送一个提交文件的请求到本地Yoyorep进程。在失败的情况下Yoyorepl会保存本请求到LMDB数据库，LMDB数据库是Yoyorepl进程内置数据库。

(2)Yoyorepl进程从本地文件系统或分布式文件系统DataCell FS打开文件，然后按照发送规则处理此文件。Yoyorepl进程试图按照发送规则中的条件匹配文件元数据，如果匹配，则执行相关操作，通常会将文件发送给指定域(即目标域)中远程Yoyorepl进程。本地Yoyorepl进程会为每个域(即本地域和目标域)创建文件传输作业，将作业保存到LMDB数据库，并将作业队列发送到发送端的发送队列。

(3)本地Yoyorepl进程的线程会捡取队列中的第一个作业，然后开始发送文件到远程Yoyorepl进程；远程Yoyorepl进程发送一个确认信息到本地Yoyorepl进程。本地Yoyorepl进程跟踪发送进度直到文件传输完成。如果文件传输过程中Yoyorepl进程(包括本地和远程的Yoyorepl进程)关闭或者崩溃，本地Yoyorepl进程可以从最后确认的文件偏移处恢复发送。

(4)当文件传输完成后，本地Yoyorepl进程会发送一个传输完成信息到远程Yoyorepl进程，触发远程Yoyorepl的文件的处理。

(5)远程Yoyorepl进程会按照接收规则处理接收到的文件。如果该文件的元数据与接收规则的条件相匹配，则执行相关操作,通常会将文件保存到接收端本地文件系统或者DataCell。

(6)当文件保存完毕，远程Yoyorepl进程会发送一个文件FileReceived通知到远程客户端Client；FileReceived文件中的内容有文件的存储类型、文件名、以及存储路径。

(7)当文件成功的复制到远程客户端Client，本地Yoyorepl进程会发送FileSent通知给远程客户端Client。

(8)当所有请求相关的作业都完成。本地Yoyorepl进程会发送RequestCompleted通知给远程客户端Client。

下面再详细的描述如何进行自定义规则配置：

自定义规则通过配置xml文件实现，需配置的文件包括发送规则配置和接收规则配置。

当发送客户端提交文件时，文件将通过发送规则进行处理。文件的元数据将与发送规则的条件匹配。如果条件匹配，将执行与规则关联的操作。

发送规则是一个可配置的xml文件，其中包括发送域的配置，目标域的配置，本地文件系发送/接受文件的位置，分布式文件系统发送/接受文件的位置，条件规则的配置(支持正则表达式，时间匹配等)，加密配置(支持摘要对比，现有加密技术和自定义加密技术)，发送规则的配置(配置发送文件过滤条件，发送时的加密算法，发送的目标节点)。

例如，被发送的是目录/home/repl/data/send/下的文件，发送规则称为send‐rule1。条件是按照文件名称进行匹配必须是txt格式文件，文件名称大小写敏感。这意味着此规则将匹配任何以小写.txt格式结尾的文件，并且将始终执行关联的操作。此处的操作是使用Bitsflow将文件发送到域“172.16.160.213”。

用户可以自定义各种发送规则，也可以通过使用JAVA接口动态增加发送规则。

当发送端完成将文件交换到接收端的进程时，接收端进程将通过接收规则处理文件，文件的元数据将与接收规则的条件匹配，如果条件匹配，将执行与接收规则关联的操作。

接收规则是一个可配置的xml文件，与发送规则类似，包括发送域的配置，目标域的配置，本地文件系发送/接受文件的位置，分布式文件系统发送/接受文件的位置，条件规则的配置(支持正则表达式，时间匹配等)，加密配置(支持摘要对比，现有加密技术和自定义加密技术)，接收规则的配置(配置接受文件过滤条件，存储文件的类型、路径等)

例如，接收到的文件存放到/home/repl/data/save/copy/下，接收规则称为receive‐rule1，条件true总是正确的。这意味着此规则将匹配任何文件，并且将始终执行关联的操作。此处的操作是保存到文件存储。由于未指定存储名称参数，将文件保存到默认存储区。接收端进程成功保存文件后，将该文件保存成功的消息通知发送给对此感兴趣的发送端注册的监听器。

用户可以自定义各种接收规则，也可以通过使用JAVA接口动态增加接收规则。

统一的规则引擎配置：

规则引擎，主要负责规则的制定及执行，对输入数据的标识进行判断，按照用户需求指定规则，将标识与各种规则进行匹配，并衡量最终结果，从而生成一个符合应用或用户需求的执行流程。

如图3所示，规则的定义通常由一系列规则组成。规则是一个可以衡量的表达式，规则之间支持跳转，分支与回溯的关系，在给定输入条件的情况下，一个定义正确的规则会有唯一固定的输出。

规则引擎应满足：支持精确的规则定义描述方式，能够实现数据交换平台数据传输交换的准确性和可靠性。

支持复杂的规则制定和执行，满足数据交换平台频繁交互而产生的各种事件的快速响应。

支持自定义规则配置，包括处理机制、识别规则。

在文件传输过程中，为了保证文件的安全，传输过程中进行加密处理。其中加、解密组件被专门设计用于数据文件在传输过程中加密传输，防止文件在传输过程中泄密，并可以使用自定义的加解密算法。支持的加密算法有aes‐128‐ecb,aes‐128‐cbc,aes‐128‐cfb1,aes‐128‐cfb8,aes‐128‐cfb128,aes‐128‐ofb,aes‐192‐ecb,aes‐192‐cbc,aes‐192‐cfb1,aes‐192‐cfb8,aes‐192‐cfb128,aes‐192‐ofb,aes‐256‐ecb,aes‐256‐cbc,aes‐256‐cfb1,aes‐256‐cfb8,aes‐256‐cfb128,aes‐256‐ofb,bf‐ecb,bf‐cbc,bf‐cfb64and bf‐ofb。

通过使用加密组件，并可定制的加解密算法，保证了整个数据交换的安全性。

基于自适应规则的数据交换技术在数据经过规则匹配后的传输过程中，首先会在每一个传输节点上对数据及状态进行持久化缓存(缓存到LMDB数据库)，传输数据首先存入该缓存中进行保存，按照规则引擎指定的规则进行传输交换。当数据成功传输至目标系统时，该文件再从缓存中进行删除，从而达到数据持久化的目的，若目标系统或者网络出现故障时，数据会继续保留在持久化缓存中，待环境恢复且接收到任务完成的指令后，再进行删除，保证数据传输的可靠性及完整性。

本发明技术方案带来的有益效果：

(1)实现多源异构数据交换

面对数据库、数据仓库、文件系统、其他文件等的数据交换的需求，可实现多源、异构、多版本数据库间(如Oracle10g、Oracle11g、MySQL5.0、MySQL5.6、DB2、SQL Server2008、SQL Server2000等)数据交换场景，并基于自适应规则匹配和动态规则加载机制可以很高效地完成满足业务需求的从源端到目标端的多源异构数据交换需求。

(2)跨区域跨平台数据交换

在大规模复杂网络环境中，发生远程主机不可用、网络通信故障、系统崩溃等不利情况或需要进行跨区域数据复制同步时，利用基于自适应规则的数据交换技术可靠的通信模式和规则引擎将文件可靠的传输给目标主机，可以很方便地构建跨区域、跨平台的可靠数据复制同步系统，提高数据传输的可靠性和完整性。

(3)涉密文件可靠传输

基于自适应规则的数据交换技术依托其强大的规则引擎，可以根据业务需求自定义创建规则，通过创建涉密交换规则可以完成涉密文件的自动匹配，对满足涉密交换规则的数据和文件不但可以对其采用加密算法进行封装还可以确保其传输过程中的安全性。

(4)数据容灾备份

通过基于自适应规则的数据交换技术的可靠数据通信机制及高效、可靠的近实时数据传输机制，保证容灾系统数据传输时的一致性和有序性，其完善的规则处理机制，不但可以完成数据的复制传输，还可以按照用户的需求进行数据筛选和匹配，只对重要数据进行传输，可以有效地解决占用过多网络资料问题，从而实现不同系统集群、不同数据中心、不同地域、不同平台之间的数据容灾备份能力。

以上仅为本发明实施例的较佳实施例而已，并不用以限制本发明实施例，凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围内。

Claims (4)

1.基于自适应规则的数据交换系统，所述客户端之间通过基于自适应规则的数据交换系统发送文件和/或接收文件，所述客户端为发送客户端、接收客户端，基于自适应规则的数据交换系统包括发送端和接收端，其特征在于：发送端和接收端都能够自定义规则，其中，发送端用于定义发送规则，接收端用于定义接收规则，发送规则和接收规则能够分为识别规则和处理规则，并能够定义多个，由规则引擎控制不同规则间的分支、回溯；

发送端发送文件或命令给目标域，如果不指定目标域，则直接利用发送规则中描述的规则进行处理；

接收端用于接收发送端发送的数据，接收到数据之后，按照接收规则处理数据，实现数据交换。

2.根据权利要求1所述的基于自适应规则的数据交换系统，其特征在于：其中，数据交换过程如下：

(1)发送客户端通过agent进程发送一个提交文件的请求到本地Yoyorep进程，如果发送失败，本地Yoyorepl进程会保存请求到发送端的LMDB数据库；

(2)本地Yoyorepl进程从发送端的文件系统或DataCell打开文件，然后按照发送规则处理此文件；

本地Yoyorepl进程试图按照发送规则中的条件匹配文件元数据，如果匹配，则执行相关操作，将文件发送给目的域中远程Yoyorepl进程；本地Yoyorepl进程会为每个域创建文件传输作业，将作业保存到发送端的LMDB数据库，并将作业队列发送到发送端的发送队列；

(3)本地Yoyorepl进程的线程捡取队列中的第一个作业，然后开始发送文件到远程Yoyorepl进程；远程Yoyorepl进程发送一个确认信息到本地Yoyorepl进程；本地Yoyorepl进程跟踪发送进度直到文件传输完成；如果文件传输过程中Yoyorepl进程关闭或者崩溃，本地Yoyorepl进程从最后确认的文件偏移处恢复发送；

(4)当文件传输完成后，本地Yoyorepl进程会发送一个传输完成信息到远程Yoyorepl进程，触发远程Yoyorepl进程处理文件；

(5)远程Yoyorepl进程会按照接收端的接收规则处理接收到的文件；如果该文件的元数据与接收端的接收规则的条件相匹配，则执行相关操作，将文件保存到接收客户端的文件系统或者DataCell。

(6)当文件保存完毕，远程Yoyorepl进程会发送一个文件FileReceived通知到远程Client；远程Client的内容包括文件的存储类型、文件名、以及存储路径；

(7)当文件成功的复制到远程客户端，本地Yoyorepl进程会发送FileSent通知给远程客户端Client；

(8)当所有请求相关的作业都完成，本地Yoyorepl进程会发送RequestCompleted通知给远程客户端Client。

3.根据权利要求2所述的基于自适应规则的数据交换系统，其特征在于：解析及智能匹配发送端和接收端的规则定义，需配置的文件包括发送规则配置和接收规则配置。

4.根据权利要求2所述的基于自适应规则的数据交换系统，其特征在于：文件传输过程中使用支持自定义加密算法的加密传输。