CN105376312B - 一种可支持负载均衡的数据传输方法 - Google Patents

Abstract

一种可支持负载均衡的数据传输方法。其包括：步骤1)构成传输系统：步骤2)连接传输系统：步骤3)进行数据传输。本发明效果：可通过一种已经定义好的接口格式，统一管理所有信息系统之间的数据传输任务；各个信息系统之间只需要开发一个和传输系统对应的接口即可；各个信息系统之间不再需要开发对接的接口，节省了开发量，也便于维护；当有新信息系统加入时，老系统信息不需要再开发对应接口，只需要新信息系统开发与传输系统对应的接口即可；传输系统包含传输管理装置和传输执行装置，将任务管理和任务执行分开，可以部署多个执行装置，并通过传输管理装置对任务进行负载均衡，增加了系统的可扩展性、并行性和安全性，结构清晰，便于维护。

Description

一种可支持负载均衡的数据传输方法

技术领域

本发明属于企业信息化技术领域，特别是涉及一种可支持负载均衡的数据传输方法。

背景技术

对于一个拥有多套信息系统的公司来说，各个信息系统之间的数据交互一直是令人头疼的一件事；信息系统一般是逐步开发部署完善的，所以多套系统之间开发语言不同，运行环境不同，两套系统之间开发数据传输接口相当的麻烦，而当有N套系统之间需要传输数据时，则每套系统需要开发N-1个接口来连接其余N-1个系统，总共需要开发N*(N-1)个接口，开发量较大；而两个系统间数据传输又需要物理上能够联通，所以每个系统的存储部分都需要和其他N-1个系统的存储部分进行物理上的互联，增加了系统复杂程度；当一个系统接口更改后，其他所有系统都要跟着进行修改；而且各个系统之间能够相互通信，也不便进行系统安全性的维护，对于开发人员和运维人员来说相当不便。

发明内容

为了解决上述问题，本发明的目的在于提供一种可支持负载均衡的数据传输方法。

为了达到上述目的，本发明提供的可支持负载均衡的数据传输方法包括按顺序进行的下列步骤：

步骤1)构成传输系统：

传输系统包括传输管理装置和传输执行装置；其中：传输管理装置负责信息的调取、整理任务信息、给传输执行装置分发任务信息及负载均衡调度等工作；传输执行装置负责数据传输、压缩、加密及校验等工作；同时各个信息系统针对传输系统开发一个信息接口L1和一个数据接口L2，信息接口L1用来发送任务信息及供传输管理装置调用目标信息；数据接口L2用来传输数据文件；

步骤2)连接传输系统：

将各个信息系统的信息接口L1与传输管理装置1互联，数据接口L2与传输执行装置2互联，传输管理装置与传输执行装置之间通过信息接口L1互联，各个传输执行装置之间的数据接口L2视功能不同选择互联或者不互联；

步骤3)进行数据传输：

当某个信息系统作为源系统要求向作为目标系统的某个信息系统传输数据文件时，传输系统启动并进行文件传输。

在步骤1)中，所述的传输管理装置和传输执行装置均为部署在同一台服务器或者部署在多台服务器上的功能模块，传输管理装置能够部署多个，并且可以选择是主备方式或者集群方式，传输执行装置能够部署多个，各个传输执行装置之间地位相同。

在步骤1)中，所述的传输执行装置分为共享执行装置、部分共享执行装置和独享执行装置。

在步骤3)中，所述的数据传输的方法包括下列步骤：

步骤3.1)源系统生成XML文件的任务；当源系统想要给目标系统传输数据文件时，首先通过信息接口L1生成XML文件的任务，并发送给传输管理装置，任务中包含源系统包括系统名称、系统权限在内的信息；要传输的包括文件名称、位置、大小、格式在内的数据文件信息；要传输的包括系统名称在内的目标系统信息；

步骤3.2)传输管理装置接收到任务后进行读取，然后提取任务中相关信息并生成一条任务；并通过目标系统的信息接口L1提取相关信息；

步骤3.3)目标系统接到传输管理装置的提取信息要求后，将相关信息发送给传输管理装置，传输管理装置根据目标系统发送的信息，将任务信息补充完整；

步骤3.4)传输管理装置根据用户设定的策略，将任务下发给对应的传输执行装置，如果任务对应的传输执行装置是独享执行装置，则将任务拆分后下发；

步骤3.5)传输执行装置读取到发给自己的任务信息后，根据用户配置的相关信息将上述任务信息发送给目标系统。

本发明提供的可支持负载均衡的数据传输方法的效果：

可以通过一种已经定义好的接口格式，统一管理所有的信息系统之间的数据传输任务；各个信息系统之间只需要开发一个和传输系统对应的接口即可；各个信息系统之间不再需要开发对接的接口，节省了开发量，也便于维护；当有新信息系统加入时，老系统信息不需要再开发对应接口，只需要新信息系统开发与传输系统对应的接口即可；传输系统包含传输管理装置和传输执行装置，将任务管理和任务执行分开，可以部署多个执行装置，并通过传输管理装置对任务进行负载均衡，增加了系统的可扩展性、并行性和安全性，结构清晰，便于维护。

附图说明

图1为本发明提供的可支持负载均衡的数据传输方法所采用的传输系统逻辑示意图。

图2为传输系统传输文件流程图。

具体实施方式

下面结合附图和具体实施例对本发明提供的可支持负载均衡的数据传输方法进行详细说明。

本发明提供的可支持负载均衡的数据传输方法包括按顺序进行的下列步骤：

步骤1)构成传输系统：

构建如图1所示的传输系统，其包括传输管理装置1和传输执行装置2；其中：传输管理装置1负责信息的调取、整理任务信息、给传输执行装置2分发任务信息及负载均衡调度等工作；传输执行装置2负责数据传输、压缩、加密及校验等工作。

同时各个信息系统3针对传输系统开发一个信息接口L1和一个数据接口L2，信息接口L1用来发送任务信息及供传输管理装置1调用目标信息；数据接口L2用来传输数据文件。

所述的传输管理装置1和传输执行装置2均为部署在同一台服务器或者部署在多台服务器上的功能模块，传输管理装置1能够部署多个，并且可以选择是主备方式或者集群方式，传输执行装置2能够部署多个，各个传输执行装置2之间地位相同。

所述的传输执行装置2可以从连接方式上划分为三类，实际应用时可以视现场情况选择其中一类或者几类共存。

第一类传输执行装置2为共享执行装置，比如图1中的执行装置1，此方式下所有执行装置地位相同，即所有的执行装置均能调用到所有信息系统的数据接口L2，所有执行装置均能执行所有信息系统间的传输任务；传输管理装置1在任务分发时可以进行负载均衡，选择目前业务压力小的传输执行装置2分发任务或者采用轮询的方式依次下发任务；本方式下所有传输执行装置2之间不需要互联；

第二类传输执行装置2为部分共享执行装置，比如图1中的执行装置2，本方式下可以设定某个执行装置只连接部分信息系统，则这个执行装置只能执行所连接的信息系统间的任务，其他任务无法执行；本方式下所有传输执行装置2之间不需要互联；

第三类传输执行装置2为独享执行装置，比如图1中的执行装置3，本方式下所有的传输执行装置2连接与之对应的一个信息系统，比如执行装置1连接信息系统A，执行装置2连接信息系统B；所有信息系统之间的传输任务均拆分为2条，1条是上传任务，一条是下载任务；上传任务是源系统将所传输文件传输给执行装置的缓冲区，下载任务是目标系统对应的执行装置将缓冲区中的文件传输给目标系统；本方式下要求各个传输执行装置2之间互联，要求能够读取到对应的数据接口，从而能够调用对应的缓冲区；第二类执行装置和第三类执行装置之间如果传输任务，也需要进行执行装置之间互联。

步骤2)连接传输系统：

将各个信息系统3的信息接口L1与传输管理装置1互联，数据接口L2与传输执行装置2互联，传输管理装置1与传输执行装置2之间通过信息接口L1互联，各个传输执行装置2之间的数据接口L2视功能不同选择互联或者不互联；

步骤3)进行数据传输：

当某个信息系统3作为源系统要求向作为目标系统的某个信息系统3传输数据文件时，传输系统启动并进行文件传输；

如图2所示，所述的数据传输的方法包括下列步骤：

步骤3.1)源系统生成XML文件的任务；当源系统想要给目标系统传输数据文件时，首先通过信息接口L1生成XML文件的任务，并发送给传输管理装置1，任务中包含源系统信息，比如系统名称、系统权限；要传输的数据文件信息，比如文件名称、位置、大小、格式；要传输的目标系统信息，比如系统名称。

步骤3.2)传输管理装置1接收到任务后进行读取，然后提取任务中相关信息并生成一条任务；此时的任务并不完整，只包含源系统的信息、源系统要传输的数据文件信息、要传输的目标系统信息；还需要目标系统相关信息，比如目标系统系统权限、将要传输的文件名称规则、文件位置信息、压缩方式、加密方式等信息；所以通过目标系统的信息接口L1提取相关信息；

步骤3.3)目标系统接到传输管理装置1的提取信息要求后，将相关信息发送给传输管理装置1，传输管理装置1根据目标系统发送的信息，将任务信息补充完整；

步骤3.4)传输管理装置1根据用户设定的策略，将任务下发给对应的传输执行装置2，如果任务对应的传输执行装置2是独享执行装置，则将任务拆分后下发；

步骤3.5)传输执行装置2读取到发给自己的任务信息后，根据用户配置的相关信息将上述任务信息发送给目标系统。

各种执行装置之间的任务分配选择由传输管理装置1统一管理。传输管理装置1可以根据策略选择传输执行装置2执行任务。比如传输执行装置2均为共享执行装置，则按照轮询的方式依次指派任务，或者按照任务压力的大小分派给任务压力最小的执行装置。如果传输执行装置2为部分共享执行装置或者独享执行装置，则根据源系统和目标系统对应的执行装置下发任务。还可以在各种执行装置混合的情况下根据优先级进行下发任务。

传输执行装置2可以执行普通传输任务、加密传输任务、压缩传输任务，文件校验任务等，并可根据用户设置的策略信息来执行对应的任务。

本发明提供的可支持负载均衡的数据传输方法所采用的传输系统开发一种接口，其他系统各开发一个与之相匹配的接口。物理连接上，保证每套信息系统的存储区只和该系统的传输执行装置之间有联系即可，其他信息系统两两之间可以没有联系。源系统传输数据给目标系统时，将数据信息按照系统定义的数据格式记录在任务中，然后将任务发给传输系统，传输系统接到任务后生成一条任务，并根据任务信息确认所要传输的目标系统，通过调用目标系统的接口进行信息确认，确认过后通过数据接口将数据文件从源系统传输给目标系统。还可以根据策略对传输的文件进行加密和压缩等其他传输方式。

Claims (1)

1.一种可支持负载均衡的数据传输方法，所述的可支持负载均衡的数据传输方法包括按顺序进行的下列步骤：

步骤1)构成传输系统：

传输系统包括传输管理装置(1)和传输执行装置(2)；其中：传输管理装置(1)负责信息的调取、整理任务信息、给传输执行装置(2)分发任务信息及负载均衡调度工作；传输执行装置(2)负责数据传输、压缩、加密及校验工作；同时各个信息系统(3)针对传输系统开发一个信息接口L1和一个数据接口L2，信息接口L1用来发送任务信息及供传输管理装置1调用目标信息；数据接口L2用来传输数据文件；

步骤2)连接传输系统：

将各个信息系统(3)的信息接口L1与传输管理装置(1)互联，数据接口L2与传输执行装置(2)互联，传输管理装置(1)与传输执行装置(2)之间通过信息接口L1互联，各个传输执行装置(2)之间的数据接口L2视功能不同选择互联或者不互联；

步骤3)进行数据传输：

当某个信息系统(3)作为源系统要求向作为目标系统的某个信息系统(3)传输数据文件时，传输系统启动并进行文件传输；

其特征在于：在步骤3)中，所述的数据传输的方法包括下列步骤：

步骤3.1)源系统生成XML文件的任务；当源系统想要给目标系统传输数据文件时，首先通过信息接口L1生成XML文件的任务，并发送给传输管理装置(1)，任务中包含包括系统名称和系统权限在内的源系统信息；要传输的包括文件名称、位置、大小和格式在内的数据文件信息；要传输的包括系统名称在内的目标系统信息；

步骤3.2)传输管理装置(1)接收到任务后进行读取，然后提取任务中相关信息并生成一条任务；并通过目标系统的信息接口L1提取相关信息；

步骤3.3)目标系统接到传输管理装置(1)的提取信息要求后，将相关信息发送给传输管理装置(1)，传输管理装置(1)根据目标系统发送的信息，将任务信息补充完整；

步骤3.4)传输管理装置(1)根据用户设定的策略，将任务下发给对应的传输执行装置(2)，如果任务对应的传输执行装置(2)是独享执行装置，则将任务拆分后下发；

步骤3.5)传输执行装置(2)读取到发给自己的任务信息后，根据用户配置的相关信息将上述任务信息发送给目标系统。