CN109379364B - 一种应用系统间的自动化网络数据传输方法及系统 - Google Patents

Abstract

本发明是一种应用系统间的自动化网络数据传输方法及系统，该方法包括通信服务端的步骤、通信客户端的步骤。该系统包括通信服务端和通信客户端，其中：通信服务端负责文件转发；包括监听是否有通信客户端的发送连接请求或者接收连接请求的装置、验证通信客户端是否合法的装置、判断是发送连接请求还是接收连接请求的装置、将接收的数据写入通信服务端的临时文件的装置、检验装置、判断文件名是否合法的装置、将通信服务端的待发文件夹中的文件发送的装置。本发明中通过对发送文件进行加密压缩，并保证接入的通信客户端合法有效，改善了大数据量传输所带来安全和效率上的问题。

Description

一种应用系统间的自动化网络数据传输方法及系统

技术领域

本发明涉及应用系统之间数据传输的方法领域，特别是应用系统间一种高效安全的接口自动化网络数据传输及系统。

背景技术

一个企业往往会部署很多个应用系统，有内网的，也有公网的。这些应用系统之间进行数据集成时，需要进行大量的重复性开发，同时，大数据量传输也会带来安全和效率上的问题。

发明内容

本发明为了解决应用系统之间进行数据集成时，需要进行大量的重复性开发，同时，大数据量传输也会带来安全和效率上的问题，提供一种应用系统间的自动化网络数据传输方法及系统。

本发明的技术方案是：一种应用系统间的自动化网络数据传输方法，在通信服务端包括如下步骤：

步骤101、监听是否有通信客户端的发送连接请求或者接收连接请求的步骤；该步骤中如果监听到有通信客户端的发送连接请求或者接收连接请求则转向步骤102，继续监听；

步骤102、验证通信客户端是否合法的步骤；如果合法则转向步骤103，否则转向步骤101；

步骤103、判断是发送连接请求还是接收连接请求的步骤；如果是接收请求，转步骤104，否则，转步骤107；

步骤104、将接收的数据写入通信服务端的临时文件的步骤；该步骤中与该通信终端建立连接，接收由该通信终端的数据，根据通讯协议，读取包头数据，在临时文件夹创建包头规定的文件名，读取接收的文件二进制数据并写入通信服务端的临时文件；

步骤105、校验的步骤；该步骤中，根据读取包头数据中的MD5值，校验写入临时文件的MD5值；判断包头数据中的MD5值与写入通信服务端的临时文件的MD5值是否一致，如果一致则反馈OK，并转向步骤106；否则反馈NG，并将通信服务端的临时文件转移到通信服务端的接收NG文件夹，结束；

步骤106、判断文件名是否合法的步骤；该步骤中读取包头数据中文件名字段，并断其是否符合设定的格式要求，若符合设定的格式要求将接收的文件转入通信服务端的待发送文件夹，转向步骤107，否则将文件转移到通信服务端的接收NG文件夹，结束；

步骤107、将通信服务端的待发文件夹中的文件发送的步骤，该步骤中，获取通信服务端的待发文件夹中的文件名中的目标终端ID，与该目标终端建立连接，将文件发送到目标终端ID指向的通信客户端；

在通信客户端包括以下步骤：

步骤201、监听通信服务端是否有数据要发送到本通信客户端或者本客户端是否有数据要发送的步骤；该步骤中监听与指定的通信服务器连接是否有数据接收和检测本通信客户端的待发文件夹中是否有文件，如果均是否定的，则继续本步骤，否则，若是与指定的通信服务器连接有数据接收则转向步骤202，本通信客户端的待发文件夹中有文件则转向步骤205；

步骤202、接收数据的步骤，该步骤中：根据通讯协议，读取接收数据包的包头数据，在本通信客户端的临时文件夹创建包头规定的临时文件的文件名，读取文件二进制数据并写入所述的临时文件；

步骤203、校验步骤；该步骤中，根据读取包头中的MD5值，校验写入所述的临时文件的MD5值，一致则反馈OK，转向步骤204，不一致则反馈NG，将所述的临时文件转入本通信客户端的接收NG文件夹，结束；

步骤204、判断文件名是否合法的步骤，该步骤中，读取接收数据包的包头数据中文件名字段，并判断其是否符合设定的格式要求，若符合则合法，把所述的临时文件转移到待接收文件夹，结束；否则不合法，把所述的临时文件转移到接收NG文件夹，结束；

步骤205、创建包头数据，写入socket，然后写入本通信客户端的待发文件夹中的文件数据加密、压缩后加入到socket的步骤；该步骤中按照通讯协议，创建包头数据、对文件数据加密、压缩；

步骤206、读取反馈的步骤；该步骤中若反馈是OK，则将本通信客户端的待发文件夹中的文件转移到发送OK文件夹，结束；若反馈是NG，则将本通信客户端的待发文件夹中的文件转移到发送NG文件夹；结束。

本发明中通过对发送文件进行加密压缩，并保证接入的通信客户端合法有效，改善了大数据量传输所带来安全和效率上的问题。

进一步的，上述的应用系统间的自动化网络数据传输方法中：所述的步骤101中具体包括：

步骤1011：创建发送监听线程；

步骤1012：创建接收监听线程；

步骤1013：在发送监听线程上开始监听指定的端口；

步骤1014：在接收监听线程上开始监听指定的端口；

步骤1015：有发送连接请求时，转步骤101；

步骤1016：有接收连接请求时，转步骤101。

进一步的，上述的应用系统间的自动化网络数据传输方法中：所述的步骤102中验证通信客户端是否合法的标准是看该通信客户端的ID和IP地址、MAC地址是否保存在通信服务器的合法ID和IP地址、MAC地址表中。

进一步的，上述的应用系统间的自动化网络数据传输方法中：所述的步骤106和步骤204中，文件名字段的设定格式是：源终端ID_目标终端ID_接口识别名称_YYYYMMDD_HH24MMSS.扩展名。

进一步的，上述的应用系统间的自动化网络数据传输方法中：所述的包头数据为：

本发明还提供了一种根据权利要求上述的应用系统间的自动化网络数据传输方法的系统，包括通信服务端、通信客户端和文件处理模块；其中：

所述的通信服务端负责对客户端的收发文件进行转发；包括：

监听是否有通信客户端的发送连接请求或者接收连接请求的装置；

验证通信客户端是否合法的装置；

判断是发送连接请求还是接收连接请求的装置；

将接收的数据写入通信服务端的临时文件的装置；

检验装置；

判断文件名是否合法的装置；

将通信服务端的待发文件夹中的文件发送的装置；

所述的通信客户端负责文件上传到服务端和从服务端接收文件，包括：

监听通信服务端是否有数据要发送到本通信客户端或者本客户端是否有数据要发送的装置；

接收数据的装置；

客户端校验装置；

客户端判断文件名是否合法的装置；

创建包头数据的装置；

读取反馈的装置；

所述的文件处理模块接收时负责从数据库接口表获取数据，创建数据文件，对数据文件进行加密，对数据文件进行压缩；发送时负责对接收到的数据文件进行解密、解压缩，并还原数据到数据库接口表。

进一步的，上述的系统中：

在所述的通信服务端的监听是否有通信客户端的发送连接请求或者接收连接请求的装置中包括：

创建监听指定端口的发送监听线程的装置；

创建监听指定的端口的接收监听线程的装置。

进一步的，上述的系统中：

所述的验证通信客户端是否合法的装置中包括验证通信客户端是否合法的标准，所述的标准是看该通信客户端的ID和IP地址、MAC地址是否保存在通信服务器的合法ID和IP地址、MAC地址表中。

下面结合附图和具体实施例对本发明进行详细地说明。

附图说明

附图1为本发明应用系统间通信传输系统结构。

具体实施方式

实施例1，本实施例应用系统间的自动化网络数据传输系统如图1所示。主要由通信服务端、通信客户端和文件处理模块组成。

其中：通信服务端负责文件转发；包括监听是否有通信客户端的发送连接请求或者接收连接请求的装置、验证通信客户端是否合法的装置、判断是发送连接请求还是接收连接请求的装置、将接收的数据写入通信服务端的临时文件的装置、检验装置、判断文件名是否合法的装置、将通信服务端的待发文件夹中的文件发送的装置。

通信客户端负责文件上传到服务端和从服务端接收文件；包括监听通信服务端是否有数据要发送到本通信客户端或者本客户端是否有数据要发送的装置、接收数据的装置、客户端校验装置、客户端判断文件名是否合法的装置、创建包头数据的装置、读取反馈的装置。

文件处理接收时负责从数据库接口表获取数据，创建数据文件，对数据文件进行加密，对数据文件进行压缩。文件处理发送时负责对接收到的数据文件进行解密、解压缩，并还原数据到数据库接口表。

通信服务端和通信客户端之间采用socket通讯，通讯协议如下：

传输文件命名规则如下：

源终端ID_目标终端ID_接口识别名称_YYYYMMDD_HH24MMSS.扩展名

样例：S001_C837202_OrderDetail_20150804_105603.zip。

文件夹区分：待发送、发送OK、发送NG、待接收、接收OK、接收NG、临时。其中：发送OK、发送NG，接收OK，接收NG这4个文件夹按年、月、日三级分别创建子文件夹。

具体通信步骤如下：

服务端处理过程如下：

步骤101：创建发送监听线程；

步骤102：创建接收监听线程；

步骤103：在发送监听线程上开始监听指定的端口；

步骤104：在接收监听线程上开始监听指定的端口；

步骤105：有发送连接请求时，转步骤107；

步骤106：有接收连接请求时，转步骤107；

步骤107：验证客户端是否合法（可以预设合法客户端的终端ID和IP地址、MAC地址），合法转步骤108，非法转步骤109；

步骤108、在新的线程建立连接，转步骤110；

步骤109：拒绝连接，结束；

步骤110：如果是接收线程，转步骤111，如果是发送线程，转步骤118；

步骤111：根据通讯协议，读取包头数据，在临时文件夹创建包头规定的文件名，读取文件二进制数据并写入临时文件，转步骤112；

步骤112：根据包头MD5值，校验写入文件的MD5值，一致转步骤113，不一致转步骤114；

步骤113：发送反馈OK，转步骤115；

步骤114：发送反馈NG，转步骤117；

步骤115：判断文件名是否合法（参见4文件命名规则），合法转步骤116，非法转步骤117；

步骤116：把文件转移到待发送文件夹，转步骤118；

步骤117：把文件转移到接收NG文件夹，结束；

步骤118：检查待发文件夹是否有.zip或者.dat或者.txt文件，无文件结束，有文件转步骤119；

步骤119：获取文件名中的目标终端ID，由相应的目标终端ID发送线程进行处理；转步骤120；

步骤120：读取文件内容，创建包头数据，写入socket，然后写入文件数据到socket，转步骤121；

步骤121：读取反馈，OK转步骤122，NG转步骤123；

步骤122：把文件移动到发送OK文件夹，结束；

步骤123：再次尝试发送文件，重复3次；成功转步骤122；失败转步骤124；

步骤124：把文件移动到发送NG文件夹，结束。

客户端处理过程如下：

步骤201：创建发送线程，向指定的服务器请求并建立连接；

步骤202：创建接收线程，向指定的服务器请求并建立连接；

步骤203：如果是接收线程，转步骤204；如果是发送线程，转步骤211；

步骤204：根据通讯协议，读取包头数据，在临时文件夹创建包头规定的文件名，读取文件二进制数据并写入临时文件，转步骤205；

步骤205：根据包头MD5值，校验写入文件的MD5值，一致转步骤206，不一致转步骤207；

步骤206：发送反馈OK，转步骤208；

步骤207：发送反馈NG，转步骤210；

步骤208：判断文件名是否合法（参见4文件命名规则），合法转步骤209，非法转步骤210；

步骤209：把文件转移到待接收文件夹，结束；

步骤210：把文件转移到接收NG文件夹，结束；

步骤211：检查待发文件夹是否有.zip或者.dat或者.txt文件，无文件结束，有文件转步骤212；

步骤212：读取文件内容，创建包头数据，写入socket，然后写入文件数据到socket，转步骤213；

步骤213：读取反馈，OK转步骤214，NG转步骤215；

步骤214：把文件移动到发送OK文件夹，结束；

步骤215：再次尝试发送文件，重复3次；成功转步骤214；失败转步骤216；

步骤216：把文件移动到发送NG文件夹，结束；

文件处理过程如下：

步骤301：检查接口表是否有未发送数据，有转步骤302，无转步骤401；

步骤302：获取接口表未发送数据，按照接口传输配置的字段名称、类型、顺序，创建.txt文件，并放入临时文件夹。然后更新接口表相应数据项的状态为已处理；

步骤303：检查当前接口配置，是否需要加密，需要转步骤304，不需要转步骤305；

步骤304：按当前接口配置密钥，采用AES算法对文件进行加密，在临时文件夹写入加密后的.dat文件，然后删除.txt文件；

步骤305：检查当前接口配置，是否需要压缩，需要转步骤306，不需要转步骤307；

步骤306：对临时文件夹的.dat文件进行压缩，创建.zip文件，然后删除.dat文件；

步骤307：把临时文件夹的.txt或者.dat或者.zip文件转移到待发送文件夹。

步骤401：检查待接收文件夹是否有.zip或者.dat或者.txt文件，有则转步骤402，无则结束；

步骤402：如果有.zip文件，解压缩文件到临时文件夹，如果解压缩失败转步骤407；如果没有.zip文件，转步骤403；

步骤403：如果有.dat文件，按当前接口配置密钥，用AES算法对文件进行解密，在临时文件夹创建.txt文件，如果解密文件失败，转步骤407；如果没有.dat文件，转步骤404；

步骤404：把临时文件夹的.txt文件转移到待接收文件夹，把临时文件夹的.dat文件删除，如果临时文件夹没有.txt文件，转步骤405；涉及到的txt文件传送，可以根据实际需要，更换成其他扩展名的文件，按同样的步骤进行操作。

步骤405：按配置规则，读取待接收文件夹txt文件内容，并把文件内容按配置文件规则解析后写入数据库接口表，如果处理失败，转步骤407；

步骤406：把待接收文件夹的.zip或者.dat或者.txt文件转移到接收OK文件夹；

步骤407：把待接收文件夹的.zip或者.dat文件或者.txt文件转移到接收失败文件夹，删除临时文件夹的对应.dat和.txt文件，结束。

Claims (8)

1.一种应用系统间的自动化网络数据传输方法，其特征在于：

在通信服务端包括如下步骤：

步骤101、监听是否有通信客户端的发送连接请求或者接收连接请求的步骤；该步骤中如果监听到有通信客户端的发送连接请求或者接收连接请求则转向步骤102，继续监听；

步骤102、验证通信客户端是否合法的步骤；如果合法则转向步骤103，否则转向步骤101；

步骤103、判断是发送连接请求还是接收连接请求的步骤；如果是接收请求，转步骤104，否则，转步骤107；

步骤104、将接收的数据写入通信服务端的临时文件的步骤；该步骤中与该通信客户端建立连接，接收由该通信客户端的数据，根据通讯协议，读取包头数据，在临时文件夹创建包头规定的文件名，读取接收的文件二进制数据并写入通信服务端的临时文件；

步骤105、校验的步骤；该步骤中，根据读取包头数据中的MD5值，校验写入临时文件的MD5值；判断包头数据中的MD5值与写入通信服务端的临时文件的MD5值是否一致，如果一致则反馈OK，并转向步骤106；否则反馈NG，并将通信服务端的临时文件转移到通信服务端的接收NG文件夹，结束；

步骤106、判断文件名是否合法的步骤；该步骤中读取包头数据中文件名字段，并断其是否符合设定的格式要求，若符合设定的格式要求将接收的文件转入通信服务端的待发送文件夹，转向步骤107，否则将文件转移到通信服务端的接收NG文件夹，结束；

步骤107、将通信服务端的待发文件夹中的文件发送的步骤，该步骤中，获取通信服务端的待发文件夹中的文件名中的目标终端ID，与该终端建立连接，将文件发送到目标终端ID指向的通信客户端；

在通信客户端包括以下步骤：

步骤201、监听通信服务端是否有数据要发送到本通信客户端或者本客户端是否有数据要发送的步骤；该步骤中监听与指定的通信服务器连接是否有数据接收和检测本通信客户端的待发文件夹中是否有文件，如果均是否定的，则继续本步骤，否则，若是与指定的通信服务器连接有数据接收则转向步骤202，本通信客户端的待发文件夹中有文件则转向步骤205；

步骤202、接收数据的步骤，该步骤中：根据通讯协议，读取接收数据包的包头数据，在本通信客户端的临时文件夹创建包头规定的临时文件的文件名，读取文件二进制数据并写入所述的临时文件；

步骤203、校验步骤；该步骤中，根据读取包头中的MD5值，校验写入所述的临时文件的MD5值，一致则反馈OK，转向步骤204，不一致则反馈NG，将所述的临时文件转入本通信客户端的接收NG文件夹，结束；

步骤204、判断文件名是否合法的步骤，该步骤中，读取接收数据包的包头数据中文件名字段，并判断其是否符合设定的格式要求，若符合则合法，把所述的临时文件转移到待接收文件夹，结束；否则不合法，把所述的临时文件转移到接收NG文件夹，结束；

步骤205、创建包头数据，写入socket，然后写入本通信客户端的待发文件夹中的文件数据加密、压缩后加入到socket的步骤；该步骤中按照通讯协议，创建包头数据、对文件数据加密、压缩；

步骤206、读取反馈的步骤；该步骤中若反馈是OK，则将本通信客户端的待发文件夹中的文件转移到发送OK文件夹，结束；若反馈是NG，则将本通信客户端的待发文件夹中的文件转移到发送NG文件夹；结束。

2.根据权利要求1所述的应用系统间的自动化网络数据传输方法，其特征在于：所述的步骤101中具体包括：

步骤1011：创建发送监听线程；

步骤1012：创建接收监听线程；

步骤1013：在发送监听线程上开始监听指定的端口；

步骤1014：在接收监听线程上开始监听指定的端口；

步骤1015：有发送连接请求时，转步骤101；

步骤1016：有接收连接请求时，转步骤101。

3.根据权利要求1所述的应用系统间的自动化网络数据传输方法，其特征在于：所述的步骤102中验证通信客户端是否合法的标准是看该通信客户端的ID和IP地址、MAC地址是否保存在通信服务器的合法ID和IP地址、MAC地址表中。

4.根据权利要求1所述的应用系统间的自动化网络数据传输方法，其特征在于：所述的步骤106和步骤204中，文件名字段的设定格式是：源终端ID_目标终端ID_接口识别名称_YYYYMMDD_HH24MMSS.扩展名。

5.根据权利要求1所述的应用系统间的自动化网络数据传输方法，其特征在于：所述的包头数据为：

序号 字段 字段类型 起始位置 长度 说明 1 终端ID 字符串 0 8 2 文件名 字符串 8 102 包含扩展名 3 MD5 字符串 110 32 文件MD5值 4 文件长度 长整型 142 8 文件的字节数

。

6.一种根据权利要求1所述的应用系统间的自动化网络数据传输方法的系统，包括通信服务端、通信客户端和文件处理模块；其特征在于：

所述的通信服务端负责对客户端的收发文件进行转发；包括：

监听是否有通信客户端的发送连接请求或者接收连接请求的装置；

验证通信客户端是否合法的装置；

判断是发送连接请求还是接收连接请求的装置；

将接收的数据写入通信服务端的临时文件的装置；

检验装置；

判断文件名是否合法的装置；

将通信服务端的待发文件夹中的文件发送的装置；

所述的通信客户端负责文件上传到服务端和从服务端接收文件，包括：

监听通信服务端是否有数据要发送到本通信客户端或者本客户端是否有数据要发送的装置；

接收数据的装置；

客户端校验装置；

客户端判断文件名是否合法的装置；

创建包头数据的装置；

读取反馈的装置；

所述的文件处理模块接收时负责从数据库接口表获取数据，创建数据文件，对数据文件进行加密，对数据文件进行压缩；发送时负责对接收到的数据文件进行解密、解压缩，并还原数据到数据库接口表。

7.根据权利要求6所述的系统，其特征在于：

在所述的通信服务端的监听是否有通信客户端的发送连接请求或者接收连接请求的装置中包括：

创建监听指定端口的发送监听线程的装置；

创建监听指定的端口的接收监听线程的装置。

8.根据权利要求6所述的系统，其特征在于：

所述的验证通信客户端是否合法的装置中包括验证通信客户端是否合法的标准，所述的标准是看该通信客户端的ID和IP地址、MAC地址是否保存在通信服务器的合法ID和IP地址、MAC地址表中。

Images