CN105187373A - 一种数据的传输方法及系统 - Google Patents

Abstract

本发明公开了一种数据的传输方法及系统。其中，该方法包括：发送第一身份标识码和原始数据给数据接收端，数据接收端接收到第一身份标识码和原始数据后，对第一身份标识码进行验证，当验证成功时，数据接收端将第二身份标识码和回执进行回发；接收到第二身份标识码和回执后，对第二身份标识码进行验证；当验证结果为成功时，确认数据接收端成功接收原始数据；在传输层对网络连接进行加密。本发明一方面保证了数据传输的安全性，另一方面避免了对传输数据进行加密，提高了数据的传输效率。

Description

一种数据的传输方法及系统

技术领域

本发明涉及通信的技术领域，尤其涉及一种数据的传输方法及系统。

背景技术

目前，针对数据的交换，通常采用以下传统方式：

一般对于大批量数据文件的数据交换，通常采用FTP(FileTransferProtocol，文件传输协议)的形式上传，即用户通过客户机程序向服务器程序发出命令，服务器程序执行用户所发出的命令，并将执行的结果返回到客户机，这属于最基本的数据传输形式，无法保证数据上传下载的安全性。为了保证数据上传下载的安全性，用户还可以采用SFTP(SecureFileTransferProtocol，安全文件传送协议)的形成传输数据。但是，由于SFTP需要对传输文件进行加密传输，因而SFTP的数据传输效率比普通的FTP要低得多。

因此，需要一种兼具高安全性和高数据传输效率的数据传输方式。

发明内容

本发明实施例通过提供一种数据的传输方法及系统，解决了现有技术中无法兼具高安全性和高数据传输效率的技术问题。

本发明实施例提供了一种数据的传输方法，所述方法包括：

发送第一身份标识码和原始数据给数据接收端，所述数据接收端接收到所述第一身份标识码和所述原始数据后，对所述第一身份标识码进行验证，当验证成功时，所述数据接收端将第二身份标识码和回执进行回发；

接收到所述第二身份标识码和所述回执后，对所述第二身份标识码进行验证；当验证结果为成功时，确认所述数据接收端成功接收所述原始数据；

在传输层对网络连接进行加密。

进一步地，所述在传输层对网络连接进行加密，具体包括：

发送网络连接请求给所述数据接收端，所述数据接收端接收所述网络连接请求，将所述数据接收端的公钥发回；

接收所述公钥，判断所述公钥是否正确；

若正确，生成对称密钥，并用所述公钥对所述对称密钥进行加密，发送加密后的对称密钥给所述数据接收端，所述数据接收端接收所述加密后的对称密钥，通过所述数据接收端的公钥对所述加密后的对称密钥进行解密，并判断解密得到的对称密钥与数据发送端的对称密钥是否匹配，若匹配成功，对所述第一身份标识码进行验证。

进一步地，在所述数据接收端成功接收所述原始数据之后，所述数据接收端还对所述原始数据的有效性进行验证，若验证成功，对所述原始数据进行解析。

进一步地，所述对所述原始数据的有效性进行验证，若验证成功，对所述原始数据进行解析，具体包括：

对所述原始数据的格式是否满足数据传输协议的格式要求、所述原始数据的文件头的格式是否满足数据传输协议的格式要求、所述原始数据的文件体各元素的层级是否满足数据传输协议的格式要求进行验证；

若均验证成功，对所述原始数据进行解析。

进一步地，所述对所述原始数据进行解析，具体包括：

将所述原始数据以二进制数组的形式进行存储；

解析所述二进制数组上每个元素的物理存储位置，对各元素的物理存储位置进行存储；

根据所述各元素的物理存储位置在所述原始数据上对所需内容进行解码。

本发明实施例还提供了一种数据的传输系统，包括：

数据发送模块，用于发送第一身份标识码和原始数据给数据接收端；

第一验证模块，用于当所述数据接收端接收到所述第一身份标识码和所述原始数据后，对所述第一身份标识码进行验证，若验证成功，所述数据接收端将第二身份标识码和回执进行回发时，接收到所述第二身份标识码和所述回执，对所述第二身份标识码进行验证；当验证结果为成功时，确认所述数据接收端成功接收所述原始数据；

加密模块，用于在传输层对网络连接进行加密。

进一步地，所述加密模块，包括：

连接请求单元，用于发送网络连接请求给所述数据接收端；

判断单元，用于当所述数据接收端接收所述网络连接请求，将所述数据接收端的公钥发回时，接收所述公钥，判断所述公钥是否正确；

加密单元，用于若所述判断单元的判断结果为正确，生成对称密钥，并用所述公钥对所述对称密钥进行加密，发送加密后的对称密钥给所述数据接收端；

所述第一验证模块，具体用于当所述数据接收端接收所述加密后的对称密钥，通过所述数据接收端的公钥对所述加密后的对称密钥进行解密，并判断解密得到的对称密钥与数据发送端的对称密钥是否匹配，若匹配成功，对所述第一身份标识码进行验证，当验证成功时，所述数据接收端将第二身份标识码和回执进行回发时，接收到所述第二身份标识码和所述回执，对所述第二身份标识码进行验证。

进一步地，还包括：

第二验证模块，用于所述数据接收端对所述原始数据的有效性进行验证；

解析模块，用于若所述第二验证模块的验证结果为成功，所述数据接收端对所述原始数据进行解析。

进一步地，所述第二验证模块，具体用于所述数据接收端对所述原始数据的格式是否满足数据传输协议的格式要求、所述原始数据的文件头的格式是否满足数据传输协议的格式要求、所述原始数据的文件体各元素的层级是否满足数据传输协议的格式要求进行验证；

所述解析模块，具体用于若所述第二验证模块的验证结果均为成功，所述数据接收端对所述原始数据进行解析。

进一步地，所述解析模块，具体包括：

存储单元，用于若所述第二验证模块的验证结果均为成功，所述数据接收端将所述原始数据以二进制数组的形式进行存储；

解析执行单元，用于所述数据接收端解析所述二进制数组上每个元素的物理存储位置，对各元素的物理存储位置进行存储；；

解码单元，用于所述数据接收端根据所述各元素的物理存储位置在所述原始数据上对所需内容进行解码。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、本发明实施例先将第一身份标识码和原始数据发送到数据接收端,数据接收端对第一身份标识码进行验证；当验证成功时，数据接收端将第二身份标识码和回执进行回发；在传输层对网络连接进行加密，一方面保证了数据传输的安全性，另一方面避免了对传输数据进行加密，提高了数据的传输效率。

2、数据接收端将原始数据以二进制数组的形式进行存储，连解码都不做，再解析二进制数组上每个元素的物理存储位置，并根据各元素的物理存储位置在原始数据上对所需内容进行解码，实现了通过非提取的基于文件指针的模式完成数据的解析，数据所占用的内存比普通DOM低5-10倍，且不需要像普通DOM解析方式那样对数据进行重复解析，性能快。此外，由于本发明实施例是在各元素的物理存储位置上进行遍历和解码数据的，因此本发明实施例还提供了快速的解析与遍历、对XPath的支持和增量更新。

附图说明

图1为本发明实施例一提供的数据的传输方法的流程图；

图2为本发明实施例一中将原始数据以二进制数组的形式进行存储的各元素的物理存储位置的结构图；

图3为本发明实施例一中对通信接口进行封装的流程图；

图4为通过本发明实施例一提供的方法实现中央平台与各区域平台之间的XML数据交互的网络拓扑图；

图5为通过本发明实施例一提供的方法实现中央平台与各区域平台之间的XML数据交互的流程图；

图6为通过本发明实施例一提供的方法实现中央平台与各区域平台之间的XML数据交互的逻辑结构图；

图7为本发明实施例二提供的数据的传输系统的模块图。

具体实施方式

本发明实施例通过提供一种数据的传输方法及系统，解决了现有技术中无法兼具高安全性和高数据传输效率的技术问题。

本发明实施例中的技术方案为解决上述技术问题，总体思路如下：

先将第一身份标识码和原始数据发送到数据接收端,数据接收端对第一身份标识码进行验证；当验证成功时，数据接收端将第二身份标识码和回执进行回发；在传输层对网络连接进行加密，一方面保证了数据传输的安全性，另一方面避免了对传输数据进行加密，提高了数据的传输效率。

为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例一

参见图1，本发明实施例提供的数据的传输方法，包括：

步骤S110：发送第一身份标识码和原始数据给数据接收端，数据接收端接收到第一身份标识码和原始数据后，对第一身份标识码进行验证，当验证成功时，则说明发送端为合法用户，数据接收端将第二身份标识码和回执进行回发；当验证失败时，则说明发送端为非法用户，数据接收端将原始数据丢弃和/或发出警报。

步骤S120：接收到第二身份标识码和回执后，对第二身份标识码进行验证；当验证结果为成功时，确认数据接收端成功接收原始数据；当验证结果为失败时，说明接收端不正确，重新发送第一身份标识码和原始数据。

需要说明的是，本发明实施例还在传输层对网络连接进行加密。

在本实施例中，在传输层对网络连接进行加密的步骤，具体包括：

发送网络连接请求给数据接收端，数据接收端接收网络连接请求，将数据接收端的公钥发回；

接收数据接收端的公钥，判断数据接收端的公钥是否正确；

若正确，生成对称密钥，并用数据接收端的公钥对对称密钥进行加密，发送加密后的对称密钥给数据接收端，数据接收端接收加密后的对称密钥，通过数据接收端的公钥对加密后的对称密钥进行解密，并判断解密得到的对称密钥与数据发送端的对称密钥是否匹配，若匹配成功，对第一身份标识码进行验证。若匹配不成功，将解密得到的对称密钥丢弃和/或发送警报。

若不正确，将数据接收端的公钥丢弃和/或发出警报。

对本发明实施例提供的方法进行进一步地说明，在数据接收端成功接收原始数据之后，数据接收端还对原始数据的有效性进行验证，若验证成功，说明原始数据有效，对原始数据进行解析。若验证失败，说明原始数据无效，将错误代码发回；

对本步骤进行具体的说明：

数据接收端对原始数据的格式是否满足数据传输协议的格式要求、原始数据的文件头的格式是否满足数据传输协议的格式要求、原始数据的文件体各元素的层级是否满足数据传输协议的格式要求进行验证；需要说明的是，此过程只是基于数据传输协议对数据格式进行基本判断，不涉及具体数据内容的解析。

若均验证成功，说明原始数据有效，数据接收端对原始数据进行解析。

若至少有一个验证失败，说明原始数据无效，数据接收端将错误代码发回；

在本实施例中，对原始数据进行解析的步骤，具体包括：

将原始数据以二进制数组的形式进行存储；

解析二进制数组上每个元素的物理存储位置，对各元素的物理存储位置进行存储；参见图2，表示了每个元素的位置和类型，对数据的所有操作都是基于这个数据结构进行的。

根据各元素的物理存储位置在原始数据上对所需内容进行解码。

参见图3，本发明实施例还提供了通信接口的封装方法，包括：

1.在数据交换的公共接口中封装了各种底层API(ApplicationProgrammingInterface,应用程序编程接口)，以便调用，具体包括：

1)获取子元素属性值：将指针定位到子节点名称对应的子节点元素上，然后找到属性名称对应的下标并通过该下标获取属性值，最后将指针位置还原；

2)获取子节点值：将指针定位到子节点名称对应的子节点元素上,然后获取该元素下标并通过该下标获取节点值，最后将指针位置还原；

3)获取当前元素属性值：找到该属性值对应下标并通过该下标获取节点值；

4)解析子节点：判断当前节点是否是复杂节点；具体地，如果当前节点下面还有子节点，则该节点是复杂节点；如果当前节点下面没有子节点，则该节点不是复杂节点。

如果该节点是复杂节点，则将指针定位到子节点名称对应的子节点元素上，并提供抽象方法将子节点对应的属性以及下级节点数据解析成数据对象，最后将指针位置还原。

如果该节点不是复杂节点，则直接“获取子节点值”。

2.使用模板模式，数据交换的公共接口抽象出了4个方法，在数据交换公共接口的解析方法中调用，这样代码人员只需要实现该4个抽象方法即可。解析数据则调用已封装好的API方法；

3.创建实现类，并继承数据交换公共接口，实现类实现了数据交换公共接口所提供的4个抽象接口；

这里需要说明的是，数据交换公共接口依赖于请求数据解析器。请求数据解析器和响应数据组包器则依赖于数据交换管理器，由数据交换管理器提供对外方法，负责整合资源。

参见图4-图6，通过本发明实施例提供的方法实现中央平台(国家平台)与各区域平台(省平台)之间的XML(ExtensibleMarkupLanguage，可扩展标记语言)数据交互的步骤包括：

1.中央平台通过配置biztalk组件接收文件；具体地，对于每个子平台(区域平台)WebApp，将中央平台为中心，分别被分配了各自的参与者标识GLN(globallocationnumber，全球位置编码)。由各区域平台生成原始数据，并将数据上传到biztalkserver中；Biztalkserver接收各子平台(区域平台)上传的原始数据文件，并将文件放置到指定的参与者标识GLN的目录下；

2.中央平台在指定的接收目录下读取数据文件；

3.中央平台根据XSD(XMLSchemasDefinition，XML结构定义)标准验证文档对上传的原始数据文件的有效性进行验证；其中，具体验证的内容包括：

1)原始文件是否是一个有效的XML格式；

2)原始文件的文件头是否满足XSD文件规定的格式；

3)原始文件的文件体各个元素的层级是否满足XSD文件规定的格式规范；

4.若验证失败，表示原始文件无效，所有数据均不入库；

若验证成功，表示原始文件有效。开始解析报文头，并按照不同的报文头确定数据的类型(企业数据还是产品数据或是其他数据)；

5.解析报文体，并根据业务流程判断数据是否有逻辑错误；其中，逻辑错误具体包括：

1)各项信息中的企业名在企业数据表中找不到；

2)产品批次数据中对应的商品条码信息在产品表中找不到；

3)追溯数据或检验报告信息中对应的商品条码与批次号在产品批次表中找不到；

6.如果有逻辑错误，记录逻辑错误码以及错误信息；

如果没有逻辑错误，则该数据直接入数据库对应各业务表。

7.统计出各无效数据、有效数据、有逻辑错误数据和无逻辑错误数据的数量以及错误信息，并将这些信息组包成响应文件，放置到biztalk指定的发送目录中；

8.Biztalk将发送目录中的数据文件发送到相应的子平台(区域平台)。

实施例二

参见图7，本发明实施例还提供了一种数据的传输系统，包括：

数据发送模块100，用于发送第一身份标识码和原始数据给数据接收端；

第一验证模块200，用于当数据接收端接收到第一身份标识码和原始数据后，对第一身份标识码进行验证，若验证成功，数据接收端将第二身份标识码和回执进行回发时，接收到第二身份标识码和回执，对第二身份标识码进行验证；当验证结果为成功时，确认数据接收端成功接收原始数据；当验证结果为失败时，说明接收端不正确，重新发送发送端身份标识码和原始数据。其中，若数据接收端对第一身份标识码的验证结果为失败，则说明发送端为非法用户，将原始数据丢弃和/或发出警报。

加密模块，用于在传输层对网络连接进行加密。

在本实施例中，加密模块，具体包括：

连接请求单元，用于发送网络连接请求给数据接收端；

判断单元，用于当数据接收端接收网络连接请求，将数据接收端的公钥发回时，接收数据接收端的公钥，判断数据接收端的公钥是否正确；

加密单元，用于若判断单元的判断结果为正确，生成对称密钥，并用数据接收端的公钥对对称密钥进行加密，发送加密后的对称密钥给数据接收端；

第一验证模块200，具体用于当数据接收端接收加密后的对称密钥，通过数据接收端的公钥对加密后的对称密钥进行解密，并判断解密得到的对称密钥与数据发送端的对称密钥是否匹配，若匹配成功，对第一身份标识码进行验证，当验证成功时，数据接收端将第二身份标识码和回执进行回发时，接收到第二身份标识码和回执，对第二身份标识码进行验证。

对本发明实施例提供的系统的结构进行说明，还包括：

第二验证模块300，用于数据接收端对原始数据的有效性进行验证；

错误代码回发模块400，用于若第二验证模块300的验证结果为失败，说明原始数据无效，数据接收端将错误代码发回；

解析模块500，用于若第二验证模块300的验证结果为成功，说明原始数据有效，数据接收端对原始数据进行解析。

在本实施例中，第二验证模块300，具体用于数据接收端对原始数据的格式是否满足数据传输协议的格式要求、原始数据的文件头的格式是否满足数据传输协议的格式要求、原始数据的文件体各元素的层级是否满足数据传输协议的格式要求进行验证；需要说明的是，此过程只是基于数据传输协议对数据格式进行基本判断，不涉及具体数据内容的解析。

错误代码回发模块400，具体用于若第二验证模块300的验证结果为至少有一个验证失败，说明原始数据无效，数据接收端将错误代码发回；

解析模块500，具体用于若第二验证模块300的验证结果均为成功，数据接收端对原始数据进行解析。

对解析模块500的结构进行说明，在本实施例中，解析模块500，包括：

存储单元，用于若第二验证模块300的验证结果均为成功，数据接收端将原始数据以二进制数组的形式进行存储；

解析执行单元，用于数据接收端解析二进制数组上每个元素的物理存储位置，对各元素的物理存储位置进行存储；

解码单元，用于数据接收端根据各元素的物理存储位置在原始数据上对所需内容进行解码。

【技术效果】

1、本发明实施例先将第一身份标识码和原始数据发送到数据接收端，数据接收端对第一身份标识码进行验证；当验证成功时，数据接收端将第二身份标识码和回执进行回发；在传输层对网络连接进行加密，一方面保证了数据传输的安全性，另一方面避免了对传输数据进行加密，提高了数据的传输效率。

2、数据接收端将原始数据以二进制数组的形式进行存储，连解码都不做，再解析二进制数组上每个元素的物理存储位置，并根据各元素的物理存储位置在原始数据上对所需内容进行解码，实现了通过非提取的基于文件指针的模式完成数据的解析，数据所占用的内存比普通DOM低5-10倍，且不需要像普通DOM解析方式那样对数据进行重复解析，性能快。此外，由于本发明实施例是在各元素的物理存储位置上进行遍历和解码数据的，因此本发明实施例还提供了快速的解析与遍历、对XPath的支持和增量更新。

3、为了便于其他接口的调用，本发明实施例还将具体的解析过程封装成模块。根据报文头的信息，获取指定数据的解析内容，创建实现类并继承数据交换公共接口，从而最终实现数据交换和资源整合。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据的传输方法，其特征在于，所述方法包括：

发送第一身份标识码和原始数据给数据接收端，所述数据接收端接收到所述第一身份标识码和所述原始数据后，对所述第一身份标识码进行验证，当验证成功时，所述数据接收端将第二身份标识码和回执进行回发；

接收到所述第二身份标识码和所述回执后，对所述第二身份标识码进行验证；当验证结果为成功时，确认所述数据接收端成功接收所述原始数据；

在传输层对网络连接进行加密。

2.如权利要求1所述的方法，其特征在于，所述在传输层对网络连接进行加密，具体包括：

发送网络连接请求给所述数据接收端，所述数据接收端接收所述网络连接请求，将所述数据接收端的公钥发回；

接收所述公钥，判断所述公钥是否正确；

若正确，生成对称密钥，并用所述公钥对所述对称密钥进行加密，发送加密后的对称密钥给所述数据接收端，所述数据接收端接收所述加密后的对称密钥，通过所述数据接收端的公钥对所述加密后的对称密钥进行解密，并判断解密得到的对称密钥与数据发送端的对称密钥是否匹配，若匹配成功，对所述第一身份标识码进行验证。

3.如权利要求1所述的方法，其特征在于，在所述数据接收端成功接收所述原始数据之后，所述数据接收端还对所述原始数据的有效性进行验证，若验证成功，对所述原始数据进行解析。

4.如权利要求3所述的方法，其特征在于，所述对所述原始数据的有效性进行验证，若验证成功，对所述原始数据进行解析，具体包括：

对所述原始数据的格式是否满足数据传输协议的格式要求、所述原始数据的文件头的格式是否满足数据传输协议的格式要求、所述原始数据的文件体各元素的层级是否满足数据传输协议的格式要求进行验证；

若均验证成功，对所述原始数据进行解析。

5.如权利要求3或4所述的方法，其特征在于，所述对所述原始数据进行解析，具体包括：

将所述原始数据以二进制数组的形式进行存储；

解析所述二进制数组上每个元素的物理存储位置，对各元素的物理存储位置进行存储；

根据所述各元素的物理存储位置在所述原始数据上对所需内容进行解码。

6.一种数据的传输系统，其特征在于，包括：

数据发送模块，用于发送第一身份标识码和原始数据给数据接收端；

第一验证模块，用于当所述数据接收端接收到所述第一身份标识码和所述原始数据后，对所述第一身份标识码进行验证，若验证成功，所述数据接收端将第二身份标识码和回执进行回发时，接收到所述第二身份标识码和所述回执，对所述第二身份标识码进行验证；当验证结果为成功时，确认所述数据接收端成功接收所述原始数据；

加密模块，用于在传输层对网络连接进行加密。

7.如权利要求6所述的系统，其特征在于，所述加密模块，包括：

连接请求单元，用于发送网络连接请求给所述数据接收端；

判断单元，用于当所述数据接收端接收所述网络连接请求，将所述数据接收端的公钥发回时，接收所述公钥，判断所述公钥是否正确；

加密单元，用于若所述判断单元的判断结果为正确，生成对称密钥，并用所述公钥对所述对称密钥进行加密，发送加密后的对称密钥给所述数据接收端；

所述第一验证模块，具体用于当所述数据接收端接收所述加密后的对称密钥，通过所述数据接收端的公钥对所述加密后的对称密钥进行解密，并判断解密得到的对称密钥与数据发送端的对称密钥是否匹配，若匹配成功，对所述第一身份标识码进行验证，当验证成功时，所述数据接收端将第二身份标识码和回执进行回发时，接收到所述第二身份标识码和所述回执，对所述第二身份标识码进行验证。

8.如权利要求6所述的系统，其特征在于，还包括：

第二验证模块，用于所述数据接收端对所述原始数据的有效性进行验证；

解析模块，用于若所述第二验证模块的验证结果为成功，所述数据接收端对所述原始数据进行解析。

9.如权利要求8所述的系统，其特征在于，所述第二验证模块，具体用于所述数据接收端对所述原始数据的格式是否满足数据传输协议的格式要求、所述原始数据的文件头的格式是否满足数据传输协议的格式要求、所述原始数据的文件体各元素的层级是否满足数据传输协议的格式要求进行验证；

所述解析模块，具体用于若所述第二验证模块的验证结果均为成功，所述数据接收端对所述原始数据进行解析。

10.如权利要求9所述的系统，其特征在于，所述解析模块，具体包括：

存储单元，用于若所述第二验证模块的验证结果均为成功，所述数据接收端将所述原始数据以二进制数组的形式进行存储；

解析执行单元，用于所述数据接收端解析所述二进制数组上每个元素的物理存储位置，对各元素的物理存储位置进行存储；

解码单元，用于所述数据接收端根据所述各元素的物理存储位置在所述原始数据上对所需内容进行解码。