CN114598497A - 基于传输卡可纠错多通道的数据隔离装置及方法 - Google Patents

Abstract

本发明公开了一种基于传输卡可纠错多通道的数据隔离装置及方法，所述装置包括包括网闸外模块、传输卡和网闸内模块；所述网闸外模块中设有第一应用程序；所述网闸内模块中设有第二应用程序；所述传输卡中设有若干个传输通道，各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成连接通道；当网闸外模块接收到数据后，结合所述第一应用程序、一连接通道和第二应用程序，利用私有协议中的CRC进行数据校验，如果出现数据错误，将丢弃该数据，如果出现出现数据乱序，则将接收到的数据保存在队列中，等待前一帧数据。本发明能够高效地解决传输卡误码导致的丢包问题，并且能够实现多通道传输，有效重组数据，隔离性能得到了大幅提升。

Description

基于传输卡可纠错多通道的数据隔离装置及方法

技术领域

本发明具体涉及一种基于传输卡可纠错多通道的数据隔离装置及方法。

背景技术

电力系统关系着国计民生，随着经济社会的发展，电力在生产生活各方面都占据了重要地位，电力系统的也向着也智能化方向发展，但随之而来，也增加了网络潜在的危险。

如图1所示为现有技术中的安全隔离网闸系统，其正向网闸数据交换步骤如下：

首先，由客户端到外部网的TCP数据，外网将TCP报文的应用数据(不包含任何网络封装信息)写入缓冲区，所有UDP原始报文数据写入一块缓冲即可；

其次，外网从内网依次接收数据缓冲块时，对于TCP数据块，因为TCP连接之间传输速率有差异，防止单个连接的拥塞导致整个数据转发停滞，需要为每个TCP单独维护队列。内网单独维护和客户机通讯的每个TCP连接，把数据缓存到缓冲区中，然后把数据缓冲区整块发送给外网端。

最后，内网通过外网端的1位应答来确认整块数据的传输有效性。

通过分析上述数据隔离技术方案后，不难发现，现有技术主要有两方面的缺点：

第一，需要为每个TCP连接，单独维护一个队列，将TCP的数据全部缓存到缓冲区，然后才能将数据发送给外网。不仅需要很大的存储缓存数据，还需要等待TCP分片数据完全接收完成才能进行转发。在数以万计的客户端并发时，明显存储和延时都将可能导致性能瓶颈。并且在传输出现误码的时候，没有重传机制，将导致丢包的情况的发生。

第二，数据交换时采用单通道传输，在并发较高的情况下，将不能高效的使用隔离卡和网闸本身处理器，从而导致性能瓶颈。

发明内容

针对上述问题，本发明提出一种基于传输卡可纠错多通道的数据隔离装置及方法，能够高效地解决传输卡误码导致的丢包问题，并且能够实现多通道传输，有效重组数据，隔离性能得到了大幅提升。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

第一方面，本发明提供了一种基于传输卡可纠错多通道的数据隔离装置，包括网闸外模块、传输卡和网闸内模块；

所述网闸外模块中设有第一应用程序；所述网闸内模块中设有第二应用程序；所述传输卡中设有若干个传输通道，各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成连接通道；

当网闸外模块接收到数据后，结合所述第一应用程序、一连接通道和第二应用程序，利用私有协议中的CRC进行数据校验，如果出现数据错误，将丢弃该数据，如果出现出现数据乱序，则将接收到的数据保存在队列中，等待前一帧数据。

可选地，所述网闸外模块中设有mangle表；

当所述网闸外模块接收到客户主机发送的连接请求，随机分配到一个工作线程，成功与mangle表中的规则匹配后，利用所述第一应用程序对连接请求进行封装处理，添加KCP头部、私有协议头部和CRC，形成私有连接请求，当前工作线程，通过连接通道转发私有连接请求到网闸内模块；

当网闸内模块中的第二应用程序接收到私有连接请求后，验证CRC，并解析私有连接请求的头部，通过校验后，回复应答信号至网闸外模块，并将连接请求发送至业务主机。

可选地，如果校验失败，则丢弃该连接请求，网闸外模块在设定时间内收不到应答信号，将会重传该连接请求。

可选地，当所述网闸外模块接收到客户主机发送的TCP数据后，利用所述第一应用程序对TCP数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸内模块；

当所述网闸内模块中的第二应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输。

可选地，当TCP数据超过预设长度，则对TCP数据进行分包处理，再对分包处理后的TCP数据进行分别封装。

可选地，当所述网闸内模块接收业务主机发送的数据后，利用所述第二应用程序对数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸外模块；

当所述网闸外模块中的第一应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输至客户主机。

第二方面，本发明提供了一种基于传输卡可纠错多通道的安全数据隔离方法，包括：

所述网闸外模块中设有第一应用程序；所述网闸内模块中设有第二应用程序；所述传输卡中设有若干个传输通道，各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成连接通道；

利用传输卡中的各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成若干个连接通道；

当网闸外模块接收到数据后，结合所述网闸外模块中的第一应用程序、一连接通道和网闸内模块中的第二应用程序，利用私有协议中的CRC进行数据校验，如果出现数据错误，将丢弃该数据，如果出现出现数据乱序，则将接收到的数据保存在队列中，等待前一帧数据。

可选地，所述网闸外模块中设有mangle表；

当所述网闸外模块接收到客户主机发送的连接请求，随机分配到一个工作线程，成功与mangle表中的规则匹配后，利用所述第一应用程序对连接请求进行封装处理，添加KCP头部、私有协议头部和CRC，形成私有连接请求，当前工作线程，通过连接通道转发私有连接请求到网闸内模块；

当网闸内模块中的第二应用程序接收到私有连接请求后，验证CRC，并解析私有连接请求的头部，通过校验后，回复应答信号至网闸外模块，并将连接请求发送至业务主机。

可选地，当所述网闸外模块接收到客户主机发送的TCP数据后，利用所述第一应用程序对TCP数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸内模块；

当所述网闸内模块中的第二应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输。

可选地，当所述网闸内模块接收业务主机发送的数据后，利用所述第二应用程序对数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸外模块；

当所述网闸外模块中的第一应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输至客户主机。

与现有技术相比，本发明的有益效果：

本发明提出传输卡接收到对端数据以后，通过私有协议中的CRC进行校验，如果出现错误，将该帧丢弃，出现乱序则保存在队列中，等待前一帧数据。由于本端应用程序直接丢弃或者丢失帧，对端将收不到应答帧，将会重传数据。最终，通过KCP协议重组数据，传输到内网服务，可以使传输卡提供可靠的数据传输服务。

本发明采用多通道进行数据传输，每个线程占用一个通道。当接收到连接请求后，系统随机分配到每个线程和通道，后续该连接的数据传输都由该线程和通道处理，避免了通道间交叉干扰。当出现大量客户主机连接传输数据时，网闸多个线程处理连接，并通过各自的通道传输数据，提高了网闸自身和传输卡的利用率，使得网闸整体的吞吐提高。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为现有技术中的正向网闸内部结构示意图；

图2为本发明一种实施例的数据隔离装置的结构示意图；

图3为本发明一种实施例的数据隔离方法的流程示意图；

图4为本发明一种实施例的私有协议报文格式。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。

下面结合附图对本发明的应用原理作详细的描述。

实施例1

本发明实施例中提供了一种基于传输卡可纠错多通道的数据隔离装置，包括网闸外模块、传输卡和网闸内模块；

所述网闸外模块中设有第一应用程序；所述网闸内模块中设有第二应用程序；所述传输卡中设有若干个传输通道，各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成连接通道；在实际使用过程中，所述第一应用程序为外网程序，所述第二应用程序为内网程序；

当网闸外模块接收到数据后，结合所述第一应用程序、一连接通道和第二应用程序，利用私有协议中的CRC进行数据校验，如果出现数据错误，将丢弃该数据，如果出现出现数据乱序，则将接收到的数据保存在队列中，等待前一帧数据。

具体地：所述网闸外模块中设有mangle表；当所述网闸外模块接收到客户主机发送的连接请求，随机分配到一个工作线程，成功与mangle表中的规则匹配后，利用所述第一应用程序对连接请求进行封装处理，添加KCP头部、私有协议头部和CRC，形成私有连接请求，当前工作线程，通过连接通道转发私有连接请求到网闸内模块；

当网闸内模块中的第二应用程序接收到私有连接请求后，验证CRC，并解析私有连接请求的头部，通过校验后，回复应答信号至网闸外模块，并将连接请求发送至业务主机；如果校验失败，则丢弃该连接请求，网闸外模块在设定时间内收不到应答信号，将会重传该连接请求。

当所述网闸外模块接收到客户主机发送的TCP数据后，利用所述第一应用程序对TCP数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸内模块；

当所述网闸内模块中的第二应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输；其中，当TCP数据超过预设长度，则对TCP数据进行分包处理，再对分包处理后的TCP数据进行分别封装。

当所述网闸内模块接收业务主机发送的数据后，利用所述第二应用程序对数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸外模块；

当所述网闸外模块中的第一应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输至客户主机。

下面结合图1和图2，对本发明实施例中的数据隔离装置的工作过程进行详细说明。

在业务通信之前，首先，需要做初始化工作，在网闸内外侧部署应用程序(即在网闸外模块中设有第一应用程序；在网闸内模块中设有第二应用程序)，所述第一应用程序和第二应用程序根据配置文件，启动相应的线程数(线程数和传输卡通道数相等)。其次，网闸内应用程序读取代理配置文件，即策略，通过传输卡传输到网闸外。网闸外应用程序接收到网闸内传输的代理配置信息，通过iptables，将代理端口添加到mangle表。

1连接请求

1.1客户主机首先向网闸外模块发起连接请求。

1.2网闸外模块接收到连接请求后，与mangle表中的规则匹配，匹配成功，将连接请求转发给第一应用程序。系统内部根据四元组(源地址，源端口，目的地址，目的端口)将连接请求随机分配给第一应用程序的工作线程(工作线程ID和传输通道ID绑定，一个线程占用一个固定传输通道)。工作线程接收到数据，根据通信套接字获取目的端口信息与网闸内应用程序传输的策略匹配。如果匹配成功，到1.3步骤。如果匹配失败，连接请求失败。

1.3第一应用程序获取TCP数据部内容，对TCP数据部进行封装，封装格式如图4，添加KCP头部和私有协议头部，并加上CRC，形成私有连接请求，并通过传输卡转发连接请求到网闸内模块。

1.4网闸内模块中的第二应用程序接收到私有连接请求，首先验证CRC，如果正确，给网闸外模块应答确认帧，并按格式解析私有连接请求头部，将连接请求发送到业务主机。如果校验失败，丢弃该连接请求，网闸外模块在设定时间内收不到应答，将会重传该连接请求，解决误码和丢包问题。

1.5网闸内模块中的第二应用程序保存连接信息，用于后续通信。

1.6网闸内模块中的第二应用程序通过传输卡返回连接确认到网闸外模块。

1.7网闸外接收到连接确认，给客户机应答连接建立成功。

2连接建立成功后，进行数据传输

2.1客户机通过上一步建立成功连接的连接通道向网闸外模块发送数据。

2.2网闸外模块收到数据之后，对于超过KCP协议中定义的传输单元的数据进行分包处理，再对数据进行封装，加上KCP头部、私有协议头部和CRC，形成私有数据。

2.3网闸外模块中的第一应用程序通过工作线程绑定的传输通道将数据同步到网闸内模块。

2.4网闸内模块同样先验证CRC(同1.4)，后将数据发送给业务主机。

3业务主机应答回传

3.1业务主机通过上一步建立成功连接的连接通道向网闸内模块发送数据。

3.2同2.2，网闸内模块对数据进行封装。

3.3网闸内模块中的第二应用程序通过工作线程绑定的传输通道将数据同步到网闸外模块。

网闸外模块同样先验证CRC(同1.4)，后将数据发送给客户机。

实施例2

基于与实施例1相同的发明构思，本发明实施例中提供了一种基于传输卡可纠错多通道的安全数据隔离方法，包括：

所述网闸外模块中设有第一应用程序；所述网闸内模块中设有第二应用程序；所述传输卡中设有若干个传输通道，各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成连接通道；

利用传输卡中的各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成若干个连接通道；

当网闸外模块接收到数据后，结合所述网闸外模块中的第一应用程序、一连接通道和网闸内模块中的第二应用程序，利用私有协议中的CRC进行数据校验，如果出现数据错误，将丢弃该数据，如果出现出现数据乱序，则将接收到的数据保存在队列中，等待前一帧数据。

所述网闸外模块中设有mangle表；当所述网闸外模块接收到客户主机发送的连接请求，随机分配到一个工作线程，成功与mangle表中的规则匹配后，利用所述第一应用程序对连接请求进行封装处理，添加KCP头部、私有协议头部和CRC，形成私有连接请求，当前工作线程，通过连接通道转发私有连接请求到网闸内模块；

当网闸内模块中的第二应用程序接收到私有连接请求后，验证CRC，并解析私有连接请求的头部，通过校验后，回复应答信号至网闸外模块，并将连接请求发送至业务主机。

当所述网闸外模块接收到客户主机发送的TCP数据后，利用所述第一应用程序对TCP数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸内模块；

当所述网闸内模块中的第二应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输。

当所述网闸内模块接收业务主机发送的数据后，利用所述第二应用程序对数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸外模块；

当所述网闸外模块中的第一应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输至客户主机。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于传输卡可纠错多通道的数据隔离装置，其特征在于：包括网闸外模块、传输卡和网闸内模块；

所述网闸外模块中设有第一应用程序；所述网闸内模块中设有第二应用程序；所述传输卡中设有若干个传输通道，各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成连接通道；

当网闸外模块接收到数据后，结合所述第一应用程序、一连接通道和第二应用程序，利用私有协议中的CRC进行数据校验，如果出现数据错误，将丢弃该数据，如果出现出现数据乱序，则将接收到的数据保存在队列中，等待前一帧数据。

2.根据权利要求1所述的一种基于传输卡可纠错多通道的数据隔离装置，其特征在于：所述网闸外模块中设有mangle表；

当所述网闸外模块接收到客户主机发送的连接请求，随机分配到一个工作线程，成功与mangle表中的规则匹配后，利用所述第一应用程序对连接请求进行封装处理，添加KCP头部、私有协议头部和CRC，形成私有连接请求，当前工作线程，通过连接通道转发私有连接请求到网闸内模块；

当网闸内模块中的第二应用程序接收到私有连接请求后，验证CRC，并解析私有连接请求的头部，通过校验后，回复应答信号至网闸外模块，并将连接请求发送至业务主机。

3.根据权利要求2所述的一种基于传输卡可纠错多通道的数据隔离装置，其特征在于：如果校验失败，则丢弃该连接请求，网闸外模块在设定时间内收不到应答信号，将会重传该连接请求。

4.根据权利要求2所述的一种基于传输卡可纠错多通道的数据隔离装置，其特征在于：当所述网闸外模块接收到客户主机发送的TCP数据后，利用所述第一应用程序对TCP数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸内模块；

当所述网闸内模块中的第二应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输。

5.根据权利要求1所述的一种基于传输卡可纠错多通道的数据隔离装置，其特征在于：当TCP数据超过预设长度，则对TCP数据进行分包处理，再对分包处理后的TCP数据进行分别封装。

6.根据权利要求1所述的一种基于传输卡可纠错多通道的数据隔离装置，其特征在于：当所述网闸内模块接收业务主机发送的数据后，利用所述第二应用程序对数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸外模块；

当所述网闸外模块中的第一应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输至客户主机。

7.一种基于传输卡可纠错多通道的安全数据隔离方法，其特征在于，包括：

所述网闸外模块中设有第一应用程序；所述网闸内模块中设有第二应用程序；所述传输卡中设有若干个传输通道，各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成连接通道；

利用传输卡中的各传输通道分别与网闸外模块和网闸内模块中的一工作线程绑定，形成若干个连接通道；

当网闸外模块接收到数据后，结合所述网闸外模块中的第一应用程序、一连接通道和网闸内模块中的第二应用程序，利用私有协议中的CRC进行数据校验，如果出现数据错误，将丢弃该数据，如果出现出现数据乱序，则将接收到的数据保存在队列中，等待前一帧数据。

8.根据权利要求7所述的一种基于传输卡可纠错多通道的安全数据隔离方法，其特征在于：所述网闸外模块中设有mangle表；

当所述网闸外模块接收到客户主机发送的连接请求，随机分配到一个工作线程，成功与mangle表中的规则匹配后，利用所述第一应用程序对连接请求进行封装处理，添加KCP头部、私有协议头部和CRC，形成私有连接请求，当前工作线程，通过连接通道转发私有连接请求到网闸内模块；

当网闸内模块中的第二应用程序接收到私有连接请求后，验证CRC，并解析私有连接请求的头部，通过校验后，回复应答信号至网闸外模块，并将连接请求发送至业务主机。

9.根据权利要求7所述的一种基于传输卡可纠错多通道的安全数据隔离方法，其特征在于：当所述网闸外模块接收到客户主机发送的TCP数据后，利用所述第一应用程序对TCP数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸内模块；

当所述网闸内模块中的第二应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输。

10.根据权利要求7所述的一种基于传输卡可纠错多通道的安全数据隔离方法，其特征在于：当所述网闸内模块接收业务主机发送的数据后，利用所述第二应用程序对数据添加KCP头部、私有协议头部和CRC，形成私有数据，并通过所述连接通道转发到网闸外模块；

当所述网闸外模块中的第一应用程序接收到私有数据后，验证CRC，并解析私有数据的头部，通过校验后，完成数据传输至客户主机。

Images