CN107395768A - 用于文件安全传输的双机自适应负载均衡方法 - Google Patents

Abstract

本发明公开了一种用于文件安全传输的双机自适应负载均衡方法，包括设于外网的工作机设备集群和设于内网的工作机设备集群，外网工作机设备和内网工作机设备之间形成两条文件传输链路，工作机设备均设有双机负载均衡模块，双机负载均衡模块包括Web程序模块、IBCore程序模块、FST传输程序模块、心跳程序模块，外网与内网的工作机设备之间的文件传输的信息交互通过RabbitMQ队列进行，双机负载均衡模块的各个程序模块之间通过Redis集群进行交互。本发明设置方便，能扩展传输容量，自带调度体系，文件传输链路之间相互形成主备，形成自适应的传输调度，即使某一链路中断也不影响文件传输。

Description

用于文件安全传输的双机自适应负载均衡方法

技术领域

本发明涉及网络通信技术领域，特别涉及一种用于文件安全传输的双机自适应负载均衡方法。

背景技术

在现有网络隔离传输技术中，对于属于外网的两台设备与属于内网的两台设备之间分别形成链路传输文件时，无法实现两条链路同时安全传输文件，同时也无法做到自动切换和自动的传输负载均衡传输，在现有的所有安全传输系统中，均只能提供双机热备传输模式。

发明内容

本发明是为了解决现有多链路文件传输系统中，某一链路中断即导致文件传输失败的问题，提供一种设置方便，能扩展传输容量，文件传输链路之间相互形成主备，形成自适应的传输调度，即使某一链路中断也不影响文件传输的用于文件安全传输的双机自适应负载均衡方法。

为了实现上述目的，本发明采用以下技术方案，一种用于文件安全传输的双机自适应负载均衡方法，包括设于外网的工作机设备集群和设于内网的工作机设备集群，所述的外网工作机设备和内网工作机设备之间形成两条文件传输链路，所述的工作机设备均设有双机负载均衡模块，所述的双机负载均衡模块包括Web程序模块、IBCore程序模块、FST传输程序模块、心跳程序模块，所述外网与内网的工作机设备之间的文件传输的信息交互通过RabbitMQ队列进行，所述文件传输的过程分成扫描文件队列、文件识别队列、杀毒队列、文件传输队列、文件传输结果反馈队列、数据库入库队列，所述双机负载均衡模块的各个程序模块之间通过Redis集群进行交互，所述的Web程序模块完成文件传输的参数配置、文件传输情况监控、已传输文件的入库，所述的IBCore程序模块完成文件的扫描发现、文件的识别、文件杀毒、文件的深度检测，所述的FST传输程序模块完成文件的发送以及文件发送结果的反馈，所述的心跳程序模块监听各个程序的运营健康状况、负责漂移IP地址。

文件安全传输(File Security Transfer，简称FST)，是在网络隔离传输技术领域中的一项重要技术目标，本方案提供一种全新的方法来实现双链路虚拟成一条链路，两个链路在系统正常情况下可以自动同时传输，两条链路互为备份机制；本方案在某一链路中断后，不会导致文件传输失败，会自动切换到另外一条，把任务承担起来；在双链路都正常时，可以实现链路带宽的加倍，可以提高传输效率，同时无需额外的负载均衡系统来帮助系统实现，只需要两套系统就可以构成均衡传输体系。

作为优选，所述的文件传输过程包括如下步骤：1)工作机设备传输文件时，首先启动心跳程序模块，所述的心跳程序模块检测传输文件的工作机设备及接受文件的工作机设备是否网络连通，所述心跳程序模块还检测该工作机设备Web程序模块、IBCore程序模块运行是否正常，如果网络不连通或者Web程序模块、IBCore程序模块运行不正常，所述心跳程序模块进行虚拟IP的漂移选择正常的工作机设备；2)所述心跳程序模块指定工作机设备启动IBCore程序模块进行扫描；3)所述的IBCore程序模块进行文件扫描，文件扫描采用文件监视程序对发送目录进行监控，监控采用线程池方式进行管理，扫描的线程数在后台进行配置；4)所述IBCore程序模块进行文件识别，识别文件头是否符合发送策略，并检测小于100M的文件进行强制解压识别以预防捆绑文件传输；5)所述IBCore程序模块进行文件杀毒；6)所述IBCore程序模块进行文件深度识别：识别视频的码率、宽高、音频的声道、xml字段的内容；7)所述的FST传输程序模块先从RabbitMQ队列中订阅到要发送的文件然后调用PCI-E接口进行传输，传输完成后，接收对端的杀毒、识别、文件完整性验证的结果返回，然后写入RabbitMQ入库队列，供Web进行数据入库。

本方案中，主要解决两套PCI-E通信设备(分别属于外网和内网的工作机设备)实现双机负载均衡，双机负载均衡的程序由四个部分组成：Web程序模块、IBCore程序模块、FST传输程序模块、心跳程序模块；Web程序主要职责是负责传输的参数配置以及传输情况监控以及已传输文件的入库；IBCore程序主要职责负责文件的扫描发现、文件的识别、文件杀毒、文件的深度检测(可以针对视频的码率、语音的声道、节目单XML文件的深度识别)等；FST传输程序负责文件的发送以及文件发送结果的的反馈；心跳程序：主要负责监听各个程序的运营健康状况，负责漂移IP地址；在负载均衡的环境下主要监控的内容包括IBCore和WEB程序；整个负载均衡文件传输的信息交互的核心通过RabbitMQ队列进行，将传输过程分成扫描文件队列，文件识别队列、杀毒队列，文件传输队列、文件传输结果反馈队列、数据库入库等几个队列，传输策略及相关参数的调整各个程序之间通过Redis进行交互。

作为优选，所述的外网工作机设备集群和内网工作机设备集群分别以一主一从结构部署集群，相互独立。

作为优选，所述的Redis集群设有多个主节点和多个从节点，所述Redis集群采用哨兵机制进行架设，所述的哨兵机制可将瘫痪掉的主节点切换到从节点上面。Redis集群采用哨兵机制进行架设，引入哨兵机制的主要原因是Redis集群中有多个主节点和多个从节点，多个节点中可以直接进行数据同步复制，但是也有限制，即主节点挂掉一半后整个Redis集群直接瘫痪，这样双机情况下不能够正常使用，引入哨兵机制后，哨兵会将瘫痪掉的主节点切换到从节点上面，避免了主节点瘫痪一半以上无法正常工作问题的出现。

作为优选，所述的双机负载均衡模块还包括MySql集群、MQ集群。MQ集群即为RabbitMQ集群，是采用MQ的复制集群，这样就可以避免主节点挂掉整个集群瘫痪问题；MySql集群也采用MySql双机复制集群，这样可以避免单点故障整个MySql集群瘫痪问题。

因此，本发明具有如下有益效果：(1)设置方便，能扩展传输容量；(2)自带调度体系，文件传输链路之间相互形成主备，形成自适应的传输调度，即使某一链路中断也不影响文件传输。

附图说明

图1是本发明的一种系统架构示意图。

图2是本发明的网络拓补图。

图3是本发明的流程图。

具体实施方式

下面结合附图对本发明做进一步的描述。

如图1、图2、图3所示，一种用于文件安全传输的双机自适应负载均衡方法，包括设于外网的工作机设备集群和设于内网的工作机设备集群，工作机设备均设有双机负载均衡模块，双机负载均衡模块包括Web程序模块、IBCore程序模块、FST传输程序模块、心跳程序模块，外网与内网的工作机设备之间的文件传输的信息交互通过RabbitMQ队列进行，文件传输的过程分成扫描文件队列、文件识别队列、杀毒队列、文件传输队列、文件传输结果反馈队列、数据库入库队列，双机负载均衡模块的各个程序模块之间通过Redis集群进行交互，Web程序模块完成文件传输的参数配置、文件传输情况监控、已传输文件的入库，IBCore程序模块完成文件的扫描发现、文件的识别、文件杀毒、文件的深度检测，FST传输程序模块完成文件的发送以及文件发送结果的反馈，心跳程序模块监听各个程序的运营健康状况、负责漂移IP地址；

文件传输过程包括如下步骤：1)工作机设备传输文件时，首先启动心跳程序模块，心跳程序模块检测传输文件的工作机设备及接受文件的工作机设备是否网络连通，心跳程序模块还检测该工作机设备Web程序模块、IBCore程序模块运行是否正常，如果网络不连通或者Web程序模块、IBCore程序模块运行不正常，心跳程序模块进行虚拟IP的漂移选择正常的工作机设备；2)心跳程序模块指定工作机设备启动IBCore程序模块进行扫描；3)所述的IBCore程序模块进行文件扫描，文件扫描采用文件监视程序对发送目录进行监控，监控采用线程池方式进行管理，扫描的线程数在后台进行配置；4)IBCore程序模块进行文件识别，识别文件头是否符合发送策略，并检测小于100M的文件进行强制解压识别以预防捆绑文件传输；5)IBCore程序模块进行文件杀毒；6)IBCore程序模块进行文件深度识别：识别视频的码率、宽高、音频的声道、xml字段的内容；7)FST传输程序模块先从RabbitMQ队列中订阅到要发送的文件然后调用PCI-E接口进行传输，传输完成后，接收对端的杀毒、识别、文件完整性验证的结果返回，然后写入RabbitMQ入库队列，供Web进行数据入库；

外网工作机设备集群和内网工作机设备集群分别以一主一从结构部署集群，相互独立；

Redis集群设有多个主节点和多个从节点，Redis集群采用哨兵机制进行架设，哨兵机制可将瘫痪掉的主节点切换到从节点上面；

双机负载均衡模块还包括MySql集群、MQ集群。

如图2所示，内、外网业务IP，实施时根据客户实际IP资源进行配置；内、外网集群节点IP，保持出厂设置不变，其中，外网为10.10.1.200以及10.10.1.100，内网为10.10.0.30以及10.10.0.50，外网、内网的集群节点IP，也作为管理口IP，供安全管理员使用。

具体使用过程是，文件传输机启动后，外网工作机设备和内网工作机设备之间形成两条文件传输链路，首先启动心跳程序模块，该心跳程序模块集成了守护程序和心跳检测两个功能，在负载均衡的环境下，心跳检测除了要检测两台机器的网络是否联通正常外还需要对Web程序模块和IBcore程序模块进行检测，检测这两个程序模块的运行状况是否正常，如果不正常，将进行虚拟IP的漂移，漂移到正常的机器；另外，IBCore程序模块扫描线程的启动也是由心跳程序模块来决定，决定启动哪台机器的IBCore程序模块进行扫描、这样就可以避免两台机器同时扫描相同的目录以避免文件的重复发送问题；为了防止Windows网卡漂移IP过程中出现IP冲突显现，漂移IP后程序自动检测漂移的IP是否工作，如果不工作，心跳检测程序会调用WMI和WinAPI将漂移IP的网卡进行禁用和启用操作，IP漂移间隔时间为30秒左右恢复正常，在IP漂移的过程中不影响IBCore程序模块和FST传输程序模块文件传输，只会影响WEB监控端的访问；

其次启动IBCore程序模块，IBCore程序模块负责：1、文件扫描，采用文件监视程序对发送目录进行监控，监控采用线程池方式进行管理，扫描的线程数在后台进行配置，这样即考虑到扫描文件的时效性又不至于由于监控目录过多启动过多线程对系统资源过多的消耗；2、文件识别，主要识别文件头是否符合发送策略，另外需要检测小于100M的文件进行强制解压识别、这样预防捆绑文件传输；3、文件杀毒：调用杀毒软件对文件进行杀毒；4、文件深度识别：识别视频的码率，宽高、音频的声道、xml字段的内容等进行深度识别；

然后启动FST传输程序模块，FST传输程序模块主要负责调用PCI-E进行文件传输，先从MQ队列中订阅到要发送的文件然后调用PCI-E接口进行传输，传输完成后，接收对端的杀毒、识别、文件完整性验证的结果返回，然后写入MQ入库队列，供Web进行数据入库；

最后启动WEB程序模块，WEB程序对传输过程进行监控管理、同时可以对传输策略进行调整，Web端修改完传输策略，直接放入Redis交互队列中，由IBcore程序模块扫描到或者FST传输程序模块扫描到直接更新内存中的传输策略；

两个链路在系统正常情况下可以自动同时传输，可以实现链路带宽的加倍，可以提高传输效率；两条链路互为备份机制，在某一链路中断后，会自动切换到另外一条，把任务承担起来，不会导致文件传输失败；无需额外的负载均衡系统来帮助系统实现，只需要两套系统就可以构成均衡传输体系。

Claims (5)

1.一种用于文件安全传输的双机自适应负载均衡方法，包括设于外网的工作机设备集群和设于内网的工作机设备集群，其特征在于，所述的外网工作机设备和内网工作机设备之间形成两条文件传输链路，所述的工作机设备均设有双机负载均衡模块，所述的双机负载均衡模块包括Web程序模块、IBCore程序模块、FST传输程序模块、心跳程序模块，所述外网与内网的工作机设备之间的文件传输的信息交互通过RabbitMQ队列进行，所述文件传输的过程分成扫描文件队列、文件识别队列、杀毒队列、文件传输队列、文件传输结果反馈队列、数据库入库队列，所述双机负载均衡模块的各个程序模块之间通过Redis集群进行交互，所述的Web程序模块完成文件传输的参数配置、文件传输情况监控、已传输文件的入库，所述的IBCore程序模块完成文件的扫描发现、文件的识别、文件杀毒、文件的深度检测，所述的FST传输程序模块完成文件的发送以及文件发送结果的反馈，所述的心跳程序模块监听各个程序的运营健康状况、负责漂移IP地址。

2.根据权利要求1所述的用于文件安全传输的双机自适应负载均衡方法，其特征是，所述的文件传输过程包括如下步骤：1)工作机设备传输文件时，首先启动心跳程序模块，所述的心跳程序模块检测传输文件的工作机设备及接受文件的工作机设备是否网络连通，所述心跳程序模块还检测该工作机设备Web程序模块、IBCore程序模块运行是否正常，如果网络不连通或者Web程序模块、IBCore程序模块运行不正常，所述心跳程序模块进行虚拟IP的漂移选择正常的工作机设备；2)所述心跳程序模块指定工作机设备启动IBCore程序模块进行扫描；3)所述的IBCore程序模块进行文件扫描，文件扫描采用文件监视程序对发送目录进行监控，监控采用线程池方式进行管理，扫描的线程数在后台进行配置；4)所述IBCore程序模块进行文件识别，识别文件头是否符合发送策略，并检测小于100M的文件进行强制解压识别以预防捆绑文件传输；5)所述IBCore程序模块进行文件杀毒；6)所述IBCore程序模块进行文件深度识别：识别视频的码率、宽高、音频的声道、xml字段的内容；7)所述的FST传输程序模块先从RabbitMQ队列中订阅到要发送的文件然后调用PCI-E协议接口进行传输，传输完成后，接收对端的杀毒、识别、文件完整性验证的结果返回，然后写入RabbitMQ入库队列，供Web进行数据入库。

3.根据权利要求1所述的用于文件安全传输的双机自适应负载均衡方法，其特征是，所述的外网工作机设备集群和内网工作机设备集群分别以一主一从结构部署集群，相互独立。

4.根据权利要求1所述的用于文件安全传输的双机自适应负载均衡方法，其特征是，所述的Redis集群设有多个主节点和多个从节点，所述Redis集群采用哨兵机制进行架设，所述的哨兵机制可将瘫痪掉的主节点切换到从节点上面。

5.根据权利要求1所述的用于文件安全传输的双机自适应负载均衡方法，其特征是，所述的双机负载均衡模块还包括MySql集群、MQ集群。