CN108737571B - 一种解决大数据量文件转发导致网闸卡死的方法及系统 - Google Patents
一种解决大数据量文件转发导致网闸卡死的方法及系统 Download PDFInfo
- Publication number
- CN108737571B CN108737571B CN201810662498.6A CN201810662498A CN108737571B CN 108737571 B CN108737571 B CN 108737571B CN 201810662498 A CN201810662498 A CN 201810662498A CN 108737571 B CN108737571 B CN 108737571B
- Authority
- CN
- China
- Prior art keywords
- directory
- source
- forwarding
- file
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000000903 blocking effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/20—Traffic policing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种解决大数据量文件转发导致网闸卡死的方法及系统，网闸转发源服务器的数据到目标服务器，方法：S1.在源服务器上设置若干个源数据目录；S2.在目标服务器上设置若干个目标数据目录；S3.在网闸上设置源数据目录与目标数据目录的对应转发关系表；S4.检测源服务器每个源数据目录的文件数量，保证每个源目录的文件数量不超过设定阈值；S5.开启网闸多线程转发，网闸按照源数据目录与目标数据目录的对应转发关系表，同时将每个源数据目录的文件转发到对应的目标数据目录。系统包括：源服务器目录设置模块、目标服务器目录设置模块、网闸转发对应关系设置模块、源目录文件数量检测模块以及网闸多线程转发开启模块。
Description
技术领域
本发明属于数据完整性领域，具体涉及一种解决大数据量文件转发导致网闸卡死的方法及系统。
背景技术
网闸（GAP）：全称安全隔离网闸，安全隔离网闸是一种由带有多种控制功能专用硬件在电路上切断网络之间的链路层连接，并能够在网络间进行安全适度的应用数据交换的网络安全设备。
随着信息化建设和IT技术的快速发展，各种网络技术的应用更加广泛深入，同时出现很多网络安全问题，致使网络安全技术的重要性更加突出，网络安全已经成为各国关注的焦点，不仅关系到机构和个人用户的信息资源和资产风险，也关系到国家安全和社会稳定。当用户的网络需要保证高强度的安全，同时又与其它不信任网络进行信息交换的情况下，为了在保证安全的前提下，使用户可以在不同网络上的数据库之间交换数据，并可以在网络之间交换定制的文件，通常选择安全隔离网闸。
在使用过程中，经常遇到以下问题：当原服务器与网闸之间因为网络故障或其他原因无法连通时，原服务器目录里待转发文件逐渐积累，当文件数量超过一定数量时（15万左右），当连接恢复，瞬间涌入的大批量文件，会导致网闸卡死的现象，进而导致数据丢失等一系列较严重的后果，对于重点项目造成严重损失。
此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种解决大数据量文件转发导致网闸卡死的方法及系统，是非常有必要的。
发明内容
本发明的目的在于，针对上述网闸与服务器连接故障时，转发文件积累，故障消除瞬间，文件大量涌入，导致网闸卡死的缺陷，提供一种解决大数据量文件转发导致网闸卡死的方法及系统，以解决上述技术问题。
为实现上述目的，本发明给出以下技术方案：
一种解决大数据量文件转发导致网闸卡死的方法，网闸转发源服务器的数据到目标服务器，包括如下步骤：
步骤S1.在源服务器上设置若干个源数据目录；
步骤S2.在目标服务器上设置若干个目标数据目录；
步骤S3.在网闸上设置源数据目录与目标数据目录的对应转发关系表；
步骤S4.检测源服务器每个源数据目录的文件数量，保证每个源目录的文件数量不超过设定阈值；
步骤S5. 开启网闸多线程转发，网闸按照源数据目录与目标数据目录的对应转发关系表，同时将每个源数据目录的文件转发到对应的目标数据目录。
进一步地，步骤S4的具体步骤如下：
步骤S41.选择一个源数据目录作为默认目录；
步骤S42.检测默认目录的文件数量是否小于设定阈值；
若否，则选择下一个源数据目录作为默认目录；
步骤S43.将文件写入默认目录；
当网闸开始转发数据时，进入步骤S5；
当有文件继续写入时，返回步骤S42。设置默认目录，用于每次文件的写入，同时，又对默认目录的文件数量进行检测，保证了每个源目录的文件数量不超过设定阈值。
进一步地，步骤S1设置的源数据目录数量与步骤S2设置的目标数据目录数量相等。目标数据目录与源数据目录数量相等，保证了每个源数据目录的文件都有转发的相应目标数据目录，同时，源数据目录与目标数据目录数量相等，是数据转发对应关系表建立成功的最低要求。
进一步地，步骤S4中，每个源目录的文件数量设定阈值为15万。设定阈值为网闸支持的最大文件转发数，超过设定阈值，每个网闸的每个线程在转发时，容易出现卡死。
本发明还给出如下技术方案：
一种解决大数据量文件转发导致网闸卡死的系统，网闸转发源服务器的数据到目标服务器，包括源服务器目录设置模块、目标服务器目录设置模块、网闸转发对应关系设置模块、源目录文件数量检测模块以及网闸多线程转发开启模块；
源服务器目录设置模块，用于在源服务器上设置若干个源数据目录；
目标服务器目录设置模块，用于在目标服务器上设置若干个目标数据目录；
网闸转发对应关系设置模块，用于在网闸上设置源数据目录与目标数据目录对应转发关系表；
源目录文件数量检测模块，用于检测源服务器每个源数据目录的文件数量，保证每个源目录的文件数量不超过设定阈值；
网闸多线程转发开启模块，用于开启网闸多线程转发，网闸按照源数据目录与目标数据目录的对应转发关系表，同时将每个源数据目录的文件转发到对应的目标数据目录。
进一步地，源服务器的源目录文件数量检测模块包括默认目录选择单元、默认目录文件数量检测单元以及文件写入单元；
默认目录选择单元，用于选择一个源数据目录作为默认目录，并在默认目录文件数量不小于设定阈值时，选择下一个源数据目录作为默认目录；
默认目录文件数量检测单元，用于检测默认目录的文件数量是否小于设定阈值，并在文件数量小于设定阈值时，通知默认目录选择模块；
文件写入单元，用于在默认目录的文件数量小于设定阈值值时，将文件写入默认目录。设置默认目录，用于每次文件的写入，同时，又对默认目录的文件数量进行检测，保证了每个源目录的文件数量不超过设定阈值。
进一步地，源服务器目录设置模块设置的源数据目录与目标服务器目录设置模块设置的目标数据目录数量相等。目标数据目录与源数据目录数量相等，保证了每个源数据目录的文件都有转发的相应目标数据目录，同时，源数据目录与目标数据目录数量相等，是数据转发对应关系表建立成功的最低要求。
进一步地，源服务器的源目录文件数量检测模块中每个源目录的文件数量设定阈值为15万。设定阈值为网闸支持的最大文件转发数，超过设定阈值，每个网闸的每个线程在转发时，容易出现卡死。
本发明的有益效果在于：
本发明通过监听默认目录的文件数量，保证每个源目录的文件数量少于设定阈值，并在网闸上设置源目录与目标目录的对应转发关系标，多线程转发，保证转发速度，从而解决了发生网络异常后，恢复时瞬间涌入大量数据，网闸卡死的问题，保证了数据传输的稳定性和安全性。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
图1为本发明的方法流程图；
图2为本发明的系统示意图；
其中，1-源服务器目录设置模块；2-目标服务器目录设置模块；3-、网闸转发对应关系设置模块；4-源目录文件数量检测模块；4.1-默认目录选择单元；4.2-默认目录文件数量检测单元；4.3-文件写入单元；5-网闸多线程转发开启模块。
具体实施方式：
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明具体实施例中的附图，对本发明中的技术方案进行清楚、完整地描述。
实施例1：
如图1所示，本发明提供一种解决大数据量文件转发导致网闸卡死的方法，网闸转发源服务器的数据到目标服务器，包括如下步骤：
步骤S1.在源服务器上设置若干个源数据目录；
步骤S2.在目标服务器上设置若干个目标数据目录；
步骤S3.在网闸上设置源数据目录与目标数据目录的对应转发关系表；
步骤S4.检测源服务器每个源数据目录的文件数量，保证每个源目录的文件数量不超过设定阈值；具体步骤如下：
步骤S41.选择一个源数据目录作为默认目录；
步骤S42.检测默认目录的文件数量是否小于设定阈值；
若否，则选择下一个源数据目录作为默认目录；
步骤S43.将文件写入默认目录；
当网闸开始转发数据时，进入步骤S5；
当有文件继续写入时，返回步骤S42；
步骤S5. 开启网闸多线程转发，网闸按照源数据目录与目标数据目录的对应转发关系表，同时将每个源数据目录的文件转发到对应的目标数据目录。
上述实例1中，步骤S1设置的源数据目录数量与步骤S2设置的目标数据目录数量相等；步骤S4中，每个源目录的文件数量设定阈值为15万。
实施例2：
应用上述实施例1的种解决大数据量文件转发导致网闸卡死的方法，网闸转发源服务器的数据到目标服务器，采用如下步骤：
步骤S1.在源服务器上设置若干个源数据目录；S1、S2，……,一直到Sn；
步骤S2.在目标服务器上设置若干个目标数据目录；D1、D2，……,一直到Dn；
步骤S3.在网闸上设置源数据目录与目标数据目录的对应转发关系表；S1的数据转发到D1,S2的数据转发到D2，……, Sn的数据转发到Dn；
步骤S4.检测源服务器每个源数据目录的文件数量，保证每个源目录的文件数量不超过设定阈值；具体步骤如下：
首先选择源数据目录S1作为默认目录；
检测S1的文件数量是否小于15万；
若是，将文件写入源数据目录S1；
若否，则选择下一个源数据目录S2作为默认目录，将文件写入源数据目录S2；
当源数据目录S2的文件数量也到15时，则选择下一个源数据目录S3作为默认目录，将文件写入源数据目录S3；
依次类推，一直到Sn；
开启网闸多线程转发，网闸将源数据目录S1的文件转发到目标数据目录D1，将源数据目录S2的文件转发到目标数据目录D2，……，将源数据目录Sn的文件转发到目标数据目录Dn。
实施例3：
如图2所示，本发明提供一种解决大数据量文件转发导致网闸卡死的系统，网闸转发源服务器的数据到目标服务器，包括源服务器目录设置模块1、目标服务器目录设置模块2、网闸转发对应关系设置模块3、源目录文件数量检测模块4以及网闸多线程转发开启模块5；
源服务器目录设置模块1，用于在源服务器上设置若干个源数据目录；
目标服务器目录设置模块2，用于在目标服务器上设置若干个目标数据目录；源数据目录目标数据目录数量相等；
网闸转发对应关系设置模块3，用于在网闸上设置源数据目录与目标数据目录对应转发关系表；
源目录文件数量检测模块4，用于检测源服务器每个源数据目录的文件数量，保证每个源目录的文件数量不超过设定阈值；每个源目录的文件数量设定阈值为15万；
网闸多线程转发开启模块5，用于开启网闸多线程转发，网闸按照源数据目录与目标数据目录的对应转发关系表，同时将每个源数据目录的文件转发到对应的目标数据目录。
上述实施例2中，源服务器的源目录文件数量检测模块4包括默认目录选择单元4.1、默认目录文件数量检测单元4.2以及文件写入单元4.3；
默认目录选择单元4.1，用于选择一个源数据目录作为默认目录，并在默认目录文件数量不小于设定阈值时，选择下一个源数据目录作为默认目录；
默认目录文件数量检测单元4.2，用于检测默认目录的文件数量是否小于设定阈值，并在文件数量小于设定阈值时，通知默认目录选择模块；
文件写入单元4.3，用于在默认目录的文件数量小于设定阈值值时，将文件写入默认目录。
本发明的实施例是说明性的，而非限定性的，上述实施例只是帮助理解本发明，因此本发明不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他的具体实施方式，同样属于本发明保护的范围。
Claims (6)
1.一种解决大数据量文件转发导致网闸卡死的方法，网闸转发源服务器的数据到目标服务器，其特征在于，包括如下步骤：
步骤S1.在源服务器上设置若干个源数据目录；
步骤S2.在目标服务器上设置若干个目标数据目录；
步骤S3.在网闸上设置源数据目录与目标数据目录的对应转发关系表；
步骤S4.检测源服务器每个源数据目录的文件数量，保证每个源数据的文件数量不超过设定阈值；具体步骤如下：
步骤S41.选择一个源数据目录作为默认目录；
步骤S42.检测默认目录的文件数量是否小于设定阈值；
若否，则选择下一个源数据目录作为默认目录；
步骤S43.将文件写入默认目录；
当网闸开始转发数据时，进入步骤S5；
当有文件继续写入时，返回步骤S42；
步骤S5. 开启网闸多线程转发，网闸按照源数据目录与目标数据目录的对应转发关系表，同时将每个源数据目录的文件转发到对应的目标数据目录。
2.如权利要求1所述的一种解决大数据量文件转发导致网闸卡死的方法，其特征在于，步骤S1设置的源数据目录数量与步骤S2设置的目标数据目录数量相等。
3.如权利要求1所述的一种解决大数据量文件转发导致网闸卡死的方法，其特征在于，步骤S4中，每个源数据目录的文件数量设定阈值为15万。
4.一种解决大数据量文件转发导致网闸卡死的系统，网闸转发源服务器的数据到目标服务器，其特征在于，包括源服务器目录设置模块（1）、目标服务器目录设置模块（2）、网闸转发对应关系设置模块（3）、源目录文件数量检测模块（4）以及网闸多线程转发开启模块（5）；
源服务器目录设置模块（1），用于在源服务器上设置若干个源数据目录；
目标服务器目录设置模块（2），用于在目标服务器上设置若干个目标数据目录；
网闸转发对应关系设置模块（3），用于在网闸上设置源数据目录与目标数据目录对应转发关系表；
源目录文件数量检测模块（4），用于检测源服务器每个源数据目录的文件数量，保证每个源数据目录的文件数量不超过设定阈值；源服务器的源目录文件数量检测模块（4）包括默认目录选择单元（4.1）、默认目录文件数量检测单元（4.2）以及文件写入单元（4.3）；
默认目录选择单元（4.1），用于选择一个源数据目录作为默认目录，并在默认目录文件数量不小于设定阈值时，选择下一个源数据目录作为默认目录；
默认目录文件数量检测单元（4.2），用于检测默认目录的文件数量是否小于设定阈值；
文件写入单元（4.3），用于在默认目录的文件数量小于设定阈值值时，将文件写入默认目录；
网闸多线程转发开启模块（5），用于开启网闸多线程转发，网闸按照源数据目录与目标数据目录的对应转发关系表，同时将每个源数据目录的文件转发到对应的目标数据目录。
5.如权利要求4所述的一种解决大数据量文件转发导致网闸卡死的系统，其特征在于，源服务器目录设置模块（1）设置的源数据目录与目标服务器目录设置模块（2）设置的目标数据目录数量相等。
6.如权利要求4所述的一种解决大数据量文件转发导致网闸卡死的系统，其特征在于，源服务器的源目录文件数量检测模块（4）中每个源数据 目录的文件数量设定阈值为15万。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810662498.6A CN108737571B (zh) | 2018-06-25 | 2018-06-25 | 一种解决大数据量文件转发导致网闸卡死的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810662498.6A CN108737571B (zh) | 2018-06-25 | 2018-06-25 | 一种解决大数据量文件转发导致网闸卡死的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108737571A CN108737571A (zh) | 2018-11-02 |
| CN108737571B true CN108737571B (zh) | 2021-07-06 |
Family
ID=63930487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810662498.6A Active CN108737571B (zh) | 2018-06-25 | 2018-06-25 | 一种解决大数据量文件转发导致网闸卡死的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108737571B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113497790B (zh) * | 2020-04-01 | 2023-01-17 | 海能达通信股份有限公司 | 一种基于网闸的数据传输方法、系统及计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6192412B1 (en) * | 1998-07-28 | 2001-02-20 | Lucent Technologies, Inc. | Computer file transmission system and method |
| CN102082832A (zh) * | 2011-01-24 | 2011-06-01 | 中国人民解放军国防科学技术大学 | 一种分布式文件系统中的数据存储方法和装置 |
| CN103841196A (zh) * | 2014-03-07 | 2014-06-04 | 长沙裕邦软件开发有限公司 | 一种基于多线程的文件上传系统及方法 |
| CN107609140A (zh) * | 2017-09-20 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种分布式文件系统目录文件访问的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10102211B2 (en) * | 2014-04-18 | 2018-10-16 | Oracle International Corporation | Systems and methods for multi-threaded shadow migration |
| CN107908710B (zh) * | 2017-11-09 | 2021-04-20 | 厦门安胜网络科技有限公司 | 一种文件接收管理方法、装置、终端设备及存储介质 |
-
2018
- 2018-06-25 CN CN201810662498.6A patent/CN108737571B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6192412B1 (en) * | 1998-07-28 | 2001-02-20 | Lucent Technologies, Inc. | Computer file transmission system and method |
| CN102082832A (zh) * | 2011-01-24 | 2011-06-01 | 中国人民解放军国防科学技术大学 | 一种分布式文件系统中的数据存储方法和装置 |
| CN103841196A (zh) * | 2014-03-07 | 2014-06-04 | 长沙裕邦软件开发有限公司 | 一种基于多线程的文件上传系统及方法 |
| CN107609140A (zh) * | 2017-09-20 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种分布式文件系统目录文件访问的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108737571A (zh) | 2018-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101706802B (zh) | 一种数据写入、修改及恢复的方法、装置及服务器 | |
| US10565071B2 (en) | Smart data replication recoverer | |
| US8250202B2 (en) | Distributed notification and action mechanism for mirroring-related events | |
| WO2015101084A1 (zh) | 恢复数据的方法、服务器及系统 | |
| CN102411639B (zh) | 元数据的多副本存储管理方法和系统 | |
| US20090037553A1 (en) | Configuring or Reconfiguring a Multi-Master Information Sharing Environment | |
| CN101127233A (zh) | 流媒体应用中的硬盘错误检测与容错方法 | |
| CN105893166A (zh) | 一种处理内存错误的方法及装置 | |
| WO2021208400A1 (zh) | 现代应用的备份恢复系统及方法 | |
| CN108737571B (zh) | 一种解决大数据量文件转发导致网闸卡死的方法及系统 | |
| CN110635950A (zh) | 一种双数据中心容灾系统 | |
| CN115174279B (zh) | 一种以太坊智能合约漏洞实时检测方法、终端及存储介质 | |
| US20210326211A1 (en) | Data backup method, apparatus, and system | |
| US8762662B1 (en) | Method and apparatus for application migration validation | |
| TW202013226A (zh) | 網頁內容自我保護方法以及伺服器 | |
| CN106170013B (zh) | 一种基于Redis的Kafka消息唯一性方法 | |
| CN106682040A (zh) | 数据管理方法及装置 | |
| JP6876307B2 (ja) | ｐｈｐに基づく独立型ｓｑｌインジェクション防御分析通知方法及びそのシステム | |
| US20080250417A1 (en) | Application Management Support System and Method | |
| CN107193590A (zh) | 一种基于android的防root方法 | |
| CN104794012A (zh) | 基于容灾的切换技术 | |
| CN111404737A (zh) | 一种容灾处理方法以及相关装置 | |
| CN114756410B (zh) | 一种双机热备系统的数据恢复方法、装置及介质 | |
| CN103023651B (zh) | 用于监控可移动设备的接入的方法和装置 | |
| CN110457133A (zh) | 一种操作系统资源异常的处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |