CN116132425B - 一种大规模多路数据跨网单向导入方法及系统 - Google Patents

一种大规模多路数据跨网单向导入方法及系统 Download PDF

Info

Publication number
CN116132425B
CN116132425B CN202211683509.1A CN202211683509A CN116132425B CN 116132425 B CN116132425 B CN 116132425B CN 202211683509 A CN202211683509 A CN 202211683509A CN 116132425 B CN116132425 B CN 116132425B
Authority
CN
China
Prior art keywords
file
retransmission
fragments
secret
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211683509.1A
Other languages
English (en)
Other versions
CN116132425A (zh
Inventor
曾梦岐
付江
周强
林楠
王庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 30 Research Institute
Original Assignee
CETC 30 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 30 Research Institute filed Critical CETC 30 Research Institute
Priority to CN202211683509.1A priority Critical patent/CN116132425B/zh
Publication of CN116132425A publication Critical patent/CN116132425A/zh
Application granted granted Critical
Publication of CN116132425B publication Critical patent/CN116132425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种大规模多路数据跨网单向导入方法及系统，其中方法包括以下步骤：发送端对待发送的文件进行通道编号和文件涉密等级编号；前置服务器对文件进行MD5值计算和分片，同时计算文件的任务编号，将文件分片传送到中间发送端，并进行流量控制和重传控制；中间发送端接收文件分片，进行病毒检查，通过无反馈光纤通道将文件分片传输到中间接收端；后置服务器连接中间接收端，拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性；接收端连接后置服务器，接收文件，提交给接收端应用进程业务处理。本发明可有效解决大规模数据导入、多个发送端向多个接收端同时进行数据导入时的传输拥塞、数据丢失、数据出错等问题。

Description

一种大规模多路数据跨网单向导入方法及系统
技术领域
本发明涉及跨网传输技术领域，尤其涉及一种大规模多路数据跨网单向导入方法及系统。
背景技术
跨网单向导入是解决不同密级的两个网络实现数据安全交换的基本方法，采用无反馈单向光传输技术，是目前最常用的跨网传输手段，兼具安全性和时效性。
无反馈单向光传输能保证安全性和时效性，但也带来了数据传输不可靠的问题。因为采用无反馈光传输通道，数据的发送方得不到数据接收方的应答，当传输线路或接收方出现故障时，发送方无法自动识别，导致数据丢失、数据出错等问题出现。
目前，无反馈单向光传输主要采用前向纠错、扰码、多通道、应用层签名等机制保障数据传输的可靠性。李承林在《基于光闸单向传输数据交换技术研究》论文中提出采用基于RS算法的前向纠错编码提高传输数据的可靠性。邵旭东等人在《基于光纤通信技术的数据单向传输可靠性研究》论文中提出从硬件层到应用层的多级防丢包措施来度保障数据单向传输过程的可靠性。聂元铭等人在《网间数据单向传输技术研究》论文中提出采用MRP(多重冗余技术)保证系统的高可靠性。杨越等人在《基于多传输通道的单向传输技术研究》论文中提出基于投票决策的多通道数据传输机制实现数据的可靠传输。包益民在《基于光闸单向安全传输系统的研究与实现》论文中提出采用应用层签名机制保障数据传输可靠性。常艳青等人在《一种单向数据传输方法及装置》专利中提出采用内核缓存空间解决数据单向传输丢包问题。
这些机制在一定程度上解决了无反馈单向光传输中数据可靠性问题，但在大规模数据导入、多个发送端向多个接收端同时进行数据导入时(多路数据导入)，难以解决传输拥塞、数据丢失、数据出错等问题。
发明内容
为了解决上述问题，本发明提出一种大规模多路数据跨网单向导入方法及系统，针对大规模数据跨网单向导入出现传输拥塞、数据透传等问题，提出基于文件涉密等级的流量控制机制；针对多路数据跨网单向导入出现数据丢失、数据出错等问题，提出基于传输任务和传输通道的重传控制机制。
本发明采用的技术方案如下：
一种大规模多路数据跨网单向导入方法，包括以下步骤：
S1.发送端对待发送的文件进行通道编号和文件涉密等级编号，将文件、通道编号、文件涉密等级编号发送给前置服务器；
S2.前置服务器接收文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，同时计算文件的任务编号，将文件分片传送到中间发送端，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制；
S3.中间发送端接收文件分片，进行病毒检查，通过无反馈光纤通道将文件分片传输到中间接收端；
S4.中间接收端接收文件分片，通知后置服务器文件已到达；
S5.后置服务器连接中间接收端，拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性，通知接收端文件已到达；
S6.接收端连接后置服务器，接收文件，提交给接收端应用进程业务处理。
进一步地，步骤S2中，所述根据文件涉密等级编号进行流量控制包括以下步骤：
S201.文件分片到达前置服务器的接收模块；
S202.接收模块将其放入前置服务器的流量控制模块中的缓存队列；
S203.流量控制模块设定发送时间窗口，在发送时间窗口内对缓存队列中已到达未开始传输的文件分片按照文件涉密等级编号进行排序，形成多种涉密等级队列；
S204.流量控制模块根据涉密等级优先级依次将多种涉密等级队列中的文件分片推入到发送队列；
S205.流量控制模块将已处理的文件分片存入重传文件库；
S206.发送模块顺序读取发送队列的文件分片，将其发送给中间发送端。
进一步地，所述多种涉密等级队列包括高涉密等级队列、中涉密等级队列和低涉密等级队列。
进一步地，步骤S2中，所述根据任务编号和通道编号进行重传控制包括3个子流程：文件重传子流程、文件唤醒子流程和文件清理子流程。
进一步地，所述文件重传子流程包括以下步骤：
S211.前置服务器的重传调度子模块收到后置服务器离线发送的文件重传指令，获得待重传文件的任务编号m和通道编号p；
S212.重传调度子模块向重传文件库读取任务编号为m的文件片，累计任务m的重传次数，如果重传次数大于第一阈值，则将任务m的文件片放入休眠文件库，流程结束、返回结果；
S213.重传调度子模块累计通道号p的重传次数，如果大于第二阈值，则将任务m的文件片放入休眠文件库，流程结束、返回结果；
S214.重传调度子模块将任务m的文件片依次压入重传队列，等待接收模块读取，流程结束、返回结果。
进一步地，所述文件唤醒子流程包括以下步骤：
S221.重传调度子模块收到文件唤醒指令，获得唤醒文件的任务编号m和通道号p；
S222.重传调度子模块累计通道号p的重传次数，如果大于第二阈值，则流程结束、返回结果；
S223.重传调度子模块向休眠文件库读取任务编号为m的文件片；
S224.重传调度子模块将任务m的文件片依次压入重传队列，等待接收模块读取，流程结束、返回结果。
进一步地，所述文件清理子流程包括以下步骤：
S231.重传调度子模块接收到文件清理指令；
S232.重传调度子模块依次读取休眠文件库中所有文件的休眠开始时间，计算休眠时长；
S233.如果休眠时长大于第三阈值，则删除休眠文件库中的对应的文件分片；
S234.结束流程，返回结果。
进一步地，所述通道编号包括文件的发送端地址和接收端地址。
进一步地，所述任务编号包括文件的通道编号和MD5值。
一种大规模多路数据跨网单向导入系统，包括：
发送端，被配置为对待发送的文件进行通道编号和文件涉密等级编号；
前置服务器，被配置为接收发送端发送的文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，计算文件的任务编号，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制；
中间发送端，被配置为接收前置服务器发送的文件分片，进行病毒检查；
中间接收端，被配置为通过无反馈光纤通道接收中间发送端发送的文件分片；
后置服务器，被配置为与中间接收端连接，用于拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性；
接收端，被配置为与后置服务器连接，用于接收文件，提交给接收端应用进程业务处理。
本发明的有益效果在于：
(1)提供了一种大规模数据单向导入时的流量控制机制，采用基于文件涉密等级的流量控制方法，保障了涉密等级高的文件优先传送，最大程度降低了高涉密等级数据在发送网络中暴露时间，提升了高涉密等级数据的传输可靠性。
(2)提供了一种多路数据单向导入时的重传控制机制，提出了针对文件传输任务的重传次数控制，以及针对基于发送、接收地址的传输通道的重传次数控制，解决多路文件在无反馈单向光传输中出现的数据丢失、数据出错问题，确保了系统平稳运行，提升了多路文件单向导入效率。
附图说明
图1是本发明实施例1的大规模多路数据跨网单向导入方法流程图。
图2是本发明实施例1的流量控制流程图。
图3是本发明实施例1的重传控制流程图。
图4是本发明实施例2的大规模多路数据跨网单向导入系统部署图。
图5是本发明实施例2的大规模多路数据跨网单向导入系统工作原理图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现说明本发明的具体实施方式。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供了一种大规模多路数据跨网单向导入方法，如图1所示，包括以下步骤：
S1.发送端对待发送的文件进行通道编号和文件涉密等级编号，将文件、通道编号、文件涉密等级编号发送给前置服务器。优选地，通道编号由文件的发送端地址和接收端地址构成。
S2.前置服务器接收文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，同时计算文件的任务编号，将文件分片传送到中间发送端，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制。优选地，任务编号由文件的通道编号和MD5值构成。
S3.中间发送端接收文件分片，进行病毒检查，通过无反馈光纤通道将文件分片传输到中间接收端。
S4.中间接收端接收文件分片，通知后置服务器文件已到达。
S5.后置服务器连接中间接收端，拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性，通知接收端文件已到达。
S6.接收端连接后置服务器，接收文件，提交给接收端应用进程业务处理。
优选地，如图2所示，步骤S2中根据文件涉密等级编号进行流量控制包括以下步骤：
S201.文件分片到达前置服务器的接收模块；
S202.接收模块将其放入前置服务器的流量控制模块中的缓存队列；
S203.流量控制模块设定发送时间窗口，在发送时间窗口内对缓存队列中已到达未开始传输的文件分片按照文件涉密等级编号进行排序，形成多种涉密等级队列；优选地，多种涉密等级队列可以为高涉密等级队列、中涉密等级队列和低涉密等级队列；
S204.流量控制模块根据涉密等级优先级依次将多种涉密等级队列中的文件分片推入到发送队列；
S205.流量控制模块将已处理的文件分片存入重传文件库；
S206.发送模块顺序读取发送队列的文件分片，将其发送给中间发送端。
优选地，如图3所示，步骤S2中根据任务编号和通道编号进行重传控制包括3个子流程：文件重传子流程、文件唤醒子流程和文件清理子流程。
更为优选地，文件重传子流程包括以下步骤：
S211.前置服务器的重传调度子模块收到后置服务器离线发送的文件重传指令，获得待重传文件的任务编号m和通道编号p；
S212.重传调度子模块向重传文件库读取任务编号为m的文件片，累计任务m的重传次数，如果重传次数大于第一阈值(例如3次)，则将任务m的文件片放入休眠文件库，流程结束、返回结果；
S213.重传调度子模块累计通道号p的重传次数，如果大于第二阈值(例如1000次)，则将任务m的文件片放入休眠文件库，流程结束、返回结果；
S214.重传调度子模块将任务m的文件片依次压入重传队列，等待接收模块读取，流程结束、返回结果。
更为优选地，文件唤醒子流程包括以下步骤：
S221.重传调度子模块收到文件唤醒指令，获得唤醒文件的任务编号m和通道号p；
S222.重传调度子模块累计通道号p的重传次数，如果大于第二阈值(例如1000次)，则流程结束、返回结果；
S223.重传调度子模块向休眠文件库读取任务编号为m的文件片；
S224.重传调度子模块将任务m的文件片依次压入重传队列，等待接收模块读取，流程结束、返回结果。
更为优选地，文件清理子流程包括以下步骤：
S231.重传调度子模块接收到文件清理指令；
S232.重传调度子模块依次读取休眠文件库中所有文件的休眠开始时间，计算休眠时长；
S233.如果休眠时长大于第三阈值(例如1个月)，则删除休眠文件库中的对应的文件分片；
S234.结束流程，返回结果。
实施例2
本实施例在实施例1的基础上：
本实施例提供了一种大规模多路数据跨网单向导入系统，如图4和图5所示，包括应用系统、前置服务器、管理机、单向导入设备、后置服务器，应用系统可分为发送端、接收端，管理机可分为中间发送端、中间接收端，其中：
应用系统(发送端)被配置为对待发送的文件进行通道编号和文件涉密等级编号。
前置服务器被配置为接收应用系统(发送端)发送的文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，计算文件的任务编号，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制。
管理机(发送端)被配置为接收前置服务器发送的文件分片，进行病毒检查。
管理机(接收端)被配置为通过单向导入设备接收管理机(发送端)发送的文件分片。
后置服务器被配置为与管理机(接收端)连接，用于拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性。
应用系统(接收端)被配置为与后置服务器连接，用于接收文件，提交给应用系统(接收端)应用进程业务处理。
需要说明的是，对于前述的方法实施例，为了简便描述，故将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

Claims (9)

1.一种大规模多路数据跨网单向导入方法，其特征在于，包括以下步骤：
S1. 发送端对待发送的文件进行通道编号和文件涉密等级编号，将文件、通道编号、文件涉密等级编号发送给前置服务器；
S2. 前置服务器接收文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，同时计算文件的任务编号，将文件分片传送到中间发送端，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制；
S3. 中间发送端接收文件分片，进行病毒检查，通过无反馈光纤通道将文件分片传输到中间接收端；
S4. 中间接收端接收文件分片，通知后置服务器文件已到达；
S5. 后置服务器连接中间接收端，拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性，通知接收端文件已到达；
S6. 接收端连接后置服务器，接收文件，提交给接收端应用进程业务处理；
步骤S2中，所述根据文件涉密等级编号进行流量控制包括以下步骤：
S201. 文件分片到达前置服务器的接收模块；
S202. 接收模块将其放入前置服务器的流量控制模块中的缓存队列；
S203. 流量控制模块设定发送时间窗口，在发送时间窗口内对缓存队列中已到达未开始传输的文件分片按照文件涉密等级编号进行排序，形成多种涉密等级队列；
S204. 流量控制模块根据涉密等级优先级依次将多种涉密等级队列中的文件分片推入到发送队列；
S205. 流量控制模块将已处理的文件分片存入重传文件库；
S206. 发送模块顺序读取发送队列的文件分片，将其发送给中间发送端。
2.根据权利要求1所述的大规模多路数据跨网单向导入方法，其特征在于，所述多种涉密等级队列包括高涉密等级队列、中涉密等级队列和低涉密等级队列。
3.根据权利要求1所述的大规模多路数据跨网单向导入方法，其特征在于，步骤S2中，所述根据任务编号和通道编号进行重传控制包括3个子流程：文件重传子流程、文件唤醒子流程和文件清理子流程。
4.根据权利要求3所述的大规模多路数据跨网单向导入方法，其特征在于，所述文件重传子流程包括以下步骤：
S211. 前置服务器的重传调度子模块收到后置服务器离线发送的文件重传指令，获得待重传文件的任务编号m和通道编号p；
S212. 重传调度子模块向重传文件库读取任务编号为m的文件片，累计任务m的重传次数，如果重传次数大于第一阈值，则将任务m的文件片放入休眠文件库，流程结束、返回结果；
S213. 重传调度子模块累计通道号p的重传次数，如果大于第二阈值，则将任务m的文件片放入休眠文件库，流程结束、返回结果；
S214. 重传调度子模块将任务m的文件片依次压入重传队列，等待接收模块读取，流程结束、返回结果。
5.根据权利要求4所述的大规模多路数据跨网单向导入方法，其特征在于，所述文件唤醒子流程包括以下步骤：
S221. 重传调度子模块收到文件唤醒指令，获得唤醒文件的任务编号m和通道号p；
S222. 重传调度子模块累计通道号p的重传次数，如果大于第二阈值，则流程结束、返回结果；
S223. 重传调度子模块向休眠文件库读取任务编号为m的文件片；
S224. 重传调度子模块将任务m的文件片依次压入重传队列，等待接收模块读取，流程结束、返回结果。
6.根据权利要求4所述的大规模多路数据跨网单向导入方法，其特征在于，所述文件清理子流程包括以下步骤：
S231. 重传调度子模块接收到文件清理指令；
S232. 重传调度子模块依次读取休眠文件库中所有文件的休眠开始时间，计算休眠时长；
S233. 如果休眠时长大于第三阈值，则删除休眠文件库中的对应的文件分片；
S234. 结束流程，返回结果。
7.根据权利要求1-6任一项所述的大规模多路数据跨网单向导入方法，其特征在于，所述通道编号包括文件的发送端地址和接收端地址。
8.根据权利要求1-6任一项所述的大规模多路数据跨网单向导入方法，其特征在于，所述任务编号包括文件的通道编号和MD5值。
9.一种大规模多路数据跨网单向导入系统，其特征在于，包括：
发送端，被配置为对待发送的文件进行通道编号和文件涉密等级编号；
前置服务器，被配置为接收发送端发送的文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，计算文件的任务编号，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制；
中间发送端，被配置为接收前置服务器发送的文件分片，进行病毒检查；
中间接收端，被配置为通过无反馈光纤通道接收中间发送端发送的文件分片；
后置服务器，被配置为与中间接收端连接，用于拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性；
接收端，被配置为与后置服务器连接，用于接收文件，提交给接收端应用进程业务处理；
所述根据文件涉密等级编号进行流量控制包括以下步骤：
S201. 文件分片到达前置服务器的接收模块；
S202. 接收模块将其放入前置服务器的流量控制模块中的缓存队列；
S203. 流量控制模块设定发送时间窗口，在发送时间窗口内对缓存队列中已到达未开始传输的文件分片按照文件涉密等级编号进行排序，形成多种涉密等级队列；
S204. 流量控制模块根据涉密等级优先级依次将多种涉密等级队列中的文件分片推入到发送队列；
S205. 流量控制模块将已处理的文件分片存入重传文件库；
S206. 发送模块顺序读取发送队列的文件分片，将其发送给中间发送端。
CN202211683509.1A 2022-12-27 2022-12-27 一种大规模多路数据跨网单向导入方法及系统 Active CN116132425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211683509.1A CN116132425B (zh) 2022-12-27 2022-12-27 一种大规模多路数据跨网单向导入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211683509.1A CN116132425B (zh) 2022-12-27 2022-12-27 一种大规模多路数据跨网单向导入方法及系统

Publications (2)

Publication Number Publication Date
CN116132425A CN116132425A (zh) 2023-05-16
CN116132425B true CN116132425B (zh) 2024-03-26

Family

ID=86300119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211683509.1A Active CN116132425B (zh) 2022-12-27 2022-12-27 一种大规模多路数据跨网单向导入方法及系统

Country Status (1)

Country Link
CN (1) CN116132425B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581230A (zh) * 2012-07-26 2014-02-12 深圳市腾讯计算机系统有限公司 文件传输系统和方法、接收端、发送端
JP2015056063A (ja) * 2013-09-12 2015-03-23 株式会社ブロードリーフ 情報処理システム、情報処理方法、情報処理装置及びプログラム
WO2019019966A1 (zh) * 2017-07-26 2019-01-31 威海新北洋荣鑫科技股份有限公司 数据处理装置、系统以及方法
CN113259408A (zh) * 2021-03-30 2021-08-13 中海油信息科技有限公司 数据传输方法和系统
CN113572750A (zh) * 2021-07-20 2021-10-29 北京奇艺世纪科技有限公司 视频数据传输方法及装置
WO2022105645A1 (zh) * 2020-11-23 2022-05-27 唐山学院 一种融合型隐蔽信道的构建方法及系统
WO2022116178A1 (zh) * 2020-12-04 2022-06-09 华为技术有限公司 一种tcp mss调整方法、装置及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2957052B1 (en) * 2013-03-14 2022-07-20 Apple Inc. Media delivery service protocol to support large numbers of client with error failover processes
US11627639B2 (en) * 2015-01-26 2023-04-11 Ievgen Verzun Methods and apparatus for HyperSecure last mile communication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581230A (zh) * 2012-07-26 2014-02-12 深圳市腾讯计算机系统有限公司 文件传输系统和方法、接收端、发送端
JP2015056063A (ja) * 2013-09-12 2015-03-23 株式会社ブロードリーフ 情報処理システム、情報処理方法、情報処理装置及びプログラム
WO2019019966A1 (zh) * 2017-07-26 2019-01-31 威海新北洋荣鑫科技股份有限公司 数据处理装置、系统以及方法
WO2022105645A1 (zh) * 2020-11-23 2022-05-27 唐山学院 一种融合型隐蔽信道的构建方法及系统
WO2022116178A1 (zh) * 2020-12-04 2022-06-09 华为技术有限公司 一种tcp mss调整方法、装置及系统
CN113259408A (zh) * 2021-03-30 2021-08-13 中海油信息科技有限公司 数据传输方法和系统
CN113572750A (zh) * 2021-07-20 2021-10-29 北京奇艺世纪科技有限公司 视频数据传输方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Impact of Special Fibers on the Number of Optical Repeaters in Submarine Systems;Glauco C. C. P. Simões;《2021 SBMO/IEEE MTT-S International Microwave and Optoelectronics Conference (IMOC)》;20211201;全文 *
基于单向光闸的传输控制系统的设计与实现;王精丰;《中国优秀硕士学位论文全文库》;20160815;全文 *

Also Published As

Publication number Publication date
CN116132425A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
US9369255B2 (en) Method and apparatus for reducing feedback and enhancing message dissemination efficiency in a multicast network
Davies et al. A digital communication network for computers giving rapid response at remote terminals
Benelli An ARQ scheme with memory and soft error detectors
US8880975B2 (en) Method and device for information block coding and synchronization detecting
CN110061816B (zh) 一种移动通信系统、网络设备、终端设备和数据调度方法
EP1424799A2 (en) System and method for detecting lost messages transmitted between modules in a communication device
CN108306852B (zh) 一种基于简单二进制编码的消息中间件系统和方法
CN111030747B (zh) 一种基于FPGA的SpaceFibre节点IP核
EP3635880A1 (en) Method and system for selectively using network coding for propagating transactions in a blockchain network
MXPA01013366A (es) Sistema y metodo para implantar solicitud de repeticion automatica hibrida utilizando combinacion de comprobacion de paridad.
CN102761509A (zh) Ofdm系统的接收系统及降低接收系统内存的方法
CN103716130A (zh) 提高网络传输可靠性的物理层自适应处理方法
CN109525376B (zh) 快速重传方法、装置及终端设备
CN111082896A (zh) 一种数据传输方法及发送、接收装置
Hammons et al. On the design of automatic repeat request protocols for turbulent free-space optical links
CN109951750A (zh) 基于FlexE一层交叉架构的数据处理方法及系统
CN102299784A (zh) 数据传输方法和设备
Shacham et al. Resequencing delay and buffer occupancy in selective repeat ARQ with multiple receivers
CN116132425B (zh) 一种大规模多路数据跨网单向导入方法及系统
CN115913473B (zh) 一种数据选择性重传方法及其系统、存储介质、电子设备
CN115567460B (zh) 数据包处理方法及装置
CN114401208A (zh) 数据传输方法、装置、电子设备和存储介质
US10530513B2 (en) Asynchronous data multiplexing method and device
Zhang et al. Modeling of a virtual path and its applications for forward error recovery coding schemes in ATM networks
CN115866736B (zh) 一种无人机辅助非正交多址系统有效容量最大化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant