CN114416616A - 一种跨节点直连分片交换系统 - Google Patents
一种跨节点直连分片交换系统 Download PDFInfo
- Publication number
- CN114416616A CN114416616A CN202111425511.4A CN202111425511A CN114416616A CN 114416616 A CN114416616 A CN 114416616A CN 202111425511 A CN202111425511 A CN 202111425511A CN 114416616 A CN114416616 A CN 114416616A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- fragment
- verification
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013467 fragmentation Methods 0.000 title claims description 14
- 238000006062 fragmentation reaction Methods 0.000 title claims description 14
- 239000012634 fragment Substances 0.000 claims abstract description 89
- 238000012795 verification Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000013524 data verification Methods 0.000 claims abstract description 9
- 230000003993 interaction Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009365 direct transmission Effects 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
- G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种跨节点直连分片交换系统，属于数据交换领域大文件分片跨节点直传技术领域，包括接入节点、交换节点与接受节点，接入节点对外提供接口进行数据接入，并将接入数据分片后向下级节点转发，同时接受下级节点的数据验证，并将保存的分片验证数据向下传递，在完成交互后给请求者进行结果反馈；交换节点收到分片数据后按规则向下级节点转发，并且按下级节点要求进行分片交换数据结果验证；接受节点接受分片数据后解码，将分片数据写入接受端的数据流。本发明围绕减少等待时间的原则，将交换节点数据节转步骤做了取消处理，使得最终数据消费和数据提供方在分片模式上实现了同步操作，提高了处理效率和性能，保证了交换速度与交换质量。
Description
技术领域
本发明属于数据交换领域大文件分片跨节点直传技术领域，具体涉及一种跨节点直连分片交换系统。
背景技术
随着计算机信息科学技术和互联网的不断发展，网络交换组成越来越复杂，安全注意事项越趋严格，参与交换的文件大小越来越大，系统间的批量数据跨节点交换共享要求越来越多。因网络的差异和文件交换需要节转的特殊性，一般较大文件使用节转方式进行传输交换，在多交换节点的传输程中，对每个交换节点进行文件读写，网络通道的建立与释放，消耗大量的网络和计算机运算能力，增加了每个节点的处理负担，增加了交换送达时间，容易引发其他异常问题，各方面都存在较多不足之处。
传统情况下，从交换节点A1、A2、A3到An进行数据交换时，待A1完整读取数据，写入本地验证成功后，又开始读取数据，继续向A2开始写入，A2重复A1的步骤，依次类推，到An时完成所有数据的接受，开始对接业务进行数据使用，完成基本交换过程。在这个过程中，从A1到An重复了文件的写入和读取，完成了无效的结转工作，有一个节点出现问题，调用端和使用端都不便于准确知悉错误，进行适配处理，对性能和健壮性有较大的损耗。
发明内容
本发明的目的在于针对现有技术中的缺陷，提供了一种跨节点直连分片交换系统，用于提高多节点交换过程的性能和效率，让交换节点以数据网关的方式存在，达到大文件实时交换的效果，同时借助双向复用通道，可以及时反馈目标段数据分片送达情况，通过校验提高数据交换的可靠性。
为了实现上述目的，本发明采用的技术方案是：
一种跨节点直连分片交换系统，包括请求端、接受端、接入节点、交换节点与接受节点；
所述接入节点对外提供接口进行数据接入，同时将接入数据分片后向下级节点转发，另外接受下级节点的数据验证，并将保存的分片验证数据向下传递，在完成交互后给请求者进行结果反馈；
所述交换节点承担网关职责，收到分片数据后即刻按规则向下级节点转发，并且按下级节点要求进行分片交换数据结果验证，验证不通过则重新下发缓冲分片；
所述接受节点接受分片数据后解码，将分片数据写入接受端的数据流，实现数据的边传输边使用的功能，同时将验证请求向上级节点请求，以确保合适的数据被写入请求数据流，确保数据的交换安全。
所述跨节点直连分片交换系统具体包括如下步骤：
S1：接入节点在接受大文件数据时，进行动态分片，然后依据所经节点性能、带宽及路径长度寻找最短路径后，对分片数据及其简要信息进行组包编码，向交换节点下发，并且将当前分片数据的验证码保存到节点内存中；
S2：交换节点收到数据后，解包分片头信息，并且形成整个分片的验证信息，将验证信息向发送节点反馈；同时计算最短路径后，对分片组包数据继续向下级节点下发；
S3：接受到反馈信息节点的验证数据节点，与保存的同分片序号的数据进行比对验证，若验证通过，则将验证编码通过通道下发至验证申请节点；若验证不通过，则停止请求验证节点的数据批次下发，重新从未验证通过的节点进行下发；若是已经下发三个分片数据，却没有收到验证请求，则停止下发，等待申请验证通过后重新开始下发；
S4：请求验证节点收到验证结果后，在本地保存分片序号的数据验证编码，以便下级节点进行验证；若是在下发3个分片的数据后，没有收到上个节点的验证码，则不再下发，等待验证结果返回后继续下发；如果超过1分钟没有收到验证结果，则向上反馈本批次交换失败；
S5：每个交换节点循环步骤S3-4的处理流程，直到所有分片数据处理完毕；
S6：接受节点收到分片数据，对数据解码，向上发送验证请求，同时按照批号和文件流位置，将前3个排序分片的数据写入接受流，供处理端按文件流方式处理；当收到最后批次的分片流时，则将剩余已验证分片依次写入处理流，实现跨节点实时在线交换；
S7：每个交换节点收到最后分片数据的验证请求，自动向前序节点发送交换完毕的请求包，在接入节点收到交换完毕的请求包后，向请求者反馈交换完毕的信息，整个交换过程完成。
所述步骤S1中经过动态分片后得到的分片数据中包括但不限于以下信息：文件编号、分片编号、分片长度和分片位置。
与现有技术相比，本发明具有如下有益效果：
1)本发明围绕减少等待时间的原则，将交换节点数据节转步骤做了取消处理，即每个交换节点在收到分片数据后，同时开始向下级节点转发，并且利用通道分片的模拟化处理，从逻辑上建立快速处理保障，取消了中间节转步骤，使得最终数据消费和数据提供方在分片模式上实现了同步操作，提高了处理效率和性能，减少了多节点节转过程中可能产生的异常；
2)本发明在数据交换过程中使用已建据链路通道，通过多路复用技术，将大文件分片，在交换节点只承担数据转发和验证的网关责任，利用循环验证技术实现数据验证，在提高交换性能，降低对硬件依赖的情况下，能够有效保证交换速度与交换质量，形成完全闭环的快速交换能力。
附图说明
图1是本发明实施例的流程框图。
具体实施方式
下面将结合具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明来解释本发明，但并不作为对本发明的限定。
本发明公开了一种跨节点直连分片交换系统，包括请求端、接受端、接入节点、交换节点与接受节点；
所述接入节点对外提供接口进行数据接入，同时将接入数据分片后向下级节点转发，另外接受下级节点的数据验证，并将保存的分片验证数据向下传递，在完成交互后给请求者进行结果反馈；
所述交换节点承担网关职责，收到分片数据后即刻按规则向下级节点转发，并且按下级节点要求进行分片交换数据结果验证，验证不通过则重新下发缓冲分片；
所述接受节点接受分片数据后解码，将分片数据写入接受端的数据流，实现数据的边传输边使用的功能，同时将验证请求向上级节点请求，以确保合适的数据被写入请求数据流，确保数据的交换安全。
所述跨节点直连分片交换系统在数据交换前，实现后置模式的数据验证，通过变更分析实现数据交换结果及使用过程的确认，从而提高数据交换的质量，实现数据使用情况的确认，具体步骤如下：
S1：接入节点在接受大文件数据时，进行动态分片，在分片数据携带文件编号、分片编号、分片长度和分片位置等信息，然后依据所经节点性能、带宽及路径长度寻找最短路径后，对分片数据及其简要信息进行组包编码，向交换节点下发，并且将当前分片数据的验证码保存到节点内存中；
S2：交换节点收到数据后，解包分片头信息，并且形成整个分片的验证信息，将验证信息向发送节点反馈；同时计算最短路径后，对分片组包数据继续向下级节点下发；
S3：接受到反馈信息节点的验证数据节点，与保存的同分片序号的数据进行比对验证，若验证通过，则将验证编码通过通道下发至验证申请节点；若验证不通过，则停止请求验证节点的数据批次下发，重新从未验证通过的节点进行下发；若是已经下发三个分片数据，却没有收到验证请求，则停止下发，等待申请验证通过后重新开始下发；
S4：请求验证节点收到验证结果后，在本地保存分片序号的数据验证编码，以便下级节点进行验证；若是在下发3个分片的数据后，没有收到上个节点的验证码，则不再下发，等待验证结果返回后继续下发；如果超过1分钟没有收到验证结果，则向上反馈本批次交换失败；
S5：每个交换节点循环步骤S3-4的处理流程，直到所有分片数据处理完毕；
S6：接受节点收到分片数据，对数据解码，向上发送验证请求，同时按照批号和文件流位置，将前3个排序分片的数据写入接受流，供处理端按文件流方式处理；当收到最后批次的分片流时，则将剩余已验证分片依次写入处理流，实现跨节点实时在线交换；
S7：每个交换节点收到最后分片数据的验证请求，自动向前序节点发送交换完毕的请求包，在接入节点收到交换完毕的请求包后，向请求者反馈交换完毕的信息，整个交换过程完成。
本发明通过自定义数据流格式，将大文件转换成分片流数据，通过实现在建立的网络通道上使用多路复用技术形成单个交换标志的内部通道，在不构建新通道的基础上开始分片数据交换和汇聚。在每个交换节点接受到数据后，按照流量带宽、交换节点处理能力与网络距离选择最短路由，向下级节点无节转转发；另一方面，向上级节点反馈当前分片序号的验证结果，上级节点验证无误，则完成验证，否则从验证有误的分片重新开发下发，接受节点按最新的分片序号及文件流位置进行分片数据流接受。系统按3分片数据需要，接受下一个节点的验证码，如果收不到，则等待不做下发，如果收到，则在当前下发包中携带验证编码；对于接受端，只处理接收到验证码的数据，如此保障数据的一致性，确保交换系统的健壮性。
以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理。
Claims (3)
1.一种跨节点直连分片交换系统，其特征在于，包括请求端、接受端、接入节点、交换节点与接受节点；
所述接入节点对外提供接口进行数据接入，同时将接入数据分片后向下级节点转发，另外接受下级节点的数据验证，并将保存的分片验证数据向下传递，在完成交互后给请求者进行结果反馈；
所述交换节点承担网关职责，收到分片数据后即刻按规则向下级节点转发，并且按下级节点要求进行分片交换数据结果验证，验证不通过则重新下发缓冲分片；
所述接受节点接受分片数据后解码，将分片数据写入接受端的数据流，实现数据的边传输边使用的功能，同时将验证请求向上级节点请求，以确保合适的数据被写入请求数据流，确保数据的交换安全。
2.根据权利要求1所述的一种跨节点直连分片交换系统，其特征在于，所述跨节点直连分片交换系统具体包括如下步骤：
S1：接入节点在接受大文件数据时，进行动态分片，然后依据所经节点性能、带宽及路径长度寻找最短路径后，对分片数据及其简要信息进行组包编码，向交换节点下发，并且将当前分片数据的验证码保存到节点内存中；
S2：交换节点收到数据后，解包分片头信息，并且形成整个分片的验证信息，将验证信息向发送节点反馈；同时计算最短路径后，对分片组包数据继续向下级节点下发；
S3：接受到反馈信息节点的验证数据节点，与保存的同分片序号的数据进行比对验证，若验证通过，则将验证编码通过通道下发至验证申请节点；若验证不通过，则停止请求验证节点的数据批次下发，重新从未验证通过的节点进行下发；若是已经下发三个分片数据，却没有收到验证请求，则停止下发，等待申请验证通过后重新开始下发；
S4：请求验证节点收到验证结果后，在本地保存分片序号的数据验证编码，以便下级节点进行验证；若是在下发3个分片的数据后，没有收到上个节点的验证码，则不再下发，等待验证结果返回后继续下发；如果超过1分钟没有收到验证结果，则向上反馈本批次交换失败；
S5：每个交换节点循环步骤S3-4的处理流程，直到所有分片数据处理完毕；
S6：接受节点收到分片数据，对数据解码，向上发送验证请求，同时按照批号和文件流位置，将前3个排序分片的数据写入接受流，供处理端按文件流方式处理；当收到最后批次的分片流时，则将剩余已验证分片依次写入处理流，实现跨节点实时在线交换；
S7：每个交换节点收到最后分片数据的验证请求，自动向前序节点发送交换完毕的请求包，在接入节点收到交换完毕的请求包后，向请求者反馈交换完毕的信息，整个交换过程完成。
3.根据权利要求2所述的一种跨节点直连分片交换系统，其特征在于，所述步骤S1中经过动态分片后得到的分片数据中包括但不限于以下信息：文件编号、分片编号、分片长度和分片位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111425511.4A CN114416616A (zh) | 2021-11-26 | 2021-11-26 | 一种跨节点直连分片交换系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111425511.4A CN114416616A (zh) | 2021-11-26 | 2021-11-26 | 一种跨节点直连分片交换系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114416616A true CN114416616A (zh) | 2022-04-29 |
Family
ID=81266041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111425511.4A Pending CN114416616A (zh) | 2021-11-26 | 2021-11-26 | 一种跨节点直连分片交换系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114416616A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050271073A1 (en) * | 2004-06-08 | 2005-12-08 | Johnsen Bjorn D | Switch method and apparatus with cut-through routing for use in a communications network |
| US20080034267A1 (en) * | 2006-08-07 | 2008-02-07 | Broadcom Corporation | Switch with error checking and correcting |
| WO2011067381A1 (en) * | 2009-12-04 | 2011-06-09 | St-Ericsson Sa | Reliable packet cut-through |
| CN107370674A (zh) * | 2016-05-13 | 2017-11-21 | 华为技术有限公司 | 一种数据传输的方法、设备和系统 |
| CN111133701A (zh) * | 2017-07-31 | 2020-05-08 | 三菱电机株式会社 | 用于时间敏感网络的可靠直通交换 |
| CN111541696A (zh) * | 2020-04-24 | 2020-08-14 | 清华大学 | 随机认证嵌入的快速源和路径验证方法 |
-
2021
- 2021-11-26 CN CN202111425511.4A patent/CN114416616A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050271073A1 (en) * | 2004-06-08 | 2005-12-08 | Johnsen Bjorn D | Switch method and apparatus with cut-through routing for use in a communications network |
| US20080034267A1 (en) * | 2006-08-07 | 2008-02-07 | Broadcom Corporation | Switch with error checking and correcting |
| WO2011067381A1 (en) * | 2009-12-04 | 2011-06-09 | St-Ericsson Sa | Reliable packet cut-through |
| CN107370674A (zh) * | 2016-05-13 | 2017-11-21 | 华为技术有限公司 | 一种数据传输的方法、设备和系统 |
| CN111133701A (zh) * | 2017-07-31 | 2020-05-08 | 三菱电机株式会社 | 用于时间敏感网络的可靠直通交换 |
| CN111541696A (zh) * | 2020-04-24 | 2020-08-14 | 清华大学 | 随机认证嵌入的快速源和路径验证方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7133902B2 (en) | Transmitting acknowledgements using direct memory access | |
| US9258171B2 (en) | Method and system for an OS virtualization-aware network interface card | |
| WO2020236279A1 (en) | System and method for facilitating efficient management of idempotent operations in a network interface controller (nic) | |
| JP4160642B2 (ja) | ネットワークデータ転送方法 | |
| US6829634B1 (en) | Broadcasting network | |
| CN112291293B (zh) | 任务处理方法、相关设备及计算机存储介质 | |
| US7412537B2 (en) | Method for determining an estimated diameter of a broadcast channel | |
| US4638477A (en) | Packet exchange data transmission system | |
| JP4988487B2 (ja) | データの転送方法、装置、プログラム | |
| US20070291782A1 (en) | Acknowledgement filtering | |
| US6910069B1 (en) | Joining a broadcast channel | |
| US8848739B2 (en) | Efficient switch fabric bandwidth distribution | |
| US7330444B1 (en) | Cluster communication in heartbeat messages | |
| CN114416616A (zh) | 一种跨节点直连分片交换系统 | |
| US20040267960A1 (en) | Force master capability during multicast transfers | |
| US20160013885A1 (en) | Long-Distance RapidIO Packet Delivery | |
| JP2017092692A (ja) | データ伝送制御システム及び方法、並びに、データ伝送制御プログラム | |
| CN113973091A (zh) | 一种报文处理方法、网络设备以及相关设备 | |
| WO2023133697A1 (zh) | 丢包处理方法、装置、交换机、发送设备和数据传输系统 | |
| Zhang et al. | Virtualized network coding functions on the Internet | |
| CN115334173A (zh) | 一种MODBUS和CC-Link协议转换装置及方法 | |
| CN110928828B (zh) | 处理器间业务处理系统 | |
| CN113612737A (zh) | 一种基于分组与重传机制的长报文可靠传输方法 | |
| EP3977705B1 (en) | Streaming communication between devices | |
| Yu et al. | Scalable, High-performance NIC-based All-to-all Broadcast over Myrinet/GM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |