CN117596202A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117596202A CN117596202A CN202311588009.4A CN202311588009A CN117596202A CN 117596202 A CN117596202 A CN 117596202A CN 202311588009 A CN202311588009 A CN 202311588009A CN 117596202 A CN117596202 A CN 117596202A
- Authority
- CN
- China
- Prior art keywords
- data packet
- deployed
- network
- target system
- forwarded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 230000003321 amplification Effects 0.000 claims description 32
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000002238 attenuated effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000011066 ex-situ storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/24—Multipath
- H04L45/245—Link aggregation, e.g. trunking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/22—Arrangements for detecting or preventing errors in the information received using redundant apparatus to increase reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括:在将目标系统部署在预先搭建的网络结构的情况下,基于网络结构中的网卡依据目标系统发送的待检测数据包进行丢包测试,得到测试结果;基于测试结果,确定与待部署中继设备相对应的设备关联参数;基于设备关联参数将待部署中继设备部署在主系统和从系统之间,基于待部署中继设备接收目标系统所发送的待转发数据包时,对待转发数据包进行处理,将处理后的待转发数据包发送至另一个目标系统。解决了现有技术中基于异地双活部署的两个系统间进行数据传输时,存在信号逐渐衰减的问题,进而导致读取数据出错的问题,实现在减少设备部署成本的同时,达到确保接收数据正确性的效果。
Description
技术领域
本发明涉及计算机处理技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
近年来,为了减少因系统故障所带来的损失,通常会将信息系统进行双活部署,分别同等部署两个系统,同步处理数据,为了保证数据同步,常常需要一个系统向另一个系统发送数据,另一个系统接收数据。
目前,双活部署的方式通常是基于异地存储设备的底层复制技术,复制出来两个具有相同资源的系统,在两个不同的地理位置分别部署整套系统,但是由于是异地部署,导致两个系统间的距离较远,在数据传输时,会存在信号逐渐衰减的问题,进而导致读取数据出错的问题。
发明内容
本发明提供了一种数据处理方法、装置、电子设备及存储介质,以实现在减少设备部署成本的同时,确保接收数据的正确性。
根据本发明的一方面,提供了一种数据处理方法,该方法包括:
在将目标系统部署在预先搭建的网络结构的情况下,基于所述网络结构中的网卡依据所述目标系统发送的待检测数据包进行丢包测试,得到测试结果;其中,所述目标系统包括主系统和从系统;
基于所述测试结果,确定与待部署中继设备相对应的设备关联参数;
基于所述设备关联参数将所述待部署中继设备部署在所述主系统和所述从系统之间,以使基于所述待部署中继设备接收到所述目标系统所发送的待转发数据包时,对所述待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统。
根据本发明的另一方面,提供了一种数据处理装置,该装置包括:
测试结果确定模块,用于在将目标系统部署在预先搭建的网络结构的情况下,基于所述网络结构中的网卡依据所述目标系统发送的待检测数据包进行丢包测试,得到测试结果;其中,所述目标系统包括主系统和从系统;
设备关联参数确定模块,用于基于所述测试结果,确定与待部署中继设备相对应的设备关联参数;
设备部署模块,用于基于所述设备关联参数将所述待部署中继设备部署在所述主系统和所述从系统之间,以使基于所述待部署中继设备接收到所述目标系统所发送的待转发数据包时,对所述待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。
本发明实施例的技术方案,通过在将目标系统部署在预先搭建的网络结构的情况下,基于网络结构中的网卡依据目标系统发送的待检测数据包进行丢包测试,得到测试结果;其中,目标系统包括主系统和从系统;基于测试结果,确定与待部署中继设备相对应的设备关联参数;基于设备关联参数将待部署中继设备部署在主系统和从系统之间,以使基于待部署中继设备接收到目标系统所发送的待转发数据包时,对待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统,解决了现有技术中基于异地双活部署的两个系统间进行数据传输时,存在信号逐渐衰减的问题,进而导致读取数据出错的问题,实现了通过网卡预先搭建仿真的用于进行丢包测试的网络结构,并将主系统和从系统部署在网络结构中,进行丢包测试,通过丢包测试的测试结果,确定待部署中继设备的设备关联参数,减少中继设备部署成本的同时,提高中继设备部署的准确性,进而通过设备关联参数将待部署中继设备部署在主系统和从系统之间,使得通过待部署中继设备接收目标系统所发送的待转发数据包,对待转发数据包进行处理,进而将处理后的待转发数据包发送至另一个目标系统,确保了接收数据的正确性。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据处理方法的流程图;
图2是根据本发明实施例二提供的一种数据处理装置的结构示意图;
图3是实现本发明实施例的数据处理方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种数据处理方法的流程图,本实施例可适用于系统间进行数据传输的情况,该方法可以由数据处理装置来执行,该数据处理装置可以采用硬件和/或软件的形式实现,该数据处理装置可配置于计算设备中。如图1所示,该方法包括:
S110、在将目标系统部署在预先搭建的网络结构的情况下,基于网络结构中的网卡依据目标系统发送的待检测数据包进行丢包测试,得到测试结果。
其中,网卡可以是指网络接口卡,用于连接计算机和网络,可用于网络数据包的接收、处理和发送等,例如,智能网卡可以是基于P4语言的可编程网卡。目标系统包括主系统和从系统。主系统和从系统可以是基于异地双活部署的两个系统。例如,可以基于异地双活部署技术复制出来两个具有同样资源的系统,在两个不同的地理位置分别部署整套系统,一个系统作为主系统,一个系统作为从系统。需要说明的是,在两个系统间进行数据传输时,会因为异地部署导致两个系统间的距离较远,从而导致信号在传输过程中出现衰减,进而存在数据传输不稳定、出现丢包等问题。为了解决这种问题,确保系统间数据同步的稳定性和可靠性,可以在两个系统之间的某个位置布置中继设备或其他中间件,中继设备可用于对传输的信号进行放大重发,以通过信号的放大处理,保证读取数据的正确性。
在本实施例中,可以基于智能网卡搭建用于丢包测试的网络结构,并将目标系统部署在此网络结构。例如,将智能网卡部署到需要进行丢包测试的主系统和从系统的服务器或主机上,启动以太网协议进行系统之间的连接,将主系统和从系统部署在网络结构中。在此网络结构下,可以通过网卡接收主系统向从系统发送的待检测数据包,或从系统向主系统发送的待检测数据包,通过待检测数据包执行丢包测试,确定与丢包测试相关联的指标信息,得到测试结果,以通过测试结果确定如何布置中继设备以及如何设置中继设备的工作参数等。
示例性的,通过智能网卡搭建丢包测试的网络结构,并将主系统和从系统部署在网络结构中的实现方式可以是:将智能网卡部署到需要进行测试的主系统和从系统的服务器或主机上;配置路由器、交换机等网络设备,以确保测试数据包能够正确地传输到目标设备,交换机可以是vSwitch(VirtualSwitch,虚拟交换机);配置网络参数(如IP地址、网关等),以及启用以太网协议,以通过以太网/IP(Ethernet/IP)进行设备之间的连接管理;根据测试需求,配置智能网卡的参数,例如接收和发送数据包的速率、流量模式等;此外,还可以根据需要配置智能网卡支持的网络协议或端口号,以通过数据传输质量、流量管理、端口绑定等功能进一步保证智能网卡卸载CPU负载、协助上层业务完成精细力度业务控制;配置丢包测试工具(如ping、traceroute或iperf等),并将其部署到进行测试的服务器或主机上,还可以根据测试需求,选取执行不同类型的测试,例如单向丢包测试、双向丢包测试或多点丢包测试等。
在本实施例中,为了提高丢包测试效果,还可以根据测试结果,对网络结构进行优化,如更改网络设备的配置参数、更换智能网卡等,提高丢包测试的准确性。
可选的,在基于网络结构中的网卡依据目标系统发送的待检测数据包进行丢包测试,得到测试结果,包括:基于网卡获取基于目标系统发送的待检测数据包;基于网卡对待检测数据包进行处理,确定测试结果。
在本实施例中,可以将智能网卡分别连接到主系统和从系统上,进而主动或被动的控制一个系统向另一个系统发送数据包,在一个系统向另一个系统发送数据包时,即认为两个系统进行业务交互,此时可以基于网卡接收该数据包,该数据包即为待检测数据包,进而可以分析记录待检测数据包返回的确认信息或响应时间等,计算丢包率、网络连接质量等指标;或者,也可以追踪待检测数据包的路径,确定在哪些路由器或交换机上出现的丢包,可以将这些信息均作为测试结果。
需要说明的是,基于网卡对待检测数据包进行处理,确定测试结果的实现方式可以有多种,其中一种实现方式可以是:基于网卡依据以太网协议对待检测数据包进行解析,得到待分析数据包;基于待分析数据包和待检测数据包,确定丢包属性;基于丢包属性,确定测试结果。
具体的,在网卡接收到待检测数据包之后,可以在以太网协议层面上对待检测数据包进行处理,按以太网协议对待检测数据包进行解析,得到一个以太网数据包,以太网数据包即为待分析数据包。可通过对待分析数据包和待检测数据包进行比较处理,计算丢包属性,例如,根据待分析数据包和待检测数据包的数量、数据大小计算丢包率,当丢包率大于预设的丢包阈值时,判断存在丢包,否则判断不存在丢包。
在本实施例中,基于网卡对待检测数据包进行处理,确定测试结果的另一种实现方式可以是:在基于网卡将待检测数据包发送至接收系统的过程中,确定网络流量属性;其中,网络流量属性包括网络连接属性、数据传输速度、数据包大小以及防火墙的网络带宽利用率中的至少一个;网络连接属性包括网络连接数量和状态;基于网络流量属性,确定测试结果。
需要说明的是,网卡本身不具有防火墙功能。网卡负责网络包的接收、处理和发送。而防火墙是一种位于网络边界的设备,它能够保护内部网络免受外部攻击和入侵。
在本实际应用中,可以在基于网卡进行主系统和从系统间的数据转发处理的过程中,监测主系统和从系统中接收数据的系统的防火墙的网络带宽利用率,监测网络连接数量和状态、数据传输速度、数据包大小等网络流量属性。进一步的,可以通过分析网络流量属性得到测试结果。例如,通过分析网络带宽利用率,评估防火墙的网络性能和负载情况等,网络性能和负载情况均为测试结果;分析网络连接数量和状态确定网络的稳定性作为测试结果,如连接过多的设备会影响路由器的处理器和运行内存大小,从而导致网络拥堵和不稳定。通过分析数据传输速度、数据包大小,确定丢包率、丢包时间、丢包地点等指标,作为测试结果。
在本实施例中,为了提高网络安全性,还可以在网卡中部署安全防护策略,安全防护策略包括更新防火墙规则、入侵检测系统规则中的至少一种。数据处理方法还包括:在基于网络流量属性确定存在网络异常时,触发安全防护策略。
其中,更新防火墙规则可以用于保护网络安全,更新防火墙规则的方法可以为:使用命令“firewall-cmd--reload”或“firewalld reload”重新加载防火墙规则,并重新启动防火墙。入侵检测系统规则中可以包含多种类型的检测,如包含基于签名的检测和基于异常的检测。基于签名的检测是通过比较网络流量或系统行为与已知的攻击签名来检测威胁。基于异常的检测则是通过比较网络流量或系统行为与正常的模式来检测威胁。
在本实施例中,可以将安全防护策略部署在智能网卡操作系统中,来应对不断变化的网络安全威胁,以确保网络的安全。可以通过网络流量属性分析网络中是否存在异常行为和攻击行为,例如,数据包大小超出一定阈值,防火墙的负载能力超出负荷等等。可以在确定存在网络异常时,触发相应的安全防护策略,进行网络防御。
需要说明的是,在目标系统进行业务处理的过程中,会应用到存储快照技术,存储快照是通过内存作为缓冲区,由快照软件提供系统磁盘存储的即时数据映像,为了提高测试结果确定准确性和丰富性,还可以在存储快照的过程中(如创建和恢复数据的过程中),基于网卡监测网络流量,通过网络流量确定测试结果,同时,也便于通过网络流量及时发现网络中的异常流量和攻击行为,从而采取相应的措施来保护网络的安全性。
S120、基于测试结果,确定与待部署中继设备相对应的设备关联参数。
其中,设备关联参数包括部署参数以及放大参数。部署参数可以表示为部署位置。
在本实施例中,可以通过分析测试结果确定与待部署中继设备的部署位置和放大参数。具体的,可以分析丢包测试的结果,包括丢包率、丢包时间、丢包地点等指标,确定网络中存在丢包现象的区域和可能的原因,可以在存在丢包现象的区域作为需要部署中继设备的区域。通常来说,中继设备可以部署在网络中的丢包热点或者网络连接薄弱点,通过部署中继设备,增强网络信号的覆盖范围,减少丢包现象。中继设备具有放大信号的功能,通过调整放大参数,可以优化网络信号的质量,减少丢包现象。可以根据测试结果,逐步调整放大参数,直到找到最佳的参数配置。在完成中继设备部署参数和放大参数调整后,还可以再次进行丢包测试,验证优化效果,如果优化效果不理想,可重新调整中继设备部署参数和放大参数。
需要说明的是,考虑到部署待部署中继设备需要一定的成本,在确定中继设备部署参数和放大参数时,还可以考虑其他因素,例如网络设备的成本、网络结构的复杂度、可用空间等进行确定,在保证网络质量的前提下,综合考虑各种因素,选择最合适的部署参数和放大参数。
S130、基于设备关联参数将待部署中继设备部署在主系统和从系统之间。
在本实施例中,基于设备关联参数将待部署中继设备部署在主系统和从系统之间的方式可以是:基于部署参数将待部署中继设备部署在主系统和从系统之间,并将放大参数作为待部署中继设备的工作参数,以使待部署中继设备基于放大参数进行信号放大处理。
在实际应用中,在确定待部署中继设备的部署参数和放大参数等设备关联参数之后,可通过部署参数将待部署中继设备部署在主系统和从系统之间的相应位置。将放大参数作为待部署中继设备的工作参数,以使待部署中继设备在接收到主系统或从系统发送的数据包时,可以通过放大参数对数据包进行信号放大处理,提高数据传输的稳定性,防止传输过程中信号出现衰减。
S140、基于待部署中继设备接收到目标系统所发送的待转发数据包时,对待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统。
在本实施例中,在主系统和从系统进行数据同步的过程中,一个系统会向另一个系统发送待转发数据包,由于在主系统和从系统之间部署了待部署中继设备,因此在待转发数据包的传输过程中,中途会被待部署中继设备进行接收。待部署中继设备接收到一个系统发送的待转发数据包时,会对待转发数据包进行信号放大处理后,再将数据包转发至另一个系统。
具体来说,基于待部署中继设备接收到目标系统所发送的待转发数据包时,对待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统,包括:在基于待部署中继设备接收到目标系统所发送的待转发数据包时,基于放大参数对待转发数据包进行信号放大处理,得到目标转发数据包;将目标转发数据包发送至另一个目标系统。
在本实施例中,一个目标系统向另一个目标系统发送待转发数据包时,基于待部署中继设备对待转发数据包进行接收,进而待部署中继设备基于为其配置的放大参数对待转发数据包进行信号放大处理,得到信号放大的目标转发数据包,进而将目标转发数据包发送至另一个目标系统,避免了信号衰减,确保接收数据的正确性。
本实施例的技术方案,通过在将目标系统部署在预先搭建的网络结构的情况下,基于网络结构中的网卡依据目标系统发送的待检测数据包进行丢包测试,得到测试结果;其中,目标系统包括主系统和从系统;基于测试结果,确定与待部署中继设备相对应的设备关联参数;基于设备关联参数将待部署中继设备部署在主系统和从系统之间,以使基于待部署中继设备接收到目标系统所发送的待转发数据包时,对待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统,解决了现有技术中基于异地双活部署的两个系统间进行数据传输时,存在信号逐渐衰减的问题,进而导致读取数据出错的问题,实现了通过网卡预先搭建仿真的用于进行丢包测试的网络结构,并将主系统和从系统部署在网络结构中,进行丢包测试,通过丢包测试的测试结果,确定待部署中继设备的设备关联参数,减少中继设备部署成本的同时,提高中继设备部署的准确性,进而通过设备关联参数将待部署中继设备部署在主系统和从系统之间,使得通过待部署中继设备接收目标系统所发送的待转发数据包,对待转发数据包进行处理,进而将处理后的待转发数据包发送至另一个目标系统,确保了接收数据的正确性。
实施例二
图2是根据本发明实施例二提供的一种数据处理装置的结构示意图。如图2所示,该装置包括:测试结果确定模块210、设备关联参数确定模块220和设备部署模块230。
其中,测试结果确定模块210,用于在将目标系统部署在预先搭建的网络结构的情况下,基于所述网络结构中的网卡依据所述目标系统发送的待检测数据包进行丢包测试,得到测试结果;其中,所述目标系统包括主系统和从系统;设备关联参数确定模块220,用于基于所述测试结果,确定与待部署中继设备相对应的设备关联参数;设备部署模块230,用于基于所述设备关联参数将所述待部署中继设备部署在所述主系统和所述从系统之间,以使基于所述待部署中继设备接收到所述目标系统所发送的待转发数据包时,对所述待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统。
本实施例的技术方案,通过在将目标系统部署在预先搭建的网络结构的情况下,基于网络结构中的网卡依据目标系统发送的待检测数据包进行丢包测试,得到测试结果;其中,目标系统包括主系统和从系统;基于测试结果,确定与待部署中继设备相对应的设备关联参数;基于设备关联参数将待部署中继设备部署在主系统和从系统之间,以使基于待部署中继设备接收到目标系统所发送的待转发数据包时,对待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统,解决了现有技术中基于异地双活部署的两个系统间进行数据传输时,存在信号逐渐衰减的问题,进而导致读取数据出错的问题,实现了通过网卡预先搭建仿真的用于进行丢包测试的网络结构,并将主系统和从系统部署在网络结构中,进行丢包测试,通过丢包测试的测试结果,确定待部署中继设备的设备关联参数,减少中继设备部署成本的同时,提高中继设备部署的准确性,进而通过设备关联参数将待部署中继设备部署在主系统和从系统之间,使得通过待部署中继设备接收目标系统所发送的待转发数据包,对待转发数据包进行处理,进而将处理后的待转发数据包发送至另一个目标系统,确保了接收数据的正确性。
在上述装置的基础上,可选的,所述测试结果确定模块210,包括数据包获取单元和测试结果确定单元。
数据包获取单元,用于基于所述网卡获取基于所述目标系统发送的待检测数据包;
测试结果确定单元,用于基于所述网卡对待检测数据包进行处理,确定测试结果。
在上述装置的基础上,可选的,所述测试结果确定单元,包括待分析数据包确定子单元、丢包属性确定子单元和测试结果确定第一单元。
待分析数据包确定子单元,用于基于所述网卡依据以太网协议对所述待检测数据包进行解析,得到待分析数据包;
丢包属性确定子单元,用于基于所述待分析数据包和所述待检测数据包,确定丢包属性;
测试结果确定第一单元,用于基于所述丢包属性,确定测试结果。
在上述装置的基础上,可选的,所述测试结果确定单元,包括网络流量属性确定子单元和测试结果确定第二单元。
网络流量属性确定子单元,用于在基于所述网卡将所述待检测数据包发送至接收系统的过程中,确定网络流量属性;其中,所述网络流量属性包括网络连接属性、数据传输速度、数据包大小以及防火墙的网络带宽利用率中的至少一个;
测试结果确定第二单元,用于基于所述网络流量属性,确定测试结果。
在上述装置的基础上,可选的,所述网卡中部署安全防护策略,所述安全防护策略包括更新防火墙规则、入侵检测系统规则中的至少一种,所述装置还包括:异常检测模块,所述异常检测模块,用于在基于所述网络流量属性确定存在网络异常时,触发所述安全防护策略。
在上述装置的基础上,可选的,所述设备关联参数包括部署参数以及放大参数;所述设备部署模块230,具体用于基于所述部署参数将所述待部署中继设备部署在所述主系统和所述从系统之间,并将所述放大参数作为所述待部署中继设备的工作参数,以使所述待部署中继设备基于所述放大参数进行信号放大处理。
在上述装置的基础上,可选的,所述设备部署模块230,包括目标转发数据包确定单元和数据转发单元。
目标转发数据包确定单元,用于在基于所述待部署中继设备接收到所述目标系统所发送的待转发数据包时,基于所述放大参数对所述待转发数据包进行信号放大处理,得到目标转发数据包;
数据转发单元,用于将所述目标转发数据包发送至另一个目标系统。
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。
实施例三
图3是实现本发明实施例的数据处理方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图3所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如数据处理方法。
在一些实施例中,数据处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的数据处理方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
在将目标系统部署在预先搭建的网络结构的情况下,基于所述网络结构中的网卡依据所述目标系统发送的待检测数据包进行丢包测试,得到测试结果;其中,所述目标系统包括主系统和从系统;
基于所述测试结果,确定与待部署中继设备相对应的设备关联参数;
基于所述设备关联参数将所述待部署中继设备部署在所述主系统和所述从系统之间,以使基于所述待部署中继设备接收到所述目标系统所发送的待转发数据包时,对所述待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统。
2.根据权利要求1所述的方法,其特征在于,所述基于所述网络结构中的网卡依据所述目标系统发送的待检测数据包进行丢包测试,得到测试结果,包括:
基于所述网卡获取基于所述目标系统发送的待检测数据包;
基于所述网卡对待检测数据包进行处理,确定测试结果。
3.根据权利要求2所述的方法,其特征在于,所述基于所述网卡对待检测数据包进行处理,确定测试结果,包括:
基于所述网卡依据以太网协议对所述待检测数据包进行解析,得到待分析数据包;
基于所述待分析数据包和所述待检测数据包,确定丢包属性;
基于所述丢包属性,确定测试结果。
4.根据权利要求2所述的方法,其特征在于,所述基于所述网卡对待检测数据包进行处理,确定测试结果,包括:
在基于所述网卡将所述待检测数据包发送至接收系统的过程中,确定网络流量属性;其中,所述网络流量属性包括网络连接属性、数据传输速度、数据包大小以及防火墙的网络带宽利用率中的至少一个;
基于所述网络流量属性,确定测试结果。
5.根据权利要求4所述的方法,其特征在于,所述网卡中部署安全防护策略,所述安全防护策略包括更新防火墙规则、入侵检测系统规则中的至少一种,所述方法还包括:
在基于所述网络流量属性确定存在网络异常时,触发所述安全防护策略。
6.根据权利要求1所述的方法,其特征在于,所述设备关联参数包括部署参数以及放大参数;所述基于所述设备关联参数将所述待部署中继设备部署在所述主系统和所述从系统之间,包括:
基于所述部署参数将所述待部署中继设备部署在所述主系统和所述从系统之间,并将所述放大参数作为所述待部署中继设备的工作参数,以使所述待部署中继设备基于所述放大参数进行信号放大处理。
7.根据权利要求6所述的方法,其特征在于,所述基于所述待部署中继设备接收到所述目标系统所发送的待转发数据包时,对所述待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统,包括:
在基于所述待部署中继设备接收到所述目标系统所发送的待转发数据包时,基于所述放大参数对所述待转发数据包进行信号放大处理,得到目标转发数据包;
将所述目标转发数据包发送至另一个目标系统。
8.一种数据处理装置,其特征在于,包括:
测试结果确定模块,用于在将目标系统部署在预先搭建的网络结构的情况下,基于所述网络结构中的网卡依据所述目标系统发送的待检测数据包进行丢包测试,得到测试结果;其中,所述目标系统包括主系统和从系统;
设备关联参数确定模块,用于基于所述测试结果,确定与待部署中继设备相对应的设备关联参数;
设备部署模块,用于基于所述设备关联参数将所述待部署中继设备部署在所述主系统和所述从系统之间,以使基于所述待部署中继设备接收到所述目标系统所发送的待转发数据包时,对所述待转发数据包进行处理,并将处理后的待转发数据包发送至另一个目标系统。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311588009.4A CN117596202A (zh) | 2023-11-24 | 2023-11-24 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311588009.4A CN117596202A (zh) | 2023-11-24 | 2023-11-24 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117596202A true CN117596202A (zh) | 2024-02-23 |
Family
ID=89914748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311588009.4A Pending CN117596202A (zh) | 2023-11-24 | 2023-11-24 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117596202A (zh) |
-
2023
- 2023-11-24 CN CN202311588009.4A patent/CN117596202A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11509534B2 (en) | Collection of error packet information for network policy enforcement | |
US10440049B2 (en) | Network traffic analysis for malware detection and performance reporting | |
US9432389B1 (en) | System, apparatus and method for detecting a malicious attack based on static analysis of a multi-flow object | |
KR101692155B1 (ko) | 소프트웨어 정의 네트워크에서 취약점을 분석하는 방법, 장치 및 컴퓨터 프로그램 | |
EP3682595B1 (en) | Obtaining local area network diagnostic test results | |
CN110912759B (zh) | 一种vpn网络异常自动连接方法及系统 | |
US10831630B2 (en) | Fault analysis method and apparatus based on data center | |
CN106789717B (zh) | 动态调整通信协议传输数据报文的mtu的方法、装置和终端 | |
KR102006149B1 (ko) | 망분리 환경에서의 중계망 관제장치 및 관제방법 | |
CN114070752B (zh) | 测试方法、装置、电子设备及计算机可读存储介质 | |
WO2016197782A2 (zh) | 一种服务端口管理的方法、装置和计算机可读存储介质 | |
CN112003747A (zh) | 云虚拟网关的故障定位方法 | |
CN107634971B (zh) | 一种检测洪水攻击的方法及装置 | |
WO2019043804A1 (ja) | ログ分析装置、ログ分析方法及びコンピュータ読み取り可能記録媒体 | |
CN110995586A (zh) | 一种bgp报文的处理方法、装置、电子设备及存储介质 | |
WO2019140876A1 (zh) | 一种防网络攻击的幻影设备建立的方法、介质及设备 | |
US10181997B2 (en) | Methods, systems and computer readable media for providing receive port resiliency in a network equipment test device | |
CN117596202A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN106330537B (zh) | Sdn网络设备控制面管理装置及方法 | |
CN114401243B (zh) | 数据包发送方法、装置、设备和介质 | |
US20150007254A1 (en) | Ip-free end-point management appliance | |
CN106937350B (zh) | 基于移动终端的路由方法及系统 | |
Hori et al. | A comprehensive security analysis checksheet for OpenFlow networks | |
US20170346678A1 (en) | Methods, systems, and computer readable media for providing high availability support at a bypass switch | |
KR101914831B1 (ko) | 호스트 추적 서비스에 대한 공격을 방지할 수 있는 소프트웨어 정의 네트워크 및 이에 포함되는 컨트롤러 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |