CN114513428B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN114513428B
CN114513428B CN202210014028.5A CN202210014028A CN114513428B CN 114513428 B CN114513428 B CN 114513428B CN 202210014028 A CN202210014028 A CN 202210014028A CN 114513428 B CN114513428 B CN 114513428B
Authority
CN
China
Prior art keywords
flow
access
target network
server
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210014028.5A
Other languages
English (en)
Other versions
CN114513428A (zh
Inventor
郑上闽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
New H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd filed Critical New H3C Technologies Co Ltd
Priority to CN202210014028.5A priority Critical patent/CN114513428B/zh
Publication of CN114513428A publication Critical patent/CN114513428A/zh
Application granted granted Critical
Publication of CN114513428B publication Critical patent/CN114513428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level

Abstract

本申请提供了一种数据处理方法及装置。该方法包括:在预设周期内,在目标网络中执行测试任务过程中,获取所述目标网络中的访问数据;根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息;根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。由此,实现了快速且准确地获取网络的网络模型数据,避免人工过多参与所造成的网络初始参数配置的复杂度及难度高的问题。

Description

一种数据处理方法及装置
技术领域
本申请涉及通信技术领域,尤其涉及一种数据处理方法及装置。
背景技术
在AI、分布式存储等需要大量数据传输领域中,低成本场景下存在使用RoCE(RDMAover Converged Ethernet,以太网承载RDMA)网络替代IB(InfinitBand,无限带宽)网络的需求,连接计算节点实现计算节点之间的数据传输和同步。以太网的网络和网卡的参数设置对网络传输效率影响非常大。而实际业务运行过程中,业务类型、网络拓扑、计算节点分布、计算节点间数据同步方向和路径千差万别,不会有一组网络参数能够满足所有业务和组网。虽然一般可以通过在计算任务执行过程中,对任务执行情况、占用资源、网络状态等进行实时监控,以根据监控结果对参数进行调整,但是如果初始参数与合理参数偏差较大,则会拉长参数调整的收敛过程,进而影响计算任务的执行效率,极端情况下还可能会造成调整无法达到收敛。因此如何选择网络的初始参数,对后续计算起着非常重要的作用。
而网络初始参数的选择,需要有计算任务的连接拓扑、网络模型、流量模型等一系列数据,这些数据一般通过计算任务部署和调度人员也就是网络使用者进行汇总并键入的,然后再告知网络运维人员,以进行网络参数的设置。这样就会存在以下问题:网络运维人员根据网络模型数据人工选择网络初始参数时,要求网络模型数据不能太复杂,而复杂的网络模型数据会增加人工选择网络初始参数的难度及复杂度,而且人工选择的网络初始参数是否合理的结果,也无法与后续实际计算任务过程形成反馈,进而无法优化后续初始参数的选择。
因此,如何获取网络模型数据,以降低网络初始参数配置的复杂度及难度是值得考虑的技术问题之一。
发明内容
有鉴于此,本申请提供一种数据处理方法及装置,用以快速且准确地获取网络模型数据,避免人工过多参与所造成的网络初始参数配置的复杂度及难度高的问题。
具体地,本申请是通过如下技术方案实现的:
根据本申请的第一方面,提供一种数据处理方法,包括:
在预设周期内,在目标网络中执行测试任务过程中,获得所述目标网络中的访问数据;
根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息;
根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。
根据本申请的第二方面,提供一种数据处理装置,包括:
获得模块,用于在预设周期内,在目标网络中执行测试任务过程中,获得所述目标网络中的访问数据;
确定模块,用于根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息;
配置模块,用于根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。
根据本申请的第三方面,提供一种电子设备,包括处理器和机器可读存储介质,机器可读存储介质存储有能够被处理器执行的计算机程序,处理器被计算机程序促使执行本申请实施例第一方面所提供的方法。
根据本申请的第四方面,提供一种机器可读存储介质,机器可读存储介质存储有计算机程序,在被处理器调用和执行时,计算机程序促使处理器执行本申请实施例第一方面所提供的方法。
本申请实施例的有益效果:
通过实施本申请提供的数据处理方法,在预设周期内,通过在目标网络中执行测试任务过程中,获得所述目标网络中的访问数据;然后根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息;根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。由此实现了快速且准确地获取访问数据和路径信息等网络模型数据,进而也就解决了人工过多参与网络模型数据的获取所造成的网络初始参数配置的复杂度及难度高的问题。
附图说明
图1是本申请实施例提供的一种数据处理方法的流程示意图;
图2是本申请实施例提供的一种目标组网示意图;
图3是本申请实施例提供的另一种目标组网示意图;
图4是本申请实施例提供的一种数据处理装置的框图;
图5是本申请实施例提供的一种实施数据处理方法的电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相对应的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
发明人发现,由人工基于网络模型数据选择网络的初始参数时,当网络使用者和网络运维人员是不同人员甚至不同团队时,一般来讲现有的网络模型数据收集有以下几个问题:
1、网络使用者对业务比较熟悉,但是对网络熟悉程度有限。在描述网络所需参数时,可能会出现描述不准确的情况,比如业务节点之间的流量关系描述有误等等;
2、信息在网络使用者和网络运维人员之间传递的时候会出现误差。如网络运维人员分配某个IP地址给参数服务器,而网络使用者在部署任务的时候,错将该IP的节点部署成Worker节点;
3、有些参数网络使用者也不是很清楚,导致使用者输入的网络模型数据不完整。比如在Worker向参数服务器发送计算参数结果的时候,发送参数数据量,突发时间等;
4、对整个网络相关数据描述越清晰越全面,所需数据种类、数据量就越大,数据也会要求越准确。但是这样会导致网络使用者和运维人员的工作量就越大。
有鉴于此,本申请实施例提供一种数据处理方法,自动实现获取网络模型数据的目的,以解决上述人工获取网络模型数据所造成的前述问题。该数据处理方法为:在预设时间段内,在目标网络中执行测试任务过程中,获得所述目标网络中的访问数据;根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息;根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。由此即可自动获取到进行目标网络中初始参数配置所需的网络模型数据,这样也就避免人工过多参与所造成的网络初始参数配置的复杂度及难度高的问题。
下面对本申请提供的数据处理方法进行详细地说明。
参见图1,图1是本申请提供的一种数据处理方法的流程图,该方法可以应用于分析设备中,该分析设备在执行上述数据处理方法时,可包括如下所示步骤:
S101、在预设时间段内,在目标网络中执行测试任务过程中,获得所述目标网络中的访问数据。
本步骤中,为了能够自动获取到目标网络中的网络模型数据,本实施例提出引入预热及模型计算阶段,即,在目标网络中执行能够产生网络模型数据的测试任务,然后在执行测试任务过程中获取网络模型数据,该测试任务可以但不限于为业务计算任务等。具体来说,会设置一个预设时间段,然后在该预设时间段内,在目标网络中运行上述能够获取到网络模型数据的测试任务。
值得注意的是,上述预设时间段可以根据迭代次数进行配置,即执行测试任务的迭代次数达到设定次数所对应的时间,或者可以直接设定一个时间段,一般为若干个时钟周期,具体可以根据实际情况而定。可选地,上述设定次数可以但不限于为100次,上述设定时间段可以但不限于为300秒。
需要说明的是,上述网络模型数据可以但不限于包括访问数据和目标网络的路径信息等。在此基础上,在目标网络执行测试任务过程中,可以先获取到目标网络中设备之间的访问数据。
可选地,当目标网络包括服务器时,则上述访问数据可以但不限于包括目标网络中服务器之间的访问关系,在此基础上,可以按照下述方法执行步骤S101,以确定目标网络中服务器之间的访问关系:接收所述目标网络中服务器的接入设备采集到的所述目标网络中服务器的特征流量;根据所述特征流量,确定所述目标网络中服务器之间的访问关系。
具体地,分析设备可以向目标网络中服务器的接入设备发送流量采集指令,这样,接入设备接收到该采集指令后,就可以采集服务器在执行测试任务过程中产生的特征流量,然后将采集到的特征流量发送给分析设备。这样,电阻设备就可以基于接收到的特征流量,确定该目标网络中服务器之间的访问关系。
可选地,上述服务器的特征流量为基于采集到的控制报文或采集到的服务器发送的首个访问报文获取到的。
具体来说,接入设备可以通过抓取控制流量的方式获取特征流量,例如,从服务器上抓取TCP控制报文或者SYN控制报文等等,从而基于抓取到的控制报文来确定服务器上的特征流量。而在抓取控制报文时,可以随机或者每隔一段时间(时间间隔)进行报文的采集;或者,每隔设定的报文间隔来抓取控制报文。上述时间间隔和上述报文间隔可以根据实际情况进行配置,本申请对这两个间隔的取值不进行限定。
此外,接入设备还可以采用流表下发的方式获取服务器访问时的首个报文,即对源服务器访问目的服务器时的第一个访问报文进行采集,基于采集到的第一个访问报文来获得服务器的特征流量。
实际应用中,还可以有其他的特征流量获取方法,本实施例不再一一详细列举,具体可以根据实际目标网络的场景进行确定。
在获取到服务器的特征流量时,该特征流量中一般包括五元组等信息,因此,基于该信息就可以确定出目标网络中服务器之间的访问关系。
可选地,上述访问数据还可以包括流量统计特征;则在此基础上,可以按照下述过程执行步骤S101,以获取上述流量统计特征:根据确定出的服务器之间的访问关系,向所述接入设备发送与所述访问关系对应的流量统计表项;接收所述接入设备上报的基于所述流量统计表项获得的流量统计结果;根据所述流量统计结果,计算流量统计特征。
具体地,分析设备在确定出目标网络中服务器之间的访问关系后,就可以根据该访问关系向目标网络中的接入设备发送与该访问关系对应的流量统计表项,以使接入设备根据该流量统计表项进行流量统计并将获得的流量统计结果上报给分析设备。这样,分析设备基于上报的流量统计结果就可以计算出所需要的流量统计特征。
可选地,上述流量统计表项可以但不限于包括以五元组信息,当将该流量统计表项下发到接入设备后,该接入设备就可以基于该流量统计表项来统计所要统计的内容,并上报给上述分析设备。
可选地,上述流量统计特征用于表征报文突发特征,可以但不限于包括网络节点间流量的大小、发起的时机、报文突发速率和突发时长等。在获取到流量统计结果后,就可以基于所要统计的流量统计特征的计算/统计方法,计算/统计对应的流量统计特征。
需要说明的是,接入设备在获取到流量统计表项后,可以定期获取流量统计结果,然后上报给分析设备。上述定期获取流量统计结果的时间一般为毫秒级,可以为非常短的周期,具体可以根据实际情况进行配置。
S102、根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息。
本步骤中,上述目标网络的网络拓扑信息为分析设备从目标网络收集相关拓扑信息并计算得到的。该网络拓扑信息用于表征目标网络中网络节点间的关系。在此基础上,基于步骤S101确定出的目标网络中服务器之间的访问关系,就可以确定出目标网络中源服务器在访问目的服务器过程中所要经过的路径信息。
值得注意的是,上述网络节点可以理解为接入到目标网络中具备流量发起、流量终结或流量流经的节点,该网络节点可以但不限于为网络设备、服务器、终端等设备。
而上述网络拓扑信息可以但不限于包括网络物理拓扑信息和网络逻辑拓扑信息,其中,网络物理拓扑信息,用于描述目标网络中物理节点之间的物理线路连接。而上述网络逻辑拓扑信息,用于描述目标网络中作为逻辑角色的网络节点之间通过配置确定的节点间的逻辑关系。
结合图2所示的目标网络为例进行说明,则该目标网络包括交换机、服务器,其中与服务器连接的交换机可以理解为接入设备,且图2中包括交换机1~交换机m,且该目标组网包括服务器1~服务器n,分别记为Server1~Server n。在此基础上,图2所示的目标网络中,对应的物理拓扑信息指的是该目标网络包括交换机的数量、服务器的数量、交换机之间的连接关系、交换机与服务器之间的连接关系、每台服务器在接入到该目标网络时物理连线的数量等等。需要说明的是,一旦目标网络中完成设备上电,该目标网络的物理拓扑信息一般情况下就固定了,除非当该目标网络出现物理连线发生变化时,物理拓扑信息才会发生变化。
还结合图2所示的目标网络为例进行说明,逻辑角色可以理解为将图2中哪些交换机配置为脊Spine节点,将哪些交换机配置为叶子Leaf节点等等,如图2所示,将图2中交换机的数量配置为6,服务器的数量配置为6,以及将图2中的交换机1和交换机2配置为Spine节点,记为Spine1和Spine2,同时将图2中交换机3~交换机6配置为Leaf节点,记为Leaf1~Leaf4,对应得到图3所示的目标组网。在此基础上,上述网络逻辑拓扑信息可以但不限于包括目标网络中每台服务器的两条链路上行到两台Leaf交换机上时,这两台Leaf交换机之间是堆叠关系还是M-LAG(Multichassis Link Aggregation Group,跨设备的链路聚合组)关系、服务器的两条上行链路所采用的Bond模式等等。需要说明的是,网络逻辑拓扑信息可以根据目标网络中网络节点的配置信息来获得。实际应用中,该网络逻辑拓扑信息会随着目标网络中网络节点的配置的变化而变化。
需要说明的是,图2和图3仅是一个目标网络的示例,并不构成对目标网络结构的限定。
此外,上述路径信息,也称路径拓扑,用于表征目标网络中网络节点的访问关系、访问流量所经过的链路、节点等组成的路径关系。基于此,可以获知目标网络中的路径信息可以由网络物理拓扑信息、网络逻辑拓扑信息及业务部署等因素确定。
在此基础上,基于上述任一实施例,本实施例中,可以按照下述过程执行步骤S102:根据服务器之间的访问关系和所述网络拓扑信息,确定所述目标网络中服务器之间进行交互所要经过的中间设备、流量进入中间设备的入接口和流量流出所述中间设备的出接口;基于确定出的中间设备、入接口和出接口,确定所述服务器之间交互的路径信息。
具体地,以源服务器访问目的服务器为例进行说明,则基于步骤S101确定出源服务器与目的服务器之间的访问关系后,基于该访问关系和分析设备预先获取到的目标网络的网络拓扑信息,可以确定出源服务器要访问目的服务器所要经过的中间设备、以及流量进入中间设备的入接口和流量流出中间设备的出接口。需要说明的是,上述中间设备可以为目标网络中的源服务器访问目的服务器过程中流量中转涉及的设备。
为了更好地理解上述路径信息确认方法,以图3所示的目标网络为例进行说明,分析设备能够连接到图3所示的目标网络的Leaf上,假设图3中服务器Server1与服务器Server4之间具有访问关系,则分析设备在确定服务器Server1访问Server4时的路径信息时,可以按照下述过程实施:
步骤一、分析设备确定包括源服务器到目的服务器的流量统计表项且流量统计结果不为空的接入设备。
具体地,实际应用中,Leaf1和Leaf2上哪台设备上有Server1到Server4的流量统计表项,且基于流量统计表项的流量统计结果不为0,则说明流量会经过该Leaf转发。需要说明的是,根据Server1上Bond模式设置的不同,Server1到Server4的流量可能会经过Leaf1和Leaf2中某一台设备,也可能同时经过这两台设备;
步骤二:分析设备在确定出步骤一中的接入设备后,可以确认流量进入该接入设备的入接口和流量流出该接入设备的出接口。
例如,假设图3中Server1到Server4的流量经过Leaf1,则根据Leaf1接入Server1的端口(即,入接口)、Server1和Server4的IP地址、Leaf1上聚合和等价路由的Hash算法配置(需要Hash因子中仅包含物理端口和IP地址)等参数,可以计算出流量会经过Leaf1的哪条上行链路转发,这样就能确定出流量经过的Leaf1的上行端口(即出接口)以及与该上行端口对应的Spine(Leaf1的接入设备)以及Spine的下行端口(即,流量进入Spine的入接口)。
以确定出的上述Spine为Spine1为例进行说明,这样,在Spine1上会执行与Leaf1上类似的计算过程,这样就能得到流量所经Spine1的下行链路,进而就能确定出流量经过Spine1的哪个端口(即,确定流量流出Spine的出接口),以将流量转发到Leaf3或者Leaf4的对应上行端口(流量进入Leaf3或Leaf4的入接口)。
步骤三、分析设备在确定出流量流出接入设备的出接口后,确定流量流入下游设备的入接口和流量流出下游设备的出接口。
具体地,在基于步骤二确定出流量流出Spine1的出接口后,可以基于上述Hash算法确定出的下行链路,确定出从Spine1流出的流量要经过的下游设备。例如,根据上一步的下行链路计算结果,假设从Spine1流出的流量经Leaf3转发,则可以确定出流量进入Leaf3的入接口,然后再根据Leaf3和Server4之间的连接关系,可以确定出流量流出Leaf3的出接口,即流量会通过Leaf3的哪个端口转发到Server4。
需要说明的是,图3中下游设备仅为Leaf3,实际应用中可能会涉及多个下游设备,当流量经过多个下游设备时,每个下游设备的入接口、出接口的确定方法都可以参与上述Leaf3的入接口和出接口的确认方式进行确认。
步骤四、分析设备当确认流量到达目的服务器时,基于步骤一~步骤三确定出的中间设备(接入设备、下游设备),及对应设备的入接口和出接口,构成源服务器与目的服务器之间的路径信息。
通过执行以上步骤一到步骤四,就可以计算出目标网络中源服务器访问目的服务器时流量所流经的路径。采用这种计算的方式而不是在每台设备上下行配置流量统计的方式获得路径,本申请提供的路径确定方法,可以不需要在每台可能路径的转发节点上下发流量统计表项,减少交换机硬件资源的占用,减少交换机配置下发。
S103、根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。
本步骤中,在获取访问数据、路径信息等网络模型数据后,就可以基于获取到的网络模型数据对目标网络的初始参数进行配置,这样,在实现自动化获取网络模型数据的前提下,实现对目标网络的初始参数的配置;此外,由于本申请中实现了网络模型数据的自动化获取,替代了网络使用者手动输入网络模型数据,从而也就解决了手动输入所导致的效率低、精度差和数据不完整等问题,在此基础上,提升了初始参数配置结果的准确度,同时也降低了初始参数配置的复杂度和难度。
通过实施本申请提供的数据处理方法,在预设周期内,通过在目标网络中执行测试任务过程中,获取所述目标网络中的访问数据;然后根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息;根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。由此实现了快速且准确地获取访问数据和路径信息等网络模型数据,进而也就解决了人工过多参与网络模型数据的获取所造成的网络初始参数配置的复杂度及难度高的问题。
基于同一发明构思,本申请还提供了与上述数据处理方法对应的数据处理装置。该数据处理装置的实施具体可以参考上述对数据处理方法的描述,此处不再一一论述。
参见图4,图4是本申请一示例性实施例提供的一种数据处理装置,包括:
获得模块401,用于在预设周期内,在目标网络中执行测试任务过程中,获得所述目标网络中的访问数据;
确定模块402,用于根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息;
配置模块403,用于根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。
可选地,上述访问数据包括所述目标网络中服务器之间的访问关系;则
所述获得模块401,具体用于接收所述目标网络中服务器的接入设备采集到的所述目标网络中服务器的特征流量;根据所述特征流量,确定所述目标网络中服务器之间的访问关系。
可选地,上述访问数据还包括流量统计特征;则
所述获得模块401,还用于根据确定出的服务器之间的访问关系,向所述接入设备发送与所述访问关系对应的流量统计表项;接收所述接入设备上报的基于所述流量统计表项获得的流量统计结果;根据所述流量统计结果,确定流量统计特征。
可选地,上述确定模块402,具体用于根据服务器之间的访问关系和所述网络拓扑信息,确定所述目标网络中服务器之间进行交互所要经过的中间设备、流量进入中间设备的入接口和流量流出所述中间设备的出接口;基于确定出的中间设备、入接口和出接口,确定所述服务器之间交互的路径信息。
可选地,基于上述任一实施例,本实施例中的服务器的特征流量为基于采集到的控制报文或采集到的服务器发送的首个访问报文获取到的。
值得注意的是,本实施例的装置中,装置的实施过程及到达的效果可以参考图1~图3的方案的描述,此处不再一一详细说明。
基于同一发明构思,本申请实施例提供了一种电子设备,该电子设备可以为上述分析设备。如图5所示,该电子设备包括处理器501和机器可读存储介质502,机器可读存储介质502存储有能够被处理器501执行的计算机程序,处理器501被计算机程序促使执行本申请任一实施例所提供的数据处理方法。此外,该电子设备还包括通信接口503和通信总线504,其中,处理器501,通信接口503,机器可读存储介质502通过通信总线504完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM)、DDR SRAM(Double Data Rate Synchronous Dynamic Random Access Memory,双倍速率同步动态随机存储器),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外,本申请实施例提供了一种机器可读存储介质,机器可读存储介质存储有计算机程序,在被处理器调用和执行时,计算机程序促使处理器执行本申请实施例所提供的数据处理方法。
对于电子设备以及机器可读存储介质实施例而言,由于其涉及的方法内容基本相似于前述的方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述装置中各个单元/模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的,作为单元/模块显示的部件可以是或者也可以不是物理单元/模块,即可以位于一个地方,或者也可以分布到多个网络单元/模块上。可以根据实际的需要选择其中的部分或者全部单元/模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (8)

1.一种数据处理方法,其特征在于,包括:
在预设周期内,在目标网络中执行测试任务过程中,获得所述目标网络中的访问数据;
根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息,包括:根据所述访问数据包括的所述目标网络中服务器之间的访问关系,和,所述访问数据包括的流量统计特征中的流量统计表项、流量统计结果,确定源服务器到目的服务器的流量统计表项且流量统计结果不为空的接入设备;确定流量进入该接入设备的入接口和流量流出该接入设备的出接口;确定流量流入下游设备的入接口和流量流出下游设备的出接口;当流量到达所述目的服务器时,基于确定出的接入设备、下游设备及对应设备的入接口、出接口,构成所述源服务器与所述目的服务器之间的路径信息;
根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。
2.根据权利要求1所述的方法,其特征在于,
获取所述目标网络中的服务器之间的访问关系,包括:
接收所述目标网络中服务器的接入设备采集到的所述目标网络中服务器的特征流量;
根据所述特征流量,确定所述目标网络中服务器之间的访问关系。
3.根据权利要求2所述的方法,其特征在于,
获得所述目标网络中的流量统计特征,包括:
根据确定出的服务器之间的访问关系,向所述接入设备发送与所述访问关系对应的流量统计表项;
接收所述接入设备上报的基于所述流量统计表项获得的流量统计结果;
根据所述流量统计结果,确定流量统计特征。
4.根据权利要求2所述的方法,其特征在于,所述服务器的特征流量为基于采集到的控制报文或采集到的服务器发送的首个访问报文获取到的。
5.一种数据处理装置,其特征在于,包括:
获得模块,用于在预设周期内,在目标网络中执行测试任务过程中,获得所述目标网络中的访问数据;
确定模块,用于根据所述访问数据和采集到的所述目标网络的网络拓扑信息,确定所述目标网络的路径信息,包括:根据所述访问数据包括的所述目标网络中服务器之间的访问关系,和,所述访问数据包括的流量统计特征中的流量统计表项、流量统计结果,确定源服务器到目的服务器的流量统计表项且流量统计结果不为空的接入设备;确定流量进入该接入设备的入接口和流量流出该接入设备的出接口;确定流量流入下游设备的入接口和流量流出下游设备的出接口;当流量到达所述目的服务器时,基于确定出的接入设备、下游设备及对应设备的入接口、出接口,构成所述源服务器与所述目的服务器之间的路径信息;
配置模块,用于根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。
6.根据权利要求5所述的装置,其特征在于,
所述获得模块,具体用于按照下述方法获取所述目标网络中的服务器之间的访问关系:接收所述目标网络中服务器的接入设备采集到的所述目标网络中服务器的特征流量;根据所述特征流量,确定所述目标网络中服务器之间的访问关系。
7.根据权利要求6所述的装置,其特征在于,
所述获得模块,还用于按照下述方法获得所述目标网络中的流量统计特征:根据确定出的服务器之间的访问关系,向所述接入设备发送与所述访问关系对应的流量统计表项;接收所述接入设备上报的基于所述流量统计表项获得的流量统计结果;根据所述流量统计结果,确定流量统计特征。
8.根据权利要求6所述的装置,其特征在于,所述服务器的特征流量为基于采集到的控制报文或采集到的服务器发送的首个访问报文获取到的。
CN202210014028.5A 2022-01-06 2022-01-06 一种数据处理方法及装置 Active CN114513428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210014028.5A CN114513428B (zh) 2022-01-06 2022-01-06 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210014028.5A CN114513428B (zh) 2022-01-06 2022-01-06 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN114513428A CN114513428A (zh) 2022-05-17
CN114513428B true CN114513428B (zh) 2023-10-03

Family

ID=81550435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210014028.5A Active CN114513428B (zh) 2022-01-06 2022-01-06 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN114513428B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114884845A (zh) * 2022-06-16 2022-08-09 中国工商银行股份有限公司 基于数据集成的多维度网络流量统计方法及装置
CN115883492A (zh) * 2022-11-18 2023-03-31 浪潮思科网络科技有限公司 一种MLAG环境下的RoCE-SAN无损存储网络故障收敛方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388793A (zh) * 2007-08-31 2009-03-18 费舍-柔斯芒特系统股份有限公司 配置和优化无线网状网络
CN108898222A (zh) * 2018-06-26 2018-11-27 郑州云海信息技术有限公司 一种自动调节网络模型超参数的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388793A (zh) * 2007-08-31 2009-03-18 费舍-柔斯芒特系统股份有限公司 配置和优化无线网状网络
CN108898222A (zh) * 2018-06-26 2018-11-27 郑州云海信息技术有限公司 一种自动调节网络模型超参数的方法和装置

Also Published As

Publication number Publication date
CN114513428A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN114513428B (zh) 一种数据处理方法及装置
US6957255B1 (en) Method and apparatus for session reconstruction and accounting involving VoIP calls
Feldmann et al. Deriving traffic demands for operational IP networks: Methodology and experience
Tang et al. Elephant flow detection and load-balanced routing with efficient sampling and classification
US5600632A (en) Methods and apparatus for performance monitoring using synchronized network analyzers
US7310309B1 (en) Dynamic rate limiting adjustment
EP3739814A1 (en) Indirect testing using impairment rules
CN104796348A (zh) 基于sdn的idc网络出口流量均衡调整方法、设备及系统
CN102415059A (zh) 总线控制装置
US9742680B2 (en) Configuring traffic allocations in a router
CN113014508A (zh) 一种报文处理方法及装置
Sommers et al. Multiobjective monitoring for SLA compliance
CN105991456A (zh) 一种OpenFlow交换机、网络系统及带宽共享方法
Zhang et al. Markov-chain modeling for multicast signaling delay analysis
CN106464670A (zh) 网络实体及服务策略管理方法
Phung et al. An open dataset for beyond-5g data-driven network automation experiments
CN111447122B (zh) 一种核心交换机ipc带机量的测试系统及测试方法
Pereira et al. The mutable consensus protocol
CN108667873B (zh) 一种分流方法、分流装置、电子设备和可读存储介质
WO1999063439A1 (en) Apparatus and method for testing network applications
CN105282050B (zh) 聚合数据流的方法和装置
CN108199975A (zh) 一种流量控制方法及装置
WO2021147371A1 (zh) 故障检测方法、装置及系统
Zhang et al. Delay analysis of feedback-synchronization signaling for multicast flow control
Dong et al. Meet: rack-level pooling based load balancing in datacenter networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant