CN116668380B - 汇聚分流器设备的报文处理方法及装置 - Google Patents
汇聚分流器设备的报文处理方法及装置 Download PDFInfo
- Publication number
- CN116668380B CN116668380B CN202310935904.2A CN202310935904A CN116668380B CN 116668380 B CN116668380 B CN 116668380B CN 202310935904 A CN202310935904 A CN 202310935904A CN 116668380 B CN116668380 B CN 116668380B
- Authority
- CN
- China
- Prior art keywords
- computing resource
- time sequence
- target
- target device
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 75
- 239000013598 vector Substances 0.000 claims description 95
- 238000012549 training Methods 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 229940050561 matrix product Drugs 0.000 claims description 6
- 238000012098 association analyses Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 13
- 238000009826 distribution Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/31—Flow control; Congestion control by tagging of packets, e.g. using discard eligibility [DE] bits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/41—Flow control; Congestion control by acting on aggregated flows or links
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种汇聚分流器设备的报文处理方法及装置,其通过汇聚分流器接收来自不同源的数据报文,并根据所述数据报文的头部信息进行分类和标记以得到不同类别报文;基于预设规则对所述不同类别报文进行排序和调度以得到预处理后报文;基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文;以及,通过所述汇聚分流器将所述优化处理后报文发送到相应的目标设备。这样,可以提高网络通信的效率和性能。
Description
技术领域
本发明涉及智能化报文处理技术领域,尤其涉及一种汇聚分流器设备的报文处理方法及装置。
背景技术
在现代网络通信中,汇聚分流器设备扮演着重要的角色。它们负责接收和处理来自多个源设备的报文,并将它们合并或分流到目标设备中。
然而,现有的汇聚分流器通常根据预设的规则或静态配置来进行报文的合并或分离,由于目标设备的计算资源有限,现有的汇聚分流器在进行报文合并时缺乏对目标设备实时能力的动态评估,导致在网络负载不均衡或目标设备计算资源不足的情况下,无法及时做出合适的处理决策,影响了系统的性能和效率。
因此,期望一种优化的汇聚分流器设备的报文处理方案。
发明内容
本发明实施例提供一种汇聚分流器设备的报文处理方法及装置,其通过汇聚分流器接收来自不同源的数据报文,并根据所述数据报文的头部信息进行分类和标记以得到不同类别报文;基于预设规则对所述不同类别报文进行排序和调度以得到预处理后报文;基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文;以及,通过所述汇聚分流器将所述优化处理后报文发送到相应的目标设备。这样,可以提高网络通信的效率和性能。
本发明实施例还提供了一种汇聚分流器设备的报文处理方法,其包括:
通过汇聚分流器接收来自不同源的数据报文,并根据所述数据报文的头部信息进行分类和标记以得到不同类别报文;
基于预设规则对所述不同类别报文进行排序和调度以得到预处理后报文;
基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文;以及
通过所述汇聚分流器将所述优化处理后报文发送到相应的目标设备。
本发明实施例还提供了一种汇聚分流器设备的报文处理装置,其包括:
分类和标记模块,用于通过汇聚分流器接收来自不同源的数据报文,并根据所述数据报文的头部信息进行分类和标记以得到不同类别报文;
排序和调度模块,用于基于预设规则对所述不同类别报文进行排序和调度以得到预处理后报文;
合并或分离处理模块,用于基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文;以及
优化处理模块,用于通过所述汇聚分流器将所述优化处理后报文发送到相应的目标设备。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中提供的一种汇聚分流器设备的报文处理方法的流程图。
图2为本发明实施例中提供的一种汇聚分流器设备的报文处理方法的系统架构的示意图。
图3为本发明实施例中提供的一种汇聚分流器设备的报文处理方法中步骤130的子步骤的流程图。
图4为本发明实施例中提供的一种汇聚分流器设备的报文处理装置的框图。
图5为本发明实施例中提供的一种汇聚分流器设备的报文处理方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。
在本申请实施例记载中,需要说明的是,除非另有说明和限定,术语“连接”应做广义理解,例如,可以是电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
需要说明的是,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
应可以理解,汇聚分流器是一种网络设备,用于在网络中收集和分发流量,主要功能是将来自多个源的流量汇聚到一个目标位置,并将目标位置的流量分发给多个目标设备。汇聚分流器通常用于优化网络流量的管理和分配,提高网络的可用性和性能。
汇聚分流器通常有以下特点和功能:多端口连接,汇聚分流器通常具有多个网络接口,可以连接多个源设备和目标设备。这样可以同时处理多个流量源,并将流量分发给多个目标设备。流量聚合,汇聚分流器可以收集来自多个源设备的流量,并将其聚合成一个流量流。这样可以减少网络拥塞和带宽占用,提高网络的效率。流量分发,汇聚分流器可以将聚合的流量分发给多个目标设备。分发可以基于不同的规则和策略,如负载均衡、优先级等,以实现流量的合理分配和优化。数据过滤和处理,汇聚分流器可以对流量进行过滤和处理。可以根据特定的规则和条件,对流量进行过滤、修改或重定向,以满足特定的需求和要求。监控和管理,汇聚分流器通常提供监控和管理功能,可以实时监测流量的状态和性能,并提供统计数据和报告。这有助于网络管理员了解网络的使用情况和性能状况,并做出相应的调整和优化。
汇聚分流器是一种重要的网络设备,可以帮助管理和优化网络流量,提高网络的可用性和性能,在数据中心、企业网络和云服务等环境中广泛应用。
进一步地,汇聚分流器设备可以收集目标设备集群的计算资源信息,并结合目标设备的实时特征进行报文合并处理,通过合并多个报文,可以减少网络中的报文数量,从而减少网络的负载和拥塞情况,提高网络通信的效率。
汇聚分流器设备可以分析目标设备集群的全局计算资源情况,包括CPU、内存、存储等资源的利用情况。通过对计算资源的分析,可以合理分配和利用资源,避免资源的浪费和不均衡现象,提高计算资源的利用效率。
汇聚分流器设备可以根据目标设备的实时特征进行报文处理。例如,根据目标设备的带宽情况、延迟要求等特征,对报文进行优先级排序和分发,以保证重要报文的及时传输和处理。
汇聚分流器设备可以进行数据处理和分析,对目标设备集群的报文进行过滤、转换、聚合等操作,以满足特定的业务需求。这样可以减少目标设备的负担,提高数据处理的效率和准确性。
汇聚分流器设备的报文处理对于提高网络通信效率、优化计算资源利用、考虑实时特征以及进行数据处理和分析等方面都具有重要的必要性。可以为网络提供更高的性能和可靠性,同时满足不同业务场景的需求。
在本发明的一个实施例中,图1为本发明实施例中提供的一种汇聚分流器设备的报文处理方法的流程图。如图1所示,根据本发明实施例的汇聚分流器设备的报文处理方法100,包括:110,通过汇聚分流器接收来自不同源的数据报文,并根据所述数据报文的头部信息进行分类和标记以得到不同类别报文;120,基于预设规则对所述不同类别报文进行排序和调度以得到预处理后报文;130,基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文;以及,140,通过所述汇聚分流器将所述优化处理后报文发送到相应的目标设备。
其中,在所述步骤110中,确保汇聚分流器能够接收来自不同源的数据报文,可能需要适配不同的协议和数据格式;有效解析数据报文的头部信息,以便进行后续的分类和标记操作;考虑报文的大小和频率,确保汇聚分流器的处理能力能够满足高负载的需求。这样,可以实现数据报文的集中接收和管理,避免目标设备直接面对大量的源数据流。根据数据报文的头部信息进行分类和标记,为后续的处理提供基础数据。还可以提高数据处理的效率和准确性,减少目标设备的负担,提高整体系统的性能。
在所述步骤120中,设计合适的预设规则,以便对不同类别的报文进行排序和调度;考虑报文的优先级、重要性等因素,确保预处理后报文的顺序满足目标设备的需求;考虑实时性要求,确保及时处理高优先级的报文。这样,对不同类别的报文进行排序和调度,优化报文的处理顺序,提高整体处理效率。根据预设规则对报文进行处理,满足目标设备的需求和业务要求。以提高系统的灵活性和可扩展性,能够根据实际情况对预设规则进行调整和优化。
在所述步骤130中,基于目标设备的能力和需求,对预处理后的报文进行合并或分离处理;考虑目标设备的计算资源情况,确保合并或分离处理不会超出设备的处理能力;考虑目标设备的实时特征,如带宽、延迟等,确保合并或分离处理不会影响通信性能。这样,根据目标设备的能力和需求,对报文进行优化处理,提高处理效率和资源利用率。避免目标设备的过载和性能下降,确保系统的稳定性和可靠性。还可以根据目标设备的实时特征,优化报文的传输方式,提高通信的效率和质量。
在所述步骤140中,确保汇聚分流器能够准确地将优化处理后的报文发送到相应的目标设备;考虑目标设备的网络连接方式和通信协议,确保报文能够正确地传输到目标设备;考虑目标设备的接收能力,避免发送过多的报文导致目标设备的负荷过重。这样,可以实现报文的准确分发,确保每个目标设备都能够接收到其对应的报文。可以提高报文的传输效率和可靠性,减少报文丢失或传输错误的情况。也可以降低目标设备的处理压力,提高整体系统的性能和可靠性。
相应地,考虑到在进行报文合并时,需判断目标设备的能力,而在判断目标设备的能力时,现有方法通常只考虑了目标设备自身的计算资源情况,例如CPU利用率、内存占用等。这种方法并没有考虑到目标设备在目标设备集群中的实时特征,而目标设备集群中的其他设备的计算资源状态会对目标设备的报文处理能力产生影响。
针对上述技术问题,本申请的技术构思为在通过汇聚分流器进行报文合并时,在进行多个目标设备在多个预定时间点下的剩余计算资源量的采集后,在后端引入数据处理和分析算法来进行目标设备集群的全局计算资源情况和各个目标设备的计算资源情况分析,以结合所述各个目标设备在所述目标设备集群中的计算资源实时特征来进行报文合并的处理,从而提高网络通信的效率和性能。
图2为本发明实施例中提供的一种汇聚分流器设备的报文处理方法的系统架构的示意图。图3为本发明实施例中提供的一种汇聚分流器设备的报文处理方法中步骤130的子步骤的流程图。如图2和图3所示,基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文,包括:131,获取多个目标设备在预定时间段内多个预定时间点的剩余计算资源量;132,对所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量进行关联分析以得到全域目标设备计算资源时序关联特征;133,从所述全域目标设备计算资源时序关联特征中提取全域背景下第一目标设备计算资源时序特征;以及,134,基于所述全域背景下第一目标设备计算资源时序特征,确定第一目标设备是否适宜处理合并报文。
具体地,在所述步骤131中,获取多个目标设备在预定时间段内多个预定时间点的剩余计算资源量。在本申请的技术方案中,首先,获取多个目标设备在预定时间段内多个预定时间点的剩余计算资源量。
通过获取目标设备在不同时间点的剩余计算资源量,可以实时了解目标设备的计算资源使用情况,有助于确定目标设备当前是否有足够的计算资源来处理合并报文,以避免资源不足导致的性能下降或任务失败。
通过分析多个目标设备在预定时间段内的剩余计算资源量,可以了解目标设备集群的全局计算资源利用情况,有助于确定是否有其他目标设备具有更充足的计算资源可用于处理合并报文,以实现资源的最优分配和利用。
通过监测多个目标设备的剩余计算资源量,可以进行动态调度决策。如果某个目标设备的计算资源紧张,而其他目标设备的计算资源充足,可以将合并报文任务分配给资源充足的目标设备,以实现负载均衡和性能优化。
通过收集多个目标设备在不同时间点的剩余计算资源量,可以进行趋势分析和预测,以预测未来的计算资源需求和供应情况,有助于进行合理的资源规划和调度,以满足合并报文任务的需求并避免资源浪费。
获取多个目标设备在预定时间段内多个预定时间点的剩余计算资源量对最后确定第一目标设备是否适宜处理合并报文具有重要的实时性、全局性和决策性作用。
具体地,在所述步骤132中,对所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量进行关联分析以得到全域目标设备计算资源时序关联特征。包括:将所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量按照时间维度和样本维度排列为全域目标设备计算资源时序关联矩阵;以及,将所述全域目标设备计算资源时序关联矩阵通过基于卷积神经网络模型的特征提取器以得到全域目标设备计算资源时序关联特征矩阵作为所述全域目标设备计算资源时序关联特征。
接着,考虑到由于所述各个目标设备的剩余计算资源量在时间维度和样本维度上都具有着关联关系。因此,为了能够更全面地了解目标设备集群的计算资源变化情况以进行报文处理的分配判断,在本申请的技术方案中,需要进一步将所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量按照时间维度和样本维度排列为全域目标设备计算资源时序关联矩阵。应可以理解,通过将所述多个预定时间点的剩余计算资源量按照时间维度排列,可以清晰地观察到每个所述目标设备在不同时间点的计算资源变化情况,这有助于分析所述各个目标设备的计算资源利用率、波动性以及在不同时间段的繁忙程度。而由于不同的目标设备之间的计算资源量可能存在差异,通过将所述各个目标设备的剩余计算资源量按照样本维度排列,可以将不同设备的计算资源情况进行比较和分析。这有助于发现设备之间的差异性,为后续的负载均衡或数据分析提供依据。
然后,使用在隐含关联特征提取方面具有优异表现性能的基于卷积神经网络模型的特征提取器来进行所述全域目标设备计算资源时序关联矩阵的特征挖掘,以提取出所述各个目标设备在时间维度和样本维度上的全域目标设备计算资源时序关联特征信息,从而得到全域目标设备计算资源时序关联特征矩阵。
具体地,在所述步骤133中,从所述全域目标设备计算资源时序关联特征中提取全域背景下第一目标设备计算资源时序特征。包括:从所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量提取第一目标设备在预定时间段内多个预定时间点的剩余计算资源量,并将所述第一目标设备在预定时间段内多个预定时间点的剩余计算资源量按照时间维度排列为第一目标设备计算资源时序输入向量;将所述第一目标设备计算资源时序输入向量通过基于全连接层的计算资源时序特征提取器以得到第一目标设备计算资源时序特征向量;以及,将所述第一目标设备计算资源时序特征向量映射到所述全域目标设备计算资源时序关联特征矩阵的高维空间中以得到全域背景下第一目标设备计算资源时序特征向量作为所述全域背景下第一目标设备计算资源时序特征。
其中,将所述第一目标设备计算资源时序特征向量映射到所述全域目标设备计算资源时序关联特征矩阵的高维空间中以得到全域背景下第一目标设备计算资源时序特征向量作为所述全域背景下第一目标设备计算资源时序特征,包括:以所述第一目标设备计算资源时序特征向量作为查询特征向量,计算其与所述全域目标设备计算资源时序关联特征矩阵之间的矩阵乘积以得到所述全域背景下第一目标设备计算资源时序特征向量。
在得到所述全域目标设备集群的计算资源时序关联特征信息后,需要进一步对于各个目标设备的计算资源时序变化特征进行分析刻画,以此来更为合理地基于各个目标设备的计算资源情况来进行报文的分配处理。因此,在本申请的技术方案中,进一步从所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量提取第一目标设备在预定时间段内多个预定时间点的剩余计算资源量,并将所述第一目标设备在预定时间段内多个预定时间点的剩余计算资源量按照时间维度排列为第一目标设备计算资源时序输入向量,以此来整合所述第一目标设备的剩余计算资源量在时序上的分布信息,有利于后续对于所述第一目标设备的剩余计算资源量的时序变化特征进提取以及对所述第一目标设备是否适宜处理合并报文进行检测判断。
进一步地,考虑到由于所述第一目标设备的计算资源量在时间维度上具有着时序的动态变化规律性,也就是说,所述第一目标设备在各个预定时间点下的计算资源量在时间维度上具有着时序的关联特征信息。因此,在本申请的技术方案中,为了能够对于所述第一目标设备的计算资源情况进行准确分析,需要进一步将所述第一目标设备计算资源时序输入向量通过基于全连接层的计算资源时序特征提取器中进行特征挖掘,以提取出所述第一目标设备的计算资源量在时间维度上的时序关联特征信息,从而得到第一目标设备计算资源时序特征向量。
继而,再以所述第一目标设备计算资源时序特征向量作为查询特征向量,计算其与所述全域目标设备计算资源时序关联特征矩阵之间的矩阵乘积,以此来将所述第一目标设备的计算资源量的时序关联特征信息映射到所述目标设备集群的计算资源时序关联特征信息的高维空间中,从而提取出以所述目标设备集群的计算资源关联特征为基础背景下有关于所述第一目标设备的计算资源时序变化特征信息,即所述目标设备在目标设备集群中的计算资源实时特征,以得到全域背景下第一目标设备计算资源时序特征向量。
具体地,在所述步骤134中,基于所述全域背景下第一目标设备计算资源时序特征,确定第一目标设备是否适宜处理合并报文,包括:将所述全域背景下第一目标设备计算资源时序特征向量通过分类器以得到分类结果,所述分类结果用于表示第一目标设备是否适宜处理合并报文。
进而,将所述全域背景下第一目标设备计算资源时序特征向量通过分类器以得到分类结果,所述分类结果用于表示第一目标设备是否适宜处理合并报文。也就是,在本申请的技术方案中,所述分类器的标签包括第一目标设备适宜处理合并报文(第一标签),以及,第一目标设备不适宜处理合并报文(第二标签),其中,所述分类器通过软最大值函数来确定所述全域背景下第一目标设备计算资源时序特征向量属于哪个分类标签。值得注意的是,这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念,实际上在训练过程当中,计算机模型并没有“第一目标设备是否适宜处理合并报文”这种概念,其只是有两种分类标签且输出特征在这两个分类标签下的概率,即p1和p2 之和为一。因此,第一目标设备是否适宜处理合并报文的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布,实质上用到的是标签的自然概率分布的物理意义,而不是“第一目标设备是否适宜处理合并报文”的语言文本意义。应可以理解,在本申请的技术方案中,所述分类器的分类标签为第一目标设备是否适宜处理合并报文的检测评估标签,因此,在得到所述分类结果后,可基于所述分类结果来进行目标设备是否适宜处理合并报文的检测判断,从而选择更为适宜的目标设备进行报文合并处理,以提高网络通信的效率和性能。
进一步地,在本申请中,所述汇聚分流器设备的报文处理方法,还包括训练步骤:用于对所述基于卷积神经网络模型的特征提取器、所述基于全连接层的计算资源时序特征提取器和所述分类器进行训练。所述训练步骤,包括:获取训练数据,所述训练数据包括多个目标设备在预定时间段内多个预定时间点的训练剩余计算资源量,以及,所述第一目标设备是否适宜处理合并报文的真实值;将所述多个目标设备在预定时间段内多个预定时间点的训练剩余计算资源量按照时间维度和样本维度排列为训练全域目标设备计算资源时序关联矩阵;将所述训练全域目标设备计算资源时序关联矩阵通过所述基于卷积神经网络模型的特征提取器以得到训练全域目标设备计算资源时序关联特征矩阵;从所述多个目标设备在预定时间段内多个预定时间点的训练剩余计算资源量提取第一目标设备在预定时间段内多个预定时间点的训练剩余计算资源量,并将所述第一目标设备在预定时间段内多个预定时间点的训练剩余计算资源量按照时间维度排列为训练第一目标设备计算资源时序输入向量;将所述训练第一目标设备计算资源时序输入向量通过所述基于全连接层的计算资源时序特征提取器以得到训练第一目标设备计算资源时序特征向量;以所述训练第一目标设备计算资源时序特征向量作为查询特征向量,计算其与所述训练全域目标设备计算资源时序关联特征矩阵之间的矩阵乘积以得到训练全域背景下第一目标设备计算资源时序特征向量;将所述训练全域背景下第一目标设备计算资源时序特征向量通过所述分类器以得到分类损失函数值;计算所述训练第一目标设备计算资源时序特征向量和所述训练全域背景下第一目标设备计算资源时序特征向量的共有流形隐式相似性因数以得到共有流形隐式相似性损失函数值;以所述分类损失函数值和所述共有流形隐式相似性损失函数值的加权和作为损失函数值,并通过梯度下降的方向传播来对所述基于卷积神经网络模型的特征提取器、所述基于全连接层的计算资源时序特征提取器和所述分类器进行训练。
特别地,在本申请的技术方案中,在以所述第一目标设备计算资源时序特征向量作为查询特征向量,计算其与所述全域目标设备计算资源时序关联特征矩阵之间的矩阵乘积时,是将所述全域目标设备计算资源时序关联特征矩阵所表达的所述多个目标设备的样本-时序交叉维度局部关联特征映射到所述第一目标设备计算资源时序特征向量所表达的所述第一目标设备的剩余计算资源量的全时域关联特征空间内,以得到所述全域背景下第一目标设备计算资源时序特征向量。但是,考虑到所述全域目标设备计算资源时序关联特征矩阵与所述第一目标设备计算资源时序特征向量分别表达不同维度和关联尺度下的高维特征,在特征映射之后,所述全域背景下第一目标设备计算资源时序特征向量与所述第一目标设备计算资源时序特征向量可能具有较大的特征分布差异,从而影响所述全域背景下第一目标设备计算资源时序特征向量对所述第一目标设备对应的分类特征的表达效果。
基于此,本申请的申请人考虑通过约束所述全域背景下第一目标设备计算资源时序特征向量与所述第一目标设备计算资源时序特征向量之间的高维特征流形的几何单调性来对所述全域背景下第一目标设备计算资源时序特征向量与所述第一目标设备计算资源时序特征向量之间的特征分布差异进行约束,即,针对所述第一目标设备计算资源时序特征向量,例如记为和所述全域背景下第一目标设备计算资源时序特征向量,例如记为,引入共有流形隐式相似性因数作为损失函数,具体表示为:
其中,和/>分别是所述训练第一目标设备计算资源时序特征向量和所述训练全域背景下第一目标设备计算资源时序特征向量,/>表示向量的二范数,且/>表示矩阵的Frobenius范数的平方根,所述训练第一目标设备计算资源时序特征向量和所述训练全域背景下第一目标设备计算资源时序特征向量均为列向量形式,/>、/>、/>和/>为权重超参数,/>表示向量乘法,/>表示按位置点乘,/>表示按位置差分,/>表示所述共有流形隐式相似性损失函数值,/>表示第一相似性损失函数值,/>表示第二相似性损失函数值。
这里,所述共有流形隐式相似性因数可以以所述第一目标设备计算资源时序特征向量和所述全域背景下第一目标设备计算资源时序特征向量/>间的结构化关联来表示各自特征流形在交叉维度下的共有流形,并以相同因数化权重来共享所述第一目标设备计算资源时序特征向量/>和所述全域背景下第一目标设备计算资源时序特征向量/>的差异性、对应性、关联性等流形结构性因素的共同约束,从而对依赖共有流形的几何衍生结构表示的分布相似性进行度量,以实现跨维度和尺度的分布模态特征间的关联特征非线性几何单调性,降低所述全域背景下第一目标设备计算资源时序特征向量与所述第一目标设备计算资源时序特征向量之间的特征分布差异,从而提升所述全域背景下第一目标设备计算资源时序特征向量对所述第一目标设备对应的分类特征的表达效果。这样,能够结合各个目标设备在目标设备集群中的计算资源实时特征来进行报文的合并处理,通过这样的方式,可以选择更为适宜的目标设备进行报文合并处理,从而提高网络通信的效率和性能。
综上,基于本发明实施例的汇聚分流器设备的报文处理方法100被阐明,其在通过汇聚分流器进行报文合并时,在进行多个目标设备在多个预定时间点下的剩余计算资源量的采集后,在后端引入数据处理和分析算法来进行目标设备集群的全局计算资源情况和各个目标设备的计算资源情况分析,以结合所述各个目标设备在所述目标设备集群中的计算资源实时特征来进行报文合并的处理,从而提高网络通信的效率和性能。
图4为本发明实施例中提供的一种汇聚分流器设备的报文处理装置的框图。如图4所示,所述汇聚分流器设备的报文处理装置,包括:分类和标记模块210,用于通过汇聚分流器接收来自不同源的数据报文,并根据所述数据报文的头部信息进行分类和标记以得到不同类别报文;排序和调度模块220,用于基于预设规则对所述不同类别报文进行排序和调度以得到预处理后报文;合并或分离处理模块230,用于基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文;以及,优化处理模块240,用于通过所述汇聚分流器将所述优化处理后报文发送到相应的目标设备。
本领域技术人员可以理解,上述汇聚分流器设备的报文处理装置中的各个步骤的具体操作已经在上面参考图1到图3的汇聚分流器设备的报文处理方法的描述中得到了详细介绍,并因此,将省略其重复描述。
图5为本发明实施例中提供的一种汇聚分流器设备的报文处理方法的应用场景图。如图5所示,在该应用场景中,首先,获取多个目标设备在预定时间段内多个预定时间点的剩余计算资源量(例如,如图5中所示意的C);然后,将获取的剩余计算资源量输入至部署有汇聚分流器设备的报文处理算法的服务器(例如,如图5中所示意的S)中,其中所述服务器能够基于汇聚分流器设备的报文处理算法对所述剩余计算资源量进行处理,以确定第一目标设备是否适宜处理合并报文。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种汇聚分流器设备的报文处理方法,其特征在于,包括:
通过汇聚分流器接收来自不同源的数据报文,并根据所述数据报文的头部信息进行分类和标记以得到不同类别报文;
基于预设规则对所述不同类别报文进行排序和调度以得到预处理后报文;
基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文;以及
通过所述汇聚分流器将所述优化处理后报文发送到相应的目标设备;
其中,基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文,包括:
获取多个目标设备在预定时间段内多个预定时间点的剩余计算资源量;
对所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量进行关联分析以得到全域目标设备计算资源时序关联特征;
从所述全域目标设备计算资源时序关联特征中提取全域背景下第一目标设备计算资源时序特征;以及
基于所述全域背景下第一目标设备计算资源时序特征,确定第一目标设备是否适宜处理合并报文。
2.根据权利要求1所述的汇聚分流器设备的报文处理方法,其特征在于,对所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量进行关联分析以得到全域目标设备计算资源时序关联特征,包括:
将所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量按照时间维度和样本维度排列为全域目标设备计算资源时序关联矩阵;以及
将所述全域目标设备计算资源时序关联矩阵通过基于卷积神经网络模型的特征提取器以得到全域目标设备计算资源时序关联特征矩阵作为所述全域目标设备计算资源时序关联特征。
3.根据权利要求2所述的汇聚分流器设备的报文处理方法,其特征在于,从所述全域目标设备计算资源时序关联特征中提取全域背景下第一目标设备计算资源时序特征,包括:
从所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量提取第一目标设备在预定时间段内多个预定时间点的剩余计算资源量,并将所述第一目标设备在预定时间段内多个预定时间点的剩余计算资源量按照时间维度排列为第一目标设备计算资源时序输入向量;
将所述第一目标设备计算资源时序输入向量通过基于全连接层的计算资源时序特征提取器以得到第一目标设备计算资源时序特征向量;以及
将所述第一目标设备计算资源时序特征向量映射到所述全域目标设备计算资源时序关联特征矩阵的高维空间中以得到全域背景下第一目标设备计算资源时序特征向量作为所述全域背景下第一目标设备计算资源时序特征。
4.根据权利要求3所述的汇聚分流器设备的报文处理方法,其特征在于,将所述第一目标设备计算资源时序特征向量映射到所述全域目标设备计算资源时序关联特征矩阵的高维空间中以得到全域背景下第一目标设备计算资源时序特征向量作为所述全域背景下第一目标设备计算资源时序特征,包括:以所述第一目标设备计算资源时序特征向量作为查询特征向量,计算其与所述全域目标设备计算资源时序关联特征矩阵之间的矩阵乘积以得到所述全域背景下第一目标设备计算资源时序特征向量。
5.根据权利要求4所述的汇聚分流器设备的报文处理方法,其特征在于,基于所述全域背景下第一目标设备计算资源时序特征,确定第一目标设备是否适宜处理合并报文,包括:将所述全域背景下第一目标设备计算资源时序特征向量通过分类器以得到分类结果,所述分类结果用于表示第一目标设备是否适宜处理合并报文。
6.根据权利要求5所述的汇聚分流器设备的报文处理方法,其特征在于,还包括训练步骤:用于对所述基于卷积神经网络模型的特征提取器、所述基于全连接层的计算资源时序特征提取器和所述分类器进行训练。
7.根据权利要求6所述的汇聚分流器设备的报文处理方法,其特征在于,所述训练步骤,包括:
获取训练数据,所述训练数据包括多个目标设备在预定时间段内多个预定时间点的训练剩余计算资源量,以及,所述第一目标设备是否适宜处理合并报文的真实值;
将所述多个目标设备在预定时间段内多个预定时间点的训练剩余计算资源量按照时间维度和样本维度排列为训练全域目标设备计算资源时序关联矩阵;
将所述训练全域目标设备计算资源时序关联矩阵通过所述基于卷积神经网络模型的特征提取器以得到训练全域目标设备计算资源时序关联特征矩阵;
从所述多个目标设备在预定时间段内多个预定时间点的训练剩余计算资源量提取第一目标设备在预定时间段内多个预定时间点的训练剩余计算资源量,并将所述第一目标设备在预定时间段内多个预定时间点的训练剩余计算资源量按照时间维度排列为训练第一目标设备计算资源时序输入向量;
将所述训练第一目标设备计算资源时序输入向量通过所述基于全连接层的计算资源时序特征提取器以得到训练第一目标设备计算资源时序特征向量;
以所述训练第一目标设备计算资源时序特征向量作为查询特征向量,计算其与所述训练全域目标设备计算资源时序关联特征矩阵之间的矩阵乘积以得到训练全域背景下第一目标设备计算资源时序特征向量;
将所述训练全域背景下第一目标设备计算资源时序特征向量通过所述分类器以得到分类损失函数值;
计算所述训练第一目标设备计算资源时序特征向量和所述训练全域背景下第一目标设备计算资源时序特征向量的共有流形隐式相似性因数以得到共有流形隐式相似性损失函数值;
以所述分类损失函数值和所述共有流形隐式相似性损失函数值的加权和作为损失函数值,并通过梯度下降的方向传播来对所述基于卷积神经网络模型的特征提取器、所述基于全连接层的计算资源时序特征提取器和所述分类器进行训练。
8.根据权利要求7所述的汇聚分流器设备的报文处理方法,其特征在于,计算所述训练第一目标设备计算资源时序特征向量和所述训练全域背景下第一目标设备计算资源时序特征向量的共有流形隐式相似性因数以得到共有流形隐式相似性损失函数值,包括:
以如下损失公式计算所述训练第一目标设备计算资源时序特征向量和所述训练全域背景下第一目标设备计算资源时序特征向量的共有流形隐式相似性因数以得到所述共有流形隐式相似性损失函数值;
其中,所述损失公式为:
其中,V1和V2分别是所述训练第一目标设备计算资源时序特征向量和所述训练全域背景下第一目标设备计算资源时序特征向量,‖·‖2表示向量的二范数,且表示矩阵的Frobenius范数的平方根,所述训练第一目标设备计算资源时序特征向量和所述训练全域背景下第一目标设备计算资源时序特征向量均为列向量形式,w1、w2、w3和α为权重超参数,表示向量乘法,⊙表示按位置点乘,/>表示按位置差分,/>表示所述共有流形隐式相似性损失函数值,/>表示第一相似性损失函数值,/>表示第二相似性损失函数值。
9.一种汇聚分流器设备的报文处理装置,其特征在于,包括:
分类和标记模块,用于通过汇聚分流器接收来自不同源的数据报文,并根据所述数据报文的头部信息进行分类和标记以得到不同类别报文;
排序和调度模块,用于基于预设规则对所述不同类别报文进行排序和调度以得到预处理后报文;
合并或分离处理模块,用于基于目标设备的能力和需求对所述预处理后报文进行合并或分离处理以得到优化处理后报文;以及
优化处理模块,用于通过所述汇聚分流器将所述优化处理后报文发送到相应的目标设备;
其中,所述合并或分离处理模块,包括:
获取多个目标设备在预定时间段内多个预定时间点的剩余计算资源量;
对所述多个目标设备在预定时间段内多个预定时间点的剩余计算资源量进行关联分析以得到全域目标设备计算资源时序关联特征;
从所述全域目标设备计算资源时序关联特征中提取全域背景下第一目标设备计算资源时序特征;以及
基于所述全域背景下第一目标设备计算资源时序特征,确定第一目标设备是否适宜处理合并报文。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310935904.2A CN116668380B (zh) | 2023-07-28 | 2023-07-28 | 汇聚分流器设备的报文处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310935904.2A CN116668380B (zh) | 2023-07-28 | 2023-07-28 | 汇聚分流器设备的报文处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116668380A CN116668380A (zh) | 2023-08-29 |
CN116668380B true CN116668380B (zh) | 2023-10-03 |
Family
ID=87720951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310935904.2A Active CN116668380B (zh) | 2023-07-28 | 2023-07-28 | 汇聚分流器设备的报文处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116668380B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116843345A (zh) * | 2023-08-30 | 2023-10-03 | 深圳市艾德网络科技发展有限公司 | 基于人工智能技术对客户交易的智能风控系统及方法 |
CN117351659B (zh) * | 2023-12-01 | 2024-02-20 | 四川省华地建设工程有限责任公司 | 一种水文地质灾害监测装置及监测方法 |
CN117631598B (zh) * | 2024-01-26 | 2024-04-02 | 北京中科网芯科技有限公司 | 一种基于5g网络的数据采集系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077127A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移对象的方法和装置 |
CN106789707A (zh) * | 2016-11-28 | 2017-05-31 | 北京邮电大学 | 一种软件定义分组传送网全局业务动态优化方法及装置 |
CN112035267A (zh) * | 2020-11-03 | 2020-12-04 | 北京淇瑀信息科技有限公司 | 一种基于mpi的集群资源调度方法、装置及系统 |
CN112702278A (zh) * | 2020-12-30 | 2021-04-23 | 恒安嘉新(北京)科技股份公司 | 一种负载均衡方法、汇聚分流器及存储介质 |
CN115473850A (zh) * | 2022-09-14 | 2022-12-13 | 电信科学技术第十研究所有限公司 | 一种基于ai的实时数据过滤方法、系统及存储介质 |
CN115529232A (zh) * | 2021-06-08 | 2022-12-27 | 中国移动通信有限公司研究院 | 汇聚分流设备的管控方法、装置及存储介质 |
WO2023029066A1 (zh) * | 2021-08-30 | 2023-03-09 | 上海观安信息技术股份有限公司 | 流式数据的特征提取方法及装置、存储介质、计算机设备 |
CN116415705A (zh) * | 2022-12-21 | 2023-07-11 | 中能国际高新科技研究院有限公司 | 一种多因素水位预测方法、装置、电子设备和计算机介质 |
-
2023
- 2023-07-28 CN CN202310935904.2A patent/CN116668380B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077127A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移对象的方法和装置 |
CN106789707A (zh) * | 2016-11-28 | 2017-05-31 | 北京邮电大学 | 一种软件定义分组传送网全局业务动态优化方法及装置 |
CN112035267A (zh) * | 2020-11-03 | 2020-12-04 | 北京淇瑀信息科技有限公司 | 一种基于mpi的集群资源调度方法、装置及系统 |
CN112702278A (zh) * | 2020-12-30 | 2021-04-23 | 恒安嘉新(北京)科技股份公司 | 一种负载均衡方法、汇聚分流器及存储介质 |
CN115529232A (zh) * | 2021-06-08 | 2022-12-27 | 中国移动通信有限公司研究院 | 汇聚分流设备的管控方法、装置及存储介质 |
WO2023029066A1 (zh) * | 2021-08-30 | 2023-03-09 | 上海观安信息技术股份有限公司 | 流式数据的特征提取方法及装置、存储介质、计算机设备 |
CN115473850A (zh) * | 2022-09-14 | 2022-12-13 | 电信科学技术第十研究所有限公司 | 一种基于ai的实时数据过滤方法、系统及存储介质 |
CN116415705A (zh) * | 2022-12-21 | 2023-07-11 | 中能国际高新科技研究院有限公司 | 一种多因素水位预测方法、装置、电子设备和计算机介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116668380A (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116668380B (zh) | 汇聚分流器设备的报文处理方法及装置 | |
US11132224B2 (en) | Fine granularity real-time supervision system based on edge computing | |
CN109831386B (zh) | 一种sdn下基于机器学习的最优路径选择算法 | |
CN109756364A (zh) | 一种基于日志分析的微服务性能优化系统和分析方法 | |
CN110912773A (zh) | 面向多公有云计算平台的集群监控系统及其监控方法 | |
CN110806954B (zh) | 评估云主机资源的方法、装置、设备及存储介质 | |
CN109254982A (zh) | 一种流数据处理方法、系统、装置及计算机可读存储介质 | |
CN106533806B (zh) | 多租户SDN网络中基于应用感知提供跨层QoS的方法 | |
CN110264039A (zh) | 一种工作报表的生成方法及设备 | |
CN116760772B (zh) | 汇聚分流器的管控系统及其方法 | |
CN102724103A (zh) | 代理服务器、分层次网络系统及分布式工作负载管理方法 | |
CN111752708A (zh) | 一种基于深度学习的存储系统自适应参数调优方法 | |
CN114666224A (zh) | 业务资源容量动态分配方法、装置、设备及存储介质 | |
CN114531662B (zh) | 基于电力5g虚拟专网的终端智能接入认证管理方法 | |
CN105959233A (zh) | 基于流式计算的移动终端流量分发系统及方法 | |
CN109150756A (zh) | 一种基于sdn电力通信网的队列调度权值量化方法 | |
WO2020170852A1 (ja) | 予測装置、予測方法及びプログラム | |
Gómez et al. | Traffic classification in IP networks through Machine Learning techniques in final systems | |
CN115426363B (zh) | 智能板材加工工厂的数据采集方法及终端 | |
CN116521335A (zh) | 一种倾斜影像模型生产的分布式任务调度方法及系统 | |
CN106341343A (zh) | 一种自动服务降级系统及方法 | |
CN111190790A (zh) | 一种基于峰值预测的云计算集群监控方法及系统 | |
CN116522213A (zh) | 业务状态级别分类及分类模型训练方法、电子设备 | |
Pan et al. | Orchestrating probabilistic in-band network telemetry for network monitoring | |
CN114035906A (zh) | 虚拟机迁移方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |