CN114785744A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114785744A
CN114785744A CN202210424930.4A CN202210424930A CN114785744A CN 114785744 A CN114785744 A CN 114785744A CN 202210424930 A CN202210424930 A CN 202210424930A CN 114785744 A CN114785744 A CN 114785744A
Authority
CN
China
Prior art keywords
processed
message
red
service
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210424930.4A
Other languages
English (en)
Other versions
CN114785744B (zh
Inventor
余学山
赵耀
杨飘飘
袁力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210424930.4A priority Critical patent/CN114785744B/zh
Publication of CN114785744A publication Critical patent/CN114785744A/zh
Application granted granted Critical
Publication of CN114785744B publication Critical patent/CN114785744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • H04L47/326—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames with random discard, e.g. random early discard [RED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种数据处理方法、装置、计算机设备和存储介质，属于通信技术领域，涉及金融科技领域或其他相关领域。所述方法包括：接收待处理报文；根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；根据所述RED参数对所述待处理报文进行处理。采用本方法能够提高网络稳定性。

Description

数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及通信技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。
背景技术
当前TCP(传输控制协议，Transmission Control Protocol)网络在应对拥塞场景使用的是Drop Tail丢包机制，该机制存在过度丢包等问题，导致带宽利用率低且网络不稳定，同时TCP连接在拥塞时同时降窗口降速，拥塞缓解后又同时升窗升速所带来的全局同步问题，加剧了网络震荡。
因此，如何在应对拥塞场景的同时，提高网络稳定性是当前研究的重点。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高网络稳定性的数据处理方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种数据处理方法，所述方法包括：
接收待处理报文；
根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
根据所述RED参数对所述待处理报文进行处理。
在其中一个实施例中，所述根据所述待处理报文对应的业务类型，确定随机早期检测RED参数，包括：
在所述待处理报文对应的业务属于核心业务类型的情况下，根据所述待处理报文对应的业务类型，确定所述RED参数；
或者，在所述待处理报文对应的业务属于普通业务类型的情况下，确定所述RED参数为预设的基础RED参数。
在其中一个实施例中，所述根据所述待处理报文的类型，确定所述RED参数，包括：
在所述待处理报文对应的业务为高吞吐类型的情况下，确定所述RED参数中RED丢弃下门限值为第一下门限值，
其中，所述第一下门限值为对所述基础RED参数中的第二下门限值进行调整后得到的门限值，所述第一下门限值高于所述第二下门限值。
在其中一个实施例中，所述根据所述待处理报文的类型，确定所述RED参数，包括：
在所述待处理报文对应的业务为微突发类型的情况下，确定所述RED参数中RED丢弃上门限值为第一上门限值；
其中，所述第一上门限值为对所述基础RED参数中的第二上门限值进行调整后得到的门限值，所述第一上门限值高于所述第二上门限值。
在其中一个实施例中，所述根据所述待处理报文的类型，确定所述RED参数，包括：
在所述待处理报文对应的业务为延时敏感类型的情况下，确定所述RED参数中RED丢包概率为第一概率；
其中，所述第一概率为对所述基础RED参数中的第二概率进行调整后得到的概率值，所述第一概率低于所述第二概率。
在其中一个实施例中，所述方法还包括：
通过第一端口接收所述核心业务类型对应业务的待处理报文，及通过第二端口接收所述普通业务类型对应业务的待处理报文。
在其中一个实施例中，所述方法还包括：
通过同一端口接收所述核心业务类型对应业务的待处理报文、及所述普通业务类型对应业务的待处理报文的情况下，将所述核心业务类型对应业务的待处理报文写入第一队列，将所述普通业务类型对应业务的待处理报文写入第二队列；
在所述第一队列中不为空的情况下，对所述第一队列中的所述核心业务类型对应业务的待处理报文进行处理；
或者，在所述第一队列为空的情况下，对所述第二队列中的所述普通业务类型对应业务的待处理报文进行处理。
第二方面，本申请还提供了一种数据处理装置，所述装置包括：
接收模块，用于接收待处理报文；
确定模块，用于根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
第一处理模块，用于根据所述RED参数对所述待处理报文进行处理。
在其中一个实施例中，所述确定模块，还用于：
在所述待处理报文对应的业务属于核心业务类型的情况下，根据所述待处理报文对应的业务类型，确定所述RED参数；
或者，在所述待处理报文对应的业务属于普通业务类型的情况下，确定所述RED参数为预设的基础RED参数。
在其中一个实施例中，所述确定模块，还用于：
在所述待处理报文对应的业务为高吞吐类型的情况下，确定所述RED参数中RED丢弃下门限值为第一下门限值，
其中，所述第一下门限值为对所述基础RED参数中的第二下门限值进行调整后得到的门限值，所述第一下门限值高于所述第二下门限值。
在其中一个实施例中，所述确定模块，还用于：
在所述待处理报文对应的业务为微突发类型的情况下，确定所述RED参数中RED丢弃上门限值为第一上门限值；
其中，所述第一上门限值为对所述基础RED参数中的第二上门限值进行调整后得到的门限值，所述第一上门限值高于所述第二上门限值。
在其中一个实施例中，所述确定模块，还用于：
在所述待处理报文对应的业务为延时敏感类型的情况下，确定所述RED参数中RED丢包概率为第一概率；
其中，所述第一概率为对所述基础RED参数中的第二概率进行调整后得到的概率值，所述第一概率低于所述第二概率。
在其中一个实施例中，所述装置还包括：
第二处理模块，用于通过第一端口接收所述核心业务类型对应业务的待处理报文，及通过第二端口接收所述普通业务类型对应业务的待处理报文。
在其中一个实施例中，所述装置还包括：
第三处理模块，用于通过同一端口接收所述核心业务类型对应业务的待处理报文、及所述普通业务类型对应业务的待处理报文的情况下，将所述核心业务类型对应业务的待处理报文写入第一队列，将所述普通业务类型对应业务的待处理报文写入第二队列；
第四处理模块，用于在所述第一队列中不为空的情况下，对所述第一队列中的所述核心业务类型对应业务的待处理报文进行处理；或者，
第五处理模块，用于在所述第一队列为空的情况下，对所述第二队列中的所述普通业务类型对应业务的待处理报文进行处理。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收待处理报文；
根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
根据所述RED参数对所述待处理报文进行处理。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收待处理报文；
根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
根据所述RED参数对所述待处理报文进行处理。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
接收待处理报文；
根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
根据所述RED参数对所述待处理报文进行处理。
上述数据处理方法、装置、计算机设备和存储介质，接收待处理报文后，可以根据待处理报文对应的业务类型，确定随机早期检测RED参数，并根据RED参数对待处理报文进行处理。基于本公开实施例提供的数据处理方法、装置、计算机设备和存储介质，可以基于待处理报文对应的业务类型自适应的进行RED参数的调整，进而可以缓解过度丢包问题，进一步可以提高带宽利用率及网络稳定性。
附图说明
图1为一个实施例中数据处理方法的流程示意图；
图2为一个实施例中数据处理方法的流程示意图；
图3为一个实施例中数据处理方法系统的结构示意图；
图4为一个实施例中数据处理装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种数据处理方法，本实施例以该方法应用于网络设备进行举例说明，可以理解的是，网络设备可以包括路由设备、交换机、网关等设备。本实施例中，该方法包括以下步骤：
步骤102，接收待处理报文；
步骤104，根据待处理报文对应的业务类型，确定随机早期检测RED参数；
步骤106，根据RED参数对待处理报文进行处理。
本申请实施例中，网络设备采用RED(随机早期检测，Random Early Detection)算法作为拥塞避免机制。RED算法为避免发生网络中的全局同步现象，在网络设备采用的一种措施。具体地，RED参数可以包括下门限值、上门限值和丢包概率。当队列长度小于下门限值时，网络设备不丢弃新到达的报文；当队列长度介于下门限值和上门限值之间时，可以采用丢包概概率丢弃新到达的报文；当队列长度达到上门限值时，新到达的报文将全部被丢弃。
示例性的，网络设备在接收到待处理报文后，可以确定待处理报文所对应的业务类型，进而根据待处理报文对应的业务类型，确定当前RED算法对应的RED参数，并采用确定的RED参数进行拥塞预测及拥塞处理。
其中，待处理报文对应的业务类型可以包括高吞吐类型、延时敏感类型和微突发类型，其中高吞吐类型的业务可以包括高性能计算、AI(人工智能，ArtificialIntelligence)训练以及集中式存储等业务；延时敏感型类型的业务可以包括分布式缓存、分布式数据库等业务；微突发类型的业务主要包括流量不大的业务，比如mysql小型数据库等偶尔出现流量突发峰值的业务。
举例来说，网络设备在接收到待处理报文后，可以根据待处理报文中携带的标识信息，确定待处理报文所对应的业务类型；或者，可以根据接收待处理报文的端口确定待处理报文所对应的业务类型，例如：可以根据接收待处理报文的端口的带宽大小、是否qos(Quality of Service，服务质量)限速、有无聚合绑定等特征确定待处理报文对应的业务类型，本公开实施例中不对确定待处理报文所对应的业务类型的方式做具体限定。
上述数据处理方法，网络设备在接收待处理报文后，可以根据待处理报文对应的业务类型，确定随机早期检测RED参数，并根据RED参数对待处理报文进行处理。基于本公开实施例提供的数据处理方法，可以基于待处理报文对应的业务类型自适应的进行RED参数的调整，进而可以缓解业务过度丢包问题，进一步可以提高带宽利用率及网络稳定性。
在一个实施例中，在步骤104中，根据待处理报文对应的业务类型，确定随机早期检测RED参数，具体可以通过以下步骤实现：
在待处理报文对应的业务属于核心业务类型的情况下，根据待处理报文对应的业务类型，确定所述RED参数；
或者，在待处理报文对应的业务属于普通业务类型的情况下，确定RED参数为预设的基础RED参数。
本公开实施例中，网管平台收集网络设备日志，通过观察业务端口的带宽使用率、周期时间传输数据包的数量以及周期内业务带宽的大小变化情况，对业务进行分类，以将业务划分为不同业务类型，例如：将业务划分为核心业务类型和普通业务类型，其中，核心业务类型的业务可以为对网络稳定性和/或带宽利用率等方面具有高需求的业务，普通业务类型为对网络稳定性和/或带宽利用率等方面无高需求的业务。
示例性的，核心业务类型的业务可以进一步划分对应的业务类型，在接收到待处理报文后，确定待处理报文对应的业务属于核心业务类型的情况下，可以进一步根据待处理报文对应的业务类型，确定RED参数，进而根据确定的RED参数更新RED算法后，进行拥塞预测和拥塞处理。
或者，在确定待处理报文对应的业务属于普通业务类型的情况下，则可以确定RED参数为预设的基础RED参数，该基础RED参数可以为RED算法的基础参数，也即不对RED算法进行更新，直接采用当前RED算法进行拥塞预测和拥塞处理。
基于本公开实施例提供的数据处理方法，可以在待处理报文对应的业务属于核心业务类型的情况下，根据待处理报文对应的业务的业务类型进行RED参数的调整，进而可以缓解核心业务类型的报文过度丢包的问题，进一步可以提高带宽利用率及网络稳定性。
在一个实施例中，上述根据待处理报文的类型，确定RED参数，具体可以通过以下步骤实现：
在待处理报文对应的业务为高吞吐类型的情况下，确定RED参数中RED丢弃下门限值为第一下门限值，其中，第一下门限值为对基础RED参数中的第二下门限值进行调整后得到的门限值，第一下门限值高于第二下门限值。
本公开实施例中，在确定待处理报文对应的业务为高吞吐类型，也即待处理报文对应的业务为吞吐量较高的业务的情况下，可以在基础RED参数的基础上调高RED丢弃下门限值。
例如：RED算法中预设的基础RED参数中RED丢弃下门限值为第二下门限值，则在确定待处理报文对应的业务为高吞吐类型的情况下，可以确定RED丢弃下门限值为第一下门限值，该第一下门限值高于第二下门限值，也即第一下门限值为对第二下门限进行调高后，得到的RED丢弃下门限值，具体调高的幅度可以由本领域技术人员根据需求设定。
示例性的，在待处理报文对应的业务为普通业务类型的情况下，RED丢弃下门限值为第二下门限值，当队列长度高于该第二下门限值时，则将对待处理报文进行丢包处理(包括采用丢包概率进行丢包，或者直接丢包)；而在待处理报文对应的业务为高吞吐类型的情况下，RED丢弃下门限值由第二下门限值调高为第一下门限值，当队列长度高于该第一下门限值时，方将对待处理报文进行丢包处理(包括采用丢包概率进行丢包，或者直接丢包)。
也即本公开实施例提供的数据处理方法，由于第一下门限值高于第二下门限值，因此相对于普通业务类型的业务来说，本公开实施例可以缓解高吞吐类型的待处理报文的过度丢包现象，且对于普通业务类型的业务不进行RED参数的调整，故还可以缓解输出端口的压力。
在一个实施例中，上述根据待处理报文的类型，确定RED参数，具体可以通过以下步骤实现：
在待处理报文对应的业务为微突发类型的情况下，确定RED参数中RED丢弃上门限值为第一上门限值；其中，第一上门限值为对基础RED参数中的第二上门限值进行调整后得到的门限值，第一上门限值高于第二上门限值。
本公开实施例中，在确定待处理报文对应的业务为微突发类型，也即待处理报文对应的业务为流量不大，但偶尔出现流量突发峰值的业务的情况下，可以在基础RED参数的基础上调高RED丢弃上门限值。
例如：RED算法中预设的基础RED参数中RED丢弃上门限值为第二上门限值，则在确定待处理报文对应的业务为微突发类型的情况下，可以确定RED丢弃上门限值为第一上门限值，该第一上门限值高于第二上门限值，也即第一上门限值为对第二上门限进行调高后，得到的RED丢弃上门限值，具体调高的幅度可以由本领域技术人员根据需求设定。
示例性的，在待处理报文对应的业务为普通业务类型的情况下，RED丢弃上门限值为第二上门限值，当在队列长度高于RED丢弃下门限值且小于第二上门限值时，采用丢包概率对待处理报文进行丢包处理，或者在队列长度高于第二上门限值时，直接对待处理报文进行丢包处理；而在待处理报文对应的业务为微突发类型的情况下，RED丢弃上门限值由第二上门限值调高为第一上门限值，在队列长度高于RED丢弃下门限值且小于第一上门限值时，采用丢包概率对待处理报文进行丢包处理，或者在队列长度高于第一上门限值时，直接对待处理报文进行丢包处理。
也即本公开实施例提供的数据处理方法，由于第一上门限值高于第二上门限值，因此相对于普通业务类型的业务来说，本公开实施例可以缓解微突发类型的待处理报文的过度丢包现象。
在一个实施例中，上述根据待处理报文的类型，确定RED参数，具体可以通过以下步骤实现：
在待处理报文对应的业务为延时敏感类型的情况下，确定RED参数中RED丢包概率为第一概率；其中，第一概率为对基础RED参数中的第二概率进行调整后得到的概率值，第一概率低于第二概率。
本公开实施例中，在确定待处理报文对应的业务为延时敏感类型，也即待处理报文对应的业务为对延时较为敏感的业务的情况下，可以在基础RED参数的基础上调低RED丢包概率。
例如：RED算法中预设的基础RED参数中RED丢包概率为第二概率，则在确定待处理报文对应的业务为微突发类型的情况下，可以确定RED丢包概率为第一概率，该第一概率低于第二概率，也即第一概率为对第二概率进行调低后，得到的RED丢包概率，具体调低的幅度可以由本领域技术人员根据需求设定。
示例性的，在待处理报文对应的业务为普通业务类型的情况下，RED丢包概率为第二概率，当在队列长度高于RED丢弃下门限值且小于RED丢弃上门限值时，采用第二概率对待处理报文进行丢包处理；而在待处理报文对应的业务为延时敏感类型的情况下，RED丢包概率由第二概率调低为第一概率，在队列长度高于RED丢弃下门限值且小于RED丢弃上门限值时，采用第一概率对待处理报文进行丢包处理。
也即本公开实施例提供的数据处理方法，调低RED丢包概率，可以在上下门限之间减少丢弃TCP建链报文，相对于普通业务类型的业务来说，本公开实施例可以避免造成多个TCP连接同时进入拥塞，避免慢启动状态增加延时。
在一个实施例中，上述方法还可以包括：
通过第一端口接收核心业务类型对应业务的待处理报文，及通过第二端口接收普通业务类型对应业务的待处理报文。
本公开实施例中，可以采用不同端口接收不同业务类型的待处理报文。例如：可以通过第一端口接收核心业务类型对应业务的待处理报文，并通过第二端口接收普通业务类型对应业务的待处理报文。
本公开实施例提供的数据处理方法，通过不同端口可以将需要网络带宽保障的核心业务与普通业务隔离，可以避免普通业务的流量抢占核心业务带宽，保障核心业务的带宽使用，进而保证核心业务的稳定性。
在一个实施例中，上述方法还可以包括：
通过同一端口接收核心业务类型对应业务的待处理报文、及普通业务类型对应业务的待处理报文的情况下，将核心业务类型对应业务的待处理报文写入第一队列，将普通业务类型对应业务的待处理报文写入第二队列；
在第一队列中不为空的情况下，对第一队列中的核心业务类型对应业务的待处理报文进行处理；
或者，在第一队列为空的情况下，对第二队列中的普通业务类型对应业务的待处理报文进行处理。
本公开实施例中，在通过同一端口接收核心业务类型的待处理报文和普通业务类型的待处理报文的情况下，可以创建两个队列，分别用于存储核心业务类型的待处理报文和普通业务类型的待处理报文。例如：可以将核心业务类型对应业务的待处理报文写入第一队列，将普通业务类型对应业务的待处理报文写入第二队列。
在进行队列中报文的处理时，可以优先处理第一队列中的报文，也即在判断第一队列不为空的情况下，采用FIFO(First Input First Output，先进先出)机制处理第一队列中的报文；在第一队列中的报文全部转出，也即在判断第一队列为空的情况下，可以采用采用FIFO机制处理第二队列中的报文。
本公开实施例提供的数据处理方法，通过同一端口接收需要网络带宽保障的核心业务的报文与普通业务的报文时，可以采用不同队列将核心业务与普通业务隔离，并优先处理核心业务的队列中的报文，可以避免普通业务的流量抢占核心业务带宽，保障核心业务的带宽使用，进而保证核心业务的稳定性。
本方案克服现有TCP(传输控制协议，Transmission Control Protocol)网络流控技术的不足，提供一种灵活保障不同类型业务带宽和时延的确定性保障网络，为业务提供高质量网络服务。为使本领域技术人员更好的理解本公开实施例，以下通过具体示例对本公开实施例加以说明。
参照图2所示，网络监控中网管平台通过syslog采集的业务流日志，观察不同业务的吞吐量、延时以及突发流进行记录归类，以将业务分为两大类，核心业务类型和普通业务类型。核心业务类型和普通业务类型的报文可以接入不同物理端口，也可以接入同一物理端口，在接入同一物理端口的情况下，需要为核心业务类型和普通业务类型创建不同的队列，以分别存储核心业务类型和普通业务类型的报文。
对于核心业务类型可以进一步划分为三类：高吞吐类型、延时敏感类型、和微突发类型。在接收到待处理报文之后，可以确定待处理报文对应的业务类型，根据待处理报文对应的业务类型进行RED调参。
示例性的，对于高吞吐类型的待处理报文，由于高吞吐类型业务流量较大，可以将RED丢弃下门限值较基础RED丢弃下门限值适当调高，缓解过度丢包，造成业务吞吐降低的情况。
对于延时敏感类型的待处理报文，可将RED丢包概率值较基础RED丢该概率调低，以在上下门限之间减少丢弃TCP建链报文，避免造成多个TCP连接同时进入拥塞，避免慢启动状态增加延时。
对于发生微突发类型的待处理报文，将RED丢弃上门限值较基础RED丢弃上门限值调高，以减少发生流量突增情况下的过度丢包。
在前述过程的基础上，可以进一步启用基于流的动态负载，应对高速流量过度抢占原本属于低速流量业务带宽的问题，例如：可以采取动态负载机制，根据源目的端IP信息精准哈希流量，或者可以通过路由策略修改本地优先级、AS路径、Origin和MED(Multi-ExitDiscriminator，多出口鉴别属性)等属性(等价路由)引导网络流量走不同的路径进行负载分担。本公开实施例不对动态负载的具体方式做具体限定。
参照图3所示，本公开实施例中可以采用数据处理系统实现上述过程，该数据处理系统可以包括：网管监控系统302、RED调参系统304、业务流量隔离系统306和网络资源利用率提升系统308，其中，网管监控系统302用于负责监控并收集网络流量日志；RED调参系统304用于负责根据业务流量日志记录情况对不同类型业务流量进行RED调参；业务流量隔离系统306用于负责将带宽保障类核心业务和无需保障的普通业务进行隔离；无损队列优化系统308用于负责网络资源利用率进行优化提升。
本公开实施例提供的数据处理方法和数据处理系统，可以将需要网络带宽保障的核心业务与普通业务隔离，避免普通业务流量抢占核心业务带宽；在针对TCP尾部丢弃机制的传统RED技术上，根据业务模型针对性调整参数，可以进一步优化流控效果；采取动态负载机制，根据源目的端IP信息精准哈希流量，避免大流量业务抢占低流量业务带宽。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种数据处理装置，包括：接收模块402、确定模块404和第一处理模块406，其中：
接收模块402，用于接收待处理报文；
确定模块404，用于根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
第一处理模块406，用于根据所述RED参数对所述待处理报文进行处理。
上述数据处理装置，接收待处理报文后，可以根据待处理报文对应的业务类型，确定随机早期检测RED参数，并根据RED参数对待处理报文进行处理。基于本公开实施例提供的数据处理装置，可以基于待处理报文对应的业务类型自适应的进行RED参数的调整，进而可以缓解过度丢包问题，进一步可以提高带宽利用率及网络稳定性。
在其中一个实施例中，所述确定模块404，还用于：
在所述待处理报文对应的业务属于核心业务类型的情况下，根据所述待处理报文对应的业务类型，确定所述RED参数；
或者，在所述待处理报文对应的业务属于普通业务类型的情况下，确定所述RED参数为预设的基础RED参数。
在其中一个实施例中，所述确定模块404，还用于：
在所述待处理报文对应的业务为所述高吞吐类型的情况下，确定所述RED参数中RED丢弃下门限值为第一下门限值，
其中，所述第一下门限值为对所述基础RED参数中的第二下门限值进行调整后得到的门限值，所述第一下门限值高于所述第二下门限值。
在其中一个实施例中，所述确定模块，还用于：
在所述待处理报文对应的业务为微突发类型的情况下，确定所述RED参数中RED丢弃上门限值为第一上门限值；
其中，所述第一上门限值为对所述基础RED参数中的第二上门限值进行调整后得到的门限值，所述第一上门限值高于所述第二上门限值。
在其中一个实施例中，所述确定模块404，还用于：
在所述待处理报文对应的业务为延时敏感类型的情况下，确定所述RED参数中RED丢包概率为第一概率；
其中，所述第一概率为对所述基础RED参数中的第二概率进行调整后得到的概率值，所述第一概率低于所述第二概率。
在其中一个实施例中，所述装置还包括：
第二处理模块，用于通过第一端口接收所述核心业务类型对应业务的待处理报文，及通过第二端口接收所述普通业务类型对应业务的待处理报文。
在其中一个实施例中，所述装置还包括：
第三处理模块，用于通过同一端口接收所述核心业务类型对应业务的待处理报文、及所述普通业务类型对应业务的待处理报文的情况下，将所述核心业务类型对应业务的待处理报文写入第一队列，将所述普通业务类型对应业务的待处理报文写入第二队列；
第四处理模块，用于在所述第一队列中不为空的情况下，对所述第一队列中的所述核心业务类型对应业务的待处理报文进行处理；或者，
第五处理模块，用于在所述第一队列为空的情况下，对所述第二队列中的所述普通业务类型对应业务的待处理报文进行处理。
上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据处理方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收待处理报文；
根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
根据所述RED参数对所述待处理报文进行处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述待处理报文对应的业务属于核心业务类型的情况下，根据所述待处理报文对应的业务类型，确定所述RED参数；
或者，在所述待处理报文对应的业务属于普通业务类型的情况下，确定所述RED参数为预设的基础RED参数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述待处理报文对应的业务为所述高吞吐类型的情况下，确定所述RED参数中RED丢弃下门限值为第一下门限值，
其中，所述第一下门限值为对所述基础RED参数中的第二下门限值进行调整后得到的门限值，所述第一下门限值高于所述第二下门限值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述待处理报文对应的业务为微突发类型的情况下，确定所述RED参数中RED丢弃上门限值为第一上门限值；
其中，所述第一上门限值为对所述基础RED参数中的第二上门限值进行调整后得到的门限值，所述第一上门限值高于所述第二上门限值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述待处理报文对应的业务为延时敏感类型的情况下，确定所述RED参数中RED丢包概率为第一概率；
其中，所述第一概率为对所述基础RED参数中的第二概率进行调整后得到的概率值，所述第一概率低于所述第二概率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过第一端口接收所述核心业务类型对应业务的待处理报文，及通过第二端口接收所述普通业务类型对应业务的待处理报文。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过同一端口接收所述核心业务类型对应业务的待处理报文、及所述普通业务类型对应业务的待处理报文的情况下，将所述核心业务类型对应业务的待处理报文写入第一队列，将所述普通业务类型对应业务的待处理报文写入第二队列；
在所述第一队列中不为空的情况下，对所述第一队列中的所述核心业务类型对应业务的待处理报文进行处理；
或者，在所述第一队列为空的情况下，对所述第二队列中的所述普通业务类型对应业务的待处理报文进行处理。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收待处理报文；
根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
根据所述RED参数对所述待处理报文进行处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述待处理报文对应的业务属于核心业务类型的情况下，根据所述待处理报文对应的业务类型，确定所述RED参数；
或者，在所述待处理报文对应的业务属于普通业务类型的情况下，确定所述RED参数为预设的基础RED参数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述待处理报文对应的业务为所述高吞吐类型的情况下，确定所述RED参数中RED丢弃下门限值为第一下门限值，
其中，所述第一下门限值为对所述基础RED参数中的第二下门限值进行调整后得到的门限值，所述第一下门限值高于所述第二下门限值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述待处理报文对应的业务为微突发类型的情况下，确定所述RED参数中RED丢弃上门限值为第一上门限值；
其中，所述第一上门限值为对所述基础RED参数中的第二上门限值进行调整后得到的门限值，所述第一上门限值高于所述第二上门限值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述待处理报文对应的业务为延时敏感类型的情况下，确定所述RED参数中RED丢包概率为第一概率；
其中，所述第一概率为对所述基础RED参数中的第二概率进行调整后得到的概率值，所述第一概率低于所述第二概率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过第一端口接收所述核心业务类型对应业务的待处理报文，及通过第二端口接收所述普通业务类型对应业务的待处理报文。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过同一端口接收所述核心业务类型对应业务的待处理报文、及所述普通业务类型对应业务的待处理报文的情况下，将所述核心业务类型对应业务的待处理报文写入第一队列，将所述普通业务类型对应业务的待处理报文写入第二队列；
在所述第一队列中不为空的情况下，对所述第一队列中的所述核心业务类型对应业务的待处理报文进行处理；
或者，在所述第一队列为空的情况下，对所述第二队列中的所述普通业务类型对应业务的待处理报文进行处理。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
接收待处理报文；
根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
根据所述RED参数对所述待处理报文进行处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述待处理报文对应的业务属于核心业务类型的情况下，根据所述待处理报文对应的业务类型，确定所述RED参数；
或者，在所述待处理报文对应的业务属于普通业务类型的情况下，确定所述RED参数为预设的基础RED参数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述待处理报文对应的业务为所述高吞吐类型的情况下，确定所述RED参数中RED丢弃下门限值为第一下门限值，
其中，所述第一下门限值为对所述基础RED参数中的第二下门限值进行调整后得到的门限值，所述第一下门限值高于所述第二下门限值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述待处理报文对应的业务为微突发类型的情况下，确定所述RED参数中RED丢弃上门限值为第一上门限值；
其中，所述第一上门限值为对所述基础RED参数中的第二上门限值进行调整后得到的门限值，所述第一上门限值高于所述第二上门限值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在所述待处理报文对应的业务为延时敏感类型的情况下，确定所述RED参数中RED丢包概率为第一概率；
其中，所述第一概率为对所述基础RED参数中的第二概率进行调整后得到的概率值，所述第一概率低于所述第二概率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过第一端口接收所述核心业务类型对应业务的待处理报文，及通过第二端口接收所述普通业务类型对应业务的待处理报文。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过同一端口接收所述核心业务类型对应业务的待处理报文、及所述普通业务类型对应业务的待处理报文的情况下，将所述核心业务类型对应业务的待处理报文写入第一队列，将所述普通业务类型对应业务的待处理报文写入第二队列；
在所述第一队列中不为空的情况下，对所述第一队列中的所述核心业务类型对应业务的待处理报文进行处理；
或者，在所述第一队列为空的情况下，对所述第二队列中的所述普通业务类型对应业务的待处理报文进行处理。
本申请提供的数据处理方法和装置可用于金融领域，也可用于除金融领域之外的任意领域，比如大数据、云计算、区块链、人工智能、信息安全、物联网、5G技术领域，本申请对数据处理方法和装置的应用领域不做限定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种数据处理方法，其特征在于，所述方法包括：
接收待处理报文；
根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
根据所述RED参数对所述待处理报文进行处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理报文对应的业务类型，确定随机早期检测RED参数，包括：
在所述待处理报文对应的业务属于核心业务类型的情况下，根据所述待处理报文对应的业务类型，确定所述RED参数；
或者，在所述待处理报文对应的业务属于普通业务类型的情况下，确定所述RED参数为预设的基础RED参数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待处理报文的类型，确定所述RED参数，包括：
在所述待处理报文对应的业务为高吞吐类型的情况下，确定所述RED参数中RED丢弃下门限值为第一下门限值，
其中，所述第一下门限值为对所述基础RED参数中的第二下门限值进行调整后得到的门限值，所述第一下门限值高于所述第二下门限值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述待处理报文的类型，确定所述RED参数，包括：
在所述待处理报文对应的业务为微突发类型的情况下，确定所述RED参数中RED丢弃上门限值为第一上门限值；
其中，所述第一上门限值为对所述基础RED参数中的第二上门限值进行调整后得到的门限值，所述第一上门限值高于所述第二上门限值。
5.根据权利要求2所述的方法，其特征在于，所述根据所述待处理报文的类型，确定所述RED参数，包括：
在所述待处理报文对应的业务为延时敏感类型的情况下，确定所述RED参数中RED丢包概率为第一概率；
其中，所述第一概率为对所述基础RED参数中的第二概率进行调整后得到的概率值，所述第一概率低于所述第二概率。
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述方法还包括：
通过第一端口接收所述核心业务类型对应业务的待处理报文，及通过第二端口接收所述普通业务类型对应业务的待处理报文。
7.根据权利要求2至5中任一项所述的方法，其特征在于，所述方法还包括：
通过同一端口接收所述核心业务类型对应业务的待处理报文、及所述普通业务类型对应业务的待处理报文的情况下，将所述核心业务类型对应业务的待处理报文写入第一队列，将所述普通业务类型对应业务的待处理报文写入第二队列；
在所述第一队列中不为空的情况下，对所述第一队列中的所述核心业务类型对应业务的待处理报文进行处理；
或者，在所述第一队列为空的情况下，对所述第二队列中的所述普通业务类型对应业务的待处理报文进行处理。
8.一种数据处理装置，其特征在于，所述装置包括：
接收模块，用于接收待处理报文；
确定模块，用于根据所述待处理报文对应的业务类型，确定随机早期检测RED参数；
第一处理模块，用于根据所述RED参数对所述待处理报文进行处理。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210424930.4A 2022-04-22 2022-04-22 数据处理方法、装置、计算机设备和存储介质 Active CN114785744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210424930.4A CN114785744B (zh) 2022-04-22 2022-04-22 数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210424930.4A CN114785744B (zh) 2022-04-22 2022-04-22 数据处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114785744A true CN114785744A (zh) 2022-07-22
CN114785744B CN114785744B (zh) 2024-02-02

Family

ID=82431728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210424930.4A Active CN114785744B (zh) 2022-04-22 2022-04-22 数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114785744B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030225903A1 (en) * 2002-06-04 2003-12-04 Sandeep Lodha Controlling the flow of packets within a network node utilizing random early detection
CN101232455A (zh) * 2008-02-04 2008-07-30 中兴通讯股份有限公司 一种拥塞控制方法及装置
CN101388833A (zh) * 2008-07-18 2009-03-18 广东工业大学 基于自适应阈值机制的网络控制方法
CN101562566A (zh) * 2009-06-04 2009-10-21 吉林大学 基于实时路由器缓存占有率的主动队列管理方法
CN102223675A (zh) * 2011-06-08 2011-10-19 大唐移动通信设备有限公司 拥塞告警及处理方法、系统和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030225903A1 (en) * 2002-06-04 2003-12-04 Sandeep Lodha Controlling the flow of packets within a network node utilizing random early detection
CN101232455A (zh) * 2008-02-04 2008-07-30 中兴通讯股份有限公司 一种拥塞控制方法及装置
CN101388833A (zh) * 2008-07-18 2009-03-18 广东工业大学 基于自适应阈值机制的网络控制方法
CN101562566A (zh) * 2009-06-04 2009-10-21 吉林大学 基于实时路由器缓存占有率的主动队列管理方法
CN102223675A (zh) * 2011-06-08 2011-10-19 大唐移动通信设备有限公司 拥塞告警及处理方法、系统和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑云平: "《RED改进技术概述》", 《中国新通信（技术版）》, pages 1 - 2 *

Also Published As

Publication number Publication date
CN114785744B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
US11005769B2 (en) Congestion avoidance in a network device
US11646967B2 (en) Packet control method and network apparatus
US11228513B2 (en) Traffic measurement method, device, and system
US10735325B1 (en) Congestion avoidance in multipath routed flows
US10778588B1 (en) Load balancing for multipath groups routed flows by re-associating routes to multipath groups
US10693790B1 (en) Load balancing for multipath group routed flows by re-routing the congested route
US11888744B2 (en) Spin-leaf network congestion control method, node, system, and storage medium
US10476629B2 (en) Performing upper layer inspection of a flow based on a sampling rate
US10819640B1 (en) Congestion avoidance in multipath routed flows using virtual output queue statistics
CN111107017A (zh) 一种交换机报文拥塞的处理方法、设备以及存储介质
WO2019102369A1 (en) Hybrid packet memory for buffering packets in network devices
WO2020168563A1 (zh) 一种存储器的管理方法及装置
CN116233018A (zh) 报文处理方法、装置、电子设备及存储介质
CN113328953A (zh) 网络拥塞调整的方法、装置和存储介质
CN114785744B (zh) 数据处理方法、装置、计算机设备和存储介质
CN115567460B (zh) 数据包处理方法及装置
CN114205308B (zh) 数据中心网络的mtu调整方法、装置和计算机设备
US10571988B1 (en) Methods and apparatus for clock gating processing modules based on hierarchy and workload
CN114500544B (zh) 一种节点间负载均衡方法、系统、设备以及介质
CN114448858B (zh) 报文广播方法、装置、网络设备和存储介质
CN112311678B (zh) 报文分发的实现方法及装置
WO2021013260A1 (zh) 一种网络传输控制方法及装置
CN110661731B (zh) 一种报文处理方法及其装置
CN117938750B (zh) 调度路由信息的处理方法、装置、设备、存储介质及产品
WO2021136014A1 (zh) 一种安全计算控制方法、数据包处理方法、装置及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant