CN116346953B - 一种用于实时数据传输的加速方法及装置 - Google Patents

一种用于实时数据传输的加速方法及装置 Download PDF

Info

Publication number
CN116346953B
CN116346953B CN202310218650.2A CN202310218650A CN116346953B CN 116346953 B CN116346953 B CN 116346953B CN 202310218650 A CN202310218650 A CN 202310218650A CN 116346953 B CN116346953 B CN 116346953B
Authority
CN
China
Prior art keywords
data frame
data
protocol
forwarded
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310218650.2A
Other languages
English (en)
Other versions
CN116346953A (zh
Inventor
刘亮为
吴镓成
李婷
赵薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Upyun Technology Co ltd
Original Assignee
Hangzhou Upyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Upyun Technology Co ltd filed Critical Hangzhou Upyun Technology Co ltd
Priority to CN202310218650.2A priority Critical patent/CN116346953B/zh
Publication of CN116346953A publication Critical patent/CN116346953A/zh
Application granted granted Critical
Publication of CN116346953B publication Critical patent/CN116346953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/62Queue scheduling characterised by scheduling criteria
    • H04L47/625Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种用于实时数据传输的加速方法及装置,对待转发数据帧的装置处理器核心进行协议类型分类,对网络中数据帧进行优先级分类;数据帧管理模块依据数据帧的协议类型进行划分;数据帧管理模块对接收到的流量进行分类;对数据帧进行函数的设定;将数据帧分别转移到对应协议以及类型的处理器进行处理;多核处理器对以上的不同协议的数据帧进行并发处理。本发明通过确定并分级调度入口流量,管理突发、循环或不定项流量到多核处理器的关联方案;确保入口实时数据流得到适当处理,并使软件在出口进行管理实现排队机制;当硬件决定处理数据包的处理机制后,通过直接提供处理器到数据流的处理规划,使得装置的交换性能得到提高。

Description

一种用于实时数据传输的加速方法及装置
技术领域
本发明涉及数据的交换管理技术领域,特别涉及一种用于实时数据传输的加速方法及装置。
背景技术
时延是计算机网络性能的一种,数据交换技术是影响计算机时延性能的关键技术,目前常见的三种数据交换技术主要有电路交换、报文交换和分组交换技术,同报文交换一样,分组交换不需要建立连接,采用存储转发方式,解决了报文交换中大报文传输(报文过大需要分段)的问题。分组交换限制了每次传输的数据块大小,将大的数据块划分为若干小数据块,再在每个小数据块中加上必要的控制信息(源地址、目的地址、分组编号等),构成分组。但是目前的交换技术方案仍存在存储转发时延;同时需要传输额外的信息量,增加数据处理时间;数据流乱序到目的主机时,分组重组增加处理开销时间。
发明内容
本发明的目的在于提供一种用于实时数据传输的加速方法及装置,以克服现有技术中的不足。
为实现上述目的,本发明提供如下技术方案:
本申请公开了一种用于实时数据传输的加速方法,包括如下步骤:
S1、对待转发数据帧的装置处理器核心进行协议类型分类,对网络中待转发的数据帧进行优先级分类;
S2、数据帧管理模块对数据帧流量进行检测,依据待转发的数据帧的协议和类型进行划分;
S3、数据帧管理模块对接收到的数据帧流量进行分类;依据数据帧流量类别,将一个端口上的所有数据帧流量路由到单个队列;
S4、对待转发的数据帧进行函数的设定;所述函数用于识别数据帧中的分类标志;所述函数的解析结果用于确定帧队列;
S5、依据设定的函数,将待转发的数据帧分别转移到对应协议以及类型的处理器进行处理;
S6、多核处理器对以上的不同协议的待转发的数据帧进行并发处理。
作为优选,所述步骤S2中依据待转发的数据帧的协议和类型进行划分具体包括如下操作:若待转发的数据帧的协议和类型与处理器的协议和类型一致,则进行对应的处理;若待转发的数据帧的协议和类型与处理器的协议和类型不一致,则进行丢弃处理。
作为优选,步骤S3中,数据帧管理模块根据数据帧的具体内容或数据帧的接收速率来识别数据帧流量,并进行分类。
作为优选,步骤S4中用户使用可编程的软解析特性来适配专有字段定义函数。
作为优选,步骤S6中的具体操作如下:多核处理器对待转发的数据帧进行协议识别和转换处理,所述协议识别是对待转发的数据帧的协议与处理器协议进行对比认证保持一致;所述转发处理是对待转发的数据帧的目的地址进行计算转发。
本发明还公开了一种用于实时数据传输的加速装置,包括多核处理器和数据帧管理模块,所述多核处理器支持若干个不同协议,用于对待转发的数据帧进行协议识别和转换处理;所述数据帧管理模块用于对待处理的数据帧增加调度参数和用于对待转发的数据帧进行检测,依据数据帧的协议和类型进行划分。
作为优选,所述调度参数包括待处理数据帧的处理器核标志位、数据帧的处理编号、处理优先级编号。
本发明的有益效果:
本发明通过确定并分级调度入口流量,管理突发、循环或不定项流量到多核处理器的关联方案;确保入口实时数据流得到适当处理,并使软件在出口进行管理实现排队机制;当硬件决定处理数据包的处理机制后,通过直接提供处理器到数据流的处理规划,使得装置的交换性能得到提高。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1是数据平面程序的流程示意图;
图2是增加调度参数处理的流程示意图;
图3是一种用于实时数据传输的加速方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面通过附图及实施例,对本发明进行进一步详细说明。但是应该理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
多核处理器或多执行线程处理为网络系统架构引入了新的考虑因素,包括处理器负载平衡/利用率、流顺序维护和高效的缓存利用率。本发明通过介绍一种新型的数据路径加速架构,通过硬件支持的关键特性、功能和属性,介绍如何快速的提高多核数据处理器的数据处理速度。
本发明主要采用的是将网络数据流的调度应用程序的数据和控制平面任务之间进行分离。控制平面任务是对网络设备内的系统进行管理。虽然控制平面可以处理系统之间的控制报文,但控制平面进程不参与数据流的批量处理。数据平面按照管理平面下发的数据流处理机制进行处理任务或程序处理。
数据平面程序的流程如图1所示,接收数据流量(一般是数据包或帧),数据控制平面对数据平面进行自定义编程,按照用户需求对数据流进行处理或转换,然后将数据包发送给网络中的下一跳或设备。在许多情况下,对流量的处理取决于流量的类型。此外流量通常以流的形式存在,即与数据包相关的流量流。一个简单的例子是两个客户机之间的连接,在包级别上由源IP地址和目的IP地址定义。通常,多个流在一个接口端口上交织;每个端口的流数量与接口带宽有关,也与所涉及的流的带宽和类型有关。
本专利在SoC(片上系统)的IO分段内提供智能处理方法,将流量分成用户定义的队列,针对不同优先级的数据进行分类别调度传输。
除了对流量进行分类和分离外,通过向流中附加有用的处理信息,如图2所示;
数据帧到达装置中,对待处理的数据帧增加调度参数,调度参数主要用于待处理的数据帧的分配问题,解决数据帧在处理器中的乱序问题以及处理延时等待的问题,调度参数内容主要包括待处理数据帧的处理器核标志位、数据帧的处理编号、处理优先级编号,待处理后按照顺序进行恢复接收的顺序,对于一些优先级较高的数据帧则直接进行数据帧的转发处理,无需恢复数据接收的时序。
在大多数网络应用程序中,通过系统的单个流量要求出口数据包保持接收时的顺序。在单处理器核心系统中比较容易实现。只要数据平面软件在每个包的基础上遵循一个运行、完成模型,出口顺序将匹配入包顺序。如果在系统中采用真正对称的多核处理(SMP)模型实现多个处理器,则出包流可能会与入包流发生混乱。这可能是由于多个核同时处理来自同一流的数据包。
即使代码流是相同的,缓存命中/未命中、DRAM命中/未命中、中断、控制平面和操作系统任务等因素也会导致处理路径中的一些变化,从而导致出口数据包在相同的流中通过,导致数据帧在出端口出的顺序发生变化。但实际的应用中为了保障高优先级的数据帧可以不用排队等待直接进行数据传输会很大程度上提高数据的处理时延,如图3所示。
通过加速调度方法可以实现重新排序从入口到出口的流。大多数应用程序都要求保持顺序。当没有硬件可用来协助此管理流量时,软件必须维持流顺序。需要软件程序确定正在处理的数据包的序列,以及对系统中每个流的顺序编号信息的数据结构表维护。多个处理器访问和更新数据结构表状态信息时,必须控制对数据结构表的访问权限,来保障处理数据包排序问题得到解决。
实施例:
1)带转发数据帧的装置处理器核心主要分为3种类型:协议1、协议2、协议3,数据帧主要分为数据帧1、数据帧2、数据帧3。
2)数据帧管理模块对流量进行检测,在入口方向上依据数据帧的协议和类型划分为数据帧1(协议1)、数据帧1(协议2)、数据帧1(协议3)、数据帧2(协议1)、数据帧3(协议1)。
3)在入口流量上,数据帧管理模块被配置为PCD(解析、分类、分发)功能,对接收到的流量进行分类。依据通过的流量或流量的类别,PCD可以配置为将一个端口上的所有流量路由到单个队列,或者在需要定义和管理大量队列的复杂级别更高的情况下。PCD可以根据传入数据包的具体内容(通常在报头内)或数据包接收速率(监管)来识别流量。
4)设定的函数用于识别数据帧中的哪些字段决定了流量分类。所使用的字段可以由行业标准定义,或者用户可以使用可编程的软解析特性来适配专有字段(通常是报头)定义。解析的结果函数可以直接用于确定帧队列;或者设定的函数选择的字段的内容可以用作选择帧队列的标号。
5)依据设定的函数,将数据帧1(协议1)、数据帧1(协议2)、数据帧1(协议3)、数据帧2(协议1)、数据帧3(协议1)分别归类为处理器1处理协议1,需要处理的转发包为数据帧1(协议1)、数据帧2(协议1)、数据帧3(协议1);处理器2处理协议2,需要处理的转发包为数据帧1(协议2);处理器3处理协议3,需要处理的转发包为数据帧1(协议3);
6)通过将5类数据进行处理器的并发处理,可以有效的降低数据帧的传输延时问题。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种用户实时数据传输的加速方法,其特征在于,包括多核处理器和数据帧管理模块,所述多核处理器支持若干个不同协议,用于对待转发的数据帧进行协议识别和转换处理;所述数据帧管理模块用于对待处理的数据帧增加调度参数和用于对待转发的数据帧进行检测,依据数据帧的协议和类型进行划分;所述方法包括如下步骤:
S1、可编程控制面对待转发数据帧的装置处理器核心进行协议类型分类,对网络中待转发的数据帧进行优先级分类;对待处理的数据帧增加调度参数,调度参数内容主要包括待处理数据帧的处理器核标志位、数据帧的处理编号、处理优先级编号;
S2、数据帧管理模块对数据帧流量进行检测,依据待转发的数据帧的协议和类型进行划分;若待转发的数据帧的协议和类型与处理器的协议和类型一致,则进行对应的处理;若待转发的数据帧的协议和类型与处理器的协议和类型不一致,则进行丢弃处理;
S3、数据帧管理模块对接收到的数据帧流量进行分类;依据数据帧流量类别,将一个端口上的所有数据帧流量路由到单个队列;
S4、对待转发的数据帧进行函数的设定;所述函数用于识别数据帧中的分类标志;所述函数的解析结果用于确定帧队列;
S5、依据设定的函数,将待转发的数据帧分别转移到对应协议以及类型的处理器进行处理;
S6、多核处理器对以上的不同协议的待转发的数据帧进行并发处理。
2.如权利要求1所述的一种用户实时数据传输的加速方法,其特征在于:步骤S3中,数据帧管理模块根据数据帧的具体内容或数据帧的接收速率来识别数据帧流量,并进行分类。
3.如权利要求1所述的一种用户实时数据传输的加速方法,其特征在于:步骤S4中用户使用可编程的软解析特性来适配专有字段定义函数。
4.如权利要求1所述的一种用户实时数据传输的加速方法,其特征在于:步骤S6中的具体操作如下:多核处理器对待转发的数据帧进行协议识别和转换处理,所述协议识别是对待转发的数据帧的协议与处理器协议进行对比认证保持一致;所述转发处理是对待转发的数据帧的目的地址进行计算转发。
CN202310218650.2A 2023-03-02 2023-03-02 一种用于实时数据传输的加速方法及装置 Active CN116346953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310218650.2A CN116346953B (zh) 2023-03-02 2023-03-02 一种用于实时数据传输的加速方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310218650.2A CN116346953B (zh) 2023-03-02 2023-03-02 一种用于实时数据传输的加速方法及装置

Publications (2)

Publication Number Publication Date
CN116346953A CN116346953A (zh) 2023-06-27
CN116346953B true CN116346953B (zh) 2024-02-13

Family

ID=86892281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310218650.2A Active CN116346953B (zh) 2023-03-02 2023-03-02 一种用于实时数据传输的加速方法及装置

Country Status (1)

Country Link
CN (1) CN116346953B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102664815A (zh) * 2012-05-21 2012-09-12 华为技术有限公司 报文流量的负荷分担方法、装置和系统
US9971724B1 (en) * 2015-06-18 2018-05-15 Rockwell Collins, Inc. Optimal multi-core network architecture
CN111404818A (zh) * 2020-03-12 2020-07-10 深圳市风云实业有限公司 一种面向通用多核网络处理器的路由协议优化方法
CN112311702A (zh) * 2020-12-30 2021-02-02 北京国科天迅科技有限公司 Fc交换机调度方法、装置、电子设备及存储介质
CN112416851A (zh) * 2020-11-30 2021-02-26 中国人民解放军国防科技大学 一种可扩展的多核片上共享存储器
CN112489409A (zh) * 2020-11-06 2021-03-12 烽火通信科技股份有限公司 多协议物联终端混合接入rs485总线的数据处理方法与系统
CN113300946A (zh) * 2021-05-24 2021-08-24 北京理工大学 一种多核多通信协议网关及其管理调度方法
CN114064153A (zh) * 2021-11-26 2022-02-18 中船重工(武汉)凌久电子有限责任公司 一种基于多核处理器的嵌入式动态模块加载方法及装置
CN114598384A (zh) * 2022-05-10 2022-06-07 天津航天中为数据系统科技有限公司 一种网络化加密传输的数据链业务处理系统及方法
CN114827292A (zh) * 2022-04-14 2022-07-29 重庆邮电大学 工业异构协议高速转换优化处理方法及系统
CN115567457A (zh) * 2022-08-24 2023-01-03 西安云维智联科技有限公司 Tsn网络数据传输方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063796B2 (en) * 2012-08-02 2015-06-23 GM Global Technology Operations LLC Method and apparatus for improving processing performance of a multi-core processor

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102664815A (zh) * 2012-05-21 2012-09-12 华为技术有限公司 报文流量的负荷分担方法、装置和系统
US9971724B1 (en) * 2015-06-18 2018-05-15 Rockwell Collins, Inc. Optimal multi-core network architecture
CN111404818A (zh) * 2020-03-12 2020-07-10 深圳市风云实业有限公司 一种面向通用多核网络处理器的路由协议优化方法
CN112489409A (zh) * 2020-11-06 2021-03-12 烽火通信科技股份有限公司 多协议物联终端混合接入rs485总线的数据处理方法与系统
CN112416851A (zh) * 2020-11-30 2021-02-26 中国人民解放军国防科技大学 一种可扩展的多核片上共享存储器
CN112311702A (zh) * 2020-12-30 2021-02-02 北京国科天迅科技有限公司 Fc交换机调度方法、装置、电子设备及存储介质
CN113300946A (zh) * 2021-05-24 2021-08-24 北京理工大学 一种多核多通信协议网关及其管理调度方法
CN114064153A (zh) * 2021-11-26 2022-02-18 中船重工(武汉)凌久电子有限责任公司 一种基于多核处理器的嵌入式动态模块加载方法及装置
CN114827292A (zh) * 2022-04-14 2022-07-29 重庆邮电大学 工业异构协议高速转换优化处理方法及系统
CN114598384A (zh) * 2022-05-10 2022-06-07 天津航天中为数据系统科技有限公司 一种网络化加密传输的数据链业务处理系统及方法
CN115567457A (zh) * 2022-08-24 2023-01-03 西安云维智联科技有限公司 Tsn网络数据传输方法及装置

Also Published As

Publication number Publication date
CN116346953A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US7245627B2 (en) Sharing a network interface card among multiple hosts
KR100823785B1 (ko) 시스템 패브릭에서의 개방 루프 정체 제어를 위한 방법,장치, 제품 및 시스템
US9762497B2 (en) System, method and apparatus for network congestion management and network resource isolation
US9461940B2 (en) System and method for high speed packet transmission
CN105323185B (zh) 用于与交换机结构相关的流控制的方法和装置
US7742480B2 (en) Selective header field dispatch in a network processing system
JP3704438B2 (ja) 可変長パケット通信装置
US7149212B2 (en) Apparatus, method and limited set of messages to transmit data between scheduler and a network processor
US7710962B2 (en) Packet forwarding apparatus and method for multicast packets
US20140163810A1 (en) Method for data transmission among ECUs and/or measuring devices
US8949578B2 (en) Sharing of internal pipeline resources of a network processor with external devices
US20120076153A1 (en) Statistics module for network processors in virtual local area networks
US20070118677A1 (en) Packet switch having a crossbar switch that connects multiport receiving and transmitting elements
US7079538B2 (en) High-speed router
US20060256793A1 (en) Efficient multi-bank buffer management scheme for non-aligned data
US7085266B2 (en) Apparatus, method and limited set of messages to transmit data between components of a network processor
US7554908B2 (en) Techniques to manage flow control
CN116346953B (zh) 一种用于实时数据传输的加速方法及装置
US7020712B1 (en) Reducing CPU overhead in the forwarding process in an inbound/outbound controller for a router
US7395356B2 (en) Methods and apparatus for moving data elements within a data communications device
US6944174B1 (en) Jitter reduction of voice packets in a packet-based network
CN100417131C (zh) 一种媒体传输流数据转发方法
KR100429264B1 (ko) 쉐어드 메모리 방식의 라우터에서 패킷 처리 방법
US7009973B2 (en) Switch using a segmented ring
CN116032859B (zh) 一种融合式快速数据交换装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant