CN116827884A - 报文数据处理方法、装置、存储介质及设备 - Google Patents

Abstract

本发明公开了一种报文数据处理方法、装置、存储介质及设备。其中，该方法包括：响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；采用交换芯片基于上述处理信息，生成资源管理信息；基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。本发明解决了现有的报文数据处理方法存在浪费处理器资源的技术问题。

Description

报文数据处理方法、装置、存储介质及设备

技术领域

本发明涉及数据处理领域，具体而言，涉及一种报文数据处理方法、装置、存储介质及设备。

背景技术

中央处理器软件因为系统资源调度问题无法保证Meter(流量检测)的准确性，从而导致限速不准且浪费CPU资源，另外软件无法感知交换芯片上拥塞状态，无法避免硬件丢包。在交换芯片软转发架构下，软件层面需要支持QoS(服务质量)以满足业务的差分服务，因此需要支持流量整形，同时转发上要避免交换芯片硬件层面丢包。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种报文数据处理方法、装置、存储介质及设备，以至少解决现有的报文数据处理方法存在浪费处理器资源的技术问题。

根据本发明实施例的一个方面，提供了一种报文数据处理方法，包括：响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；采用交换芯片基于上述处理信息，生成资源管理信息；基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。

可选的，上述响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息，包括：采用资源管理设备基于源通道进行计算处理，确定缓存占用数据；接收报文队列的队尾分段发送的反馈信息；基于上述缓存占用数据和上述反馈信息，确定上述处理信息。

可选的，采用交换芯片基于上述处理信息，生成资源管理信息，包括：基于上述处理信息进行资源管理操作，并确定资源管理操作后的资源信息；将上述资源信息添加至报文队列的队尾分段，并将上述队尾分段发送回资源管理设备，生成上述资源管理信息。

可选的，上述基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理，包括：基于上述资源管理信息在上述交换芯片内生成反馈状态表，其中，上述反馈状态表包括：第一字段，用于表示缓存占用数据，第二字段，用于表示反馈状态的开启或关闭，第三字段，用于表示反馈状态；基于上述反馈状态表进行报文数据处理。

可选的，上述基于上述反馈状态表进行报文数据处理，包括：在上述第二字段是否为开启状态时，重置上述第三字段；判断上述第一字段是否大于第一预设阈值，若上述第一字段大于第一预设阈值，则将上述第三字段置1。

可选的，在上述基于上述反馈状态表进行报文数据处理之后，上述方法还包括：判断上述反馈状态表是否发生更新；若上述反馈状态表发生更新，则将上述第三字段发送给上述中央处理器。

根据本发明实施例的另一方面，还提供了一种报文数据处理装置，包括：分析模块，用于响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；生成模块，用于采用交换芯片基于上述处理信息，生成资源管理信息；处理模块，用于基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的报文数据处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序被设置为运行时执行任意一项上述的报文数据处理方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任意一项上述的报文数据处理方法。

在本发明实施例中，通过响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；采用交换芯片基于上述处理信息，生成资源管理信息；基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理，达到了基于反馈状态表及时通告中央处理器和交换芯片拥塞状态的目的，从而实现了避免硬件丢包以及减少中央处理器资源浪费的技术效果，进而解决了现有的报文数据处理方法存在浪费处理器资源的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的报文数据处理方法流程图；

图2是根据本发明实施例的一种可选的报文数据处理系统框架结构示意图；

图3是根据本发明实施例的一种可选的报文数据处理流程示意图；

图4是根据本发明实施例的一种报文数据处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

术语解释：

DMA：Direct Memory Access，直接内存访问；

Shaping：流量整形；

IRM：Ingress Resource Manage，入方向资源管理；

ERM：Egress Resource Manage，出方向资源管理；

Eop：End Of Packet，报文尾分段；

BS：Buffer Store，报文缓存在交换机内；

BR：Buffer Retrieve，报文从Buffer中取走；

QoS：服务质量；

Meter：流量检测。

实施例1

根据本发明实施例，提供了一种报文数据处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的报文数据处理方法流程图，如图1所示，该方法包括如下步骤：

步骤S102，响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；

步骤S104，采用交换芯片基于上述处理信息，生成资源管理信息；

步骤S106，基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。

在本发明实施例中，上述步骤S102至S106中提供的报文数据处理方法的执行主体为报文数据处理系统，采用上述系统响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；采用交换芯片基于上述处理信息，生成资源管理信息；基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。

作为一种可选的实施例，如图2所示的报文数据处理系统框架结构示意图，在该反压流程(Back Presure)中，基本框架包含软转发层面的CPU Core H-QoS(中央处理器核上分层服务质量功能)队列和整形、DMA TX(直接访问内存访问发送方向通道)以及SwitchCore(交换芯片)三个核心部分。通过将流量整形移到交换芯片上，在硬件层面基于ServiceQueue(业务队列)或端口进行流量整形，限速准确且不消耗CPU(中央处理器)资源。因此，CPU和Switch Core之间需要感知通路上的拥塞状态，从而避免硬件队列拥塞严重，CPU还继续往硬件发包，导致硬件丢包。

需要说明的是，仍如图2所示，TD：Tail Drop表示尾丢弃，WRED表示带权重的提前随机丢弃，SP：strict priority表示严格优先级调度，WRR表示带有权重的轮询调度，TX表示报文发送方向，LAN表示局域网，WAN表示广域网。

在本发明实施例中，设计了反压机制，在硬件拥塞时，保证报文积压在软件Queue里，避免硬件中发生丢包。在交换芯片出端口shaping(流量整形)限速。交换芯片的IRM(入方向资源管理)模块根据下发通道结合流量出口，设置计数器和门限，根据计数器和门限发起stall信号给DMA TX RING(直接内存访问)，DMA TX RING以某种方式通告CPU交换芯片拥塞状态。从而支持基于出口的限速，避免硬件丢包，解决CPU软件限速不准且浪费CPU资源的问题。

在一种可选的实施例中，上述响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息，包括：采用资源管理设备基于源通道进行计算处理，确定缓存占用数据；接收报文队列的队尾分段发送的反馈信息；基于上述缓存占用数据和上述反馈信息，确定上述处理信息。

作为一种可选的实施例，如图3所示的报文数据处理流程示意图，中央处理器CPU通过DMA TX(直接内存访问)将报文(Packet)发送到交换芯片(Switch Core)，此时报文缓存计数增加(Packet Buffer Count++)；报文会先缓存在BS中(报文缓存在交换机内)，IRM(入方向资源管理)会基于源通道做Buffer(缓存)占用计数，即基于每个直接内存访问发送方向环的缓存计数更新(Per DMA TX Ring Buffer Update)，同时会根据目的口的信息入端口对应的队列，入队的报文会以SP/WRR等调度机制等待被调度出去，被调度出的报文BR(报文从Buffer中取走)会从Buffer中取出报文送往网口，同时会在报文EOP(报文尾分段)时回消息给IRM(入方向资源管理)，用来扣除报文Buffer占用数，用以报文Buffer占用资源的释放。交换芯片出口配置流量整形，精准地满足限速且不消耗CPU资源。当出现出口拥塞时，对应出口的流量Shaper抑制状态会起来，将报文堵在硬件Queue里面。此时，IRM对应的MainBuffer(主缓存器)中的BufferCell(缓存占比)占用会累积起来。

在一种可选的实施例中，采用交换芯片基于上述处理信息，生成资源管理信息，包括：基于上述处理信息进行资源管理操作，并确定资源管理操作后的资源信息；将上述资源信息添加至报文队列的队尾分段，并将上述队尾分段发送回资源管理设备，生成上述资源管理信息。

作为一种可选的实施例，来自DMATX的报文，会携带DMATXRINGID通过芯片内部BUS一路携带到Enqueue(入队)部分，IRM会基于DMATXRINGID做对应的资源管理Resource,增加缓存buffer占用计数。出队Dequeue的时候会再次从芯片内部BUS中取得DMATXRINGID，该DMATXRINGID最终会lock(锁)到报文的Eop(报文尾分段)，在完成报文发送后通过芯片内部的Eop(报文尾分段)消息送回IRM(入方向资源管理)，IRM基于DMATXRINGID做对应的Resource管理，减少Buffer占用计数。

在一种可选的实施例中，上述基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理，包括：基于上述资源管理信息在上述交换芯片内生成反馈状态表，其中，上述反馈状态表包括：第一字段，用于表示缓存占用数据，第二字段，用于表示反馈状态的开启或关闭，第三字段，用于表示反馈状态；基于上述反馈状态表进行报文数据处理。

在一种可选的实施例中，上述基于上述反馈状态表进行报文数据处理，包括：在上述第二字段是否为开启状态时，重置上述第三字段；判断上述第一字段是否大于第一预设阈值，若上述第一字段大于第一预设阈值，则将上述第三字段置1。

作为一种可选的实施例，交换芯片中维护一张DMA Tx Ring的反压状态表，可以采用IrmFastPathStallState表示，其中包含第一字段ResrcCnt和第二字段ResrcThrd0/1以及第三字段stallState字段，第一字段标识per TX ring当前占用buffer计数，第二字段标识反压状态切换的水线包含on和off两个阈值，第三字段stallState标识反压状态。报文触发IRM资源检查或报文Eop消息送回IRM更新资源占用时，会检查这个反压状态表。如果当前DMATXRINGID对应的反压状态置1，而第一字段ResrcCnt小于off阈值，那么第三字段stallState重置；如果第三字段stallState置0，而第一字段ResrcCnt大于on阈值,则第三字段stallState置1。反压状态一旦发生切换时，则把第三字段stallState发送给DMA以更新DMATXRINGID对应的反压状态记录表。

在一种可选的实施例中，在上述基于上述反馈状态表进行报文数据处理之后，上述方法还包括：判断上述反馈状态表是否发生更新；若上述反馈状态表发生更新，则将上述第三字段发送给上述中央处理器。

作为一种可选的实施例，DMA TX RING在往交换芯片发包时会检查当前TX RING的反压状态，如果反压置1时，就会停止此RING往交换芯片发包，直到反压状态解除才可以继续发包。

作为一种可选的实施例，若软件持续发包且IRM持续反压，当DMA TX RING描述符积压到一定数目时会以某种机制通告CPU，此时CPU也会停止往此DMA TX RING发包，这样报文会积压在软件Queue里，Queue满时尾丢弃，从而避免报文在硬件层面上丢包。

通过上述步骤，可以实现将软转发流量整形通过交换芯片出端口流量整形shaping限速来实现，基于DMA TX RING，交换芯片IRM模块根据下发通道结合流量出口，设置计数器和门限，根据计数器和门限发起stall信号给DMA TX RING，反压信号一路往回传递置CPU，让CPU感知交换芯片的反压状态，停止往某个TX RING调度报文，报文积压在软件Queue，避免交换芯片硬件丢包。

实施例2

根据本发明实施例，还提供了一种用于实施上述报文数据处理方法的装置实施例，图4是根据本发明实施例的一种报文数据处理装置的结构示意图，如图4所示，上述装置包括：分析模块40、生成模块42和处理模块44，其中：

分析模块40，用于响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；

生成模块42，用于采用交换芯片基于上述处理信息，生成资源管理信息；

处理模块44，用于基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。

此处需要说明的是，上述分析模块40、生成模块42和处理模块44对应于实施例1中的步骤S102至步骤S106，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

根据本发明的实施例，还提供了一种计算机可读存储介质的实施例。可选的，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的报文数据处理方法所执行的程序代码。

可选的，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选的，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；采用交换芯片基于上述处理信息，生成资源管理信息；基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。

可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：采用资源管理设备基于源通道进行计算处理，确定缓存占用数据；接收报文队列的队尾分段发送的反馈信息；基于上述缓存占用数据和上述反馈信息，确定上述处理信息。

可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于上述处理信息进行资源管理操作，并确定资源管理操作后的资源信息；将上述资源信息添加至报文队列的队尾分段，并将上述队尾分段发送回资源管理设备，生成上述资源管理信息。

可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于上述资源管理信息在上述交换芯片内生成反馈状态表，其中，上述反馈状态表包括：第一字段，用于表示缓存占用数据，第二字段，用于表示反馈状态的开启或关闭，第三字段，用于表示反馈状态；基于上述反馈状态表进行报文数据处理。

可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在上述第二字段是否为开启状态时，重置上述第三字段；判断上述第一字段是否大于第一预设阈值，若上述第一字段大于第一预设阈值，则将上述第三字段置1。

可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：判断上述反馈状态表是否发生更新；若上述反馈状态表发生更新，则将上述第三字段发送给上述中央处理器。

根据本发明的实施例，还提供了一种处理器的实施例。可选的，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的报文数据处理方法所执行的程序代码。

本申请实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；采用交换芯片基于上述处理信息，生成资源管理信息；基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；采用交换芯片基于上述处理信息，生成资源管理信息；基于上述资源管理信息生成反馈状态表，并基于上述反馈状态表进行报文数据处理。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种报文数据处理方法，其特征在于，包括：

响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；

采用交换芯片基于所述处理信息，生成资源管理信息；

基于所述资源管理信息生成反馈状态表，并基于所述反馈状态表进行报文数据处理。

2.根据权利要求1所述的方法，其特征在于，所述响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息，包括：

采用资源管理设备基于源通道进行计算处理，确定缓存占用数据；

接收报文队列的队尾分段发送的反馈信息；

基于所述缓存占用数据和所述反馈信息，确定所述处理信息。

3.根据权利要求1所述的方法，其特征在于，采用交换芯片基于所述处理信息，生成资源管理信息，包括：

基于所述处理信息进行资源管理操作，并确定资源管理操作后的资源信息；

将所述资源信息添加至报文队列的队尾分段，并将所述队尾分段发送回资源管理设备，生成所述资源管理信息。

4.根据权利要求1所述的方法，其特征在于，所述基于所述资源管理信息生成反馈状态表，并基于所述反馈状态表进行报文数据处理，包括：

基于所述资源管理信息在所述交换芯片内生成反馈状态表，其中，所述反馈状态表包括：第一字段，用于表示缓存占用数据，第二字段，用于表示反馈状态的开启或关闭，第三字段，用于表示反馈状态；

基于所述反馈状态表进行报文数据处理。

5.根据权利要求4所述的方法，其特征在于，所述基于所述反馈状态表进行报文数据处理，包括：

在所述第二字段是否为开启状态时，重置所述第三字段；

判断所述第一字段是否大于第一预设阈值，若所述第一字段大于第一预设阈值，则将所述第三字段置1。

6.根据权利要求4所述的方法，其特征在于，在所述基于所述反馈状态表进行报文数据处理之后，所述方法还包括：

判断所述反馈状态表是否发生更新；

若所述反馈状态表发生更新，则将所述第三字段发送给所述中央处理器。

7.一种报文数据处理装置，其特征在于，包括：

分析模块，用于响应于报文数据的待处理请求，对中央处理器进行分析处理，得到处理信息；

生成模块，用于采用交换芯片基于所述处理信息，生成资源管理信息；

处理模块，用于基于所述资源管理信息生成反馈状态表，并基于所述反馈状态表进行报文数据处理。

8.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至6中任意一项所述的报文数据处理方法。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被设置为运行时执行权利要求1至6中任意一项所述的报文数据处理方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任意一项所述的报文数据处理方法。