CN116991781B - 一种请求处理装置、方法、芯片、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种请求处理装置、方法、芯片、存储介质及电子设备。其中装置包括：切片处理模块接收通道的处理请求，在处理请求的请求数据量超出预设数据阈值的情况下，对处理请求进行切片处理，得到处理请求的子请求，将子请求发送至请求处理模块；请求处理模块接收多个通道的子请求或处理请求，对子请求或处理请求进行调度，将多个通道的子请求或处理请求依次发送至请求响应模块；请求响应模块响应请求响应子请求或处理请求，得到返回数据，将返回数据发送至返回处理模块；返回处理模块接收多个通道的返回数据，并依次分发至对应通道。通过对处理请求进行切分处理，得到多个子请求，减少请求数据量过大的处理请求在整体调度情况下导致的延时积累。

Description

一种请求处理装置、方法、芯片、存储介质及电子设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种请求处理装置、方法、芯片、存储介质及电子设备。

背景技术

目前市面上常用的高性能的网卡、显卡或者其他的加速卡通常是通过PCIE接口插到服务器上，并且这类功能卡通常是通过DMA（Direct Memory Access，直接存储器访问）的方式来访问服务器上内存中的数据。

在系统的设计中，为了充分利用PCIE的带宽和实际的应用需求，通常会有多个DMA的读写通道。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：在对多通道的处理请求进行调度的过程中，不同通道之间会存在延时积累的问题，导致处理请求的返回延时变大，降低系统性能。

发明内容

本发明提供了一种请求处理装置、方法、芯片、存储介质及电子设备，以减小对处理请求的处理延时。

根据本发明的一方面，提供了一种请求处理装置，包括请求处理模块、返回处理模块、请求响应模块、切片处理模块；其中，所述请求响应模块分别与所述请求响应模块和所述返回处理模块连接，所述请求响应模块与所述切片处理模块连接；

所述切片处理模块接收通道的处理请求，在所述处理请求的请求数据量超出预设数据阈值的情况下，对所述处理请求进行切片处理，得到所述处理请求的子请求，将所述子请求发送至所述请求处理模块；

所述请求处理模块接收多个通道的所述子请求或所述处理请求，对所述子请求或所述处理请求进行调度，将多个通道的所述子请求或所述处理请求依次发送至所述请求响应模块；

所述请求响应模块响应所述请求响应所述子请求或所述处理请求，得到返回数据，将所述返回数据发送至所述返回处理模块；

所述返回处理模块接收多个通道的返回数据，并依次分发至对应通道。

根据本发明的另一方面，提供了一种芯片，包括如本发明实施例提供的请求处理装置。

根据本发明的另一方面，提供了一种请求处理方法，包括：

接收任一通道的处理请求，解析所述处理请求的请求数据量；

在所述处理请求的请求数据量超出预设数据阈值的情况下，对所述处理请求进行切片处理，得到所述处理请求的子请求；

对所述子请求进行调度处理。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的请求处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的请求处理方法。

本发明实施例的技术方案，多通道请求的场景下，对各通道的处理请求进行切分判定，在处理请求的请求数据量过大的情况下，对处理请求进行切分处理，得到多个子请求，对多个通道的处理请求或子请求进行轮询调度，由于进行调度的处理请求或子请求的请求数据量小，相应的，响应耗时短，在上述轮询调度的情况下，多个通道的处理请求或子请求可交叉调度，减少请求数据量过大的处理请求在整体调度情况下导致的延时积累，提高多个通道处理请求的响应速度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种请求处理装置的示意图。

图2是本发明实施例提供的处理请求的调度和返回延时的示意图。

图3是本发明实施例提供的一种请求处理装置的结构示意图。

图4是本发明实施例提供的处理请求的调度对比图。

图5是本发明实施例提供的返回时序对比图。

图6为本发明实施例提供的返回数据处理过程对比图。

图7是本发明实施例提供的一种请求处理装置的结构示意图。

图8是本发明实施例提供的一种芯片的结构示意图。

图9是本发明实施例提供的一种请求处理方法的流程示意图。

图10是本发明实施例的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

参见图1，图1是一种请求处理装置的示意图。图1中包括请求处理模块、返回处理模块、请求响应模块。请求响应模块与多个通道连接，接收各通道的处理请求，不同的通道对应不同的业务或功能，不同通道读写数据的长度也可以不相同。图1中包括4个读写请求通道，读写请求通道的处理请求可以是读请求或写请求，处理请求的请求数量可以是几十字节或者几十k的字节，甚至更高。请求处理模块采用轮询方式依次调度多个通道的处理请求，依次将调度的处理请求发送至请求响应模块。请求响应模块根据请求处理模块对处理请求的调度顺序依次响应，请求响应模块与服务器连接，对于任一处理请求，将处理请求发送至服务器并接收服务器的返回数据。对于写请求，将写请求中的数据内容写入到服务器中，对于读请求，从服务器中读取读请求对应的数据内容。请求响应模块将服务器的返回数据顺序地发送至返回处理模块，返回处理模块将返回数据分发至对应通道的缓存中，其中，返回数据的处理顺序与对应处理请求的调度顺序相同。

假设系统中的pcie接口的位宽为256bit，硬件中时钟周期为4ns，即每处理一拍256bit的数据需要的时间。以读请求为例，通常一个读请求包含从服务器中内存哪个地址开始读取以及读取多长数据等信息，读返回则包含读回来的有效数据以及开始结束标志等。读请求操作一拍（一个时钟周期）就可以处理完成，读返操作回则根据读请求中的处理数据量来算出需要多少拍能处理完成。

以图1中的四个通道为例，假设通道0和通道2无业务数据，通道1的处理请求用于请求64byte的网络业务。通道3的处理请求用于请求16Kbyte的存储数据。对上述四个通道的处理请求依次寻轮调度，参见图2，图2是本发明实施例提供的处理请求的调度和返回延时的示意图。根据图2可知通道1的处理请求数量少于通道3的处理请求数量。请求处理模块在对处理请求进行轮询调度的过程中，每一调度轮次均调度通道3的一个处理请求，在第三调度轮次会调度一个通道1的处理请求。通道1的处理请求的调度时刻相对于开始时刻间隔10拍。

根据调度顺序，请求响应模块在响应通道3的两个处理请求后，响应通道1的处理请求。在数据返回的过程中，由于通道3的处理请求所请求的数据量大，通道3的每一处理请求分别需占用512拍，相应的，通道1的返回数据需在1024拍之后（2次通道3通道请求完成）之后才能返回，因此会导致通道1的返回延时过大。进一步的，通道1的处理请求更多的插入通达3的处理请求之间，通道1的处理请求的数据返回延时会成倍增长，形成延时积累效应。可以理解的是，图2中的512拍为读请求从服务器请求数据所需耗时，对于写请求，将写请求中的数据写入服务器同样存在耗时。

针对上述技术问题，本发明实施例提供的了一种请求处理装置，参见图3，图3是本发明实施例提供的一种请求处理装置的结构示意图。该请求处理装置包括请求处理模块120、返回处理模块130、请求响应模块110、切片处理模块140；其中，请求响应模块110分别与请求处理模块120和返回处理模块130连接，请求处理模块120与切片处理模块140连接。

其中，切片处理模块140接收通道的处理请求，在处理请求的请求数据量超出预设数据阈值的情况下，对处理请求进行切片处理，得到处理请求的子请求，将子请求发送至请求处理模块120；请求处理模块120接收多个通道的子请求或处理请求，对子请求或处理请求进行调度，将多个通道的子请求或处理请求依次发送至请求响应模块110；请求响应模块110响应请求响应子请求或处理请求，得到返回数据，将返回数据发送至返回处理模块130；返回处理模块130接收多个通道的返回数据，并依次分发至对应通道。

本实施例中，设置切片处理模块140，通过切片处理模块140对处理请求进行切片处理，以将处理请求划分为多个子请求，子请求的请求处理量小于处理请求的请求处理量，并通过多个调度轮序对多个子请求依次进行调度。

从切片配置模块中读取切片配置参数，其中，切片配置参数包括预设数据阈值，该预设数据阈值被调度请求的最大请求数据量。不同通道对应的切片配置参数可以不同，可根据通道标识从切片配置模块中读取该通道对应的切片配置参数。每一通道的预设数据阈值可根据通道对应的业务类型确定，业务类型包括但不限于网络业务、IO业务等。在一些实施例中，通道对应的预设数据阈值可以是根据业务类型的优先级确定，业务类型的优先级越高，通道对应的预设数据阈值越大。在一些实施例中，通道对应的预设数据阈值可以是根据业务类型对应的请求数据量确定，不同的业务类型的处理请求的请求数据量可以不同。统计每一通道的历史处理请求的请求数据量，例如，确定每一通道的历史处理请求的请求数据量均值，通道对应的预设数据阈值可以是与请求数据量均值正相关。在一些实施例中，切片配置模块可通过预先设置的机器学习模型对通道的历史处理请求进行处理，预测得到每一通道的预设数据阈值。可以理解的是，切片配置模块可以是软件模块，可以是集成在请求处理装置的处理模块中，该处理模块可以是处理器，此处不作限定。

基于该预设数据阈值对通道的处理请求进行切片判定。处理请求中包括请求数据量，将处理请求的请求数据量与该通道的预设数据阈值进行比对，处理请求的请求数据量大于预设数据阈值，表明请求数据的数据量较大，存在形成延时积累的风险，需对处理请求进行切片处理，形成多个子请求。处理请求的请求数据量小于或等于预设数据阈值，表明请求数据的数据量较小，无需对处理请求进行切片处理，对该处理请求进行直接调度即可。

在处理请求的请求数据量超出预设数据阈值的情况下，切片处理模块用于对处理请求进行切片处理，得到满足预设数据阈值的子请求，即子请求的请求数据量为预设数据阈值。其中，基于预设数据阈值对处理请求进行切片处理，得到一子请求，包括：对于写请求可以是将截取预设数据阈值对应的数据内容，形成子请求。对于读请求，将预设数据阈值作为读取数据量，形成子请求。

对于处理请求，在切分出一个子请求之后，确定处理请求的剩余数据量，基于预设数据阈值对处理请求的剩余数据量进行重新判定，即将预设数据阈值与剩余数据量进行比对，在剩余数据量大于预设数据阈值的情况下，再次进行切分处理，得到新的子请求，并以此类推，直到剩余数据量小于或等于预设数据阈值，基于剩余数据量生成一子请求。

在上述实施例的基础上，处理请求中还包括请求地址，相应的，在生成子请求的情况下，基于处理请求的请求地址设置子请求的请求地址。可选的，切片处理模块还用于：获取处理请求的请求地址，基于请求地址设置子请求的请求地址；其中，子请求为处理请求的首个子请求的情况下，子请求的请求地址为处理请求的请求地址；子请求为处理请求的非首个子请求的情况下，子请求的请求地址相对于处理请求的请求地址存在偏移，偏移量为已调度子请求的请求地址，相应的，子请求的请求地址基于处理请求的请求地址和已调度子请求的请求地址确定，即在处理请求的请求地址的基础上进行偏移，偏移量为已调度子请求的请求地址，该已调度子请求为从处理请求中切分处的，且已完成调度的子请求。

请求处理模块接收多个通道的处理请求或子请求，此处在任一通道的处理请求不进行切分的情况下，直接将处理请求发送至请求处理模块。请求处理模块对多个通道的处理请求或子请求进行轮询调度。示例性的，参见图4，图4是本发明实施例提供的处理请求的调度对比图。图4中上图为对多个通道的处理请求进行整体调度的示意图，图4中下图为对通道中处理请求进行切分处理后的调度示意图。其中，对应通道3和通道1，预设数量阈值为1Kbyte，其中，通道3的处理请求的请求数据量为16Kbyte，大于预设数量阈值，对该处理请求进行切分处理，得到请求数据量为1Kbyte的子请求。通道1的处理请求的请求数据量为64byte，小于于预设数量阈值，无需对通道1的处理请求进行切分处理，可直接进行调度。在第一调度轮次中，调度通道3的第一个子请求，在第三调度轮次中调度通道1的处理请求和通道3的第二个子请求。

根据图4可知，被切分的多个子请求之间存在预设调度间隔，该预设调度间隔可以是同一处理请求中子请求被调度时与上一相邻子请求之间的间隔拍数。预设调度间隔属于切片配置参数，可从切片配置模块中读取，不同通道对应的预设调度间隔可以不同。示例性的，预设调度间隔可以是根据通道中业务类型的优先级确定，预设调度间隔与业务类型的优先级负相关。可选的，预设调度间隔大于或等于通道数，可以是通道数的倍数。

请求处理模块在子请求为非首个子请求的情况下，获取预设调度间隔，在子请求与上一已调度子请求之间的调度间隔满足预设调度间隔的情况下，调度子请求。通过设置预设调度间隔，避免子请求被连续调度形成与对处理请求整体调度相同的效果，将多个通道的处理请求或子请求进行交叉调度，减小通道之间的相互干扰。

在一些实施例中，切片处理模块140在接收到处理请求后，对处理请求进行切片判定，在满足切片条件的情况下，对处理请求进行切片处理，设置子请求的请求地址和请求数据量，得到子请求。切片处理模块140将子请求发送至请求处理模块120，请求处理模块120多个通道的处理请求或子请求进行轮询调度。切片处理模块140获取预设调度间隔，确定与上一子请求的调度间隔，在与上一子请求的调度间隔满足预设调度间隔的情况下，对处理请求的剩余数据量进行切片判定，生成下一子请求，并发送至请求处理模块120进行调度。在完成对上述处理请求的多个子请求的调度后，接收新的处理请求，并按上述过程继续处理。

示例性的，参见图5，图5是本发明实施例提供的返回时序对比图。图5中上图为对多个通道的处理请求进行整体调度情况下，返回时序的示意图，通道1的延时为1024拍，图5中下图为对通道中处理请求进行切分处理后的调度情况下，返回时序的示意图，通道1的延时32拍。在不降低通道3性能的基础上，降低了通道1请求延时，提高了系统整体对请求的处理性能。

在一些实施例中，切片处理模块140的数量可以是一个，切片处理模块140与多个通道连接，对多个通道的处理请求进行切片处理，可以理解的是，处理请求中可包括通道标识，便于请求处理模块120基于处理请求中的通道标识对处理请求或者切片处理得到的子请求进行轮询调度。

在一些实施例中，切片处理模块140的数量为多个，一个切片处理模块与一个通道连接。其中，根据通道的历史处理请求确定该通道是否需设置切片处理模块140，具体的，在任一通道的历史处理请求的最大请求数据量小于预设数量阈值的情况下，无需设置该通道对应的切片处理模块，减少系统成本的基础上，减少无效的切片判定过程。

本实施例提供的技术方案，多通道请求的场景下，对各通道的处理请求进行切分判定，在处理请求的请求数据量过大的情况下，对处理请求进行切分处理，得到多个子请求，对多个通道的处理请求或子请求进行轮询调度，由于进行调度的处理请求或子请求的请求数据量小，相应的，响应耗时短，在上述轮询调度的情况下，多个通道的处理请求或子请求可交叉调度，减少请求数据量过大的处理请求在整体调度情况下导致的延时积累，提高多个通道处理请求的响应速度。

在上述实施例的基础上，返回处理模块依次接收各处理请求或子请求的返回数据，并依序将返回数据分发至对应通道。可以理解的是，每一通道分别设置有数据处理模块，可在生成处理请求之间进行数据预处理，以及在对返回数据进行后处理，此处不作赘述。

返回处理模块基于第一带宽接收返回数据，通道基于第二带宽接收返回数据。在第一带宽大于第二带宽的情况下，在不同通道之间可产生“头阻”问题，尤其是通道在请求侧的第三带宽大于第二带宽的情况下。示例性的，第一带宽可以是64G，第二带宽可以是25G，此处仅为示例，不同通道的第二带宽可以不同，此处不作限定。示例性的，参见图6，图6为本发明实施例提供的返回数据处理过程对比图。其中，图6中左图为存在头阻问题处理过程图。

在处理请求的调度过程中，先调度通道3的处理请求，再调度通道1的处理请求，相应的，返回处理模块先接收通道3的返回数据，再接收通道1的返回数据，以及先将通道3的返回数据分发至通道3的缓存空间内，再将通道1的返回数据分发至通道1的缓存空间内。由于通道3的数据带宽小于返回处理模块的数据带宽，在通道3的缓存空间处于存满的状态下，通道3的剩余返回数据回堆积在返回处理模块130的缓存空间内，相应的，通道1的返回数据位于通道3返回数据之后处理，在通道1的缓存空间为空的情况下，无法分发至通道1的缓存空间中，造成通道3头阻住通道1，导致通道1的性能变差。进一步的，在多个通道同时工作，返回处理模块对返回数据的处理过程与请求处理模块对请求的调度无法匹配，头阻现象越发明显，导致系统整体性能下降。

针对上述技术问题，将返回处理模块130和请求处理模块120建立连接，通过返回处理模块130向请求处理模块120发送反馈信息，请求处理模块120基于反馈信息进行请求调度，以使得返回处理模块130对返回数据的处理过程与请求处理模块120对请求的调度相匹配，减少头阻现象。示例性的，参见图7，图7是本发明实施例提供的一种请求处理装置的结构示意图。可以理解的是，图7中的切片配置模块分别与每一切片处理模块连接，图7中未示出。

请求处理模块120获取每一通道的数据处理状态，在任一通道的处理请求或子请求进行调度的过程中，若通道的数据处理状态不满足所述处理请求或子请求的处理条件，则对处理请求或子请求进行缓存，直到通道的数据处理状态满足所述处理请求或子请求的处理条件，调度处理请求或子请求。其中，通道的数据处理状态为通道的缓存空间使用状态，可通过缓存空间的剩余可用空间表征数据处理状态。其中，缓存空间的剩余可用空间可通过该缓存空间的写入数据量和读出数据量确定。

返回处理模块130接收返回数据，将返回数据写入到对应通道的缓存空间，通道的数据处理模块从缓存空间读取返回数据进行后处理。返回处理模块130维护一读指针，用于记录各通道的读出数据量，该读出数据量为通道读出数据的数据量累加值，将读出数据量作为反馈信息发送至请求处理模块120。请求处理模块120维护一写指针，还用于记录多个通道的写入数据量，该任一通道的写入数据量可以是为该通道中已调度的读请求（包括未切分的读请求和经切分得到的子请求）的请求数据量之和。此处可默认写请求不存在返回数据，在写请求存取存在返回数据的情况下，该写入数据量可以是多个通道已调度的读请求与写请求的返回数据的数据量之和。

基于每一通道的缓存空间的空间大小、写入数据量和读出数据量确定通道的数据处理状态；其中，缓存空间的空间大小为该缓存空间最大的数据缓存量。数据处理状态可基于缓存空间的空间大小-（写入数据量-读出数据量）得到的剩余可用空间确定。

在对任一通道的处理请求或子请求进行调度之前，将该通道的剩余可用空间和上述处理请求或子请求的请求数据量进行比对，若剩余可用空间超出处理请求或子请求的请求数据量所占用空间，表征通道的数据处理状态满足所述处理请求或子请求的处理条件，则上述处理请求或子请求可进行调度，若剩余可用空间小于处理请求或子请求的请求数据量所占用空间，表征通道的数据处理状态不满足所述处理请求或子请求的处理条件，则对上述处理请求或子请求进行缓存，等待下一调度轮次，并在下一调度轮次对通道的数据处理状态进行判定，直到通道的数据处理状态满足所述处理请求或子请求的处理条件，调度上述处理请求或子请求。

图6中右图，通道3中的返回数据可及时分发到通道3的缓存空间内，不会对通道1的返回数据造成阻塞。

本实施例提供的技术方案，在对请求进行调度之前，对通道的数据处理状态进行判定，在通道的数据处理状态不满足待调度的请求的处理条件的情况下，将请求进行缓存，等待通过的数据处理状态满足待调度的请求的处理条件后进行请求的调度，避免了数据返回侧无法及时对返回数据进行处理导致对其他通道的返回数据造成阻塞的情况，提高了系统处理性能。

图8是本发明实施例提供的一种芯片的结构示意图，该芯片200包括上述任意实施例提供的请求处理装置100。可选的，该芯片可以是DPU（Data Processing Unit，数据处理器）、智能网卡装置等。

通过在芯片中设置上述请求处理装置，可在对多通道的处理请求进行调度的过程中，减少延时累积和头阻问题，提高芯片性能。

图9是本发明实施例提供的一种请求处理方法的流程图，本实施例可适用于对多通道的处理请求进行切分后调度的情况，该方法可以由请求处理装置来执行，该请求处理装置可以采用硬件和/或软件的形式实现，该请求处理装置可配置于芯片中。如图9所示，该方法包括：

S210、接收任一通道的处理请求，解析所述处理请求的请求数据量。

S220、在所述处理请求的请求数据量超出预设数据阈值的情况下，对所述处理请求进行切片处理，得到所述处理请求的子请求。

S230、对所述子请求进行调度处理。

本实施例的技术方案，多通道请求的场景下，对各通道的处理请求进行切分判定，在处理请求的请求数据量过大的情况下，对处理请求进行切分处理，得到多个子请求，对多个通道的处理请求或子请求进行轮询调度，由于进行调度的处理请求或子请求的请求数据量小，相应的，响应耗时短，在上述轮询调度的情况下，多个通道的处理请求或子请求可交叉调度，减少请求数据量过大的处理请求在整体调度情况下导致的延时积累，提高多个通道处理请求的响应速度。

在上述实施例的基础上，可选的，所述对所述处理请求进行切片处理，得到所述处理请求的子请求，包括：基于所述预设数据阈值对所述处理请求进行切片处理，得到一子请求，所述子请求的请求数据量为预设数据阈值；确定所述处理请求的剩余数据量，基于所述预设数据阈值对所述处理请求的剩余数据量进行重新判定。

在上述实施例的基础上，可选的，所述方法还包括：获取所述处理请求的请求地址，基于所述请求地址设置所述子请求的请求地址；

其中，所述子请求为所述处理请求的首个子请求的情况下，所述子请求的请求地址为所述处理请求的请求地址；所述子请求为所述处理请求的非首个子请求的情况下，所述子请求的请求地址基于所述处理请求的请求地址和已调度子请求的请求地址确定。

在上述实施例的基础上，可选的，所述对所述子请求进行调度处理，包括：在所述子请求为非首个子请求的情况下，获取预设调度间隔，在所述子请求与上一已调度子请求之间的调度间隔满足所述预设调度间隔的情况下，调度所述子请求。

在上述实施例的基础上，可选的，所述方法还包括：在所述处理请求为读请求的情况下，获取所述通道的数据处理状态，若所述数据处理状态不满足对所述处理请求或所述子请求的处理条件，则对所述处理请求或所述子请求进行缓存，直到所述通道的数据处理状态满足对所述处理请求或所述子请求的处理条件，调度所述处理请求或所述子请求。

可选的，所述获取所述通道的数据处理状态，包括：

获取所述通道的写入数据量和读出数据量，基于所述写入数据量和所述读出数据量确定占用空间；基于所述通道的缓存空间和占用空间确定剩余可用空间；基于所述处理请求或所述子请求的请求数据量和所述剩余可用空间确定所述通道的数据处理状态。

本发明实施例所提供的请求处理装置可执行本发明任意实施例所提供的请求处理方法，具备执行相应的功能模块和有益效果。

图10是本发明实施例提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如请求处理方法。

在一些实施例中，请求处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的请求处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行请求处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的请求处理方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种请求处理方法，该方法包括：

接收任一通道的处理请求，解析所述处理请求的请求数据量；在所述处理请求的请求数据量超出预设数据阈值的情况下，对所述处理请求进行切片处理，得到所述处理请求的子请求；对所述子请求进行调度处理。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种请求处理装置，其特征在于，包括请求处理模块、返回处理模块、请求响应模块、切片处理模块；其中，所述请求响应模块分别与所述请求处理模块和所述返回处理模块连接，所述请求处理模块与所述切片处理模块连接；

所述切片处理模块接收多个通道的处理请求，在任一所述通道的所述处理请求的请求数据量超出预设数据阈值的情况下，对所述处理请求进行切片处理，得到所述处理请求的子请求，将所述子请求发送至所述请求处理模块；每一所述通道的预设数据阈值根据所述通道的业务类型确定；

所述请求处理模块接收多个通道的所述子请求或所述处理请求，对多个所述通道的所述子请求或所述处理请求进行轮询调度，将多个通道的所述子请求或所述处理请求依次发送至所述请求响应模块；

所述请求响应模块响应所述请求响应所述子请求或所述处理请求，得到返回数据，将所述返回数据发送至所述返回处理模块；

所述返回处理模块接收多个通道的返回数据，并依次分发至对应通道，以及记录各所述通道的读出数据量，将所述读出数据量发送至所述请求处理模块；

所述请求处理模块还用于记录多个通道的写入数据量，并基于每一通道的缓存空间的空间大小、写入数据量和所述读出数据量确定所述通道的数据处理状态；以及，对任一通道的处理请求或子请求进行调度的过程中，若所述通道的数据处理状态不满足所述处理请求或所述子请求的处理条件，则对所述处理请求或所述子请求进行缓存，并在所述通道的下一调度轮次对所述通道的数据处理状态重新判定，直到所述通道的数据处理状态满足所述处理请求或所述子请求的处理条件，调度所述通道的处理请求或所述子请求。

2.根据权利要求1所述的请求处理装置，其特征在于，所述切片处理模块用于：基于所述预设数据阈值对所述处理请求进行切片处理，得到一子请求，所述子请求的请求数据量为预设数据阈值；

确定所述处理请求的剩余数据量，基于所述预设数据阈值对所述处理请求的剩余数据量进行重新判定。

3.根据权利要求2所述的请求处理装置，其特征在于，所述切片处理模块还用于：

获取所述处理请求的请求地址，基于所述请求地址设置所述子请求的请求地址；

其中，所述子请求为所述处理请求的首个子请求的情况下，所述子请求的请求地址为所述处理请求的请求地址；

所述子请求为所述处理请求的非首个子请求的情况下，所述子请求的请求地址基于所述处理请求的请求地址和已调度子请求的请求地址确定。

4.根据权利要求1所述的请求处理装置，其特征在于，所述请求处理模块用于：在所述子请求为非首个子请求的情况下，获取预设调度间隔，在所述子请求与上一已调度子请求之间的调度间隔满足所述预设调度间隔的情况下，调度所述子请求。

5.根据权利要求1所述的请求处理装置，其特征在于，所述装置还包括切片配置模块，与所述切片处理模块连接，用于配置每一通道对应的切片配置参数，所述切片配置参数包括预设数据阈值和预设调度间隔。

6.根据权利要求1所述的请求处理装置，其特征在于，所述切片处理模块的数量为多个，一个所述切片处理模块与一个通道连接。

7.一种芯片，其特征在于，包括如权利要求1-6任一所述的请求处理装置。

8.一种请求处理方法，其特征在于，包括：

接收多个通道中任一通道的处理请求，解析所述处理请求的请求数据量；

在所述处理请求的请求数据量超出预设数据阈值的情况下，对所述处理请求进行切片处理，得到所述处理请求的子请求；其中，每一所述通道的预设数据阈值根据所述通道的业务类型确定；

对多个通道分别对应的所述子请求或者所述处理请求进行轮询调度处理；

在所述轮询调度处理的过程中：接收各所述通道的读出数据量，基于每一通道的缓存空间的空间大小、写入数据量和所述读出数据量确定所述通道的数据处理状态；对任一通道的处理请求或子请求进行调度的过程中，若所述通道的数据处理状态不满足所述处理请求或所述子请求的处理条件，则对所述处理请求或所述子请求进行缓存，并在所述通道的下一调度轮次对所述通道的数据处理状态重新判定，直到所述通道的数据处理状态满足所述处理请求或所述子请求的处理条件，调度所述通道的处理请求或所述子请求。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求8所述的请求处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求8所述的请求处理方法。