CN110865868A - 一种低延迟控制方法、装置及其设备 - Google Patents

Abstract

本发明公开了一种低延迟控制方法、装置及其设备，其中方法包括：通过调用用户态的API接口进行UIO设备的注册，将UIO设备注册至处理器的内核态，以构建用户态和网卡之间的网络数据包传输架构；用户态读取UIO设备的注册信息并将注册信息映射至用户态的进程空间；用户态根据轮询驱动模式程序轮询网卡；接收网卡发送的网络数据包并进行处理与校验。通过注册UIO设备以构建网络数据宝传输架构，以在用户态直接读取网卡发送的网络数据包，从而快速对网络数据包进行处理，同时轮询处理网络数据包发送与接收，减少终端带来数据驱动的延迟，从而提高处理器做数据处理的效率。

Description

一种低延迟控制方法、装置及其设备

技术领域

本发明涉及数据存储的技术领域，尤其是一种低延迟控制方法、装置及其设备。

背景技术

随着基于国产处理器的服务器系统应用于各种云计算环境，国产处理器技术在通用技术市场的应用能力越来越重要。目前，国产处理器在技术支持能力总体上已经具有一定基础，但是与国际主流同类芯片技术还有不小的差距。

相比于X86处理器较为完善的生态环境，国产处理器对应用支持还存在明显不足，特别是如何通过技术优化，在国产芯片搭建分布式存储系统，能够为计算虚拟化提供稳定低IO延迟的存储系统服务支撑，是快速推动国产处理器平台形成良性循环的应用生态关键手段。

申威处理器是我国江南计算机所进行研制，由其为计算基础的神威太湖之光超级计算机曾经多年蝉联全球最快的超级计算机。在传统的IO模型中，应用程序提交读写请求后睡眠，一旦IO完成，中断就会将其唤醒，频繁的中断和唤醒带来大量的处理器损耗开销，在机械式硬盘时代，中断开销只占整个IO时间的一个很小的百分比，因此给系统效率影响微乎其微。然而，在固态设备的时代，持续引入更低延迟的持久化设备，中断开销成为了整个IO时间中不能被忽视的部分，这个问题在更低延迟的设备上只会越来越严重。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种低延迟控制方法，能够提高端口处理效率且降低端口的延迟。

为此，本发明的第二个目的是提供一种低延迟控制系统。

本发明所采用的技术方案是：

第一方面，本发明提供一种低延迟控制方法，包括：

通过调用用户态的API接口进行UIO设备的注册，将UIO设备注册至处理器的内核态，以构建用户态和网卡之间的网络数据包传输架构；

所述用户态读取所述UIO设备的注册信息并将所述注册信息映射至所述用户态的进程空间；

所述用户态根据轮询驱动模式程序轮询所述网卡；

接收所述网卡发送的网络数据包并进行处理与校验。

进一步地，所述UIO设备的注册过程具体为：

将所述UIO设备的结构体信息进行填充，所述结构体信息包括：信息名称、内存大小、物理地址、偏移地址；

调用注册UIO设备函数将所述UIO设备注册到所述处理器内核态中。

进一步地，轮询驱动模式程序的轮询过程具体如下：

在所述用户态调用所述轮询驱动模式程序；

根据所述轮询驱动模式程序提供应用编程接口，配置所述UIO设备和所述网卡之间的传输队列；

根据轮询驱动模式程序控制轮询逻辑核心，通过所述应用编程接口配置轮询处理逻辑核心的一个或多个端口，以轮询所述网络数据包的发送和接收；

处理逻辑核心处理所述网络数据包，并发送至所述网卡的存储空间。

进一步地，所述网络数据包的处理和校验具体过程为：

所述用户态利用加速网络协议栈以进行TCP/IP的方式接收所述网络数据包；

按照自有协议规范解析所述网络数据包，以进行所述网络数据包的处理和校验。

进一步地，所述校验包括：请求身份校验和/或CRC校验，所述处理包括：压缩处理和/或解密处理。

进一步地，上述方法适用于申威处理器。

第二方面，本发明提供一种低延迟控制装置，包括：

注册模块，用于通过调用API接口进行UIO设备的注册并将所述UIO设备注册到处理器的内核态；

读取映射模块，用于读取UIO设备的注册信息并将所述注册信息映射至所述用户态的进程空间；

轮询模块，用于根据所述轮询驱动模式程序轮询网卡；

处理模块，用于接收所述网卡发送的网络数据包并进行处理与校验。

进一步地，所述注册模块包括：

填充单元，用于将所述UIO设备的结构体信息进行填充；

调用单元，用于调用注册UIO设备函数以将所述UIO设备到处理器内核中。

第三方面，本发明提供一种分布式块存储低延迟控制设备，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至5任一项所述的方法。

本发明的有益效果是：

本发明通过调用API接口注册UIO设备以构建用户态和网卡之间的网络数据包传输架构，同时对网络数据包的发送与接收进行轮询，然后在用户态绕过内核态直接接收网卡发送的网络数据包进行处理的技术手段，克服现有技术中存在终端导致整个设备处理程序延迟的技术问题，实现了减少处理器的额外损耗与消耗，提升设备IO处理的效率。

附图说明

图1是本发明一种低延迟控制装置实施例的模块框图；

图2是本发明一种低延迟控制方法实施例的流程图。

附图标记：10、注册模块；11、填充单元；12、调用单元；20、读取映射模块；30、轮询模块；31、轮询设置单元；32、配置单元；33、轮询逻辑核心；34、处理逻辑核心；40、处理模块；41、接收单元；42、解析单元；43、处理单元。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一：参照图1，本发明实施例公开了一种低延迟控制装置，包括注册模块10、读取映射模块20、轮询模块30以及处理模块40，注册模块10用于调用API接口进行UIO设备的注册并将UIO设备注册到处理器的内核态，通过UIO设备注册到处理器内核态能够建构用户态和网卡之间的网络数据包数据传输架构。UIO设备为用户态驱动，UIO(Userspace I/O)是运行在用户态的I/O技术。Linux系统中一般的驱动设备都是运行在内核态，而在用户态用于应用程序调用即可，所以注册了UIO设备能够在用户态进行网卡的驱动。读取映射模块20用于读出UIO设备的注册信息并映射至用户态的进程空间；轮询模块30用于根据轮询驱动模式程序轮询网卡；处理模块40用于接收网卡发送的网络数据包并进行处理与检验，且将处理后的网络数据包发送至网卡的存储空间。通过注册模块10注册UIO设备以构建网卡和用户态的网络数据包传输框架，读取映射模块20将UIO设备的注册信息直接读出并映射至用户态的进程空间以实现用户态直接操作网卡的存储空间，以便于直接接收网卡发送的数据包。

注册模块10包括填充单元11以及调用单元12，填充单元11将UIO设备的结构体信息进行填充，其中UIO结构体信息包括：信息名称、内存大小、物理地址、偏移地址，其中信息名称为UIO设备的名称，内存大小为UIO设备的内存大小，物理地址为UIO设备的物理地址，偏移地址为UIO设备的偏移地址。填充单元11填充UIO设备的结构体信息完毕后，调用单元12调用注册UIO设备函数以将UIO设备注册到处理器内核中，其中注册UIO设备注册函数为uio_register_device，功能为调用UIO设备的结构体信息中注册的handler中断处理函数，对设备的中断事件计数器增一并通知各读进程，有数据可读。通过注册UIO设备函数以完成UIO设备注册到处理器。UIO设备注册后会将UIO设备的注册信息存储在内核态内，而存储在内核态的UIO设备的注册信息通过读取映射模块20能够直接读出并映射至用户态的进程空间，则用户态可以读取网卡的内存空间，从而绕过内核态接收到网卡发送的数据包，节省数据包通过内核态处理后再通过用户态处理，加快了数据处理的效率。

轮询模块30包括：轮询设置单元31、配置单元32、轮询逻辑核心33以及处理逻辑核心34，轮询设置单元31用于在用户态设置轮询驱动模式程序，配置单元32用于根据轮询驱动模式程序提供应用编程接口连接网卡以便于网卡发送的网络数据包通过应用编程接口发送至用户态，其中配置单元为获取应用编程接口连接网卡并调用轮询驱动模式程序，轮询逻辑核心33根据轮询驱动模式程序对一个或多个网卡端口和处理逻辑核心端口进行轮询，处理逻辑核心34用于接收轮询逻辑核心33发送来自网卡端口发送的网络数据包，处理逻辑核心34即对网络数据包进行处理并将处理后的网络数据包传输至网卡的存储空间。轮询处理核心进行轮询的原理为把来自网卡的请求轮流分配给处理逻辑核心34，当轮询逻辑核心33完成所有端口的轮询后重新开始循环以检测处理逻辑核心34有无处理完成网络数据包，若网络数据包处理完后轮询逻辑核心33将处理逻辑核心34处理后的网络数据包发送至网卡的存储空间，实现轮询驱动模式代替原来的中断模式，以消除中断地带来的延迟，以提高数据驱动与处理的效率。

处理模块40包括：接收单元41、解析单元42以及处理单元43，接收单元41在用户态利用加速网络协议栈以TCP/IP方式接收网卡发送的网络数据包，处理模块40根据自有协议规范解析网络数据包，其中，自由协议规范为分布式存储定义的方式，根据分布式存储定义的方式解析网络数据包，处理单元43对解析后的网络数据包进行校验和处理，其中校验包括：请求身份校验和/或CRC校验，处理包括：压缩处理和/或解密处理，从而在用户态直接接收网卡发送的网络数据包并进行解析、校验、处理，以完成网络数据包的处理后再发送至网卡的存储空间，从而是网络数据包处理快速、减少整体的延迟。

综上，通过对UIO设备进行注册以构建网卡和用户态的数据传输架构，以便于绕过内核态在用户态直接接收网卡发送的网络数据包。然后再对网络数据包进行处理，同时在网络数据包开始在用户态接收与处理时需要根据轮询驱动模式程序进行轮询，以逐步等待数据有无完成，并替代中断带来的延迟，以便于轮询到用户态接收到网络数据包或者处理完网络数据包都能马上进行数据包的发送和接收，以快速网络数据包的驱动。

实施例二：参照图2，本发明公开了一种低延迟控制方法，低延迟控制方法适用于申威处理器，一种低延迟控制方法，包括：

通过调用用户态的API接口进行UIO设备的注册，将UIO设备注册至处理器的内核态，以构建用户态和网卡之间的网络数据包传输架构；

其中UIO设备在内核态的驱动所做的工作主要有分配和记录设备需要的资源和注册UIO设备，所以通过在内核态注册UIO设备以建构网卡和用户态的网络数据包传输架构，从而实现网络数据包驱动在用户态实现，且以绕过内核心在用户态进行驱动，在用户态驱动调试简易。

UIO设备的注册过程具体为：

将UIO设备的结构体信息进行填充，结构体信息包括：信息名称、内存大小、物理地址、偏移地址，其中信息名称为UIO设备的名称信息，内存大小为UIO设备的内存，物理地址和、偏移地址为UIO设备的物理地址和偏移地址；

调用注册UIO设备函数将UIO设备注册到处理器内核态中，其中注册UIO设备函数，为调用UIO设备的结构体信息中的注册的handler中断处理函数，对设备的中断事件计数器增一并通知各读写进程，有数据可读，从而完成UIO设备的注册。

通过对UIO设备的注册信息进行填充以完成UIO设备注册在内核态，从而通过UIO设备包含的用户态驱动程序可以构建用户态和网卡之间的网络数据包传输架构。

用户态读取UIO设备的注册信息并将注册信息映射至用户态的进程空间；

当UIO设备是UIO0那么映射的UIO设备的内注册信息出现在网卡的内存空间，所以在用户态对注册信息的读写就是对网卡内存的读写，从而构建用户态于网卡的内存空间的直接读写架构。在用户态直接读取UIO设备的注册信息并映射至用户态的进程空间，UIO设备注册在内核态后，通过UIO设备包含的用户态驱动程序可以在用户态直接将内核态内存储的数据直接读出并映射至用户态的进程空间，从而能够通过用户态直接读取网卡发送的数据包，节省了内核态的处理从而提高了网络数据包驱动的效率。

用户态根据轮询驱动模式程序轮询网卡；

轮询驱动模式程序的轮询过程具体如下：

在用户态调用轮询驱动模式程序，通过申威处理器的CORE绑定技术执行轮询驱动模式程序，且一块网卡对应于一个轮询驱动模式程序并绑定一个CORE，以实现通过轮询驱动模式程序代替中断程序从而实现无中断的快速网络数据包的发送和接收；

根据轮询驱动模式程序提供应用编程接口，配置UIO设备和网卡之间的传输队列；

根据轮询驱动模式程序控制轮询逻辑核心，通过应用编程接口配置轮询处理逻辑核心的一个或多个端口，以轮询网络数据包的发送和接收；

通过配置应用编程接口给UIO设备，以便于通过应用编程接口轮询用户态驱动程序下处理的网络数据包的发送和接收，轮询驱动模式程序主要是让轮询逻辑核心以一定周期按次序查询网卡，以检测网卡有无网络数据包发送或接收，若有则进行对应的发送或接收操作，若无则处理器的发送和接收完成，轮询逻辑核心接着查询下一个外设，而处理逻辑核心保持接收轮询逻辑核心发送的网络数据包并进行处理，处理逻辑核心将处理后的网络数据包发送回网卡的存储空间。通过轮询逻辑核心的设置以代替传统的终端模式，从而提高申威处理器处理数据的效率。

处理逻辑核心处理网络数据包，并发送至网卡的存储空间。

接收网卡发送的网络数据包并进行处理与校验。

网络数据包的处理和校验具体过程为：

用户态利用加速网络协议栈以进行TCP/IP的方式接收网络数据包；

按照自有协议规范解析网络数据包，以进行网络数据包的处理和校验，校验包括：请求身份校验与CRC校验，处理包括压缩处理与解密处理。申威处理器接收到网络数据包后以零拷贝方式将网络数据包进行解析，且中根据自由协议规范也即分布式存储定义的方法去对网络数据包进行解析，解析后的网络数据包进行校验与处理，且处理后的网络数据包会以零拷贝方式构建先进先出的无锁队列，且网络数据包出队时拷贝一次后释放到网卡的存储空间，从而完成网络数据包的快速处理。

综上，通过注册UIO设备在申威处理器的内核态上以构建网卡与用户态的网络数据包传输架构，然后在用户态能够直接接收来自于网卡的网络数据包，同时采用轮询处理模式以轮询网络数据包的发送和接收，从而代替中断模式带来的网络数据包传输与处理的延迟，从而提高网络数据包的快速处理，进而提高整个申威处理器的处理效率。

实施例三：本发明是实施例公开了一种分布式块存储低延迟控制设备，包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器；

其中，处理器通过调用存储器中存储的计算机程序，用于执行一种低延迟控制方法。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种低延迟控制方法，其特征在于，包括：

通过调用用户态的API接口进行UIO设备的注册，将UIO设备注册至处理器的内核态，以构建用户态和网卡之间的网络数据包传输架构；

所述用户态读取所述UIO设备的注册信息并将所述注册信息映射至所述用户态的进程空间；

所述用户态根据轮询驱动模式程序轮询所述网卡；

接收所述网卡发送的网络数据包并进行处理与校验。

2.根据权利要求1所述的一种低延迟控制方法，其特征在于，所述UIO设备的注册过程具体为：

将所述UIO设备的结构体信息进行填充，所述结构体信息包括：信息名称、内存大小、物理地址、偏移地址；

调用注册UIO设备函数将所述UIO设备注册到所述处理器内核态中。

3.根据权利要求1任意一项所述的一种低延迟控制方法，其特征在于，轮询驱动模式程序的轮询过程具体如下：

在所述用户态调用轮询驱动模式程序；

根据所述轮询驱动模式程序提供应用编程接口，配置所述UIO设备和所述网卡之间的传输队列；

根据轮询驱动模式程序控制轮询逻辑核心，通过所述应用编程接口配置轮询处理逻辑核心的一个或多个端口，以轮询所述网络数据包的发送和接收；

处理逻辑核心处理所述网络数据包，并发送至所述网卡的存储空间。

4.根据权利要求1任意一项所述的一种低延迟控制方法，其特征在于，所述网络数据包的处理和校验具体过程为：

所述用户态利用加速网络协议栈以进行TCP/IP的方式接收所述网络数据包；

按照自有协议规范解析所述网络数据包，以进行所述网络数据包的处理和校验。

5.根据权利要求4所述的一种低延迟控制方法，其特征在于，所述校验包括：请求身份校验和/或CRC校验，所述处理包括：压缩处理和/或解密处理。

6.根据权利要求1至5任一项所述的一种低延迟控制方法，其特征在于，适用于申威处理器。

7.一种低延迟控制装置，其特征在于，包括：

注册模块，用于通过调用API接口进行UIO设备的注册并将所述UIO设备注册到处理器的内核态；

读取映射模块，用于读取UIO设备的注册信息并将所述注册信息映射至用户态的进程空间；

轮询模块，用于根据轮询驱动模式程序轮询网卡；

处理模块，用于接收所述网卡发送的网络数据包并进行处理与校验。

8.根据权利要求7所述的一种低延迟控制装置，其特征在于，所述注册模块包括：

填充单元，用于将所述UIO设备的结构体信息进行填充；

调用单元，用于调用注册UIO设备函数以将所述UIO设备注册到处理器内核中。

9.一种分布式块存储低延迟控制设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至5任一项所述的方法。

Images