CN111737016A - 一种面向云边融合系统的业务数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种面向云边融合系统的业务数据处理方法及装置。在执行上述方法时，首先采用预设的内存管理模块将Linux系统服务器分配的巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中，其次将接收到的目标业务数据对的逻辑地址依次进行分段映射转化和分页映射转化得到目标业务数据的逻辑地址对应的物理地址。最后将物理地址与网卡驱动进行绑定并通过绑定关系访问目标业务数据中的数据信息。如此，能够基于Linux系统的巨页机制加快内核的读取速度，使得应用程序通过物理地址与网卡驱动的绑定关系直接访问目标业务数据，避免目标业务数据的多次拷贝操作和协议处理。这样可以提高应用程序对目标业务数据处理的实时性。

Description

一种面向云边融合系统的业务数据处理方法及装置

技术领域

本发明涉及云计算、边缘计算、大数据处理技术领域，具体而言，涉及一种面向云边融合系统的业务数据处理方法及装置。

背景技术

目前基于Linux的应用软件实现业务数据包的收发时，通常基于操作系统提供的Socket接口实现。当应用软件接收到数据包时，应用软件的内核将数据包从网卡的接收缓冲区中拷贝到内核空间中，然后执行协议处理，再由内核将执行完协议处理的数据拷贝到应用软件对应的Socket接口上以实现数据包与外接的交互。整个过程需要经历多次数据包的拷贝操作和协议处理过程，会显著降低应用软件对数据包处理的实时性。

发明内容

为了改善上述问题，本发明提供了一种面向云边融合系统的业务数据处理方法及装置。

所述方案揭示一种面向云边融合系统的业务数据处理方法，应用于与Linux系统服务器通信的应用程序，所述方法包括：

向Linux系统服务器发送用于请求巨页内存的分配指令；

当Linux系统服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中；

接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；

通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；

将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息。

在优选的方案中，所述方法还包括：

检测是否存在多组待发送数据；

在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。

在优选的方案中，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中，包括：

获取Linux系统服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；

对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；

采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；

提取最小地址丢失率对应的寻址结果中的寻址路径；

按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。

在优选的方案中，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址，包括：

提取所述目标业务数据中的多个数据段地址；其中，所述数据段地址为基地址；

将每个数据段地址按照预设的时间间隔依次与所述逻辑地址进行拼接，得到所述逻辑地址对应的线性地址。

在优选的方案中，通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址，包括：

从所述巨页内存中读取页目录表和页表；

按照所述页目录表中的第一分割标识和所述页表中的第二分割标识将所述页表进行划分，得到多个子页表；

将所述线性地址分别映射至每个子页表中，得到在每个子页表中的映射地址；

获取所述网卡驱动的线程信息并提取所述线程信息中的多个指向信息；

按照每个指向信息中的地址优先级将每个映射地址进行连接，得到所述物理地址。

在优选的方案中，将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息，包括：

将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；

根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。

所述方案还揭示一种面向云边融合系统的业务数据处理装置，应用于与Linux系统服务器通信的应用程序，所述装置包括：

指令发送模块，用于向Linux系统服务器发送用于请求巨页内存的分配指令；

内存映射模块，用于当Linux系统服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中；

分段映射模块，用于接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；

分页映射模块，用于通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；

数据访问模块，用于将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息。

在优选的方案中，所述装置还包括数据并发模块，用于：

检测是否存在多组待发送数据；

在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。

在优选的方案中，所述内存映射模块，用于：

获取Linux系统服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；

对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；

采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；

提取最小地址丢失率对应的寻址结果中的寻址路径；

按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。

在优选的方案中，所述数据访问模块，用于：

将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；

根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。

上述方案具有如下的有益技术效果。

首先，采用预设的内存管理模块将Linux系统服务器分配的巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中。其次，将接收到的目标业务数据对的逻辑地址依次进行分段映射转化和分页映射转化，从而得到目标业务数据的逻辑地址对应的物理地址。然后，将物理地址与网卡驱动进行绑定并通过物理地址与网卡驱动的绑定关系访问目标业务数据中的数据信息。如此，能够基于Linux系统的巨页机制，加快内核的读取速度，使得应用程序能够独占巨页内存以防止巨页内存换出，进而通过物理地址与网卡驱动的绑定关系直接访问目标业务数据中的数据信息，避免目标业务数据的多次拷贝操作和协议处理。这样可以提高应用程序对目标业务数据处理的实时性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本公开揭示的一种面向云边融合系统的业务数据处理方法的步骤流程示意图。

图2为本公开揭示的一种面向云边融合系统的业务数据处理装置的模块框图。

图3为本公开揭示的一种应用程序所在的电子设备的硬件结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为改善上述问题，本发明实施例提供了一种面向云边融合系统的业务数据处理方法，如图1所示，为该方法的步骤流程图，该方法可以应用于与Linux系统服务器通信的应用程序。进一步地，该方法可以包括以下步骤S110-步骤S150所描述的内容。

步骤S110，向Linux系统服务器发送用于请求巨页内存的分配指令。

步骤S120，当Linux系统服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中。

步骤S130，接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址。

步骤S140，通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址。

步骤S150，将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息。

在应用上述步骤S110-步骤S150所描述的内容时，能够基于Linux系统的巨页机制，加快内核的读取速度，使得应用程序能够独占巨页内存以防止巨页内存换出，进而通过物理地址与网卡驱动的绑定关系直接访问目标业务数据中的数据信息，避免目标业务数据的多次拷贝操作和协议处理。这样可以提高应用程序对目标业务数据处理的实时性。

在上述基础上，为了提高应用程序的数据发送的实时性，在上述步骤S110-步骤S150的基础上，所述方法还可以包括以下步骤（1）和步骤（2）所描述的内容。

（1）检测是否存在多组待发送数据，若存在，则进入步骤（2）。

（2）采用预设的无锁缓冲机制将所述多组待发送数据进行并发。

在上述步骤（2）中，在内存管理模块中进行无锁Ring缓冲设计，这样，能够提高应用程序的数据并发性能，从而提高数据并发的实时性。

发明人在实施上述方案中发现，在将巨页内存映射到网卡驱动的过程中，可能出现地址丢失的现象，为改善上述问题，在上述步骤S120中，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中，具体可以包括以下子步骤S121-子步骤S125所描述的内容。

子步骤S121，获取Linux系统服务器的内核参数以及所述内核参数的协议字段。

在本实施例中，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数。

子步骤S122，对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果。

在本实施例中，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项。

子步骤S123，采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果。

在子步骤S123中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率。

子步骤S124，提取最小地址丢失率对应的寻址结果中的寻址路径。

子步骤S125，按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。

可以理解，通过上述子步骤S121-子步骤S125所描述的内容，能够根据地址丢失率进行寻址路径的提取，并按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。这样，能够将巨页内存的映射过程中的地址丢失现象最小化，从而确保巨页内存的映射准确性。

在一种可替换的实施方式中，步骤S130所描述的将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址的内容，具体可以包括以下子步骤S131和子步骤S132所描述的内容。

子步骤S131，提取所述目标业务数据中的多个数据段地址。

在本实施例中，所述数据段地址为基地址。

子步骤S132，将每个数据段地址按照预设的时间间隔依次与所述逻辑地址进行拼接，得到所述逻辑地址对应的线性地址。

在上述基础上，步骤S140所描述的通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址，具体可以包括以下子步骤S141-子步骤S145所描述的内容。

子步骤S141，从所述巨页内存中读取页目录表和页表。

子步骤S142，按照所述页目录表中的第一分割标识和所述页表中的第二分割标识将所述页表进行划分，得到多个子页表。

子步骤S143，将所述线性地址分别映射至每个子页表中，得到在每个子页表中的映射地址。

子步骤S144，获取所述网卡驱动的线程信息并提取所述线程信息中的多个指向信息。

子步骤S145，按照每个指向信息中的地址优先级将每个映射地址进行连接，得到所述物理地址。

可以理解，通过上述子步骤S141-子步骤S145所描述的方法，能够提高分页映射转化的速率，从而快速地得到线性地址对应的物理地址。

进一步地，为了准确访问目标业务数据中的数据信息，在步骤S160中，将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息，具体可以包括以下子步骤S161和子步骤S162所描述的内容。

子步骤S161，将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系。

子步骤S162，根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。

在具体实施时，通过上述子步骤S161-子步骤S162，能够根据相对地址准确地访问目标业务数据中的数据信息。

在上述基础上，请结合参阅图2，为本发明实施例所提供的面向云边融合系统的业务数据处理装置200的模块框图，所述业务数据处理装置200可以包括：指令发送模块210、内存映射模块220、分段映射模块230、分页映射模块240和数据访问模块250。

所述指令发送模块210用于向Linux系统服务器发送用于请求巨页内存的分配指令；

所述内存映射模块220用于当Linux系统服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中；

所述分段映射模块230用于接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；

所述分页映射模块240用于通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；

所述数据访问模块250用于将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息。

可选地，所述装置还包括数据并发模块260，用于：

检测是否存在多组待发送数据；

在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。

可选地，所述内存映射模块220用于：

获取Linux系统服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；

对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；

采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；

提取最小地址丢失率对应的寻址结果中的寻址路径；

按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。

可选地，所述数据访问模块250，用于：

将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；

根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。

在上述基础上，请结合参阅图3，为上述应用程序所在的电子设备300的硬件结构示意图，该电子设备300可以包括互相之间通信的处理器310和存储器320。其中，处理器300用于从存储器320中调取计算机程序，通过运行该计算机程序执行上述的业务数据处理方法。

综上，本发明实施例所提供的上述业务数据处理方法，首先，采用预设的内存管理模块将Linux系统服务器分配的巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中。其次，将接收到的目标业务数据对的逻辑地址依次进行分段映射转化和分页映射转化，从而得到目标业务数据的逻辑地址对应的物理地址。然后，将物理地址与网卡驱动进行绑定并通过物理地址与网卡驱动的绑定关系访问目标业务数据中的数据信息。

如此，能够基于Linux系统的巨页机制，加快内核的读取速度，使得应用程序能够独占巨页内存以防止巨页内存换出，进而通过物理地址与网卡驱动的绑定关系直接访问目标业务数据中的数据信息，避免目标业务数据的多次拷贝操作和协议处理。这样可以提高应用程序对目标业务数据处理的实时性。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种面向云边融合系统的业务数据处理方法，其特征在于，应用于与Linux系统服务器通信的应用程序，所述方法包括：

向Linux系统服务器发送用于请求巨页内存的分配指令；

当Linux系统服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中；

接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；

通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；

将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息；

其中，将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息，具体包括：

将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；

根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。

2.根据权利要求1所述的业务数据处理方法，其特征在于，所述方法还包括：

检测是否存在多组待发送数据；

在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。

3.根据权利要求1所述的业务数据处理方法，其特征在于，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中，包括：

获取Linux系统服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；

对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；

采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；

提取最小地址丢失率对应的寻址结果中的寻址路径；

按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。

4.根据权利要求1所述的业务数据处理方法，其特征在于，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址，包括：

提取所述目标业务数据中的多个数据段地址；其中，所述数据段地址为基地址；

将每个数据段地址按照预设的时间间隔依次与所述逻辑地址进行拼接，得到所述逻辑地址对应的线性地址。

5.根据权利要求1所述的业务数据处理方法，其特征在于，通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址，包括：

从所述巨页内存中读取页目录表和页表；

按照所述页目录表中的第一分割标识和所述页表中的第二分割标识将所述页表进行划分，得到多个子页表；

将所述线性地址分别映射至每个子页表中，得到在每个子页表中的映射地址；

获取所述网卡驱动的线程信息并提取所述线程信息中的多个指向信息；

按照每个指向信息中的地址优先级将每个映射地址进行连接，得到所述物理地址。

6.一种面向云边融合系统的业务数据处理装置，其特征在于，应用于与Linux系统服务器通信的应用程序，所述装置包括：

指令发送模块，用于向Linux系统服务器发送用于请求巨页内存的分配指令；

内存映射模块，用于当Linux系统服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux系统服务器的内核映射到Linux系统服务器的网卡驱动中；

分段映射模块，用于接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；

分页映射模块，用于通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；

数据访问模块，用于将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息；

其中，所述数据访问模块，具体用于：

将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；

根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。

7.根据权利要求6所述的业务数据处理装置，其特征在于，所述装置还包括数据并发模块，用于：

检测是否存在多组待发送数据；

在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。

8.根据权利要求6所述的业务数据处理装置，其特征在于，所述内存映射模块，用于：

获取Linux系统服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；

对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；

采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；

提取最小地址丢失率对应的寻址结果中的寻址路径；

按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。

Images