CN115118675A - 基于智能网卡设备实现的数据流传输加速方法及其系统 - Google Patents

基于智能网卡设备实现的数据流传输加速方法及其系统 Download PDF

Info

Publication number
CN115118675A
CN115118675A CN202210688209.6A CN202210688209A CN115118675A CN 115118675 A CN115118675 A CN 115118675A CN 202210688209 A CN202210688209 A CN 202210688209A CN 115118675 A CN115118675 A CN 115118675A
Authority
CN
China
Prior art keywords
feature
vector
matrix
data
preset time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210688209.6A
Other languages
English (en)
Other versions
CN115118675B (zh
Inventor
孙宏涛
王捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinosure Software Technology Beijing Co ltd
Original Assignee
Sinosure Software Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinosure Software Technology Beijing Co ltd filed Critical Sinosure Software Technology Beijing Co ltd
Priority to CN202210688209.6A priority Critical patent/CN115118675B/zh
Publication of CN115118675A publication Critical patent/CN115118675A/zh
Application granted granted Critical
Publication of CN115118675B publication Critical patent/CN115118675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/26Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/263Rate modification at the source after receiving feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了一种基于智能网卡设备实现的数据流传输加速方法及其系统,其通过包含一维卷积层的时序编码器分别对预定时间段内的多个预定时间点的待传输数据量以及用户空间接收到的数据量进行编码以得到第一特征向量和第二特征向量,通过作为过滤器的卷积神经网络对获取预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量进行编码以得到计算资源特征矩阵,然后将第一特征向量与第二特征向量之间的差分特征向量的高维特征分布映射到计算资源特征矩阵的高维特征空间以得到分类特征向量,并通过分类器得到用于表示分配给智能网卡的数据传输比例的概率值,用以实现提高数据流传输速度。

Description

基于智能网卡设备实现的数据流传输加速方法及其系统
技术领域
本申请涉及网络数据传输技术领域,且更为具体地,涉及一种基于智能网卡设备实现的数据流传输加速方法及其系统。
背景技术
现有的大部分网络数据传输都是在服务器端完成的,这严重占用了服务器端的系统资源且传输性能较差。例如,在Linux架构的系统中,linux内核的网络驱动会在中断内收集数据包并保存在内核空间的内存中,网络驱动会将数据包推给内核的协议栈,数据包在内核的协议栈内一层层的封装解析处理,最后处理过的数据再从内核空间拷贝到用户空间(User Space),找到所需要应用的软件之中。
在上述数据传输方案中,中断处理机制中会出现同一数据拆分成上下文的情况,需要进行2次的上下文转换标注,对系统系性能有影响。并且,最后处理好的数据包需要从内核空间内存拷贝到用户空间内存,这个过程会产生延时和系统开销,量级过大会导致系统性能降低。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于智能网卡设备实现的数据流传输加速系统、方法和电子设备,其通过包含一维卷积层的时序编码器分别对预定时间段内的多个预定时间点的待传输数据量以及用户空间接收到的数据量进行编码以得到第一特征向量和第二特征向量,通过作为过滤器的卷积神经网络对获取预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量进行编码以得到计算资源特征矩阵,然后将第一特征向量与第二特征向量之间的差分特征向量的高维特征分布映射到计算资源特征矩阵的高维特征空间以得到分类特征向量,并通过分类器得到用于表示分配给智能网卡的数据传输比例的概率值,用以实现提高数据流传输速度。
根据本申请的一个方面,提供了一种基于智能网卡设备实现的数据流传输加速方法,其包括:
获取预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量;
获取所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量;
将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量;
计算所述第一特征向量与所述第二特征向量之间的差分特征向量;
将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量,并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵;
将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵;
分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵;
将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘以将所述校正后差分特征向量的高维特征分布映射到所述校正后计算资源特征矩阵的高维特征空间以得到分类特征向量;以及
将所述特征向量通过分类器以得到概率值,所述概率值用于表示分配给智能网卡的数据传输比例。
在上述基于智能网卡设备实现的数据流传输加速方法中,将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量,包括:
将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别按照时间维度排列为传输数据向量和接收数据向量;
使用所述时序编码器的全连接层对所述传输数据向量和所述接收数据向量进行全连接编码以提取所述传输数据向量中各个位置的特征值的高维隐含特征和所述接收数据向量中各个位置的特征值的高维隐含特征;以及
使用所述时序编码器的一维卷积层分别对所述传输数据向量和所述接收数据向量进行一维卷积编码以提取所述传输数据向量中各个位置的特征值间的关联的高维隐含关联特征和所述接收数据向量中各个位置的特征值间的关联的高维隐含关联特征。
在上述基于智能网卡设备实现的数据流传输加速方法中,计算所述第一特征向量与所述第二特征向量之间的差分特征向量,包括:
计算所述所述第一特征向量与所述第二特征向量之间的按位置差分以得到所述差分特征向量。
在上述基于智能网卡设备实现的数据流传输加速方法中,将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵,包括:
使用所述作为过滤器的卷积神经网络的各层在层的正向传递中分别对输入数据进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为过滤器的卷积神经网络的最后一层输出所述计算资源特征矩阵,其中,所述作为过滤器的卷积神经网络的第一层的输入为所述计算资源关联矩阵。
在上述基于智能网卡设备实现的数据流传输加速方法中,分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵,包括:
基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值,对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后差分特征向量;以及
基于以所述计算资源特征矩阵中各个位置的特征值为幂的自然指数函数值与所述计算资源特征矩阵中该位置的特征值的倒数之间的差值,对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵。
在上述基于智能网卡设备实现的数据流传输加速方法中,基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值,对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后差分特征向量,包括:以如下公式来计算对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后的差分特征向量,所述公式为:
Figure BDA0003700535680000041
其中vi是所述差分特征向量的每个位置的特征值,v′i为所述校正后的差分特征向量的每个位置的特征值。
在上述基于智能网卡设备实现的数据流传输加速方法中,基于以所述计算资源特征矩阵中各个位置的特征值为幂的自然指数函数值与所述计算资源特征矩阵中该位置的特征值的倒数之间的差值,对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵,包括:以如下公式来计算对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵,所述公式为:
Figure BDA0003700535680000042
其中mj,k是所述计算资源特征矩阵的每个位置的特征值,mj,k′为所述校正后的计算资源特征矩阵的每个位置的特征值。
在上述基于智能网卡设备实现的数据流传输加速方法中,将所述分类特征向量通过分类器以得到概率值,所述概率值用于表示分配给智能网卡的数据传输比例,包括:
使用所述分类器以如下公式对所述分类特征向量进行处理以生成概率值,其中,所述公式为:softmax{(Wn,Bn):…:(W1,B1)|X},其中X表示所述分类特征向量,W1至Wn为各层全连接层的权重矩阵,b1至bn表示各层全连接层的偏置矩阵。
另一方面,本申请提供一种基于智能网卡设备实现的数据流传输加速系统,包括:
数据量获取模块,用于获取预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量;
剩余量获取模块,用于获取所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量;
时序编码模块,用于将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量;
差分模块,用于计算所述第一特征向量与所述第二特征向量之间的差分特征向量;
计算资源关联模块,用于将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量,并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵;
卷积编码模块,用于将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵;
校正模块,用于分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵;
分类特征向量计算模块,用于将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘以将所述校正后差分特征向量的高维特征分布映射到所述校正后计算资源特征矩阵的高维特征空间以得到分类特征向量;以及
分类模块,用于将所述特征向量通过分类器以得到概率值,所述概率值用于表示分配给智能网卡的数据传输比例。
根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于智能网卡设备实现的数据流传输加速方法。
根据本申请的又一方面,提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于智能网卡设备实现的数据流传输加速方法。
与现有技术相比,本申请提供的基于智能网卡设备实现的数据流传输加速方法,其通过包含一维卷积层的时序编码器分别对预定时间段内的多个预定时间点的待传输数据量以及用户空间接收到的数据量进行编码以得到第一特征向量和第二特征向量,通过作为过滤器的卷积神经网络对获取预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量进行编码以得到计算资源特征矩阵,然后将第一特征向量与第二特征向量之间的差分特征向量的高维特征分布映射到计算资源特征矩阵的高维特征空间以得到分类特征向量,并通过分类器得到用于表示分配给智能网卡的数据传输比例的概率值,用以实现提高数据流传输速度。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于智能网卡设备实现的数据流传输加速系统的一个应用场景图。
图2图示了根据本申请实施例的基于智能网卡设备实现的数据流传输加速方法的示意图;
图3图示了根据本申请实施例的基于智能网卡设备实现的数据流传输加速方法的流程图;
图4图示了根据本申请实施例的基于智能网卡设备实现的数据流传输加速系统的结构框图;
图5图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述:
为了解决传统数据传输方案的缺陷,近年来出现了一种基于智能网卡的数据传递方案。相较于通过服务器端的数据传递,在基于智能网卡的数据传输方案中,智能网卡驱动内的DPDK接口可以直接将数据包运行在用户空间内的内存下,利用网卡对服务器计算资源进行轮巡的方式持续接收数据包,不采用传统的中断收集方式避免了中断导致的数据包上下文切换,数据包利用网卡直接DMA(Direct Memory Access,直接存储器访问)到用户空间侧,也避免了从内核到用户空间之间的内存拷贝过程,节省了Linux内核协议栈的开销,同时也降低了传输延时,大大提升整体传输性能。
虽然利用智能网卡可以加快数据传输与处理,但是,当待传输和处理的数据量过大时,光凭借智能网卡的计算资源无法满足传输的实时性要求,而传统的Linux内核下的数据传输和处理虽然相较于智能网卡模式会降低系统性能,但如果将其完全闲置是对Linux内核资源的浪费。
因此,在本申请中,提供一种数据传输方式,其能够基于待传输数据的情况来分配确定适当的数据传递比例,即,将一部分数据通过智能网卡,而另一部分通过Linux内核,通过上述进程的协同处理来提高数据流传输的实时性。
相应地,在本申请的技术方案中,考虑到在分配智能网卡和Linux内核资源的数据传输比例时,不仅要考虑待传输数据量的实时情况,而且还需要考虑智能网卡和Linux内核资源的实时被占用情况。具体到该技术方案中,如果待传输数据的数据量小,则可以优先考虑智能网卡来传输,而当数据量增大时,则需要基于智能网卡和Linux内核资源的实时被占用情况来确定适当的数据传输分配比例,而在实际计算机工作过程中,Linux内核资源还可能其他计算任务所占用,而智能网卡在数据传输时,还会轮巡Linux内核资源,这就使得传输数据的分配比例的确定变得复杂。
近年来,目前,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为数据传输的比例分配提供了新的解决思路和方案。
具体地,在本申请的技术方案中,首先获取预定时间段内多个预定时间点的待传输数据量以及所述多个预定时间点的用户空间接收到的数据量,且获取所述多个预定时间点的智能网卡的计算资源的第一剩余量和Linux内核资源的第二剩余量。
然后,使用包含一维卷积层的时序编码器分别对所述预定时间段内多个预定时间点的待传输数据量以及所述多个预定时间点的用户空间接收到的数据量进行时序维度上的关联编码以得到第一特征向量和第二特征向量。并计算所述第一特征向量和所述第二特征向量之间的差分以得到差分特征向量。应可以理解,在本申请技术方案中,所述第一特征向量用于表示待传输数据量在时间维度上的高维特征关联分布,而所述第一特征向量用于表示用户空间接收到的数据量在时间维度上的高维特征关联分布,因此,所述第一特征向量和所述第二特征向量的差分特征向量用于表示在时序维度上待通过智能网卡和Linux内核资源传输的数据量的高维特征分布表示。
接着,以适当的方式对智能网卡的计算资源和Linux内核资源进行编码。具体地,首先将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量,并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵。这里,所述计算资源关联矩阵中各个位置的特征值为智能网卡的剩余计算资源和Linux内核资源的剩余量在时间维度上的关联表示。
接着,使用作为过滤器的卷积神经网络对所述计算资源关联矩阵进行显式空间编码以得到计算资源特征矩阵。应可以理解,所述计算资源特征矩阵用于表示智能网卡和Linux内核资源的计算资源的基于全局的局部关联特征表示。这样,在后续确定数据传输分配比例时,能够基于智能网卡和Linux内核资源的计算资源的整体部分情况来确认,以使得数据传输分配比例具有更高的分配智能且分配自适应性。
接着,通过将所述差分特征向量与所述计算计算资源特征矩阵进行相乘就可以将通过智能网卡和Linux内核资源传输的数据量的高维特征分布表示映射到所述计算计算资源特征矩阵的高维特征空间中以得到分类特征向量。然后,通过分类器就所述分类特征向量进行分类就可以得到一个概率值,其中,该概率值用于表示通过智能网卡传输的数据比例。
然而,在将所述差分特征向量与所述计算资源特征矩阵进行矩阵相乘以得到分类特征向量时,由于差分特征向量表达数据量的时序关联差分特征,而计算资源特征矩阵表达资源的时域内跨时间点关联特性进一步的关联特征,其在数据关联性的阶数上与差分特征向量并不平衡。
因此,在对所述差分特征向量与所述计算资源特征矩阵进行矩阵相乘之前,进一步对其进行修正如下:
Figure BDA0003700535680000091
Figure BDA0003700535680000092
其中vi是所述差分特征向量的每个位置的特征值,且mj,k是计算资源特征矩阵的每个位置的特征值。
这里,对于所述差分特征向量与所述计算资源特征矩阵在数据关联性的阶数上的不均衡,本申请的申请人发现其会导致在分类目标域内的拟合程度不同,因此如果其中之一正常拟合,则另一个会发生过拟合或者欠拟合。因此,通过以上修正,通过对特征值及其所属的类条件进行基于规则的结构化理解来进行特征的边界约束合成,以减轻特征值集合在分类目标域内的决策区域的碎片化,并获得稳健的类边界。这样,在将所述差分特征向量与所述计算资源特征矩阵进行矩阵相乘得到的分类特征向量输入分类器之后,就可以通过避免拟合缺陷来提高分类性能。
基于此,本申请提出了一种基于智能网卡设备实现的数据流传输加速方法和系统,其通过包含一维卷积层的时序编码器分别对预定时间段内的多个预定时间点的待传输数据量以及用户空间接收到的数据量进行编码以得到第一特征向量和第二特征向量,通过作为过滤器的卷积神经网络对获取预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量进行编码以得到计算资源特征矩阵,然后将第一特征向量与第二特征向量之间的差分特征向量的高维特征分布映射到计算资源特征矩阵的高维特征空间以得到分类特征向量,并通过分类器得到用于表示分配给智能网卡的数据传输比例的概率值,用以实现提高数据流传输速度。
本申请提供的一种基于智能网卡设备实现的数据流传输加速方法能够基于待传输数据的情况来分配确定适当的数据传递比例,即,将一部分数据通过智能网卡,而另一部分通过Linux内核,通过上述进程的协同处理来提高数据流传输的实时性。如图1所示,在本申请的一个应用场景中,首先,通过获取预定时间段内的多个预定时间点的待传输数据量(如图1中的B)以及所述预定时间段内的多个预定时间点的用户空间(如图1中的Q)接收到的数据量,以及获取所述预定时间段内的多个预定时间点的智能网卡(如图1中的M)的计算资源的多个第一剩余量和服务器内核资源(如图1中的L)的多个第二剩余量,然后,将获取到的待传输数据量、用户空间接收到的数据量、智能网卡的计算资源的多个第一剩余量以及服务器内核资源的多个第二剩余量输入至部署有基于智能网卡设备实现的数据流传输加速算法的服务器(如图1中的S)中,其中,所述服务器能够以基于智能网卡设备实现的数据流传输加速算法对获取到的待传输数据量、用户空间接收到的数据量、智能网卡的计算资源的多个第一剩余量以及服务器内核资源的多个第二剩余量进行处理,以输出用于表示分配给智能网卡的数据传输比例的概率值。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2图示了根据本申请实施例的基于智能网卡设备实现的数据流传输加速方法的示意图。
如图2和图3所示,根据本申请实施例的基于智能网卡设备实现的数据流传输加速方法,包括:。
S101、获取预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量。
在本实施例中,如果待传输数据的数据量小(如待传输数据量小于预设数据量等),则可以优先考虑智能网卡来传输,而当数据量增大(如待传输数据量大于或等于预设数据量等)时,则需要确定适当的数据传输分配比例,通过上述进程的协同处理来提高数据流传输的实时性。而在实际计算机工作过程中,Linux内核资源还可能其他计算任务所占用,而智能网卡在数据传输时,还会轮巡Linux内核资源,这就使得传输数据的分配比例的确定变得复杂。因此,考虑到在分配智能网卡和Linux内核资源的数据传输比例时,不仅要考虑待传输数据量的实时情况,而且还需要考虑智能网卡和Linux内核资源的实时被占用情况。在步骤S101中,对预定时间段内的多个预定时间点的待传输数据量以及用户空间接收到的数据量进行采集,以表示待传输数据量的实时情况。
S102、获取所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量。
进一步地,在步骤S102中,对预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量进行采集,以表示智能网卡被实时占用情况,以及对预定时间段内的多个预定时间点的服务器内核资源(即Linux内核资源)的多个第二剩余量进行采集,以表示服务器内核资源被实时占用情况。
S103、将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量。
也就是说,将所述预定时间段内的多个预定时间点的待传输数据量通过包含一维卷积层的时序编码器进行编码以得到第一特征向量,将所述预定时间段内的多个预定时间点的用户空间接收到的数据量通过包含一维卷积层的时序编码器进行编码以得到第二特征向量。
应可以理解,在本申请技术方案中,所述第一特征向量用于表示待传输数据量在时间维度上的高维特征关联分布,而所述第一特征向量用于表示用户空间接收到的数据量在时间维度上的高维特征关联分布。
进一步地,步骤S103包括:
S201、将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别按照时间维度排列为传输数据向量和接收数据向量;
S202、使用所述时序编码器的全连接层对所述传输数据向量和所述接收数据向量进行全连接编码以提取所述传输数据向量中各个位置的特征值的高维隐含特征和所述接收数据向量中各个位置的特征值的高维隐含特征;以及
S203、使用所述时序编码器的一维卷积层分别对所述传输数据向量和所述接收数据向量进行一维卷积编码以提取所述传输数据向量中各个位置的特征值间的关联的高维隐含关联特征和所述接收数据向量中各个位置的特征值间的关联的高维隐含关联特征。
也就是说,在步骤S201中,将所述预定时间段内的多个预定时间点的待传输数据量按照时间维度排列为传输数据向量,将所述预定时间段内的多个预定时间点的用户空间接收到的数据量按照时间维度排列为接收数据向量。
在步骤S202中,使用所述时序编码器的全连接层对所述传输数据向量进行全连接编码以提取所述传输数据向量中各个位置的特征值的高维隐含特征。使用所述时序编码器的全连接层对所述传输数据向量进行全连接编码以提取所述接收数据向量中各个位置的特征值的高维隐含特征。
在步骤S203中,使用所述时序编码器的一维卷积层对所述传输数据向量进行一维卷积编码以提取所述传输数据向量中各个位置的特征值间的关联的高维隐含关联特征。使用所述时序编码器的一维卷积层对所述接收数据向量进行一维卷积编码以提取所述接收数据向量中各个位置的特征值间的关联的高维隐含关联特征。
具体地,在步骤S201至步骤S203中,将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别以天或时为单位按照时间维度排列为对应于各天或时的一维的输入向量;使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征,其中,所述公式为:
Figure BDA0003700535680000121
其中X是输入向量,Y是输出向量,W是权重矩阵,B是偏置向量,
Figure BDA0003700535680000122
表示矩阵乘;使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征,其中,所述公式为:
Figure BDA0003700535680000123
其中,a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵,w为卷积核的尺寸。
S104、计算所述第一特征向量与所述第二特征向量之间的差分特征向量。
在本实施例中,步骤S104可以包括:计算所述所述第一特征向量与所述第二特征向量之间的按位置差分以得到所述差分特征向量,所述第一特征向量和所述第二特征向量的差分特征向量用于表示在时序维度上待通过智能网卡和Linux内核资源传输的数据量的高维特征分布表示。
S105、将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量,并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵。
也就是说,将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量排列为第一输入向量,将所述预定时间段内的多个预定时间点的服务器内核资源的多个第二剩余量排列为第二输入向量。然后,将所述第一输入向量乘以所述第二输入向量的转置向量以得到计算资源关联矩阵。这里,所述计算资源关联矩阵中各个位置的特征值为智能网卡的剩余计算资源和Linux内核资源的剩余量在时间维度上的关联表示。
S106、将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵。
也就是说,使用作为过滤器的卷积神经网络对所述计算资源关联矩阵进行显式空间编码以得到计算资源特征矩阵。应可以理解,所述计算资源特征矩阵用于表示智能网卡和Linux内核资源的计算资源的基于全局的局部关联特征表示。这样,在后续确定数据传输分配比例时,能够基于智能网卡和Linux内核资源的计算资源的整体部分情况来确认,以使得数据传输分配比例具有更高的分配智能且分配自适应性。
进一步地,在步骤S106中可以包括:
使用所述作为过滤器的卷积神经网络的各层在层的正向传递中分别对输入数据进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为过滤器的卷积神经网络的最后一层输出所述计算资源特征矩阵,其中,所述作为过滤器的卷积神经网络的第一层的输入为所述计算资源关联矩阵,所述作为过滤器的卷积神经网络的最后一层的输出为所述计算资源特征矩阵。
在本申请一个可选实施例中,通过将所述差分特征向量与所述计算计算资源特征矩阵进行相乘就可以将通过智能网卡和Linux内核资源传输的数据量的高维特征分布表示映射到所述计算计算资源特征矩阵的高维特征空间中以得到分类特征向量。然后,通过分类器就所述分类特征向量进行分类就可以得到一个概率值,其中,该概率值用于表示通过智能网卡传输的数据比例。
然而,本申请人考虑到,在将所述差分特征向量与所述计算资源特征矩阵进行矩阵相乘以得到分类特征向量时,由于差分特征向量表达数据量的时序关联差分特征,而计算资源特征矩阵表达资源的时域内跨时间点关联特性进一步的关联特征,其在数据关联性的阶数上与差分特征向量并不平衡。因此,在本申请实施例中,在对所述差分特征向量与所述计算资源特征矩阵进行矩阵相乘之前,分别对所述差分特征向量和所述计算资源特征矩阵进行校正,这样,在将校正后的差分特征向量与校正后的计算资源特征矩阵进行矩阵相乘得到的分类特征向量输入分类器之后,就可以通过避免拟合缺陷来提高分类性能,具体参考如下步骤S107至步骤S109。
S107、分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵。
也就是说,将所述差分特征向量进行特征分布校正以得到校正后差分特征向量,以及将所述计算资源特征矩阵进行特征分布校正以得到校正后计算资源特征矩阵。
进一步地,在步骤S107中包括:
S301、基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值,对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后差分特征向量;以及
S302、基于以所述计算资源特征矩阵中各个位置的特征值为幂的自然指数函数值与所述计算资源特征矩阵中该位置的特征值的倒数之间的差值,对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵。
具体地,步骤S301中,以如下公式来计算对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后的差分特征向量,所述公式为:
Figure BDA0003700535680000141
其中vi是所述差分特征向量的每个位置的特征值,v′i为所述校正后的差分特征向量的每个位置的特征值。
在步骤S302中,以如下公式来计算对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵,所述公式为:
Figure BDA0003700535680000151
其中mj,k是所述计算资源特征矩阵的每个位置的特征值,mj,k′为所述校正后的计算资源特征矩阵的每个位置的特征值。
这里,对于所述差分特征向量与所述计算资源特征矩阵在数据关联性的阶数上的不均衡,本申请的申请人发现其会导致在分类目标域内的拟合程度不同,因此如果其中之一正常拟合,则另一个会发生过拟合或者欠拟合。因此,通过以上修正,通过对特征值及其所属的类条件进行基于规则的结构化理解来进行特征的边界约束合成,以减轻特征值集合在分类目标域内的决策区域的碎片化,并获得稳健的类边界。
S108、将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘以将所述校正后差分特征向量的高维特征分布映射到所述校正后计算资源特征矩阵的高维特征空间以得到分类特征向量。
也就是说,将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘,就可以将通过智能网卡和Linux内核资源传输的数据量的高维特征分布表示映射到所述计算计算资源特征矩阵的高维特征空间中以得到分类特征向量。
S109、将所述特征向量通过分类器以得到概率值,所述概率值用于表示分配给智能网卡的数据传输比例。
在本实施例中,在步骤S109中,使用所述分类器以如下公式对所述分类特征向量进行处理以生成概率值,其中,所述公式为:softmax{(Wn,Bn):…:(W1,B1)|X},其中X表示所述分类特征向量,W1至Wn为各层全连接层的权重矩阵,B1至bn表示各层全连接层的偏置矩阵。
具体地,在步骤S109中,将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类特征向量归属于各个分类标签的概率值,其中,所述分类标签包括分配给智能网卡的数据传输比值,然后根据每个分类标签的概率值大小来确定出分配给智能网卡的数据传输比例。
综上,本申请实施例的基于智能网卡设备实现的数据流传输加速方法被阐明,其通过包含一维卷积层的时序编码器分别对预定时间段内的多个预定时间点的待传输数据量以及用户空间接收到的数据量进行编码以得到第一特征向量和第二特征向量,通过作为过滤器的卷积神经网络对获取预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量进行编码以得到计算资源特征矩阵,然后将第一特征向量与第二特征向量之间的差分特征向量的高维特征分布映射到计算资源特征矩阵的高维特征空间以得到分类特征向量,并通过分类器得到用于表示分配给智能网卡的数据传输比例的概率值,用以实现提高数据流传输速度。
可以理解的是,上述实施例中的部分或全部步骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
示例性系统
图4图示了根据本申请实施例的基于智能网卡设备实现的数据流传输加速系统的结构框图。如图4所示,根据本申请实施例的基于智能网卡设备实现的数据流传输加速系统100,包括:
数据量获取模块110,用于获取预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量;
剩余量获取模块120,用于获取所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量;
时序编码模块130,用于将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量;
差分模块140,用于计算所述第一特征向量与所述第二特征向量之间的差分特征向量;
计算资源关联模块150,用于将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量,并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵;
卷积编码模块160,用于将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵;
校正模块170,用于分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵;
分类特征向量计算模块180,用于将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘以将所述校正后差分特征向量的高维特征分布映射到所述校正后计算资源特征矩阵的高维特征空间以得到分类特征向量;以及
分类模块190,用于将所述特征向量通过分类器以得到概率值,所述概率值用于表示分配给智能网卡的数据传输比例。
在其中一个示例中,在上述基于智能网卡设备实现的数据流传输加速系统中,所述校正模块170还用于:
以如下公式来计算对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后的差分特征向量,所述公式为:
Figure BDA0003700535680000171
其中vi是所述差分特征向量的每个位置的特征值,v′i为所述校正后的差分特征向量的每个位置的特征值,
以如下公式来计算对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵,所述公式为:
Figure BDA0003700535680000172
其中mj,k是所述计算资源特征矩阵的每个位置的特征值,mj,k′为所述校正后的计算资源特征矩阵的每个位置的特征值。
这里,本领域技术人员可以理解,上述基于智能网卡设备实现的数据流传输加速系统中的的具体功能和步骤已经在上面参考图2到图3的基于智能网卡设备实现的数据流传输加速方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的基于智能网卡设备实现的数据流传输加速系统100可以实现在各种终端设备中,例如基于智能网卡设备实现的数据流传输加速的服务器等。在一个示例中,根据本申请实施例的基于智能网卡设备实现的数据流传输加速系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,基于智能网卡设备实现的数据流传输加速系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于智能网卡设备实现的数据流传输加速系统100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于智能网卡设备实现的数据流传输加速系统100与该终端设备也可以是分立的设备,并且该基于智能网卡设备实现的数据流传输加速系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面,参考图5来描述根据本申请实施例的电子设备。
图5图示了根据本申请实施例的电子设备的框图。
如图5所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的基于智能网卡设备实现的数据流传输加速系统以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如特征值等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括分类结果或警示提示等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图5中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于智能网卡设备实现的数据流传输加速方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于智能网卡设备实现的数据流传输加速方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于智能网卡设备实现的数据流传输加速方法,其特征在于,包括:
获取预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量;
获取所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量;
将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量;
计算所述第一特征向量与所述第二特征向量之间的差分特征向量;
将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量,并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵;
将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵;
分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵;
将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘以将所述校正后差分特征向量的高维特征分布映射到所述校正后计算资源特征矩阵的高维特征空间以得到分类特征向量;以及
将所述特征向量通过分类器以得到概率值,所述概率值用于表示分配给智能网卡的数据传输比例。
2.根据权利要求1所述的基于智能网卡设备实现的数据流传输加速方法,其中,将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量,包括:
将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别按照时间维度排列为传输数据向量和接收数据向量;
使用所述时序编码器的全连接层对所述传输数据向量和所述接收数据向量进行全连接编码以提取所述传输数据向量中各个位置的特征值的高维隐含特征和所述接收数据向量中各个位置的特征值的高维隐含特征;以及
使用所述时序编码器的一维卷积层分别对所述传输数据向量和所述接收数据向量进行一维卷积编码以提取所述传输数据向量中各个位置的特征值间的关联的高维隐含关联特征和所述接收数据向量中各个位置的特征值间的关联的高维隐含关联特征。
3.根据权利要求2所述的基于智能网卡设备实现的数据流传输加速方法,其中,计算所述第一特征向量与所述第二特征向量之间的差分特征向量,包括:
计算所述所述第一特征向量与所述第二特征向量之间的按位置差分以得到所述差分特征向量。
4.根据权利要求3所述的基于智能网卡设备实现的数据流传输加速方法,其中,将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵,包括:
使用所述作为过滤器的卷积神经网络的各层在层的正向传递中分别对输入数据进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为过滤器的卷积神经网络的最后一层输出所述计算资源特征矩阵,其中,所述作为过滤器的卷积神经网络的第一层的输入为所述计算资源关联矩阵。
5.根据权利要求4所述的基于智能网卡设备实现的数据流传输加速方法,其中,分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵,包括:
基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值,对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后差分特征向量;以及
基于以所述计算资源特征矩阵中各个位置的特征值为幂的自然指数函数值与所述计算资源特征矩阵中该位置的特征值的倒数之间的差值,对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵。
6.根据权利要求5所述的基于智能网卡设备实现的数据流传输加速方法,其中,基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值,对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后差分特征向量,包括:以如下公式来计算对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后的差分特征向量,所述公式为:
Figure FDA0003700535670000031
其中vi是所述差分特征向量的每个位置的特征值,v′i为所述校正后的差分特征向量的每个位置的特征值。
7.根据权利要求6所述的基于智能网卡设备实现的数据流传输加速方法,其中,基于以所述计算资源特征矩阵中各个位置的特征值为幂的自然指数函数值与所述计算资源特征矩阵中该位置的特征值的倒数之间的差值,对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵,包括:以如下公式来计算对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵,所述公式为:
Figure FDA0003700535670000032
其中mj,k是所述计算资源特征矩阵的每个位置的特征值,mj,k′为所述校正后的计算资源特征矩阵的每个位置的特征值。
8.根据权利要求7所述的基于智能网卡设备实现的数据流传输加速方法,其中,将所述分类特征向量通过分类器以得到概率值,所述概率值用于表示分配给智能网卡的数据传输比例,包括:
使用所述分类器以如下公式对所述分类特征向量进行处理以生成概率值,其中,所述公式为:softmax{(Wn,Bn):...:(W1,B1)|X},其中X表示所述分类特征向量,W1至Wn为各层全连接层的权重矩阵,B1至Bn表示各层全连接层的偏置矩阵。
9.一种基于智能网卡设备实现的数据流传输加速系统,其特征在于,包括:
数据量获取模块,用于获取预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量;
剩余量获取模块,用于获取所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量;
时序编码模块,用于将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量;
差分模块,用于计算所述第一特征向量与所述第二特征向量之间的差分特征向量;
计算资源关联模块,用于将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量,并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵;
卷积编码模块,用于将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵;
校正模块,用于分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵;
分类特征向量计算模块,用于将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘以将所述校正后差分特征向量的高维特征分布映射到所述校正后计算资源特征矩阵的高维特征空间以得到分类特征向量;以及
分类模块,用于将所述特征向量通过分类器以得到概率值,所述概率值用于表示分配给智能网卡的数据传输比例。
10.根据权利要求9所述的基于智能网卡设备实现的数据流传输加速系统,其特征在于,所述校正模块还用于:
以如下公式来计算对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后的差分特征向量,所述公式为:
Figure FDA0003700535670000051
其中vi是所述差分特征向量的每个位置的特征值,v′i为所述校正后的差分特征向量的每个位置的特征值,
以如下公式来计算对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵,所述公式为:
Figure FDA0003700535670000052
其中mj,k是所述计算资源特征矩阵的每个位置的特征值,mj,k′为所述校正后的计算资源特征矩阵的每个位置的特征值。
CN202210688209.6A 2022-06-17 2022-06-17 基于智能网卡设备实现的数据流传输加速方法及其系统 Active CN115118675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210688209.6A CN115118675B (zh) 2022-06-17 2022-06-17 基于智能网卡设备实现的数据流传输加速方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210688209.6A CN115118675B (zh) 2022-06-17 2022-06-17 基于智能网卡设备实现的数据流传输加速方法及其系统

Publications (2)

Publication Number Publication Date
CN115118675A true CN115118675A (zh) 2022-09-27
CN115118675B CN115118675B (zh) 2023-05-23

Family

ID=83327524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210688209.6A Active CN115118675B (zh) 2022-06-17 2022-06-17 基于智能网卡设备实现的数据流传输加速方法及其系统

Country Status (1)

Country Link
CN (1) CN115118675B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115951584A (zh) * 2023-02-09 2023-04-11 浙江上洋机械股份有限公司 用于滚筒杀青机的温度控制系统及方法
CN116029520A (zh) * 2023-01-13 2023-04-28 上海合煌能源科技有限公司 基于电力需求响应的在线调度方法及其系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180158181A1 (en) * 2016-12-02 2018-06-07 Tata Consultancy Services Limited System and method for layer-wise training of deep neural networks
WO2020228143A1 (zh) * 2019-05-15 2020-11-19 福州大学 一种基于QoS模型自校正的云软件服务资源分配方法
CN112399484A (zh) * 2020-11-13 2021-02-23 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及电子设备
CN113778718A (zh) * 2021-09-15 2021-12-10 深圳万顺叫车云信息技术有限公司 基于动态路由的微服务资源管理方法、系统和电子设备
CN114610445A (zh) * 2022-03-11 2022-06-10 杭州邬萍科技有限公司 用于云计算的基于虚拟机的资源调度方法及其系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180158181A1 (en) * 2016-12-02 2018-06-07 Tata Consultancy Services Limited System and method for layer-wise training of deep neural networks
WO2020228143A1 (zh) * 2019-05-15 2020-11-19 福州大学 一种基于QoS模型自校正的云软件服务资源分配方法
CN112399484A (zh) * 2020-11-13 2021-02-23 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及电子设备
CN113778718A (zh) * 2021-09-15 2021-12-10 深圳万顺叫车云信息技术有限公司 基于动态路由的微服务资源管理方法、系统和电子设备
CN114610445A (zh) * 2022-03-11 2022-06-10 杭州邬萍科技有限公司 用于云计算的基于虚拟机的资源调度方法及其系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAEDEH KAFIYAN;MODJTABA ROUHANI: "Soft Meta-Cognitive Neural Network for Classification Problems" *
高远翔: "大数据集群资源分配与调度研究" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029520A (zh) * 2023-01-13 2023-04-28 上海合煌能源科技有限公司 基于电力需求响应的在线调度方法及其系统
CN116029520B (zh) * 2023-01-13 2023-10-27 上海合煌能源科技有限公司 基于电力需求响应的在线调度方法及其系统
CN115951584A (zh) * 2023-02-09 2023-04-11 浙江上洋机械股份有限公司 用于滚筒杀青机的温度控制系统及方法
CN115951584B (zh) * 2023-02-09 2024-03-15 浙江上洋机械股份有限公司 用于滚筒杀青机的温度控制系统及方法

Also Published As

Publication number Publication date
CN115118675B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN115203380B (zh) 基于多模态数据融合的文本处理系统及其方法
CN115118675A (zh) 基于智能网卡设备实现的数据流传输加速方法及其系统
CN115796173A (zh) 针对监管报送需求的数据处理方法和系统
CN115512420A (zh) 访客管理系统及其方法
CN115759658B (zh) 适用于智慧城市的企业能耗数据管理系统
CN115186774B (zh) 智能电缆剥线设备及其方法
CN115373813A (zh) 云计算环境中基于gpu虚拟化的调度方法、系统和电子设备
CN115880036B (zh) 一种车位级动态共享智能管控交易平台
CN115511890B (zh) 异型网络接口大流量数据的分析系统
CN115147598A (zh) 目标检测分割方法、装置、智能终端及存储介质
CN116579618B (zh) 基于风险管理的数据处理方法、装置、设备及存储介质
CN114610488A (zh) 基于负载均衡的数据采集方法、系统和电子设备
WO2022021834A1 (zh) 神经网络模型确定方法、装置、电子设备、介质及产品
CN115878330A (zh) 线程的运行控制方法及其系统
CN114884772B (zh) 裸机vxlan的部署方法、系统和电子设备
CN114283347A (zh) 目标检测方法、系统、智能终端及计算机可读存储介质
CN115146676A (zh) 电路故障检测方法及其系统
CN114615641A (zh) 高空平台设备协同管理方法、系统和电子设备
CN114139630A (zh) 姿态识别方法、装置、存储介质和电子设备
WO2024066697A1 (zh) 一种图像处理方法和相关装置
CN117744855A (zh) 基于机器学习的负荷预测系统及方法
CN117408596A (zh) 智能物流配送管理系统及其方法
CN117522449A (zh) 基于特征融合的智能商业数据处理方法及其系统
CN112800217A (zh) 基于向量关联性矩阵的政务事务处理报告的智能评估方法
CN116909641A (zh) 高效流程化的gpu扩展模块组自动配置方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant