CN111199740B - 一种基于边缘计算加速自动语音识别任务的卸载方法 - Google Patents

Abstract

本发明公开了一种基于边缘计算加速自动语音识别任务的卸载方法，主要步骤为：1)建立边缘通信系统，包括云服务器、若干基站和若干用户端。每个基站均设有边缘服务器。2)用户端向基站发送自动语音识别任务。3)基站接收到自动语音识别任务后，将自动语音识别任务发送至云服务器。4)建立自动语音识别任务卸载模型。5)利用交替迭代的方法对自动语音识别任务卸载模型进行解算，得到最后任务卸载策略。本发明缓解了云服务器的压力，提高了用户使用智能应用时的体验，满足高精度、低时延的任务需求。

Description

一种基于边缘计算加速自动语音识别任务的卸载方法

技术领域

本发明涉及边缘计算和深度学习，具体是一种基于边缘计算加速自动语音识别任务的卸载方法。

背景技术

随着当前移动网络中智能应用的快速增长，用户在使用移动设备时更喜欢音频输入，而不是文本输入。因此，生成了大量音频转化文字的自动语音识别任务，这些任务的主要目的是满足移动用户的音频服务要求，但是移动设备受电池电量和计算能力的限制，在处理海量任务时通常不能保证用户的服务质量。为了应对上述挑战，有必要在为下一代移动网络(即5G)开发的新网络架构上引入先进的自动语音识别技术和网络技术。

目前，有关自动语音识别最成功的应用是智能个人助理，如AppleSiri、GoogleNow和MicrosoftCortana。然而，它们所用神经网络模型的计算量也呈爆炸式增长，导致个人的移动设备很难进行处理。因此，这是由于云平台具有充足的资源，此类自动语音识别任务的计算通常是在云平台上进行的。但由于云服务器部署在远离移动用户的地方，基于云平台的自动语音识别任务处理延迟一般较大。

边缘计算是近年来出现的一种能够减轻云服务器工作量的技术，通过将部分任务卸载到更接近用户的边缘服务器上，使网络传输时延大大降低从而达到用户体验显著提高的效果。因此，边缘计算技术在处理任务方面具有更广阔的应用前景，但是现有的边缘计算技术仍然存在着一些漏洞：第一，一旦边缘计算系统中出现大量移动终端时，由于计算能力的限制，边缘服务器将无法很好地进行处理导致计算时延增长，用户体验下降；第二，边缘计算的研究者仅考虑了一般任务而没有考虑自动语音识别任务，并且这方面的卸载问题也没有得到很好的解决。

发明内容

本发明的目的是解决现有自动语音识别技术应用中存在的问题。

为实现本发明目的而采用的技术方案为一种基于边缘计算加速自动语音识别任务的卸载方法，主要包括以下步骤：

1)建立边缘通信系统，包括云服务器、若干基站和若干用户端。每个基站均设有边缘服务器。

2)用户端向基站发送携带音频文件的自动语音识别任务。

3)基站接收到自动语音识别任务后，采集音频数据，再将自动语音识别任务发送至云服务器，发送方式包括以下两种：

I)基站对自动语音识别任务进行数据压缩，再发送至云服务器，主要步骤如下：

a)基站在接收到自动语音识别任务后，将所述自动语音识别任务输入到存储在边缘服务器内的梅尔滤波器中，对自动语音识别任务进行滤波，将自动语音识别任务的音频数据转换为梅尔频率倒谱系数。梅尔滤波器对自动语音识别任务进行压缩的压缩率为

b)将处理后的自动语音识别任务输入到存储在边缘服务器内的深度神经网络中。所述深度神经网络包括P层卷积层和Q层池化层。

深度神经网络对滤波后的自动语音识别任务进行压缩的压缩率C_s如下所示：

式中，

和

为初始自动语音识别任务的长和宽。

和

为压缩完成后自动语音识别任务的长与宽。H₀为自动语音识别任务的深度。

II)基站直接将自动语音识别任务发送至云服务器。

4)建立自动语音识别任务卸载模型。

建立自动语音识别任务卸载模型的主要步骤如下：

4.1)计算第s个用户端的自动语音识别任务传输到第t个基站的传输时延

即：

式中，X_ts表示第s个任务和第t个边缘服务器之间的传输速率。v_ts表示第t个边缘服务器分配给第s个任务的计算资源。w_ts∈{0,1}表示第s个任务是否被卸载和处理。w_ts＝1表示第t个边缘服务器使用编码器对第s个任务进行数据压缩，w_ts＝0表示第t个边缘服务器不进行数据压缩。i₀为常数。g_ts表示基站和自动语音识别任务的关联性。g_ts＝1表示第s个任务与第t个基站之间有关联。g_ts＝0表示第s个任务与第t个基站之间没有关联。k_s表示第s个任务需要的计算周期。o_s表示第s个任务的数据大小。T为基站总数，S为任务总数。

第s个任务和第t个边缘服务器之间的传输速率R_nm如下所示：

式中，B_s、P_s、r_ts和

分别表示第s个用户端到第t个基站的传输带宽、传输功率、信道增益和噪声功率。

4.2)计算第s个用户端的自动语音识别任务传输到第t个基站的计算时延

即：

式中，C_s为压缩率。X_t表示将第t个基站发送数据压缩后的第s个任务和云服务器处理第s个任务之间的平均链路传输速率。X₀表示云服务器处理任务的平均计算速度。

4.3)计算第s个用户端将第s个任务通过第t个基站传送到云服务器，并由云服务器处理第s个任务的时延

即：

4.4)建立自动语音识别任务卸载模型的总时延函数D_tot，即：

5)利用交替迭代的方法对自动语音识别任务卸载模型进行解算，得到最短传输时延的自动语音识别任务卸载策略。

利用交替迭代的方法对自动语音识别任务卸载模型进行解算的方法为：利用交替迭代方法对自动语音识别任务卸载模型的目标函数D_tot进行迭代解算，计算出时延最大的任务对应的表征第s个任务是否被卸载和处理的参数w_ts和计算资源v_ts的值，从而得到最短传输延迟的卸载策略。

总的来说，本发明将部分用户使用智能终端后产生的自动语音识别任务卸载至边缘服务器，其中满足用户关联和边缘服务器的存储、计算能力等约束条件。使用梅尔滤波器将卸载至边缘服务器的音频数据转换为梅尔频率倒谱系数。在边缘服务器上部署卷积神经网络模型，作为编码器，将梅尔滤波器处理过后的数据进行一系列卷积与池化操作，提取深层特征。最后将处理完成的音频数据特征值上传至云服务器，进行解码。

使用本发明能够带来一定的增益效果。本发明合理地选择自动语音识别任务卸载到边缘服务器上，通过在边缘服务器上部署卷积神经网络模型对用户上传的数据进行压缩，大大减少了自动语音识别任务的处理时延，缓解了云服务器的压力，提高了用户使用智能应用时的体验，满足高精度、低时延的任务需求。

附图说明

图1为边缘通信系统示意图；

图2为基于边缘计算加速自动语音识别任务的卸载方法流程图；

图3为得出卸载策略的算法流程图；

图4为在不同计算能力下本发明与其他卸载策略的结果对比图；

图5为在不同存储能力下本发明与其他卸载策略的结果对比图。

具体实施方式

下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

实施例1：

参照图1至图2，一种基于边缘计算加速自动语音识别任务的卸载方法，主要包括以下步骤：

1)建立边缘通信系统，包括云服务器、若干基站和若干用户端。每个基站均设有边缘服务器。

进一步，S个移动用户生成S个语音自动识别任务，并通过无线蜂窝链路将其发送到本地基站，本发明使用集合

表示所有语音自动识别任务，{o₁,o₂,…,o_s}和{k₁,k₂,…,k_S}分别表示任务的数据大小和需要计算周期。在边缘层，每个本地基站都部署有一个边缘服务器，并通过大容量有线光缆连接到云服务器，本发明使用集合

表示所有的边缘服务器且每个边缘服务器的计算能力和存储能力有限。

对于自动语音识别任务，本发明使用算法将选择部分自动语音识别任务卸载至边缘服务器上。当任务被卸载至边缘端时，本发明考虑使用编码器译码器模型进行神经机器翻译，其中每个边缘服务器执行特征提取作为编码器以实现数据卷积压缩。当任务不被卸载时将直接通过基站传输到云端处理，云服务器不仅可以充当解码器的角色而且可以完整地处理整个自动语音识别任务。此外，边缘服务器和云服务器可以分别在所考虑的网络中对自动语音识别任务进行分布式管理和集中管理。

2)用户端向基站发送自动语音识别任务。自动语音识别任务包含音频文件。

3)基站接收到自动语音识别任务后，采集音频数据，再将自动语音识别任务发送至云服务器，发送方式包括以下两种：

I)基站对自动语音识别任务进行数据压缩，再发送至云服务器进行统一处理，主要步骤如下：

a)基站在接收到自动语音识别任务后，将所述自动语音识别任务输入到存储在边缘服务器内的梅尔滤波器中，对自动语音识别任务进行滤波，将自动语音识别任务的音频数据转换为梅尔频率倒谱系数。梅尔滤波器对自动语音识别任务进行压缩的压缩率为

b)将处理后的自动语音识别任务输入到存储在边缘服务器内的深度神经网络中。所述深度神经网络包括P层卷积层和Q层池化层。

深度神经网络对滤波后的自动语音识别任务进行压缩的压缩率λ_m如下所示：

式中，

和

为初始自动语音识别任务的长和宽。

和

为压缩完成后自动语音识别任务的长与宽。H₀为自动语音识别任务的深度。

II)基站直接将自动语音识别任务发送至云服务器进行处理。

4)建立自动语音识别任务卸载模型，主要步骤如下：

4.1)计算第s个用户端的自动语音识别任务传输到第t个基站的传输时延

即：

式中，X_ts表示第s个任务和第t个边缘服务器之间的传输速率。v_ts表示第t个边缘服务器分配给第s个任务的计算资源。w_ts∈{0,1}表征第s个任务是否被卸载和处理。w_ts＝1表示第t个边缘服务器使用编码器对第s个任务进行数据压缩，w_ts＝0表示第t个边缘服务器不进行数据压缩。i₀为常数。g_ts表示基站和自动语音识别任务的关联性。g_ts＝1表示第s个任务与第t个基站之间有关联。g_ts＝0表示第s个任务与第t个基站之间没有关联。k_s表示第s个任务需要的计算周期。o_s表示第s个任务的数据大小。T为基站总数，也即边缘服务器总数。S为任务总数。一次任务处理周期内，每个用户端向边缘服务器发送一个任务。

第s个任务和第t个边缘服务器之间的传输速率X_ts如下所示：

式中，B_s、P_s、r_ts和

分别表示第s个用户端到第t个基站的传输带宽、传输功率、信道增益和噪声功率。

4.2)计算第s个基站的第t个语音识别任务传输到云端的时延

即：

式中，C_s为压缩率。X_t表示第t个基站发送数据压缩后的第s个任务到云服务器处理第s个任务为止的平均链路传输速率。X₀表示云服务器处理任务的平均计算速度。

4.3)计算第s个用户端将第s个任务通过第t个基站传送到云服务器，并由云服务器处理第s个任务的时延

即：

4.4)建立自动语音识别任务卸载模型的目标函数D_tot，即：

其中，时延D₀如下所示：

自动语音识别任务卸载模型的约束条件如下所示：

b_ts＝g_tsk_s≥0。 (9)

进一步，第s个任务是否被卸载和处理的参数w_ts＝0或第t个边缘服务器分配给第s个任务的计算资源v_ts＝0时，目标函数D_tot＝D₀。

5)如图3所示，利用交替迭代的方法对自动语音识别任务卸载模型进行解算，主要步骤如下：

5.1)首先是将卸载模型初始化，将w_ts和v_ts设置为0，用n来指代当前迭代次数并置0，集合M为空。

5.2)将最大迭代次数设为MAX，并在迭代中选择最佳的n值，使时延最小。

5.3)给定

的值，对w_ts使用贪心算法，即在满足边缘服务器计算能力和存储能力约束的情况下，选择其指代任务的最大值，即得解

5.4)将

初始化为0。

5.5)将

置为1并加入到集合M，利用公式(10)计算出

的值：

5.6)找出在0到n之间找到令时延最小的值n^*，将

设置为

将

设置为

5.7)将当前迭代阶段由n设置为n+1。

5.8)重复步骤5.3至5.7直到n>MAX或者时延函数收敛。

最后得出本发明的卸载策略。

本发明使用Matlab进行仿真实验，如图4所示，模拟边缘服务器在不同计算能力的情况下，本发明与随机选择语音自动识别任务进行卸载的情况以及随机迭代的情况相比，本发明总是比随机选择和随机迭代方案分别提高400％和33％的性能。

如图5所示，模拟边缘服务器在不同存储能力的情况下，本发明与随机选择语音自动识别任务进行卸载的情况以及随机迭代的情况相比，本发明比随机选择和随机迭代方案分别减少了119％和21％的延迟。

实施例2：

一种基于边缘计算加速自动语音识别任务的卸载方法，主要包括以下步骤：

1)建立边缘通信系统，包括云服务器、若干基站和若干移动终端(也即用户端)；每个基站均设有边缘服务器；

2)移动终端向基站发送携带音频文件的自动语音识别任务；

3)基站接收到自动语音识别任务后，采集音频数据，利用编码器得到特征矩阵，再将自动语音识别任务的特征矩阵发送至云服务器，发送方式包括以下两种：

I)基站对自动语音识别任务进行数据压缩，再发送至云服务器；

II)基站直接将自动语音识别任务发送至云服务器；

4)建立自动语音识别任务卸载模型；

5)利用交替迭代的方法对自动语音识别任务卸载模型进行解算，即利用解码器还原自动语音识别任务字符文件，得到最后任务卸载策略。

实施例3：

一种基于边缘计算加速自动语音识别任务的卸载方法，主要步骤见实施例2，其中，基站对自动语音识别任务进行数据压缩的主要步骤如下：

1)基站在接收到自动语音识别任务后，将所述自动语音识别任务输入到存储在边缘服务器内的梅尔滤波器中，对自动语音识别任务进行滤波，将自动语音识别任务的音频数据转换为梅尔频率倒谱系数；梅尔滤波器对自动语音识别任务进行压缩的压缩率为

2)将处理后的自动语音识别任务输入到存储在边缘服务器内的深度神经网络中；所述深度神经网络包括P层卷积层和Q层池化层；

深度神经网络对滤波后的自动语音识别任务进行压缩的压缩率C_s如下所示：

式中，

和

为初始自动语音识别任务的长和宽；

和

为压缩完成后自动语音识别任务的长与宽；H₀为自动语音识别任务的深度。

实施例4：

一种基于边缘计算加速自动语音识别任务的卸载方法，主要步骤见实施例2，其中，建立自动语音识别任务卸载模型的主要步骤如下：

1)计算第s个用户端的自动语音识别任务传输到第t个基站的传输时延

即：

式中，X_ts表示第s个任务和第t个边缘服务器之间的传输速率；v_ts表示第t个边缘服务器分配给第s个任务的计算资源；w_ts∈{0,1}表示第s个任务是否被卸载和处理；w_ts＝1表示第t个边缘服务器使用编码器对第s个任务进行数据压缩，w_ts＝0表示第t个边缘服务器不进行数据压缩；i₀为常数；g_ts表示基站和自动语音识别任务的关联性；g_ts＝1表示第s个任务与第t个基站之间有关联；g_ts＝0表示第s个任务与第t个基站之间没有关联；k_s表示第s个任务需要的计算周期；o_s表示第s个任务的数据大小；

第s个任务和第t个边缘服务器之间的传输速率X_ts如下所示：

式中，B_s、P_s、r_ts和

分别表示第s个用户端到第t个基站的传输带宽、传输功率、信道增益和噪声功率；

2)计算第s个基站的第t个语音识别任务传输到云端的时延

即：

式中，C_s为压缩率；X_t表示第t个基站发送数据压缩后的第s个任务到云服务器处理第s个任务为止的平均链路传输速率；X₀表示云服务器处理任务的平均计算速度；

3)计算第s个用户端将第s个任务通过第t个基站传送到云服务器，并由云服务器处理第s个任务的时延

即：

4)建立自动语音识别任务卸载模型的目标函数D_tot，即：

Claims (3)

1.一种基于边缘计算加速自动语音识别任务的卸载方法，其特征在于，主要包括以下步骤：

1)建立边缘通信系统，包括云服务器、若干基站和若干用户端；每个基站均设有边缘服务器；

2)用户端向基站发送携带音频文件的自动语音识别任务；

3)基站接收到自动语音识别任务后，采集音频数据，再将自动语音识别任务发送至云服务器，发送方式包括以下两种：

I)基站对自动语音识别任务进行数据压缩，再发送至云服务器；

II)基站直接将自动语音识别任务发送至云服务器；

4)建立自动语音识别任务卸载模型；

建立自动语音识别任务卸载模型的主要步骤如下：

4.1)计算第s个用户端的自动语音识别任务传输到第t个基站的传输时延

即：

式中，X_ts表示第s个任务和第t个边缘服务器之间的传输速率；v_ts表示第t个边缘服务器分配给第s个任务的计算资源；w_ts∈{0,1}表示第s个任务是否被卸载和处理；w_ts＝1表示第t个边缘服务器使用编码器对第s个任务进行数据压缩，w_ts＝0表示第t个边缘服务器不进行数据压缩；i₀为常数；g_ts表示基站和自动语音识别任务的关联性；g_ts＝1表示第s个任务与第t个基站之间有关联；g_ts＝0表示第s个任务与第t个基站之间没有关联；k_s表示第s个任务需要的计算周期；o_s表示第s个任务的数据大小；T为基站总数，S为任务总数；

第s个任务和第t个边缘服务器之间的传输速率X_ts如下所示：

式中，B_s、P_s、r_ts和

分别表示第s个用户端到第t个基站的传输带宽、传输功率、信道增益和噪声功率；

4.2)计算第s个基站的第t个语音识别任务传输到云端的时延

即：

式中，C_s为压缩率；X_t表示第t个基站发送数据压缩后的第s个任务到云服务器处理第s个任务为止的平均链路传输速率；X₀表示云服务器处理任务的平均计算速度；

4.3)计算第s个用户端将第s个任务通过第t个基站传送到云服务器，并由云服务器处理第s个任务的时延

即：

4.4)建立自动语音识别任务卸载模型的目标函数D_tot，即：

5)利用交替迭代的方法对自动语音识别任务卸载模型进行解算，得到最后任务卸载策略。

2.根据权利要求1所述的一种基于边缘计算加速自动语音识别任务的卸载方法，其特征在于，基站对自动语音识别任务进行数据压缩的主要步骤如下：

1)基站在接收到自动语音识别任务后，将所述自动语音识别任务输入到存储在边缘服务器内的梅尔滤波器中，对自动语音识别任务进行滤波，将自动语音识别任务的音频数据转换为梅尔频率倒谱系数；梅尔滤波器对自动语音识别任务进行压缩的压缩率为

2)将处理后的自动语音识别任务输入到存储在边缘服务器内的深度神经网络中；所述深度神经网络包括P层卷积层和Q层池化层；

深度神经网络对滤波后的自动语音识别任务进行压缩的压缩率C_s如下所示：

式中，

和

为初始自动语音识别任务的长和宽；

和

为压缩完成后自动语音识别任务的长与宽；H₀为自动语音识别任务的深度。

3.根据权利要求1所述的一种基于边缘计算加速自动语音识别任务的卸载方法，其特征在于，利用交替迭代的方法对自动语音识别任务卸载模型进行解算的方法为：利用交替迭代方法对自动语音识别任务卸载模型的目标函数D_tot进行迭代解算，计算出时延最大的任务对应的表征第s个任务是否被卸载和处理的参数w_ts和计算资源v_ts的值，从而得到最短传输延迟的卸载策略。

Images