CN112669827B - 一种自动语音识别器的联合优化方法及系统 - Google Patents

Abstract

本发明提供一种自动语音识别器的联合优化方法及系统，包括：获取待优化自动语音识别器的存储参数，基于存储参数构建BPQE模型框架；基于BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；采用近似存储策略和近似误差模型，对待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；对RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；综合存储访问功耗调整结果和存储访问数据量调整结果，得到存储联合优化结果。本发明通过采用联合优化方案，存储访问量和存储访问的功耗可以大幅减少，且精度损失可以忽略不计。

Description

一种自动语音识别器的联合优化方法及系统

技术领域

本发明涉及语音识别技术领域，尤其涉及一种自动语音识别器的联合优化方法及系统。

背景技术

随着语音识别和自然语言处理技术的发展，在现代生活中，具有便捷信息搜索功能和个人助理的语音交互功能不断增加。例如，Google助手、Apple的Siri和Amazon的Alexa受到了广泛用户的青睐并在生产生活中有着极为广泛的应用。在这些应用中，需要使用到自动语音识别模块，来把输入语音转为文字。基于云端的语音识别虽然可以保证较高的识别率，但是存在由于数据传输链过长引发的高功耗、高延迟、隐私安全性等一系列问题，因此将语音识别模块嵌入可穿戴设备，物联网(IoT)设备以及计算资源和内存严格限制的终端小型设备中离线处理极有必要。然而，在上述过程的硬件部署中，应用于识别的神经网络仍旧存在着大量网络冗余，而且传统实现方案中访存功耗占据总能耗的大部分，存储数据的存储形式存在较大冗余，因此模块的功耗仍然居高不下。

在线ASR(Auto Speech Recognition，自动语音识别)系统一般包括麦克风传感器，特征提取模块，使用深度神经网络(DNN)的声学模型和后处理模块几个部分。有的现有方案提出的ASR系统，该系统与现有技术相比可减少12.7倍的内存和3.3倍的能源成本。但是在实际操作中，该系统的内存访问能耗占了大部分系统总能耗；此外，以上实现的具有24位计算精度的DNN因其数据的高存储位数会消耗大量内存，由此会遇到存储访存瓶颈。而为了克服上述瓶颈，有的方案提出了包括网络量化和网络修剪在内的几种网络压缩方法。但是，传统网络压缩方法一般针对云端处理的大型神经网络设计，很难应用于内存和能源受限的物联网设备。此外，常规工作在网络训练时集中在算法级优化上，而忽略了硬件的访存实现成本，最后往往导致网络压缩率高但实际硬件访存功耗也很高的情况。

现代语音识别器通常采用递归神经网络作为声学模型，将输入的语音信号转换为音素或拼音，其中门控循环单元网络(Gated Recurrent Unit,GRU)由于其出色的识别性能和较低的计算成本在语音识别任务中取得了巨大的成功。GRU执行计算的方式如图1所示，GRU计算流程整体包含乘累加、非线性、对应元素相乘等几个操作，而乘累加占据了其中98％以上的操作数量。大量的乘累加操作也引入了大量的网络权值参数的访存，而目前的网络数据量和数据位宽都存在较大冗余，因此从算法上，需要直接降低网络参数的访存量，从硬件上，需要进一步降低参数访存的功耗，以下从这两个层面介绍传统工作。

DNN量化已成为一种有效的网络压缩方法，它可以通过降低数据位宽来显著减小网络存储规模，并保持相当的识别性能。DNN量化的最常见策略是将高精度浮点值映射为低精度定点值，在RNN上执行低位量化仍旧面临着挑战，RNN的递归特性使得低比特表达的量化误差会在训练过程中累积，很难收敛到与全精度网络相当的识别性能。因此，通过RNN的模型量化实现的有限内存减少无法满足资源受限的IoT设备的需求，为此传统工作引入网络剪枝策略，通过修剪对识别结果影响较小的权重值，该方法可以有效减少存储消耗。非结构化的权重修剪方法通过消除整个权值矩阵中，绝对值较小的任意权重，从而实现了较高的压缩率和识别率。但是，非结构化剪枝因其位置随机的非结构化模式而对硬件体系结构设计不友好。结构化剪枝在一定程度上解决了上述问题，但是又面临着由于剪枝率过大导致精度下降过多的问题。这两种传统的模型剪枝方法代表两个极端，分别在软件级别和硬件级别上限制了神经网络的性能。另一种具有出色压缩性能的细粒度剪枝方法是基于块的剪枝(BSP)，它使每层权值矩阵均等地分成具有相同块大小的块。然后在每个块中，迭代执行基于块的列剪枝和基于块的行剪枝，从而生成压缩率和精度与非结构化剪枝方法相似的模型。此外，将每个块中维护的结构化压缩格式与硬件策略配合使用，以实现高计算并行性和硬件友好的结构化剪枝方式。

从硬件层面，ASR系统在独立的存储器上保存其网络权重数据，其中静态随机存取存储器(SRAM)因其具有出色的存取速度和较低的存取功耗更适合于低功耗实时语音识别系统实现。一个典型的6T-SRAM单元的结构如图2所示，它由6个晶体管组成，包括形成双稳态元件的两个反相器以及左侧和右侧的两个开关。在本系统中由于在线识别的权值数据只会从SRAM中写入一次，其余时间均为读取操作，因此我们这里重点关注它的读操作优化。当SRAM进行读取数据时，在读出SRAM单元存储值之前对左右位线BL/BLB以VDD电压预充电，然后将字线WL设为高电平。此时，根据所存储的值，左右位线之一将放电。外置的灵敏放大器电路通过感测BL和BLB之间的电压差相应地输出1或0，从而完成读取操作。图2显示了电源VDD和归一化功耗的平方关系,当VDD下降时放电电流降低，因此功耗也会降低。传统工作表明，通过电压缩放可以降低存储器的功耗，这意味着在一定范围内降低存储器的电源电压。但是，电压缩放也会导致在实际情况下存储单元发生随机比特翻转，从而导致读取数据错误。网络模型存储在片上SRAM中以进行实时操作，其中存储器的读取数据错误会导致网络识别性能下降，因此，应仔细研究SRAM读取错误概率与供电电压之间的错误模型关系。发生在读取过程中的错误有两种类型：由WL完成放电之前开关断开造成的访问时间错误；以及开关门过强导致存储值发生随机比特翻转引起的读取错误。电源电压的降低将直接增加数据出错的可能性，但也将以二次方的速度降低功耗。

然而，传统工作通常仅在上述网络优化方法的一部分做主要优化，而不是针对软硬件系统进行联合优化设计，这限制了系统级的存储代价降低。此外，简单地将两种方法分步进行，往往会导致系统访存代价陷入局部最优，也无法达到系统级最优的存储代价降低。

发明内容

本发明提供一种自动语音识别器的联合优化方法及系统，用以解决现有技术中仅能从一部分对存储进行优化的缺陷。

第一方面，本发明提供一种自动语音识别器的联合优化方法，包括：

获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；

基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；

采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；

对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；

综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果。

进一步地，所述获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架，具体包括：

获取存储器读取误差数据和预设最小化损失函数，基于所述存储器读取误差数据构建所述近似误差模型；

由所述预设最小化损失函数获得量化后权值表达式，由所述近似误差模型中的误差模型参数与所述量化后权值表达式得到新的权值表达式；

提取所述存储器读取误差数据的实际读取误差概率，所述实际读取误差概率与所述误差模型参数满足预设约束条件；

对所述预设最小化损失函数增加拉格朗日分项，引入量化损失函数和近似误差损失函数，得到整体损失函数。

进一步地，所述预设约束条件包括：

当数据以所述实际读取误差概率发生错误时，引入预设惩罚项，否则引入预设奖励项；

基于所述预设惩罚项、所述预设奖励项和所述实际读取误差概率，将大于预设比特位的权值高位做mask保护不引入近似误差。

进一步地，所述基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型，具体包括：

基于权重矩阵并通过渐进方式对所述BPQE模型框架进行无损剪枝，获得最大化基本压缩率；

对所述近似误差模型进行网络量化，得到所述具有预设高修剪率的RNN模型。

进一步地，所述采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果，具体包括：

根据所述SRAM存储单元的读取误差与所述供电电压之间的关系，在预设精度范围内对所述供电电压进行调整，使数据访问功耗降低；

对数据中的预设高位数据进行保护，对除所述预设高位数据之外的数据进行近似处理，得到所述存储访问功耗调整结果。

进一步地，所述对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果，具体包括：

将数据划分为近似部分和精确部分，将所述近似部分的数据以近似形式存储，所述精确部分不进行近似处理；

将符号位和所述预设高位数据存储在所述精确部分，并将剩余数据的第一部分进行近似处理后转移到所述近似部分进行储存，对数据整体进行重训练以恢复数据误差，重复近似处理过程，直到所有数据全部转入所述近似部分进行存储。

进一步地，所述重训练是由预设位数量化条件所限定。

第二方面，本发明还提供一种自动语音识别器的联合优化系统，包括：

构建模块，用于获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；

训练模块，用于基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；

近似存储模块，用于采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；

增量重训练模块，用于对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；

综合模块，用于综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述自动语音识别器的联合优化方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述自动语音识别器的联合优化方法的步骤。

本发明提供的自动语音识别器的联合优化方法及系统，通过采用联合优化方案，存储访问量和存储访问的功耗可以大幅减少，且精度损失可以忽略不计。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术提供的GRU网络的计算流程和计算单元占比示意图；

图2是现有技术提供的SRAM存储器结构和电源功耗关系示意图；

图3是本发明提供的自动语音识别器的联合优化方法的流程示意图；

图4是本发明提供的ASR系统架构及联合寻优方法图；

图5是本发明提供的增量式网络重训练流程及其实例示意图；

图6是本发明提供的近似策略识别性能对比图；

图7是本发明提供的自动语音识别器的联合优化系统的结构示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图3是本发明提供的自动语音识别器的联合优化方法的流程示意图，如图3所示，包括：

S1，获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；

S2，基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；

S3，采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；

S4，对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；

S5，综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果。

具体地，为了实现整体的系统级存储的优化，本发明提出的应用于自动语音识别器的网络压缩-近似存储联合优化方案，将算法层面的网络压缩和硬件层面的近似存储相结合以在系统层级上减少访存代价，并且提出增量式重训练方法弥补两级优化带来的误差。其中针对网络压缩和近似内存的方面，本发明提出了一种基于块剪枝、低精度RNN量化和考虑近似误差模型的联合寻优方法，称之为BPQE(block-based pruning andquantization with error model)方法。在算法级别，本发明提出了低精度量化下超高倍率递归神经网络(RNN)压缩方法，包括网络参数量化和门控循环单元(GRU)网络上的剪枝操作，从算法层面直接减少存储消耗量；在硬件级别，本发明提出了一种具有自动训练框架的近似存储方案，通过存储器供电电压调整、比特位保护和增量式重训练方法，此处增量式重训练是为了降低近似误差对语音识别器识别性能的影响。

本发明通过将算法层级和硬件层级结合，同时进行优化，从而在系统层级上达到了最低访存功耗节省，并且提出的增量式重训练方法用来弥补硬件误差对识别性能的影响。

基于上述实施例，该方法中步骤S1具体包括：

获取存储器读取误差数据和预设最小化损失函数，基于所述存储器读取误差数据构建所述近似误差模型；

由所述预设最小化损失函数获得量化后权值表达式，由所述近似误差模型中的误差模型参数与所述量化后权值表达式得到新的权值表达式；

提取所述存储器读取误差数据的实际读取误差概率，所述实际读取误差概率与所述误差模型参数满足预设约束条件；

对所述预设最小化损失函数增加拉格朗日分项，引入量化损失函数和近似误差损失函数，得到整体损失函数。

其中，所述预设约束条件包括：

当数据以所述实际读取误差概率发生错误时，引入预设惩罚项，否则引入预设奖励项；

基于所述预设惩罚项、所述预设奖励项和所述实际读取误差概率，将大于预设比特位的权值高位做mask保护不引入近似误差。

具体地，如图4所示，本发明提出的网络压缩-近似存储联合优化方法应用于低功耗语音识别器中。本发明首先提出了基于块剪枝、低精度RNN量化和考虑近似误差模型的联合寻优方法(BPQE)，这种新颖的自动压缩框架可以在算法层面进行网络压缩降低访存量，硬件方面进行近似存储降低访存功耗，并在系统层面实现最低访存代价的自动网络寻优。

其中BPQE定义为：传统网络训练的目标是最小化损失函数

这其中q_i,j∈{-a_i*2^j-1,0,a_i*2^j-1}是量化后的权值的一般表达式，而本发明引入新的权值表达式

表示考虑了近似误差模型的新权值，a_i表示固定的增益，其中误差模型参数e_rho与实际读取误差error_rate的关系为：

该关系设置依据是：存储器的读取误差错误发生是比特级别的，如果在网络训练时引入比特级别错误，将会给网络训练带来极大的时间成本和计算成本，因此本发明在网络训练时引入粗粒度统计学的错误模型，当数据以error_rate概率发生错误时，则引入-1的惩罚项，否则引入正1的激励项；此外，权值的高比特表达的错误对值本身的影响大于低比特，因此通过加入高比特保护，把大于j^*比特的位做mask保护不引入近似误差。根据对最小化损失函数的增广拉格朗日形式描述，整体损失函数可以等效为：

即为传统损失函数、量化损失函数l_q和近似误差损失函数l_e的和，其中两损失函数定义为：

这里Z_i和

分别是加入量化和近似误差后的权值矩阵，ρ_i和

是对应的惩罚项，这样就形成了既考虑量化误差，又考虑到近似误差的联合优化训练过程，从系统层面探索不同近似误差概率下的最优量化+近似空间。

基于上述任一实施例，该方法中步骤S2具体包括：

基于权重矩阵并通过渐进方式对所述BPQE模型框架进行无损剪枝，获得最大化基本压缩率；

对所述近似误差模型进行网络量化，得到所述具有预设高修剪率的RNN模型。

具体地，在网络训练阶段，为了在结构化剪枝中获得具有超高修剪率的RNN模型，将整个BPQE压缩框架分为两个压缩阶段：1.通过渐进方式进行无损块剪枝，使基本压缩率最大化；2.带有误差模型的ADMM量化，大幅减小硬件平台上的存储消耗和随机比特翻转对识别的影响。通过BPQE框架，本发明在网络训练时即模拟了硬件误差对识别性能的影响，实现了联合优化的软件和硬件联合寻优，从理论上可以逼近最佳系统。实际场景中对ASR系统的联合寻优，软件和硬件方面的实验不再是独立的。然而，BPQE中使用基于统计的误差模型来模拟随机比特翻转效应对识别性能的影响，在实际场景中，随机比特翻转误差往往是发生在比特级别的，因此，当更加细粒度的比特级错误发生在网络参数上时，如何避免进一步的精度损失，成为BPQE框架需要解决的问题。

本发明训练框架和流程可以避免繁琐大量的手工实验，自动快速地生成低访存代价的、硬件友好的ASR网络。

基于上述任一实施例，该方法中步骤S3具体包括：

根据所述SRAM存储单元的读取误差与所述供电电压之间的关系，在预设精度范围内对所述供电电压进行调整，使数据访问功耗降低；

对数据中的预设高位数据进行保护，对除所述预设高位数据之外的数据进行近似处理，得到所述存储访问功耗调整结果。

具体地，本发明应用近似存储策略与近似误差模型，在实际操作中，存储单元SRAM的读取失败会导致识别性能下降，因此，在提出的BPQE训练过程中考虑了不同电源电压下SRAM的误差模型，在压缩网络模型写入芯片之前经过重训练以适应存储误差。根据SRAM读取误差与供电电压之间的关系，得知当电源电压较低时，SRAM单元的位翻转速率急剧上升，对应功耗也成平方率下降。为了在可接受的精度损失范围内进一步降低功耗，我们需要保护部分存储数据免于出错。众所周知，数据位的重要性是不相等的，通常高位比低位更重要，因为高位出错会引入更大的数据误差。因此，如果关键数据位得到保护，数据偏差将大大减少。

本发明通过保护少部分较高位数据不被近似，而数据的大部分较低位受到近似的方法，不仅保证了近似后数据错误范围可控，还大幅降低了访存功耗。

基于上述任一实施例，该方法中步骤S4具体包括：

将数据划分为近似部分和精确部分，将所述近似部分的数据以近似形式存储，所述精确部分不进行近似处理；

将符号位和所述预设高位数据存储在所述精确部分，并将剩余数据的第一部分进行近似处理后转移到所述近似部分进行储存，对数据整体进行重训练以恢复数据误差，重复近似处理过程，直到所有数据全部转入所述近似部分进行存储。

具体地，如图5所示，本发明采用增量式重训练，该过程将网络训练的结果进行重训练以弥补细粒度近似误差对系统识别性能带来的影响。BPQE系统采用统计误差模型来训练ASR网络，而当实际的细粒度逐位读取错误发生时，由粗粒度统计模型训练的网络识别性能仍旧会下降。为了在应用近似存储的同时保持识别性能，我们使用针对ASR系统的增量再训练以补偿读取错误带来的误差。在增量式重训练中，数据分为近似部分和准确部分，其中近似部分的数据以近似的形式存储，而精确部分中的数据不参与近似。符号位和较高位的一部分具有较高的重要性，因此在重训练过程中始终存储在精确部分中。其它的数据最初全部位于精确部分。首先，将精确部分的一部分进行近似，然后将它们转移到近似部分进行储存，然后对整体进行重新训练以恢复由此引入的误差。重复这两个步骤，直到所有精确部分的数据全部转入近似部分。其中，本发明的重训练过程是在8位量化条件下进行。

基于上述任一实施例，与传统的ASR系统及其对应的优化方法相比，选取其中的三种结构进行对比，分别是结构A、结构B和结构C，与该三种结构相比，本发明全面优化了算法级别的剪枝和量化以及硬件级别的近似内存；该联合优化的系统可以在系统级别上实现内存和功耗的最佳减少；还提出了一种增量式重训练方法，以弥补近似内存引入的错误，对比结果如表1所示。

表1

总体而言，本发明的优化方案可以实现不低于58.6％的功耗节省，在内存数据位宽为8位时可以达到40倍的内存节省。

如图6中所示，本发明所提出的高位保护下近似策略在低供电电压(即高翻转率)下仍能保持传统相当的识别性能。此外，使用本发明所提出的BPQE训练框架和增量式重训练方法能够使得，最终的网络识别性能达到业界领先的20.0％的音素错误率。

下面对本发明提供的自动语音识别器的联合优化系统进行描述，下文描述的自动语音识别器的联合优化系统与上文描述的自动语音识别器的联合优化方法可相互对应参照。

图7是本发明提供的自动语音识别器的联合优化系统的结构示意图，如图7所示，包括：构建模块71、训练模块72、近似存储模块73、增量重训练模块74和综合模块75；其中：

构建模块71用于获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；训练模块72用于基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；近似存储模块73用于采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；增量重训练模块74用于对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；综合模块75用于综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果。

本发明通过将算法层级和硬件层级结合，同时进行优化，从而在系统层级上达到了最低访存功耗节省，并且提出的增量式重训练方法用来弥补硬件误差对识别性能的影响。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(CommunicationsInterface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行自动语音识别器的联合优化方法，该方法包括：获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的自动语音识别器的联合优化方法，该方法包括：获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的自动语音识别器的联合优化方法，该方法包括：获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种自动语音识别器的联合优化方法，其特征在于，包括：

获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；

基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；

采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；

对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；

综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果；

所述获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架，具体包括：

获取存储器读取误差数据和预设最小化损失函数，基于所述存储器读取误差数据构建所述近似误差模型；

由所述预设最小化损失函数获得量化后权值表达式，由所述近似误差模型中的误差模型参数与所述量化后权值表达式得到新的权值表达式；

提取所述存储器读取误差数据的实际读取误差概率，所述实际读取误差概率与所述误差模型参数满足预设约束条件；

对所述预设最小化损失函数增加拉格朗日分项，引入量化损失函数和近似误差损失函数，得到整体损失函数。

2.根据权利要求1所述的自动语音识别器的联合优化方法，其特征在于，所述预设约束条件包括：

当数据以所述实际读取误差概率发生错误时，引入预设惩罚项，否则引入预设奖励项；

基于所述预设惩罚项、所述预设奖励项和所述实际读取误差概率，将大于预设比特位的权值高位做mask保护不引入近似误差。

3.根据权利要求2所述的自动语音识别器的联合优化方法，其特征在于，所述基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型，具体包括：

基于权重矩阵并通过渐进方式对所述BPQE模型框架进行无损剪枝，获得最大化基本压缩率；

对所述近似误差模型进行网络量化，得到所述具有预设高修剪率的RNN模型。

4.根据权利要求3所述的自动语音识别器的联合优化方法，其特征在于，所述采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果，具体包括：

根据所述SRAM存储单元的读取误差与所述供电电压之间的关系，在预设精度范围内对所述供电电压进行调整，使数据访问功耗降低；

对数据中的预设高位数据进行保护，对除所述预设高位数据之外的数据进行近似处理，得到所述存储访问功耗调整结果。

5.根据权利要求4所述的自动语音识别器的联合优化方法，其特征在于，所述对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果，具体包括：

将数据划分为近似部分和精确部分，将所述近似部分的数据以近似形式存储，所述精确部分不进行近似处理；

将符号位和所述预设高位数据存储在所述精确部分，并将剩余数据的第一部分进行近似处理后转移到所述近似部分进行储存，对数据整体进行重训练以恢复数据误差，重复近似处理过程，直到所有数据全部转入所述近似部分进行存储。

6.根据权利要求5所述的自动语音识别器的联合优化方法，其特征在于，所述重训练是由预设位数量化条件所限定。

7.一种自动语音识别器的联合优化系统，其特征在于，包括：

构建模块，用于获取待优化自动语音识别器的存储参数，基于所述存储参数构建BPQE模型框架；

训练模块，用于基于所述BPQE模型框架进行网络压缩训练，得到具有预设高修剪率的RNN模型；

近似存储模块，用于采用近似存储策略和近似误差模型，对所述待优化自动语音识别器中的SRAM存储单元的供电电压进行调整，并进行预设数据位的存储数据保护处理，得到存储访问功耗调整结果；

增量重训练模块，用于对所述RNN模型进行增量式重训练，得到语音识别器识别性能调整结果；

综合模块，用于综合所述存储访问功耗调整结果和所述语音识别器识别性能调整结果，得到存储联合优化结果；

所述构建模块具体用于：

获取存储器读取误差数据和预设最小化损失函数，基于所述存储器读取误差数据构建所述近似误差模型；

由所述预设最小化损失函数获得量化后权值表达式，由所述近似误差模型中的误差模型参数与所述量化后权值表达式得到新的权值表达式；

提取所述存储器读取误差数据的实际读取误差概率，所述实际读取误差概率与所述误差模型参数满足预设约束条件；

对所述预设最小化损失函数增加拉格朗日分项，引入量化损失函数和近似误差损失函数，得到整体损失函数。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述自动语音识别器的联合优化方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述自动语音识别器的联合优化方法的步骤。

Images