CN107508866A - 减小移动设备端神经网络模型更新的传输消耗的方法 - Google Patents

Abstract

本发明公开了一种减小移动设备端神经网络模型更新的传输消耗的方法，它包括有步骤1、移动设备选择预测的图片信息上传到云端进行再学习，能减少上传数据消耗代价且不影响再学习带来的性能提升。步骤2、在云端，利用移动设备上传的新数据，混合旧数据集组成更大的训练集，重新训练神经网络模型，实现对新数据的学习；避免神经网络的增量学习中的灾难性忘记问题；步骤3、在云端提取新模型中少量权重，传送到移动设备中，更新已部署到移动设备上的旧模型，使移动设备上的旧模型能达到新模型的识别性能；减少更新移动设备中旧的神经网络模型时的数据传输代价。本发明的技术效果是，有效地减少移动设备端神经网络模型更新的传输消耗代价。

Description

减小移动设备端神经网络模型更新的传输消耗的方法

技术领域

本发明属于移动设备的共享技术领域，具体涉及一种减小移动设备端神经网络模型更新的传输消耗的方法。

背景技术

神经网络包括卷积神经网络，循环网络等。目前，神经网络已经应用于语音识别、图像识别和自然语音处理等不同的大规模机器学习问题中，同时，以智能手机、智能硬件、车载电脑等为代表的移动智能终端使用这类先进的神经网络成为必然趋势。然而，由于神经网络具有计算量大、内存消耗大等特点，移动端使用和训练神经网络不能承担，为了实现移动端使用神经网络，工业界一般采用云端协助的方式：通过将识别、分类等智能任务传送到云端执行，然后将结果返回到移动终端。但是，这种方式需要设备实时地上传数据到云端以及从云端下载结果，因此存在的网络延迟和大量的带宽消耗。

基于神经网络模型的移动设备智能化得到了包括学术界、Google、Facebook、Apple、百度等超级互联网公司以及高通、华为、ARM等终端硬件制造商在内的智能终端全产业链上下游机构的广泛关注和支持。目前，Github中的一些移动设备中使用了神经网络技术。

虽然移动终端能执行神经网络，但移动终端仍然需要云端强大服务器完成神经网络的训练，因此移植到移动端的神经网络模型被固化，失去了再学习能力。

术语：新数据是指本次移动设备上传的数据；

旧数据是指本次传送之前云端所存储的数据；

旧模型是指更新之前的神经网络；

新模型是指已更新的神经网络。

发明内容

针对现有移动设备端神经网络存在的问题，本发明所要解决的技术问题就是提供一种减小移动设备端神经网络模型更新的传输消耗的方法，它通过收集新的数据以及重训练网络的方式，实现对新数据的学习，且通过选择预测置信度低的新数据以及提取新模型中少量的权重的方式减少模型更新所带来的数据传输消耗。

本发明所要解决的技术问题是通过这样的技术方案实现的，它包括以下步骤：

步骤1、移动设备选择预测置信度低的数据上传到云端；

神经网络对数据进行预测时，输出预测数据所属多个类别的概率，这些概率表示预测数据的每一类别的置信度；选择其中最高概率类别作为所属的最终类别，当输出的类别概率都较小时，神经网络对预测数据的类别判断很不确定，需要进一步学习该预测数据，所以本步骤选择上传置信度低的预测数据到云端，能减少上传数据传输消耗；

步骤 2、在云端，利用移动设备上传的数据，混合旧数据集组成更大的训练集，重新训练神经网络模型，实现对新数据的学习；

本步骤利用增量学习的方法，通过混合新旧数据组成的更大的数据集，避免神经网络的增量学习中的灾难性忘记问题；通过重训练深度卷积网络，生成识别性能更高的新的神经网络模型，

步骤3、在云端提取新模型中少量权重，传送到移动设备中，更新已部署到移动设备上的旧模型，使移动设备上的旧模型能达到新模型的识别性能；

根据神经网络权重特性，提取新的神经网络模型相对于旧模型的变化大的权重，将该权重传送到移动设备上来更新旧模型，减少更新移动设备中旧模型时的数据传输代价。

本发明的技术效果是：既实现了对新知识重新训练学习，又减少了移动设备上更新旧数据的传输消耗。

附图说明

本发明的附图说明如下：

图1为本发明数据传输的结构图；

图2为移动设备选择性上传新数据流程图；

图3为权重提取算法流程图；

图4为生成Temp模型过程示意图；

图5为每层设置阈值列表的流程图；

图6为最佳阈值获取流程图。

图1中：1.移动设备；2.上传数据；3.混合训练集；4.新模型；5.权重提取器；6.移动设备的旧模型。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

本发明运行环境是：一台嵌入式移动设备，它能配置神经网络进行一些智能识别任务；一台云端服务器，能对神经网络进行训练。

如图1所示，本发明包括以下步骤：

步骤1、移动设备选择预测置信度低的数据上传到云端；

神经网络对数据进行预测（例如对图像信息进行识别）时，输出预测数据所属多个类别的概率，这些概率表示预测数据的每一类别的置信度；选择其中最高概率类别作为所属的最终类别。当输出的类别概率都较小时，神经网络对预测数据的类别判断很不确定，需要进一步学习该预测数据。

在移动设备1执行图像识别等智能任务时，由于户外环境变化导致移动设备对新数据的预测准确度下降，利用神经网络对新环境下的数据进行再学习，因此需要将新数据上传到云端重新训练。为了避免上传无学习价值的数据并减少上传数据传输代价，则选择有较高学习价值的数据进行上传，通常预测不确定的数据具有高学习价值。

在移动设备上，由于神经网络的预测数据时输出数据属于每个类别的确定概率（即置信度），本步骤设定一个预测置信度阈值（如0.6），选择预测置信度小于该阈值的数据作为上传数据2。每次预测都通过阈值判断是否对预测的数据进行上传，该判断过程如图2所示，具体步骤如下：

在步骤S1，从神经网络模型中获取输出数据的类别概率；

在步骤S2，判断最高类别概率是否小于阈值，若是，则执行步骤S3，否则执行步骤S4，不上传此次预测数据；

该阈值是网络模型时设置的，最高类别概率代表着预测数据所属类别的置信度。

在步骤S3，将此次预测数据视为需要学习的数据，上传到云端；

在步骤S4，程序结束。

本步骤选择上传置信度低的预测数据到云端，能减少上传数据传输消耗。

步骤2、在云端，利用移动设备的上传数据2，混合旧数据集组成更大的训练集，重新训练神经网络模型，实现对新数据的学习；

随着上传数据的越来越多，利用增量学习的方法（参见Incremental induction ofdecision trees[J]，Utgoff P E，Machine learning，1989, 4(2): 161-186. （“决策树引进增量学习”，Utgoff P E，机器学习，1989，论文集页码：161-186）），将新数据加到旧的训练数据集上，组成更大的混合训练集3；通过对与移动设备端已部署的模型一致的神经网络模型重新训练，生成新模型4。本步骤采用混合新旧数据的增量方式能避免神经网络增量训练时的灾难性忘记问题。

步骤3、在云端提取新模型中的少量权重传送到移动设备中，其中这些少量权重是变化大的权重，对新模型性能提升的作用大；将这些权重替换旧模型中对应位置的权重，从而更新移动设备端旧模型，使移动设备能达到新模型的识别性能；

为了减少更新移动设备端旧模型时所产生的数据传输消耗，本步骤构造了一种权重提取器5，利用新模型相对于旧模型的权重变化程度，选择变化大的权重作为需要更新的权重，将这些权重传送到移动设备端，替换移动设备中旧模型中相应的权重，使移动设备旧模型6性能得到提升。

如图3所示，上述步骤3中权重提取器5的权重提取算法流程包括以下步骤：

在步骤S00，流程开始；

在步骤S01，输入新模型和对应的旧模型，并从第一层开始，执行步骤S02；

由于训练好的神经网络模型是由大量权重组成，每一层为一个权重矩阵。

在步骤S02，将旧模型该层替代新模型对应层，生成Temp模型；设置权重差值的阈值列表t1,t2,t3,…tn；

权重差值是指新、旧网络模型对应层的权重矩阵相应位置的权重作差的值，差值阈值用来选择大的差值权重进行替换，权重的差值列表是通过对作差后的权重矩阵进行取绝对值排序后等分n份，取等分点的权重差值来获得。

在步骤S03，在当前层的权重差值阈值列表中读取一个阈值t_i；

对每一层处理时，根据该层权重差值生成一个阈值列表进行阈值选择。

在步骤S04，将新模型与旧模型当前层权重矩阵中的一个位置的权重作差，然后比较差值是否大于当前选择的阈值t_i；若是，执行步骤S05；否则执行步骤S06；

在步骤S05，将新模型当前层权重矩阵中对应位置的权重替代Temp模型对应层权重矩阵中相应位置权重；然后执行步骤S06；

权重替代过程为赋值操作。

在步骤S06，继续遍历对比当前层权重矩阵的下一个位置权重；然后执行步骤S07；

在权重矩阵中根据从左到右、从上到下的顺序遍历权重矩阵的每个权重。

在步骤S07，判断当前层权重矩阵的所有权重是否遍历完成；若是，则执行步骤S08，否则执行步骤S04；

在步骤S08，通过测试集，测试被更新后的Temp模型，得到测试精度；然后保存Temp模型测试精度、当前使用的权重差值阈值以及当前层总的权重更新量作为阈值考察列表；然后执行步骤S09；

测试集与训练集一起组成全部的数据集；阈值考察列表每一项表示为：{差值阈值，权重更新数目（更新量），Temp模型测试精度}。

在步骤S09，判断当前层的阈值列表的所有阈值是否都判断完；若是，则执行步骤S10；否则读取下一个阈值，并执行步骤S03；

在阈值列表t1,t2,t3,…,tn，考察完tn时，则阈值列表遍历完成。

在步骤S10，通过搜索步骤S08中获得的阈值考察列表，提取当前层的最佳阈值；然后执行步骤S11；

本步骤选择Temp模型的测试性能精度不小于新模型性能精度，且对应的当前层权重矩阵需要更新的权重量最小数目（即整个阈值列表中阈值对应的更新量的最小值）的权重差值的阈值，并保存为当前层提取的最佳阈值。

在步骤S11，判断当前层是否是模型最后一层；若是，则执行步骤S12，否则执行步骤S02；

在步骤S12，根据模型每层得到的最佳阈值，从新模型每一层中提取变化大的权重（提取权重参照上述步骤S03-步骤S07所执行的过程实施）将超过最佳阈值的权重以及权重位置索引信息（行列号）作为输出进行保存；然后执行步骤S13；

在步骤S13，输出新模型每一层提取的权重以及权重位置索引信息，作为需要传送到移动端的更新数据；

在步骤S14，程序结束。

上述步骤S02中，生成Temp模型过程如图4所示：将旧模型当前层（即该层权重矩阵）代替新模型中对应的层（权重矩阵），新模型的其他层保持不变，然后组成一个Temp（临时）模型，生成的Temp模型用于模拟移动设备上旧模型的更新过程。

图4中，正方块表示模型中的权重矩阵，即一个方块代表着一层；其中，用不同颜色表示新旧模型中的层，黑色表示新模型的层，白色表示旧模型的层，灰色表示通过最佳阈值进行更新后的旧模型的层。直箭头表示将旧模型或者新模型的层作为Temp模型的层，曲线箭头则表示通过迭代地选择当前层权重差值阈值列表，将新模型当前层的权重矩阵中大于阈值的权重更新到Temp模型对应的层，也就是模拟移动设备上旧模型被更新的权重矩阵状态，因而叫做已更新层。依次进行逐层遍历，直到整个模型所有层遍历完成。

上述步骤S02中，设置权重差值的阈值列表如图5所示；具体步骤如下：

步骤S501，将新模型与Temp模型当前层权重矩阵作差，得到权重差值矩阵；

步骤S502，将差值矩阵铺平成一维权重序列，然后从小到大排序；

步骤S503，将排序后的权重序列划分n等份，取每个分位点的值作为差值阈值列表的元素；

步骤S504，程序结束。

上述步骤S10中，提取最佳阈值的流程图如图6所示，具体步骤如下：

步骤S601，根据阈值考察列表每一项中的Temp模型测试精度，选择其测试精度不小于新模型性能精度的项；

根据步骤S08描述，阈值考察列表每一项为{差值阈值，更新量，Temp模型测试精度}；

步骤S602，读取筛选后的阈值考察列表最后一项，即具有最小更新量的一项；

步骤S603，读取这一项中的差值阈值，作为当前层的最佳阈值；

步骤S604，程序结束。

上述权重提取算法能提取少量的权重，然而，该算法输出结果不仅包括权重，而且还有每个权重对应的位置索引；但提取的权重和权重索引大小相对于整个模型的数据量小很多，因此，减少了更新移动设备上的旧模型所需的数据传输代价。

Claims (4)

1.减小移动设备端神经网络模型更新的传输消耗的方法，其特征是：包括有以下步骤：

步骤1、移动设备选择预测置信度低的数据上传到云端；

步骤 2、在云端，利用移动设备上传的数据，混合旧数据集组成更大的训练集，重新训练神经网络模型，实现对新数据的学习；

步骤3、在云端提取新模型中少量权重，传送到移动设备中，更新已部署到移动设备上的旧模型，使移动设备上的旧模型能达到新模型的识别性能。

2.根据权利要求1所述的减小移动设备端神经网络模型更新的传输消耗的方法，其特征是：在步骤1中，设定一个预测置信度阈值，选择预测置信度小于该阈值的数据作为上传数据。

3.根据权利要求2所述的减小移动设备端神经网络模型更新的传输消耗的方法，其特征是：在步骤2中，利用增量学习的方法，将新数据加到旧的训练数据集上，组成更大的混合训练集。

4.根据权利要求3所述的减小移动设备端神经网络模型更新的传输消耗的方法，其特征是，在步骤3中，所述提取新模型中少量权重包括以下步骤：

在步骤S01，输入新模型和对应的旧模型，并从第一层开始，执行步骤S02；

在步骤S02，将旧模型该层替代新模型对应层，生成Temp模型；设置权重差值的阈值列表t1,t2,t3,…tn；

在步骤S03，在当前层的权重差值阈值列表中读取一个阈值t_i；

在步骤S04，将新模型与旧模型当前层权重矩阵中的一个位置的权重作差，然后比较差值是否大于当前选择的阈值t_i；若是，执行步骤S05；否则执行步骤S06；

在步骤S05，将新模型当前层权重矩阵中对应位置的权重替代Temp模型对应层权重矩阵中相应位置权重；然后执行步骤S06；

在步骤S06，继续遍历对比当前层权重矩阵的下一个位置权重；然后执行步骤S07 ；

在步骤S07，判断当前层权重矩阵的所有权重是否遍历完成；若是，则执行步骤S08，否则执行步骤S04；

在步骤S08，通过测试集，测试被更新后的Temp模型，得到测试精度；然后保存Temp模型测试精度、当前使用的权重差值阈值以及当前层总的权重更新量作为阈值考察列表，然后执行步骤S09；

在步骤S09，判断当前层的阈值列表的所有阈值是否都判断完；若是，则执行步骤S10；否则读取下一个阈值，并执行步骤S03；

在步骤S10，通过搜索步骤S08中获得的阈值考察列表，提取当前层的最佳阈值；

在步骤S11，判断当前层是否是模型最后一层；若是，则执行步骤S12，否则执行步骤S02；

在步骤S12，根据模型每层得到的最佳阈值，从新模型每一层中提取变化大的权重，将超过最佳阈值的权重以及权重位置索引信息作为输出进行保存；

在步骤S13，输出新模型每一层提取的权重以及权重位置索引信息，作为需要传送到移动端的更新数据。