CN111160526B - 基于mape-d环形结构的深度学习系统在线测试方法与装置 - Google Patents

Abstract

本发明提出了一种基于MAPE‑D环形结构的深度学习系统在线测试方法与装置，针对动态变化的数据，通过监控、分析、计划和执行四个步骤实现深度学习系统在线测试。监控：对静态数据集部分进行对抗生成，生成三个相似但不同的数据集训练三个标签模型，根据多数原则为无监督样本打标签，以此来监控运行模型的准确率；分析：对输入运行模型的无监督样本进行分析，将运行模型和标签模型结果不一致的样本视为负样本；计划：将分析得到的负样本数据增强后，与静态数据集部分混合形成重训练数据集，重训练运行模型，保存权重数据；执行：使用A/B测试判定是否更新运行模块。循环实现监控、分析、计划和执行这四个步骤可以实现深度学习系统的在线测试。

Description

基于MAPE-D环形结构的深度学习系统在线测试方法与装置

技术领域

本发明涉及一种深度学习系统在线测试的方法与装置，尤其涉及基于MAPE-D(Monitor-Analyze-Plan-Execute-Data)环形结构实现在线测试的方法与装置，属于人工智能测试领域。

背景技术

近年来，深度神经网络(Deep Neural networks,DNNs)以其高精度和高效率被广泛应用于各种应用领域，如图像识别、自然语言处理、恶意软件检测、自动驾驶汽车等。然而，这些模型都是基于一个或多个静态数据集定期学习得到，对这些模型的测试也是在静态数据集的基础上进行，例如基于静态数据集生成对抗样本来发现模型存在的潜在错误。当模型部署到实际应用中时，模型仅靠静态数据测试不能很好地适应动态变化的实际场景。

通常这种定期的静态学习每一天进行一次，通过学习前一天的数据来更新模型，最好的情况也是每小时进行一次，但是预测和决策是需要每分每秒都发生的，定期学习有可能是利用过时的数据学习，这就导致了定期学习无法适应持续动态变化的环境，特别是对于关键性任务定期学习就会更加危险。未来的人工智能将会在动态性更强的环境下进行，这种动态性主要体现在突发性、不可复制性和不可预知性。

和定期的静态学习相似，静态测试也不再适用于动态变化的环境，如何将静态测试向动态测试转化，将离线测试向在线测试转化，是当前一个重要的研究课题。其中关于在线测试的无标签样本问题以及样本的实时性、动态性问题是我们研究的主要方向。

发明内容

发明目的：考虑到深度神经系统投入使用后，在线测试中样本数据会出现的两个主要问题，标签确定问题以及实时性动态性问题。本发明提供一种基于MAPE-D环形结构的深度学习系统在线测试方法与装置，针对随机出现的具有动态性的无标签样本，通过监控、分析、计划以及执行四个步骤，实现深度学习系统的在线测试。

技术方案：为实现上述发明目的，本发明所述的一种基于MAPE-D环形结构的深度学习系统在线测试方法，包括如下步骤：

步骤1：部署离线训练好的深度神经网络模型并收集训练模型的静态数据集，实时收集运行模型的动态数据，所述动态数据作为无监督样本；

步骤2：采用生成对抗样本的方法对静态数据集的三个不同部分进行对抗转换，重新组合成三个和静态数据集相似但不同的数据集，训练三个标签模型；

步骤3：采用多数原则的方法为无监督样本进行打标签，将标签模型的多数输出结果作为无监督样本的标签，以此来监控运行模型的准确度；

步骤4：将无监督样本输入到运行模型中，将输出结果和标签模型给的标签不一致的样本视作负样本，保存到负样本集，设定负样本集的最大容量；

步骤5：当负样本集达到最大值时，对负样本进行数据增强扩充负样本集，然后将负样本集和原始静态数据集的部分组合为新的数据集重训练运行模型；

步骤6：采用A/B测试原理，输入无监督样本对重训练模型和旧模型进行验证分析，如果重训练模型的性能优于旧模型，则将重训练模型的参数导入到运行模型中；

步骤7：在模型运行过程中，不断重复步骤3-6以达到深度学习系统的在线测试。

所述步骤1中的静态数据集包括待测试的深度神经网络的原始训练集和测试集，所述步骤1中的动态数据是实时的、动态的无标签数据。

训练标签模型为无标签样本打标签，为之后的监控提供验证目标，所述步骤2进一步为：

步骤21：将静态数据集的训练集和测试集都均匀地划分为三个子集，首先采用FGSM对抗生成策略对训练集和测试集的第一个子集进行变换，再将变换后的训练集和测试集的子集分别与另外两个未变换的子集组合成新的训练集和测试集；

步骤22：重复步骤21，对训练集和测试集的另外两个子集进行相同的操作，最终形成三个不同却相似的静态数据集；

步骤23：搭建三个和运行模型相同网络结构的标签模型，为这三个标签模型的每层神经元之间的连接边随机设置初始权值；

步骤24：将三个标签模型在不同的静态数据集中进行训练，设置模型训练的相关系数，获得三个训练好的标签模型。

监控：在无监督样本输入到运行模型前，三个标签模型根据多数原则为无监督样本打标签，以此来监控运行模型的准确率，所述步骤3进一步为：

步骤31：将所有的无标签样本分别输入到三个标签模型，针对每一个无监督样本，三个标签模型都会给出预测列表，列表中将样本的类别以概率从高到低排序；定义三个预测列表分别为predA＝{a1,a2,…,an},predB＝{b1,b2,…,bn},predC＝{c1,c2,…,cn}；

步骤32：依次查看预测列表的前i项，i的初始值为1；

步骤33：设置一个集合S来记录出现两次或三次的类别，初始为空。考虑三个预测列表的前i项，一共有3*i个选项，如果某个类别出现两次或者三次，那么将此类别添加入集合S中；

步骤34：如果集合S为空，那么i＝i+1，转到步骤33继续执行；如果集合S中只有一个类别，输出此类别和集合S作为标签和多维标签；如果集合S中有多个类别，计算三个预测列表中这三个类别的预测平均概率，输出其中最大值和集合S作为标签和多维标签。

分析：对输入运行模型的无监督样本进行分析，将运行模型得到的结果和标签模型给出的标签不一致的样本视为负样本，所述步骤4进一步为：

步骤41：初始化一个负样本集，设定负样本集的最大容量；

步骤42：将无监督样本依次输入到运行模型中，得到运行模型的判别结果；

步骤43：将运行模型的判别结果和标签模型给出的标签进行比较，如果两者不符，那么将该样本视为负样本，添加到负样本集中。

计划：将分析得到的负样本数据增强后，与静态数据集部分混合形成重训练数据集，以此来重训练运行模型，保存权重数据，所述步骤5进一步为：

步骤51：当负样本集的样本数量达到规定的最大值时，对负样本集中所有样本使用对抗样本生成器进行数据增强，形成一批对抗样本，将标签模型认定的标签视为这些负样本的标签；

步骤52：为了防止数据过拟合，从对抗样本中随机采样部分的数据，再从原始静态数据集的训练集中随机采样部分的数据混合形成重训练数据集；

步骤53：将运行模型备份，设定训练轮次，然后在重训练数据集上对运行模型进行重训练，得到新的运行模型，保存权重数据。

执行：采用A/B测试的思想，对重训练模型和原始运行模型验证分析，如果重训练模型更优，则将重训练模型的权重参数等部署到运行模型，实现模型的测试，所述步骤6进一步为：

步骤61：对新旧模型随机输入等量的无监督样本，得到两个模型的输出准确率；

步骤62：如果重训练的新模型的准确率比原始运行模型的准确率高，那么将新模型的权重数据导入到运行模型。

本发明所述的一种基于MAPE-D环形结构的深度学习系统在线测试装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现所述的基于MAPE-D环形结构的深度学习系统在线测试方法。

有益效果：本发明提供的一种基于MAPE-D环形结构的深度学习系统在线测试方法，在测试部分，设计一种MAPE-D模式来实现在线测试，通过标签模型来解决样本标签确定问题；通过监控模型的精度，分析出错数据，利用这些出错数据计划重训练模型，最后采用A/B测试方法验证是否将新模型更新的方法来应对样本数据的实时性动态性问题。与现有技术相比，本发明能够解决静态测试的一些弊端，更好地适应模型在动态环境中的需求，可以及时发现系统实时性的问题，实现深度学习系统部署到实际环境后的动态测试，实时测试，保证系统的鲁棒性和准确率一直保持在较高的水准。

附图说明

图1为本发明实施例的整体步骤图；

图2为本发明一具体示例的方法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，一种基于MAPE-D环形结构的深度学习系统在线测试方法，主要包括6个步骤：

步骤1：部署离线训练好的深度神经网络并收集相应的静态数据集，同时收集现实生活中产生的相关无监督样本(动态数据)，例如智慧城市中自动收集的垃圾照片、全国各站点取用水的数据等。其中静态数据集包括待测试的深度神经网络的原始训练集和测试集，动态数据是实时的、动态的无标签数据，深度神经网络已经根据其训练集和测试集离线训练达到较高的准确率。

步骤2：采用生成对抗样本的方法对静态数据集的三个不同部分进行对抗转换，重新组合成三个和静态数据集相似但不同的数据集，训练三个标签模型。本步骤中标签模型的数据集由静态数据集的局部数据采用对抗生成策略变换而得，具体可采用基于模型的FGSM方法生成对抗样本。

步骤3：监控：采用多数原则的方法为无监督样本进行打标签，将标签模型的多数输出结果作为无监督样本的标签，以此来监控运行模型的准确度；

步骤4：分析：对无监督样本进行分析，将所有无监督样本输入到运行模型中，将输出结果和标签模型给的标签不一致的样本视作负样本，保存到负样本集，设定负样本集的最大容量；

步骤5：计划：当负样本集达到最大值时，对这些负样本进行对抗生成，增强数据来扩充负样本集，然后将负样本集和原始静态数据集的部分组合为新的数据集重训练运行模型；

步骤6：执行：采用A/B测试原理，输入无监督样本对重训练模型和旧模型进行验证分析，如果重训练模型的性能优于旧模型，则将重训练模型的参数导入到运行模型中；

步骤7：在模型运行过程中，不断重复步骤3-6以达到深度学习系统的在线测试。

如图2所示，本发明实施例以对用于手写数字识别的深度神经网为例，说明本发明实施例公开的一种基于MAPE-D环形结构的深度学习系统在线测试方法的详细步骤，具体如下:

步骤1：获取MNIST手写数字数据集和已离线训练好的MNIST手写数字识别模型，同时模拟现实动态数据，具体过程如下：

步骤11：从MNIST手写数字数据集官网(http://yann.lecun.com/exdb/mnist/)下载训练集和测试集及其对应标签，并离线训练好一个识别MNIST手写数字的深度神经网络LeNet-5；

步骤12：实现八种图片变换方法，分为两大类。第一类是仿射变换：平移、缩放、水平切割和旋转，分别编号为0/2/4/6；第二类是图像像素变换：图片对比度、图片亮度、图片模糊和图片噪声，分别编号为1/3/5/7；

步骤13：设置一个时间变量T，T是一个7～15的随机值，设置调用变换的次数为C，初始值为0，如此，我们可以设置一种变换选择算法TC(T,C)＝(C*T)mod8，表示在时间段T分钟内选择变换算法的编号为TC(T,C)(0～7的某个值)。

步骤2：对MNIST数据集采用交叉验证的方法生成三个标签模型，并用这三个标签数据集训练三个标签数据集，具体过程如下：

步骤21：将MNIST数据集的训练集和测试集都均匀地划分为三个子集，分别为子集A、子集B和子集C。首先采用对抗生成方法FGSM(Fast Gradient Sign Method)将子集A中的每一个样本突变，生成子集A的对抗子集A’，再将对抗子集A’与另外两个没有变化的子集组合成新的训练集和测试集；

步骤22：重复步骤21，对训练集和测试集的子集B和子集C进行相同的操作，最终形成三个不同却相似的对抗数据集，即标签数据集；

步骤23：搭建三个和LeNet-5网络结构完全相同的标签模型，为这三个标签模型的每层神经元之间的连接边随机设置不同的初始权值；

步骤24：将三个标签模型在不同的对抗数据集中进行训练，设置模型训练的批次大小和学习率等参数等同原始LeNet-5模型，获得三个精度较高的标签模型。

步骤3：监控运行模型LeNet-5的准确率，保证运行模型在一个高准确率的情形下运行，本步骤采用多数原则的方法，选取三个模型中投票最多的那个类别作为无监督样本的标签。具体步骤如下：

步骤31：在每一张无标签样本输入到运行模型LeNet-5之前，先将这个无标签样本输入到三个标签模型中，三个标签模型会给出此样本的预测列表，其将样本的类别按概率大小从高到低排序；定义三个预测列表分别为predA＝{a1,a2,…,an},predB＝{b1,b2,…,bn},predC＝{c1,c2,…,cn}；

步骤32：依次查看预测列表的前i项，i的初始值为1；

步骤33：设置一个集合S来记录出现两次或三次的类别，初始为空。考虑三个预测列表的前i项，一共有3*i个选项，如果某个类别出现两次或者三次，那么将此类别添加入集合S中；

步骤34：如果集合S为空，那么i＝i+1，转到步骤33继续执行；如果集合S中只有一个类别，输出此类别和集合S作为标签和多维标签；如果集合S中有多个类别，计算三个预测列表中这三个类别的预测平均概率，输出其中最大值和集合S作为标签和多维标签。

步骤4：分析出运行模型LeNet-5识别错的样本，将之视为负样本并搜集到负样本集，具体步骤为：

步骤41：初始化一个负样本集，设定负样本集的最大容量为20，负样本集的容量不能设置太大或太小。容量太大导致重训练模型的速度变慢，模型不能及时更新，对一些突发情况不能及时调整，容量太小会导致模型太敏感，因为环境的一点点变化而频繁更新，这会导致时间以及资源的浪费；

步骤42：将无监督样本依次输入到运行模型LeNet-5中，得到运行模型的判别结果；

步骤43：将LeNet-5模型的判别结果和标签模型给出的标签进行比较，如果两者不符，那么将该样本视为负样本，添加到负样本集中。

步骤5：当负样本集满时，对这些负样本采用对抗样本生成器进行数据增强，和原始MNIST数据集混合重训练LeNet-5模型，具体步骤如下：

步骤51：当负样本集的样本数量达到规定的最大值时，对负样本集中所有样本输入到对抗样本生成器中进行对抗生成，形成一批对抗样本；本例中可使用https://arxiv.org/abs/1911.07931公开的CAGFuzz中的AEG生成对抗样本。

步骤52：为了防止数据过拟合，从对抗样本中随机采样80％的数据，再从MNIST数据集的训练集中随机采样80％的数据混合形成重训练数据集；

步骤53：将运行模型备份，设置训练的训练轮次、批次和学习率等参数和晕原始模型保持一致，然后在重训练数据集上对运行模型进行重训练，得到新的运行模型，保存权重数据。

步骤6：采用A/B测试来判断重训练的新模型是否比旧模型更适应当前的动态环境，如果适应则更新模型，具体步骤如下：

步骤61：对新旧模型随机输入等量的无监督样本，得到两个模型的输出准确率；

步骤62：如果重训练的新模型的准确率比原始运行模型的准确率高，那么将新模型的权重数据导入到运行模型，继续执行。

步骤7：重复步骤3-6，直到这个系统下线不再运行，以达到深度学习系统的在线测试。

基于相同的发明构思，本发明实施例公开的一种基于MAPE-D环形结构的深度学习系统在线测试装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的基于MAPE-D环形结构的深度学习系统在线测试方法。

Claims (5)

1.一种基于MAPE-D环形结构的深度学习系统在线测试方法，其特征在于，包括如下步骤：

步骤1：部署离线训练好的用于图片分类的深度神经网络模型并收集训练模型的静态图片数据集，实时收集运行模型的动态图片数据，所述动态图片数据作为无监督图片样本；

步骤2：采用生成对抗样本的方法对静态图片数据集的三个不同部分进行对抗转换，重新组合成三个和静态图片数据集相似但不同的图片数据集，训练三个标签模型；

步骤3：采用多数原则的方法为无监督图片样本进行打标签，将标签模型的多数输出结果作为无监督图片样本的标签，以此来监控运行模型的准确度；

步骤4：将无监督图片样本输入到运行模型中，将输出结果和标签模型给的标签不一致的图片样本视作负样本，保存到负样本集，设定负样本集的最大容量；

步骤5：当负样本集达到最大值时，对负样本进行数据增强扩充负样本集，然后将负样本集和原始静态图片数据集的部分组合为新的图片数据集重训练运行模型；

步骤6：采用A/B测试原理，输入无监督图片样本对重训练模型和旧模型进行验证分析，如果重训练模型的性能优于旧模型，则将重训练模型的参数导入到运行模型中；

步骤7：在模型运行过程中，不断重复步骤3-6以达到深度学习系统的在线测试；

所述步骤2包括如下步骤：

步骤21：将静态图片数据集的训练集和测试集都均匀地划分为三个子集，首先采用FGSM对抗生成策略对训练集和测试集的第一个子集进行变换，再将变换后的训练集和测试集的子集分别与另外两个未变换的子集组合成新的训练集和测试集；

步骤22：重复步骤21，对训练集和测试集的另外两个子集进行相同的操作，最终形成三个不同却相似的静态图片数据集；

步骤23：搭建三个和运行模型相同网络结构的标签模型，为这三个标签模型的每层神经元之间的连接边随机设置初始权值；

步骤24：将三个标签模型在不同的静态图片数据集中进行训练，设置模型训练的相关系数，获得三个训练好的标签模型；

所述步骤3包括如下步骤：

步骤31：将所有的无标签图片样本分别输入到三个标签模型，针对每一个无监督图片样本，三个标签模型都会给出预测列表，列表中将样本的类别以概率从高到低排序；定义三个预测列表分别为predA＝{a1,a2,…,an},predB＝{b1,b2,…,bn},predC＝{c1,c2,…,cn}；

步骤32：依次查看预测列表的前i项，i的初始值为1；

步骤33：设置一个集合S来记录出现两次或三次的类别，初始为空，考虑三个预测列表的前i项，一共有3*i个选项，如果某个类别出现两次或者三次，那么将此类别添加入集合S中；

步骤34：如果集合S为空，那么i＝i+1，转到步骤33继续执行；如果集合S中只有一个类别，输出此类别和集合S作为标签和多维标签；如果集合S中有多个类别，计算三个预测列表中这三个类别的预测平均概率，输出其中最大值和集合S作为标签和多维标签。

2.根据权利要求1所述的一种基于MAPE-D环形结构的深度学习系统在线测试方法，其特征在于，所述步骤4中将收集的无监督图片样本输入到运行模型中，分析记录运行模型识别错误的样本，具体包括：

步骤41：初始化一个负样本集，设定负样本集的最大容量；

步骤42：将无监督图片样本依次输入到运行模型中，得到运行模型的判别结果；

步骤43：将运行模型的判别结果和标签模型给出的标签进行比较，如果两者不符，那么将该样本视为负样本，添加到负样本集中。

3.根据权利要求1所述的一种基于MAPE-D环形结构的深度学习系统在线测试方法，其特征在于，所述步骤5包括如下步骤：

步骤51：当负样本集的样本数量达到规定的最大值时，对负样本集中所有样本使用对抗样本生成器进行数据增强，形成一批对抗样本，将标签模型认定的标签视为这些负样本的标签；

步骤52：为了防止数据过拟合，从对抗样本中随机采样部分的数据，再从原始静态图片数据集的训练集中随机采样部分的数据混合形成重训练图片数据集；

步骤53：将运行模型备份，设定训练轮次，然后在重训练图片数据集上对运行模型进行重训练，得到新的运行模型，保存权重数据。

4.根据权利要求1所述的一种基于MAPE-D环形结构的深度学习系统在线测试方法，其特征在于，所述步骤6包括如下步骤：

步骤61：对新旧模型随机输入等量的无监督图片样本，得到两个模型的输出准确率；

步骤62：如果重训练的新模型的准确率比原始运行模型的准确率高，那么将新模型的权重数据导入到运行模型。

5.一种基于MAPE-D环形结构的深度学习系统在线测试装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-4任一项所述的基于MAPE-D环形结构的深度学习系统在线测试方法。

Images