CN115858388A - 基于变异模型映射图的测试用例优先级排序方法和装置 - Google Patents
基于变异模型映射图的测试用例优先级排序方法和装置 Download PDFInfo
- Publication number
- CN115858388A CN115858388A CN202211698706.0A CN202211698706A CN115858388A CN 115858388 A CN115858388 A CN 115858388A CN 202211698706 A CN202211698706 A CN 202211698706A CN 115858388 A CN115858388 A CN 115858388A
- Authority
- CN
- China
- Prior art keywords
- model
- test
- training
- data
- graph node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013507 mapping Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims description 69
- 238000013136 deep learning model Methods 0.000 claims description 45
- 230000035772 mutation Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000012913 prioritisation Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012353 t test Methods 0.000 claims 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013522 software testing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003562 morphometric effect Effects 0.000 description 1
- 238000013425 morphometry Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于变异模型映射图的测试用例优先级排序方法和装置，利用图的数据关联能力，将样本特征和模型结构映射到图层面，实现对测试用例的特征提取和排序；同时提出的测试用例优先级排序方法，能够有效的对测试级进行优先排序，在最短的时间内筛选出最可能导致模型出现潜在错误的样本。
Description
技术领域
本专利涉及人工智能及其安全、图像分类和软件测试领域，尤其涉及一种基于变异模型映射图的测试用例优先级排序方法和装置。
背景技术
我们正在进入深度学习时代，深度学习因具有媲美甚至超过人类性能的能力，使得它在许多领域被广泛应用。深度学习的著名应用包括图像分类、自动驾驶、语音识别、游戏等等。尽管在定义明确的任务中，深度学习已经具有不俗的表现，但在可靠性和质量方面仍然存在许多问题。当深度学习应用于安全性至关重要领域时，这些问题的出现可能会对生命财产造成不可估量的重大损失，比如谷歌和特斯拉的自动驾驶汽车造成的事故。
测试被认为是软件质量保证的常见实践。然而，基于DNN的软件的测试与传统软件有很大不同，因为传统软件依赖程序员手动构建业务逻辑，而DNN是基于数据驱动的编程范式构建的。因此，充分的测试数据对于检测基于DNN的软件的错误行为至关重要。不幸的是，与传统软件的测试技术一样，DNN测试也面临着一个问题，即自动测试通常不可用。例如，在ImageNet中标记数据需要花费167个国家的49000多名工人大约9年的时间，ImageNet是最大的视觉识别数据集之一，包含20000多个类别的数百万张图像。
关于DNN测试的大多数工作集中于提出各种度量标准来衡量测试输入的充分性，例如基于神经元激活的覆盖率指标等；或设计各种方法来生成测试输入，例如基于指标指导的变异测试。然而，除此之外，DNN测试领域还有另一个关键挑战——为检查DNN预测的正确性。然而，手动标记测试输入的标签的成本非常高，这可能会在很大程度上影响DNN测试的效率，甚至影响DNN开发的整个过程。具体地说，标签成本问题的原因有三：1)测试集是大规模的；2)标注的主要方式是人工分析，往往需要多人对一个测试输入进行标注，以确保标注的正确性；3)标签通常需要特定领域的知识，这使得使用专业人员进行标签的成本更高。根据现有研究，这一挑战在实践中甚至更麻烦，但目前很少有人致力于解决这一问题。
许多大数据以大规模图或网络的形式呈现。许多非图结构的大数据，常会被转换为图模型进行分析。图数据结构很好地表达了数据之间的关联性。过去一些工作尝试理解和解释深层神经网络的内部机理。实现这一目标的其中一种方法包括将神经网络表示为图结构，并研究选定的图属性，如聚类系数、路径长度和模块化等。近几年的一些研究工作也说明了，图的一些指标对模型的可解释方面具有较强的描述能力。
基于以上考虑，本专利提出了一种基于变异模型映射图的测试用例优先级排序方法，旨在对大规模模型输入集进行优先级排序，实现在有限的时间内检测更多可能产生错误预测的输入。
发明内容
本发明的目的在于针对现有技术的不足，提供了一种基于变异模型映射图的测试用例优先级排序方法和装置。
本发明的目的是通过以下技术方案来实现的：一种基于变异模型映射图的测试用例优先级排序方法，包括以下步骤：
(1)收集常用于图像分类的原始数据集并保存为原始数据集X，并得到原始数据集X的类标集合Y；分别利用FGSM攻击方式、MI-FGSM攻击方式或PGD攻击方式处理原始数据集X，得到对抗数据集Xadv；将原始数据集X和对抗数据集Xadv混合，得到测试输入数据集Xt，所述测试输入数据集Xt为Xt＝{x1,x2,…,xb,…}，其中，xb表示测试输入数据集Xt中第b个数据样本；
(2)将原始数据集X按照预设比例划分为训练集X′和测试集X″，训练深度学习模型f，得到训练好的深度学习模型f0(·)；
(3)将测试输入数据集Xt中属于原始数据集X的所有数据样本的真实类标设为0，属于对抗数据集Xadv的所有数据样本的真实类标设为1，得到测试输入数据集Xt相对应的真实类标集Yt；将测试输入数据集Xt按预设比例划分为排序训练集
和排序测试集/>
同时将真实类标集Yt分为排序训练集/>
的真实类标集/>
和排序测试集/>
的真实类标集/>
根据步骤(2)训练好的深度学习模型f0(·)计算排序训练集/>
中每一个数据样本的图节点特征，得到图节点特征训练集/>
根据步骤(2)训练好的深度学习模型f0(·)计算排序测试集/>
中每一个数据样本的图节点特征，得到图节点特征测试集/>
(4)应用图节点特征训练集
训练优先级排序器，优先级排序器训练的交叉熵损失函数如以下公式表示：
其中，n表示批处理数；De表示图节点特征训练集
中任意一个图节点特征；ye表示图节点特征De的真实类标；p(De)表示图节点特征De的预测类标；
直到训练的交叉熵损失函数收敛，输出保存得到性能充足的优先级排序器R；
(5)利用权重随机分配策略或高斯噪声策略对深度学习模型f0(·)进行模型变异，最终通过模型变异得到变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}；其中，fk(·)表示经过k次变异的变异模型，K表示总共变异的次数，k＝1,2,…,k,…,K；
(6)根据变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}计算测试输入数据集Xt中每一个数据样本的图节点特征集合，并输入至性能充足的优先级排序器R中，计算每一个数据样本的优先级值；
(7)根据优先级值的大小，实现对测试输入数据集Xt从小到大的优先级排序。
进一步地，所述步骤(2)具体包括以下子步骤：
(2.1)将原始数据集X按照预设比例划分为训练集X′和测试集X″，过one-hot编码将原始数据集X中每张图像样本xi的标签转化为一维向量其格式，并计算深度学习模型f的交叉熵：
其中，yi′表示图像样本xi的预测向量，yi表示图像样本xi的真实标签；上标j表示预测向量或真实标签向量中第j个分量；Hi表示图像样本xi的交叉熵；
(2.2)通过采用小批量梯度下降的训练方法进行训练，使得交叉熵损失函数值最小来对深度学习模型f添加权重，直至训练完成，分类精度达到90％以上；所述交叉熵损失函数为：
其中，m为训练样本总数；
训练完成后，保存训练好的深度学习模型f0(·)。
进一步地，所述步骤(3)具体包括以下子步骤：
(3.1)将测试输入数据集Xt中属于原始数据集X的所有数据样本的真实类标设为0，属于对抗数据集Xadv的所有数据样本的真实类标设为1，得到测试输入数据集Xt相对应的真实类标集Yt；
(3.2)从测试输入数据集Xt中任意选择一个数据样本xb，输入到深度学习模型f0(·)中，可以得到深度学习模型f0(·)的每层输出结果：
[O1,O2,...,Oc,...,Odeep_n]＝f0(xb；ω)；
其中，Oc表示深度学习模型f0(·)第c层的输出，c＝1,2…c,…deep_n，deep_n表示深度学习模型f0(·)的模型层数为deep_n层；ω表示深度学习模型f0(·)的参数；
(3.3)将步骤(3.2)得到的模型激活和模型的结构一起映射到图网络Gb，其中，模型的结构决定了图网络结构，模型激活决定了图节点的参数，用公司表示为：
Gb＝Graph(f0(xb,w))；
其中，Graph()表示计算图网络；
(3.4)使用的图节点特征为图节点的加权度，图节点的加权度表示为节点相邻的边的权值之和；提取出的图节点特征是一个一维向量，用公式表示为：
Db＝degree(Gb)；
其中，degree()表示计算图节点特征；Db表示数据样本xb的图节点特征；
(3.5)将测试输入数据集Xt按预设比例划分为排序训练集
和排序测试集/>
同时将真实类标集Yt分为排序训练集/>
的真实类标集/>
和排序测试集/>
的真实类标集/>
对排序训练集/>
中所有数据样本重复步骤(3.2)-步骤(3.4)，得到图节点特征训练集/>
对排序测试集/>
中所有数据样本重复步骤(3.2)-步骤(3.4)，得到图节点特征测试集/>
进一步地，所述步骤(5)具体为：利用权重随机分配策略或高斯噪声策略对深度学习模型f0(·)进行模型变异；
所述权重随机分配策略具体为：对待变异模型的部分层权重进行随机分配，变异成新的模型；
weighsl′＝Shuffling(weighsl,rate)；
其中，0＜l＜L，L表示待变异模型的总层数；weighsl表示待变异模型第l层的初始权重；weighsl′表示待变异模型第l层的变异权重；rate表示变异的比例；Shuffling(·)表示随机洗牌；
所述高斯噪声策略具体为：通过对待变异模型的层权添加高斯噪声，变异成新的模型；
weighsl′＝Gauss(weighsl,μ,δ2)；
其中，μ表示高斯噪声的均值；δ2表示高斯噪声的方差；
最终通过模型变异得到变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}；其中，fk(·)表示经过k次变异的变异模型，K表示总共变异的次数，k＝1,2,…,k,…,K。
进一步地，所述步骤(6)具体包括以下子步骤：
(6.1)对测试输入数据集Xt中任意一个数据样本xb，重复步骤(3.2)-步骤(3.4)，根据变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}得到数据样本xb·的图节点特征集合{Db,0,Db,1,Db,2,…,Db,k,…,Db,K}，其中，Dr,0是数据样本xb通过深度学习模型f0(·)求得的图节点特征，Dr,k是数据样本xb通过变异模型fk(·)求得的图节点特征；
(6.2)分别将数据样本xb的图节点特征集合{Db,0,Db,1,Db,2,…,Db,k,…,Db,K}输入至步骤(4)训练得到的性能充足的优先级排序器R中，得到数据样本xb的优先级θ(xb)，计算公式如下：
其中，R(Db,k)表示优先级排序器R的输出置信度；
(6.3)对于测试输入数据集Xt中所有数据样本重复步骤(6.1)-步骤(6.2)，计算所有数据样本的优先级值，得到优先级值集合
进一步地，所述步骤(7)具体为：优先级排序则定义为：
Xt′＝{xb,Rank(ψ)}；
其中，Rank(·)表示对集合的从小到大排序，最终实现对测试输入数据集从小到大的优先级排序，得到从小到大排序后的集合Xt′。
本发明还提供了一种基于变异模型映射图的测试用例优先级排序装置，包括一个或多个处理器，用于实现上述的一种基于变异模型映射图的测试用例优先级排序方法。
本发明还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的一种基于变异模型映射图的测试用例优先级排序方法。
本发明的有益效果是：针对现有的手动对测试输入定标的方法，本发明提出了一种基于变异模型映射图的测试用例优先级排序方法，利用图的数据关联能力，将样本特征和模型结构映射到图层面，实现对测试用例的特征提取和排序；同时提出的测试用例优先级排序方法，能够有效的对测试级进行优先排序，在最短的时间内筛选出最可能导致模型出现潜在错误的样本。
附图说明
图1为一种基于变异模型映射图的测试用例优先级排序方法的流程图；
图2为一种基于变异模型映射图的测试用例优先级排序装置的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加明白清楚，结合附图和实施例，对本发明进一步的详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均在本发明保护范围。
实施例1
如图1所示，本发明提供了一种基于变异模型映射图的测试用例优先级排序方法，包括以下步骤：
(1)收集常用于图像分类的原始数据集并保存为原始数据集X，并得到原始数据集X的类标集合Y；分别利用FGSM攻击方式、MI-FGSM攻击方式或PGD攻击方式处理原始数据集X，得到对抗数据集Xadv；将原始数据集X和对抗数据集Xadv混合，得到测试输入数据集Xt，所述测试输入数据集Xt为Xt＝{x1,x2,…,xb,…}，其中，xb表示测试输入数据集Xt中第b个数据样本。
(2)将原始数据集X按照预设比例划分为训练集X′和测试集X″，训练深度学习模型f，得到训练好的深度学习模型f0(·)；
所述步骤(2)具体包括以下子步骤：
(2.1)将原始数据集X按照预设比例划分为训练集X′和测试集X″，过one-hot编码将原始数据集X中每张图像样本xi的标签转化为一维向量其格式，并计算深度学习模型f的交叉熵：
其中，yi′表示图像样本xi的预测向量，yi表示图像样本xi的真实标签；上标j表示预测向量或真实标签向量中第j个分量；Hi表示图像样本xi的交叉熵；
(2.2)通过采用小批量梯度下降的训练方法进行训练，使得交叉熵损失函数值最小来对深度学习模型f添加权重，直至训练完成，分类精度达到90％以上；所述交叉熵损失函数为：
其中，m为训练样本总数；
训练完成后，保存训练好的深度学习模型f0(·)。
(3)将测试输入数据集Xt中属于原始数据集X的所有数据样本的真实类标设为0，属于对抗数据集Xadv的所有数据样本的真实类标设为1，得到测试输入数据集Xt相对应的真实类标集Yt；将测试输入数据集Xt按预设比例划分为排序训练集
和排序测试集/>
同时将真实类标集Yt分为排序训练集/>
的真实类标集/>
和排序测试集/>
的真实类标集/>
根据步骤(2)训练好的深度学习模型f0(·)计算排序训练集/>
中每一个数据样本的图节点特征，得到图节点特征训练集/>
根据步骤(2)训练好的深度学习模型f0(·)计算排序测试集/>
中每一个数据样本的图节点特征，得到图节点特征测试集/>
/>
所述步骤(3)具体包括以下子步骤：
(3.1)将测试输入数据集Xt中属于原始数据集X的所有数据样本的真实类标设为0，属于对抗数据集Xadv的所有数据样本的真实类标设为1，得到测试输入数据集Xt相对应的真实类标集Yt；
(3.2)从测试输入数据集Xt中任意选择一个数据样本xb，输入到深度学习模型f0(·)中，可以得到深度学习模型f0(·)的每层输出结果：
[O1,O2,...,Oc,...,Odeep_n]＝f0(xb；ω)；
其中，Oc表示深度学习模型f0(·)第c层的输出，c＝1,2…c,…deep_n，deep_n表示深度学习模型f0(·)的模型层数为deep_n层；ω表示深度学习模型f0(·)的参数；
(3.3)将步骤(3.2)得到的模型激活和模型的结构一起映射到图网络Gb，其中，模型的结构决定了图网络结构，模型激活决定了图节点的参数，用公式表示为：
Gb＝Graph(f0(xb,w))；
其中，Graph()表示计算图网络；
(3.4)使用的图节点特征为图节点的加权度，图节点的加权度表示为节点相邻的边的权值之和；提取出的图节点特征是一个一维向量，用公式表示为：
Db＝degree(Gb)；
其中，degree()表示计算图节点特征；Db表示数据样本xb的图节点特征；
(3.5)将测试输入数据集Xt按预设比例划分为排序训练集
和排序测试集/>
同时将真实类标集Yt分为排序训练集/>
的真实类标集/>
和排序测试集/>
的真实类标集/>
对排序训练集/>
中所有数据样本重复步骤(3.2)-步骤(3.4)，得到图节点特征训练集/>
对排序测试集/>
中所有数据样本重复步骤(3.2)-步骤(3.4)，得到图节点特征测试集/>
(4)应用图节点特征训练集
训练优先级排序器，优先级排序器训练的交叉熵损失函数如以下公式表示：
其中，n表示批处理数；De表示图节点特征训练集
中任意一个图节点特征；ye表示图节点特征De的真实类标；p(De)表示图节点特征De的预测类标；
直到训练的交叉熵损失函数收敛，输出保存得到性能充足的优先级排序器R；
(5)利用权重随机分配策略或高斯噪声策略对深度学习模型f0(·)进行模型变异，最终通过模型变异得到变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}；其中，fk(·)表示经过k次变异的变异模型，K表示总共变异的次数，k＝1,2,…,k,…,K；
所述步骤(5)具体为：利用权重随机分配策略或高斯噪声策略对深度学习模型f0(·)进行模型变异；
所述权重随机分配策略具体为：对待变异模型的部分层权重进行随机分配，变异成新的模型；
weighsl′＝Shuffling(weighsl,rate)；
其中，0＜l＜L，L表示待变异模型的总层数；weighsl表示待变异模型第l层的初始权重；weighsl′表示待变异模型第l层的变异权重；rate表示变异的比例；Shuffling(·)表示随机洗牌；
所述高斯噪声策略具体为：通过对待变异模型的层权添加高斯噪声，变异成新的模型；
weighsl′＝Gauss(weighsl,μ,δ2)；
其中，μ表示高斯噪声的均值；δ2表示高斯噪声的方差；
最终通过模型变异得到变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}；其中，fk(·)表示经过k次变异的变异模型，K表示总共变异的次数，k＝1,2,…,k,…,K。
(6)根据变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}计算测试输入数据集Xt中每一个数据样本的图节点特征集合，并输入至性能充足的优先级排序器R中，计算每一个数据样本的优先级值；
所述步骤(6)具体包括以下子步骤：
(6.1)对测试输入数据集Xt中任意一个数据样本xb，重复步骤(3.2)-步骤(3.4)，根据变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}得到数据样本xb·的图节点特征集合{Db,0,Db,1,Db,2,…,Db,k,…,Db,K}，其中，Dr,0是数据样本xb通过深度学习模型f0(·)求得的图节点特征，Dr,k是数据样本xb通过变异模型fk(·)求得的图节点特征；
(6.2)分别将数据样本xb的图节点特征集合{Db,0,Db,1,Db,2,…,Db,k,…,Db,K}输入至步骤(4)训练得到的性能充足的优先级排序器R中，得到数据样本xb的优先级θ(xb)，计算公式如下：
其中，R(Db,k)表示优先级排序器R的输出置信度；
(6.3)对于测试输入数据集Xt中所有数据样本重复步骤(6.1)-步骤(6.2)，计算所有数据样本的优先级值，得到优先级值集合ψ＝{θ(x1),θ(x2),…,θ(xb),…}。
(7)根据优先级值的大小，实现对测试输入数据集Xt从小到大的优先级排序；
所述步骤(7)具体为：优先级排序则定义为：
Xt′＝{xb,Rank(ψ)}；
其中，Rank(·)表示对集合的从小到大排序，最终实现对测试输入数据集从小到大的优先级排序，得到从小到大排序后的集合Xt′。
实施例2
与前述一种基于变异模型映射图的测试用例优先级排序方法的实施例相对应，本发明还提供了一种基于变异模型映射图的测试用例优先级排序装置的实施例。
参见图2，本发明实施例提供的一种基于变异模型映射图的测试用例优先级排序装置，包括一个或多个处理器，用于实现上述实施例中的一种基于变异模型映射图的测试用例优先级排序方法。
本发明一种基于变异模型映射图的测试用例优先级排序装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图2所示，为本发明一种基于变异模型映射图的测试用例优先级排序装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于变异模型映射图的测试用例优先级排序方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart MediaCard，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (8)
1.一种基于变异模型映射图的测试用例优先级排序方法，其特征在于，包括以下步骤：
(1)收集常用于图像分类的原始数据集并保存为原始数据集X，并得到原始数据集X的类标集合Y；分别利用FGSM攻击方式、MI-FGSM攻击方式或PGD攻击方式处理原始数据集X，得到对抗数据集Xadv；将原始数据集X和对抗数据集Xadv混合，得到测试输入数据集Xt，所述测试输入数据集Xt为Xt＝{x1,x2,…,xb,…}，其中，xb表示测试输入数据集Xt中第b个数据样本；
(2)将原始数据集X按照预设比例划分为训练集X′和测试集X″，训练深度学习模型f，得到训练好的深度学习模型f0(·)；
(3)将测试输入数据集Xt中属于原始数据集X的所有数据样本的真实类标设为0，属于对抗数据集Xadv的所有数据样本的真实类标设为1，得到测试输入数据集Xt相对应的真实类标集Yt；将测试输入数据集Xt按预设比例划分为排序训练集
和排序测试集/>
同时将真实类标集Yt分为排序训练集/>
的真实类标集Yt train和排序测试集/>
的真实类标集Yt test；根据步骤(2)训练好的深度学习模型f0(·)计算排序训练集/>
中每一个数据样本的图节点特征，得到图节点特征训练集/>
根据步骤(2)训练好的深度学习模型f0(·)计算排序测试集/>
中每一个数据样本的图节点特征，得到图节点特征测试集/>
(4)应用图节点特征训练集
训练优先级排序器，优先级排序器训练的交叉熵损失函数如以下公式表示：
其中，n表示批处理数；De表示图节点特征训练集
中任意一个图节点特征；ye表示图节点特征De的真实类标；p(De)表示图节点特征De的预测类标；
直到训练的交叉熵损失函数收敛，输出保存得到性能充足的优先级排序器R；
(5)利用权重随机分配策略或高斯噪声策略对深度学习模型f0(·)进行模型变异，最终通过模型变异得到变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}；其中，fk(·)表示经过k次变异的变异模型，K表示总共变异的次数，k＝1,2,…,k,…,K；
(6)根据变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}计算测试输入数据集Xt中每一个数据样本的图节点特征集合，并输入至性能充足的优先级排序器R中，计算每一个数据样本的优先级值；
(7)根据优先级值的大小，实现对测试输入数据集Xt从小到大的优先级排序。
2.根据权利要求1所述的一种基于变异模型映射图的测试用例优先级排序方法，其特征在于，所述步骤(2)具体包括以下子步骤：
(2.1)将原始数据集X按照预设比例划分为训练集X′和测试集X″，过one-hot编码将原始数据集X中每张图像样本xi的标签转化为一维向量其格式，并计算深度学习模型f的交叉熵：
其中，yi′表示图像样本xi的预测向量，yi表示图像样本xi的真实标签；上标j表示预测向量或真实标签向量中第j个分量；Hi表示图像样本xi的交叉熵；
(2.2)通过采用小批量梯度下降的训练方法进行训练，使得交叉熵损失函数值最小来对深度学习模型f添加权重，直至训练完成，分类精度达到90％以上；所述交叉熵损失函数为：
其中，m为训练样本总数；
训练完成后，保存训练好的深度学习模型f0(·)。
3.根据权利要求2所述的一种基于变异模型映射图的测试用例优先级排序方法，其特征在于，所述步骤(3)具体包括以下子步骤：
(3.1)将测试输入数据集Xt中属于原始数据集X的所有数据样本的真实类标设为0，属于对抗数据集Xadv的所有数据样本的真实类标设为1，得到测试输入数据集Xt相对应的真实类标集Yt；
(3.2)从测试输入数据集Xt中任意选择一个数据样本xb，输入到深度学习模型f0(·)中，可以得到深度学习模型f0(·)的每层输出结果：
[O1,O2,...,Oc,...,Odeep_n]＝f0(xb；ω)；
其中，Oc表示深度学习模型f0(·)第c层的输出，c＝1,2…c,…deep_n，deep_n表示深度学习模型f0(·)的模型层数为deep_n层；ω表示深度学习模型f0(·)的参数；
(3.3)将步骤(3.2)得到的模型激活和模型的结构一起映射到图网络Gb，其中，模型的结构决定了图网络结构，模型激活决定了图节点的参数，用公司表示为：
Gb＝Graph(f0(xb,w))；
其中，Graph()表示计算图网络；
(3.4)使用的图节点特征为图节点的加权度，图节点的加权度表示为节点相邻的边的权值之和；提取出的图节点特征是一个一维向量，用公式表示为：
Db＝degree(Gb)；
其中，degree()表示计算图节点特征；Db表示数据样本xb的图节点特征；
(3.5)将测试输入数据集Xt按预设比例划分为排序训练集
和排序测试集/>
同时将真实类标集Yt分为排序训练集/>
的真实类标集Yt train和排序测试集/>
的真实类标集Yt test；对排序训练集/>
中所有数据样本重复步骤(3.2)-步骤(3.4)，得到图节点特征训练集/>
对排序测试集/>
中所有数据样本重复步骤(3.2)-步骤(3.4)，得到图节点特征测试集/>
4.根据权利要求3所述的一种基于变异模型映射图的测试用例优先级排序方法，其特征在于，所述步骤(5)具体为：利用权重随机分配策略或高斯噪声策略对深度学习模型f0(·)进行模型变异；
所述权重随机分配策略具体为：对待变异模型的部分层权重进行随机分配，变异成新的模型；
weighsl′＝Shuffling(weighsl,rate)；
其中，0＜l＜L，L表示待变异模型的总层数；weighsl表示待变异模型第l层的初始权重；weighsl′表示待变异模型第l层的变异权重；rate表示变异的比例；Shuffling(·)表示随机洗牌；
所述高斯噪声策略具体为：通过对待变异模型的层权添加高斯噪声，变异成新的模型；
weighsl′＝Gauss(weighsl,μ,δ2)；
其中，μ表示高斯噪声的均值；δ2表示高斯噪声的方差；
最终通过模型变异得到变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}；其中，fk(·)表示经过k次变异的变异模型，K表示总共变异的次数，k＝1,2,…,k,…,K。
5.根据权利要求4所述的一种基于变异模型映射图的测试用例优先级排序方法，其特征在于，所述步骤(6)具体包括以下子步骤：
(6.1)对测试输入数据集Xt中任意一个数据样本xb，重复步骤(3.2)-步骤(3.4)，根据变异模型集fmutation{f0(·),f1(·),…,fk(·),…,fK(·)}得到数据样本xb·的图节点特征集合{Db,0,Db,1,Db,2,…,Db,k,…,Db,K}，其中，Dr,0是数据样本xb通过深度学习模型f0(·)求得的图节点特征，Dr,k是数据样本xb通过变异模型fk(·)求得的图节点特征；
(6.2)分别将数据样本xb的图节点特征集合{Db,0,Db,1,Db,2,…,Db,k,…,Db,K}输入至步骤(4)训练得到的性能充足的优先级排序器R中，得到数据样本xb的优先级l(xb)，计算公式如下：
其中，R(Db,k)表示优先级排序器R的输出置信度；
(6.3)对于测试输入数据集Xt中所有数据样本重复步骤(6.1)-步骤(6.2)，计算所有数据样本的优先级值，得到优先级值集合ψ＝{l(x1),θ(x2),…,θ(xb),…}。
6.根据权利要求5所述的一种基于变异模型映射图的测试用例优先级排序方法，其特征在于，所述步骤(7)具体为：优先级排序则定义为：
Xt′＝{xb,Rank(ψ)}；
其中，Rank(·)表示对集合的从小到大排序，最终实现对测试输入数据集从小到大的优先级排序，得到从小到大排序后的集合Xt′。
7.一种基于变异模型映射图的测试用例优先级排序装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-6中任一项所述的基于变异模型映射图的测试用例优先级排序方法。
8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现权利要求1-6中任一项所述的基于变异模型映射图的测试用例优先级排序方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211698706.0A CN115858388A (zh) | 2022-12-28 | 2022-12-28 | 基于变异模型映射图的测试用例优先级排序方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211698706.0A CN115858388A (zh) | 2022-12-28 | 2022-12-28 | 基于变异模型映射图的测试用例优先级排序方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115858388A true CN115858388A (zh) | 2023-03-28 |
Family
ID=85655573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211698706.0A Withdrawn CN115858388A (zh) | 2022-12-28 | 2022-12-28 | 基于变异模型映射图的测试用例优先级排序方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115858388A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116303088A (zh) * | 2023-04-17 | 2023-06-23 | 南京航空航天大学 | 一种基于深度神经网络交叉熵损失的测试用例排序方法 |
-
2022
- 2022-12-28 CN CN202211698706.0A patent/CN115858388A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116303088A (zh) * | 2023-04-17 | 2023-06-23 | 南京航空航天大学 | 一种基于深度神经网络交叉熵损失的测试用例排序方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104933428B (zh) | 一种基于张量描述的人脸识别方法及装置 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| US20200218932A1 (en) | Method and system for classification of data | |
| CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
| Anand et al. | Black magic in deep learning: How human skill impacts network training | |
| CN111325237A (zh) | 一种基于注意力交互机制的图像识别方法 | |
| Langford et al. | Enhancing learning-enabled software systems to address environmental uncertainty | |
| Pham et al. | Unsupervised training of Bayesian networks for data clustering | |
| CN115858388A (zh) | 基于变异模型映射图的测试用例优先级排序方法和装置 | |
| Schmidt et al. | Probabilistic attention based on gaussian processes for deep multiple instance learning | |
| CN114048817A (zh) | 一种基于变异策略的深度学习输入集优先级测试方法 | |
| CN110197213A (zh) | 基于神经网络的图像匹配方法、装置和设备 | |
| CN112115996B (zh) | 图像数据的处理方法、装置、设备及存储介质 | |
| CN114298299A (zh) | 基于课程学习的模型训练方法、装置、设备及存储介质 | |
| CN115641474A (zh) | 基于高效学生网络的未知类型缺陷检测方法与装置 | |
| CN114936890A (zh) | 一种基于逆倾向加权方法的反事实公平的推荐方法 | |
| CN113627522A (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 | |
| CN112861601A (zh) | 生成对抗样本的方法及相关设备 | |
| CN113850302B (zh) | 一种增量学习方法、装置及设备 | |
| CN114139165B (zh) | 基于机器学习中的多目标识别的智能合约漏洞检测方法 | |
| CN118037738B (zh) | 一种沥青路面灌缝胶黏结性能检测方法及设备 | |
| Kaur et al. | Machine Learning–Principles and Algorithms | |
| WO2020075462A1 (ja) | 学習器推定装置、学習器推定方法、リスク評価装置、リスク評価方法、プログラム | |
| CN115546545A (zh) | 基于邻域影响函数的深度学习输入集优先级测试方法和装置 | |
| MacKenzie | Gilbert MacKenzie’s contribution to the Discussion of ‘the Discussion Meeting on Probabilistic and statistical aspects of machine learning’ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230328 |
|
| WW01 | Invention patent application withdrawn after publication |