CN111753985A - 基于神经元覆盖率的图像深度学习模型测试方法与装置 - Google Patents
基于神经元覆盖率的图像深度学习模型测试方法与装置 Download PDFInfo
- Publication number
- CN111753985A CN111753985A CN202010600844.5A CN202010600844A CN111753985A CN 111753985 A CN111753985 A CN 111753985A CN 202010600844 A CN202010600844 A CN 202010600844A CN 111753985 A CN111753985 A CN 111753985A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- image
- data set
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 86
- 238000013136 deep learning model Methods 0.000 title claims abstract description 60
- 210000002569 neuron Anatomy 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 3
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经元覆盖率的图像深度学习模型测试方法与装置，方法包括：选取图像数据集及M个采用图像数据集预训练好的图像深度学习模型；搭建生成式对抗网络；生成式对抗网络的生成器将随机分布映射为扰动图，再将扰动图加到图像数据集中的原始样本上，生成生成样本；针对M个预训练好的图像深度学习模型，以图像数据集作为训练集，基于神经元覆盖率和注意力机制训练生成式对抗网络；以图像数据集作为输入，分别采用M个训练好的生成器生成对抗样本，汇总后获得测试数据集；利用生成的测试数据集对待测图像深度学习模型进行测试。本发明基于注意力机制和神经元覆盖率，使得图像深度学习模型的测试结果更加可靠。
Description
技术领域
本发明涉及机器学习领域，尤其涉及一种基于神经元覆盖率的图像深度学习模型测试方法与装置。
背景技术
在过去的几年中，深度学习取得了长足的进步，在包括图像分类、语音识别和文本理解在内的多种场景中，人工智能达到或超过了人类水平。这些进步使得深度学习在安全性和安全性至关重要的系统(例如自动驾驶汽车、恶意软件检测和飞机防撞系统)中得到广泛应用和部署。
随着研究的不断进行，研究者发现深度学习模型容易受到各种人眼不可观测的样本攻击。因此，像传统软件一样，必须对深度学习系统行系统测试，以检测和修复任何潜在的缺陷或不良行为。但是，由于训练好的深度学习模型具有成千上万个神经元和数百万个参数，使得真实世界的深度学习系统的自动化和系统测试难以进行。
测试深度学习系统的标准方法是收集并手动标记尽可能多的真实测试数据。某些深度学习系统(例如Google无人驾驶汽车)也使用仿真来生成综合训练数据。但是，因为测试数据的收集过程没有考虑目标深度学习系统的内部结构，因此对于深度学习系统的大量输入空间(例如，无人驾驶汽车的所有可能路况)，这些方法无法覆盖所有的极端案例。
现有的深度学习模型评测方法引用传统软件测试的方法，分为白盒测试和黑盒测试。白盒测试主要通过神经元的覆盖情况进行评测，这是一个全局的概念，这类方法在评测时，因其深度学习系统的输入空间比较大，会引入大量的不必要的神经元，造成系统的开销过大，并且引入冗余神经元会较大地影响覆盖率准确性。黑盒测试不观察深度学习系统在运行时的内部行为，而是从源级(训练数据和训练程序)或模型级(无需训练直接注入)注入故障以评估测试数据质量，但是这类评测方法类似于传统的突变测试，由于需要生成大量的突变DNN模型，需要对目标测试集进行评估，因此需要较大的计算量。
现有技术中至少存在以下缺点和不足：
(1)测试数据集生成效率较低。
(2)生成的测试数据集只对某一种模型可用，迁移性较差。
发明内容
本发明提供了一种基于神经元覆盖率的图像深度学习模型测试方法与装置，该方法基于注意力机制和神经元覆盖率，可以高效地测试图像深度学习模型。
本发明的具体技术方案如下：
一种基于神经元覆盖率的图像深度学习模型测试方法，包括以下步骤：
(1)选取图像数据集；选取M个采用所述图像数据集预训练好的图像深度学习模型；
(2)搭建生成式对抗网络；生成式对抗网络的生成器将随机分布映射为扰动图，再将扰动图加到图像数据集中的原始样本上，生成生成样本；生成式对抗网络的判别器用于区分原始样本和生成样本；
(3)针对M个预训练好的图像深度学习模型，以图像数据集作为训练集，基于神经元覆盖率和注意力机制训练生成式对抗网络，获得M个训练好的生成器；
(4)以图像数据集作为输入，分别采用M个训练好的生成器生成生成样本；将M个训练好的生成器所生成的生成样本汇总，获得测试图像深度学习模型的测试数据集；
(5)利用生成的测试数据集对待测图像深度学习模型进行测试。
本发明通过神经元覆盖率这一指标，使用GAN模型结构，根据注意力机制，可以高效地生成用于测试深度模型的测试数据集。GAN模型的结构包括生成器和判别器，判别器使得生成的生成样本图片在满足图片生成的相似性的同时，保证Grad-CAM(基于梯度的类激活映射)的映射区域大小和位置相似，并提升图片的神经元覆盖率。
图像数据集可选择现有的公共数据集。优选的，所述的图像数据集为MNIST数据集、ImageNet数据集、CASIA数据集、GTSRB数据集或LFW数据集，这些数据集具有不同的数据类型。
针对每个图像数据集，可选取多个图像深度学习模型(DNN)，最后再将针对每个图像深度学习模型所生成的生成样本汇总，得到最终的测试数据集，这样就使得生成的测试数据集具有图像深度学习模型普适性。优选的，M≥2。
所述的生成式对抗网络包括生成器、第一判别器、第二判别器以及第三判别器；
所述第一判别器用于识别原始样本和生成样本；
所述第二判别器基于梯度的类激活映射(Grad-CAM)寻找原始样本和生成样本的注意力覆盖区域，统计注意力覆盖区域的位置、大小；
所述第三判别器计算生成样本在预训练好的图像深度学习模型上的神经元覆盖率，并判断其神经元覆盖率是否达到设定的阈值。
进一步的，基于神经元覆盖率和注意力机制训练生成式对抗网络时，生成器与第一判别器以训练好的图像深度学习模型对原始样本和生成样本的分类概率的交叉熵作为损失函数；损失函数公式为：
其中，D1(x)为原始样本在第一判别器的输出，D1(G(z))为生成样本在第一判别器的输出；
生成器与第二判别器的损失函数为：
其中，lf为损失函数，f(x)为原始样本的Grad-CAM，f(G(z))为生成样本的Grad-CAM；
生成器与第三判别器的损失函数为：
其中，Tc为设定的神经元覆盖率的阈值，为超参数；
总损失函数为：
其中，λ和β为超参数；
以图像数据集作为训练集对生成式对抗网络进行训练，直至总损失函数收敛且生成样本的神经元覆盖率大于设定的阈值，结束训练。
基于梯度的类激活映射寻找样本的注意力覆盖区域，计算公式为：
其中，Ai表示第i个特征图；
Sc为样本在训练好的图像深度学习模型中真实类标的分类得分；Z＝c1×c2，为特征图的大小；
为第i个特征图第k行第j列的像素值。
计算样本在预训练好的图像深度学习模型上的神经元覆盖率，计算公式如下：
式中：N＝{n1，n2，...}，为预训练好的图像深度学习模型的一组神经元；T＝{x1，x2，...}，为预训练好的图像深度学习模型的一组测试输入；
表示一个功能函数，该函数代表在给定输入x∈T、n∈N时所得到的输出值；high和low为超参数，sum(N)为神经元总个数。
步骤(5)包括：计算测试数据集在待测图像深度学习模型上的准确率，并进行异常指数的判定；计算公式为：
AI＝max(thre-acc，0)；
其中，AI是异常指数；acc是测试数据集在待测图像深度学习模型Mtest上的准确率；thre是异常值的判断阈值；xi test是测试数据集中第i个测试数据，yi test是测试数据集中第i个测试数据的真实标签。
优选的，为了提升待测图像深度学习模型的鲁棒性，可以将测试数据集放入待测图像深度学习模型中进行训练；
其中，Θ是待测图像深度学习模型参数，l是分类的损失函数，FΘ是分类器。经过测试数据训练后，可提升模型的鲁棒性。
本发明还提供了一种基于神经元覆盖率的图像深度学习模型测试装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行计算机程序时实现所述的基于神经元覆盖率的图像深度学习模型测试方法。
与现有技术相比，本发明的有益效果为：
本发明的测试方法和装置中，生成的测试数据集具体多样化、分布多元化的优点，并且测试数据集的生成效率高、可迁移性强，使得图像深度学习模型的测试结果更加可靠。
附图说明
图1基于注意力机制和神经元覆盖率的测试数据集生成装置的结构示意图；
图2是训练图像深度学习模型的示意图；
图3是Grad-CAM的映射过程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
基于注意力机制和神经元覆盖率的测试数据集生成方法包括以下步骤，如图1所示：
1)初始化：采用五个流行的公共数据集：MNIST、ImageNet、CASIA、GTSRB和LFW数据集，这些数据集具有不同的数据类型。
如图2所示，然后针对每个数据集在三个DNN上评估(即总共15个DNN)。所有评估的DNN都经过预训练，或者使用合适的训练规则进行训练，以实现与相应结构的最新模型具有相当的性能。
以MNIST数据集为例，三个DNN模型结构如表1所示：
表1
2)对模型的神经元覆盖率进行评测：设N＝{n1，n2，...}为DNN的一组神经元；设T＝{x1，x2，...}为DNN的一组测试输入；设
表示一个功能函数，该函数代表在给定输入x∈T，n∈N所得到的输出值；神经元覆盖率为激活的超过阈值的神经元数除以总的神经元数(阈值可以自行设定，最基础的激活神经元值大于0即可)。对于神经元，在其激活函数的值的范围内，high和low代表着边界值，其中high和low分别来自对训练集的分析。对于一组神经元和输入来说，神经元覆盖率的计算如下：
3)利用神经元覆盖率和注意力机制训练图片生成器
3.1)如图3所示，利用Grad-CAM(基于梯度的类激活映射)寻找到输入图片的注意力集中的区域，并将其取出。设第c类(输入图片的真实类别)的分类得分为sc，GAP(全局平均池化)的权重为
特征图大小为c1×c2，Z＝c1×c2，第i个特征图第k行第j列的像素值为
Grad-CAM的计算方式如下：
Ai为第i个特征图。
3.2)神经网络搭建生成器(Generator)的结构模型：生成器学习将随机分布z(1*100的一维向量)映射为扰动图，扰动图加到原始样本(原始输入图片)上生成生成样本；将随机分布z转变的特征图一步步地反卷积操作直到和原始样本具有一样的尺寸；生成器完成从噪声随机分布的采样到扰动图的映射，它使用扰动图加到原始样本中，使扰动能让样本A尽可能地模仿生成样本迷惑判别器；在保证图片相近的同时，保证注意力集中区域的重叠部分尽可能的大；最后，我们也需要通过统计，获取神经元覆盖率指标，使得生成图片的神经元覆盖率逐渐提高。
3.3)由神经网络搭建三个判别器(Discriminator)的结构模型：
第一个判别器学习如何将3.1)中生成器生成的生成样本和原始样本区分开来。它以当前样本的图片和生成样本的图片的分类概率的交叉熵作为损失函数，使得第一个判别器具有良好的分类鲁棒性；
第二个判别器用来统计Grad-CAM的注意力覆盖区域的位置和大小，使得生成样本可以尽量模拟原始样本的注意力覆盖区域；
第三个判别器用来判断生成样本是否到达神经元覆盖率的阈值，当其值未达到指定阈值时，对生成器进行更新。
其中，D1(x)为原始样本在第一判别器的输出，D1(G(z))为生成样本在第一判别器的输出；
其中，lf为损失函数，f(x)为原始样本的Grad-CAM，f(G(z))为对抗样本的Grad-CAM；
其中，NCov(x，N)为生成样本在训练好的图像深度学习模型上的神经元覆盖率；Tc为设定的神经元覆盖率的阈值，为超参数。
其中，λ和β为超参数。
最后，我们可以将整个最优化问题表达为：
即根据总损失函数训练一个生成器G，生成器G可以使得判别器D分类错误。
整个系统的网络结构如表2所示：
表2
3.4)经过步骤3.1)构建的生成器和3.2)构建的判别器之间的不断对抗过程，对于同一个数据集，我们得到三个图片生成器。三个生成器生成并进行汇总，获得能够对模型进行测试的测试数据集。
4)利用生成的测试数据集对模型进行鲁棒性评价
通过计算测试数据集(Xtest，Ytest)在模型Mtest上的准确率进行判断，并进行异常指数的判定。
AI＝max(thre-acc，0)
其中，AI是异常指数，acc是测试数据集在模型Mtest上的准确率，thre是异常值的判断阈值，xi test是测试数据集中第i个测试数据，yi test是测试数据集中第i个测试数据的真实标签。
此外，为了提升模型的鲁棒性，可以将测试数据集放入模型中进行训练。
其中，Θ是模型参数，l是分类的损失函数，FΘ是分类器。经过测试数据训练后，可提升模型的鲁棒性。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于神经元覆盖率的图像深度学习模型测试方法，其特征在于，包括以下步骤：
(1)选取图像数据集；选取M个采用所述图像数据集预训练好的深度学习模型；
(2)搭建生成式对抗网络；生成式对抗网络的生成器将随机分布映射为扰动图，再将扰动图加到图像数据集中的原始样本上，生成生成样本；生成式对抗网络的判别器用于区分原始样本和生成样本；
(3)针对M个预训练好的深度学习模型，以图像数据集作为训练集，基于神经元覆盖率和注意力机制训练生成式对抗网络，获得M个训练好的生成器；
(4)以图像数据集作为输入，分别采用M个训练好的生成器生成生成样本；将M个训练好的生成器所生成的生成样本汇总，获得测试深度学习模型的测试数据集；
(5)利用生成的测试数据集对待测图像深度学习模型进行测试。
2.根据权利要求1所述的基于神经元覆盖率的图像深度学习模型测试方法，其特征在于，所述的生成式对抗网络包括生成器、第一判别器、第二判别器以及第三判别器；
所述第一判别器用于识别原始样本和生成样本；
所述第二判别器基于梯度的类激活映射寻找原始样本和生成样本的注意力覆盖区域，统计注意力覆盖区域的位置、大小；
所述第三判别器计算生成样本在预训练好的深度学习模型上的神经元覆盖率，并判断其神经元覆盖率是否达到设定的阈值。
3.根据权利要求2所述的基于神经元覆盖率的图像深度学习模型测试方法，其特征在于，基于神经元覆盖率和注意力机制训练生成式对抗网络时，生成器与第一判别器以训练好的图像深度学习模型对原始样本和生成样本的分类概率的交叉熵作为损失函数；损失函数公式为：
其中，D1(x)为原始样本在第一判别器的输出，D1(G(z))为生成样本在第一判别器的输出；
生成器与第二判别器的损失函数为：
其中，lf为损失函数，f(x)为原始样本的Grad-CAM，f(G(z))为生成样本的Grad-CAM；
生成器与第三判别器的损失函数为：
其中，NCov(x，N)为生成样本在训练好的图像深度学习模型上的神经元覆盖率；Tc为设定的神经元覆盖率的阈值，为超参数；
总损失函数为：
其中，λ和β为超参数；
以图像数据集作为训练集对生成式对抗网络进行训练，直至总损失函数收敛且生成样本的神经元覆盖率大于设定的阈值，结束训练。
4.根据权利要求2所述的基于神经元覆盖率的图像深度学习模型测试方法，其特征在于，基于梯度的类激活映射寻找样本的注意力覆盖区域，计算公式为：
其中，Ai表示第i个特征图；
Sc为样本在训练好的深度学习模型中真实类标的分类得分；Z＝c1×c2，为特征图的大小；
为第i个特征图第k行第j列的像素值。
5.根据权利要求2所述的基于神经元覆盖率的图像深度学习模型测试方法，其特征在于，计算样本在预训练好的深度学习模型上的神经元覆盖率，计算公式如下：
其中：N＝{n1，n2，...}，为预训练好的深度学习模型的一组神经元；T＝{x1，x2，...}，为预训练好的深度学习模型的一组测试输入；
表示一个功能函数，该函数代表在给定输入x∈T、n∈N时所得到的输出值；high和low为超参数，sum(N)为神经元总个数。
6.根据权利要求1所述的基于神经元覆盖率的图像深度学习模型测试方法，其特征在于，所述的图像数据集为MNIST数据集、ImageNet数据集、CASIA数据集、GTSRB数据集或LFW数据集。
7.据权利要求1所述的基于神经元覆盖率的图像深度学习模型测试方法，其特征在于，步骤(5)包括：
计算测试数据集在待测图像深度学习模型上的准确率，并进行异常指数的判定；计算公式为：
AI＝max(thre-acc，0)；
其中，AI是异常指数；acc是测试数据集在待测图像深度学习模型Mtest上的准确率；thre是异常值的判断阈值；
是测试数据集中第i个测试数据，
是测试数据集中第i个测试数据的真实标签。
8.一种基于神经元覆盖率的图像深度学习模型测试装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行计算机程序时实现如权利要求1～7任一项所述的基于神经元覆盖率的图像深度学习模型测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010600844.5A CN111753985B (zh) | 2020-06-28 | 2020-06-28 | 基于神经元覆盖率的图像深度学习模型测试方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010600844.5A CN111753985B (zh) | 2020-06-28 | 2020-06-28 | 基于神经元覆盖率的图像深度学习模型测试方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753985A true CN111753985A (zh) | 2020-10-09 |
| CN111753985B CN111753985B (zh) | 2024-02-23 |
Family
ID=72677764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010600844.5A Active CN111753985B (zh) | 2020-06-28 | 2020-06-28 | 基于神经元覆盖率的图像深度学习模型测试方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753985B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328496A (zh) * | 2020-11-27 | 2021-02-05 | 杭州新州网络科技有限公司 | 全栈式的循环神经网络深度学习系统安全分析与检测方法 |
| CN112506797A (zh) * | 2020-12-22 | 2021-03-16 | 南京航空航天大学 | 一种针对医学影像识别系统的性能测试方法 |
| CN112651987A (zh) * | 2020-12-30 | 2021-04-13 | 内蒙古自治区农牧业科学院 | 一种样方草地覆盖度计算方法及系统 |
| CN112668655A (zh) * | 2020-12-30 | 2021-04-16 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
| CN112712163A (zh) * | 2020-12-25 | 2021-04-27 | 中国科学院软件研究所 | 一种基于覆盖率的神经网络有效数据增强方法 |
| CN113076980A (zh) * | 2021-03-24 | 2021-07-06 | 中山大学 | 一种基于注意力增强以及输入扰动的分布外图像检测方法 |
| CN113468046A (zh) * | 2021-06-17 | 2021-10-01 | 江苏大学 | 一种面向多目标的dnn模型的诱导输入生成的方法 |
| CN113762335A (zh) * | 2021-07-27 | 2021-12-07 | 北京交通大学 | 一种基于不确定性的智能系统测试数据生成方法 |
| CN113986717A (zh) * | 2021-09-29 | 2022-01-28 | 南京航空航天大学 | 采用基于区域的神经元选择策略的模糊测试方法及终端 |
| CN114445586A (zh) * | 2021-07-30 | 2022-05-06 | 华东师范大学 | 一种基于生成对抗网络的三维仿生设计方法及系统 |
| CN114565051A (zh) * | 2022-03-03 | 2022-05-31 | 余姚市亿盛金属制品有限公司 | 基于神经元影响程度的产品分类模型的测试方法 |
| WO2023087759A1 (zh) * | 2021-11-18 | 2023-05-25 | 华为技术有限公司 | 一种深度学习模型的测试方法和装置 |
| CN117493140A (zh) * | 2023-11-07 | 2024-02-02 | 上海安般信息科技有限公司 | 一种针对深度学习模型的评测系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801215A (zh) * | 2018-12-12 | 2019-05-24 | 天津津航技术物理研究所 | 基于对抗生成网络的红外超分辨率成像方法 |
| CN110390347A (zh) * | 2019-06-10 | 2019-10-29 | 河海大学 | 针对深度神经网络的条件引导式对抗生成测试方法与系统 |
-
2020
- 2020-06-28 CN CN202010600844.5A patent/CN111753985B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801215A (zh) * | 2018-12-12 | 2019-05-24 | 天津津航技术物理研究所 | 基于对抗生成网络的红外超分辨率成像方法 |
| CN110390347A (zh) * | 2019-06-10 | 2019-10-29 | 河海大学 | 针对深度神经网络的条件引导式对抗生成测试方法与系统 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328496A (zh) * | 2020-11-27 | 2021-02-05 | 杭州新州网络科技有限公司 | 全栈式的循环神经网络深度学习系统安全分析与检测方法 |
| CN112506797A (zh) * | 2020-12-22 | 2021-03-16 | 南京航空航天大学 | 一种针对医学影像识别系统的性能测试方法 |
| CN112712163A (zh) * | 2020-12-25 | 2021-04-27 | 中国科学院软件研究所 | 一种基于覆盖率的神经网络有效数据增强方法 |
| CN112651987A (zh) * | 2020-12-30 | 2021-04-13 | 内蒙古自治区农牧业科学院 | 一种样方草地覆盖度计算方法及系统 |
| CN112668655A (zh) * | 2020-12-30 | 2021-04-16 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
| CN112668655B (zh) * | 2020-12-30 | 2023-08-29 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
| CN113076980A (zh) * | 2021-03-24 | 2021-07-06 | 中山大学 | 一种基于注意力增强以及输入扰动的分布外图像检测方法 |
| CN113076980B (zh) * | 2021-03-24 | 2023-11-14 | 中山大学 | 一种基于注意力增强以及输入扰动的分布外图像检测方法 |
| CN113468046A (zh) * | 2021-06-17 | 2021-10-01 | 江苏大学 | 一种面向多目标的dnn模型的诱导输入生成的方法 |
| CN113468046B (zh) * | 2021-06-17 | 2024-05-14 | 江苏大学 | 一种面向多目标的dnn模型的诱导输入生成的方法 |
| CN113762335B (zh) * | 2021-07-27 | 2022-05-13 | 北京交通大学 | 一种基于不确定性的智能系统测试数据生成方法 |
| CN113762335A (zh) * | 2021-07-27 | 2021-12-07 | 北京交通大学 | 一种基于不确定性的智能系统测试数据生成方法 |
| CN114445586A (zh) * | 2021-07-30 | 2022-05-06 | 华东师范大学 | 一种基于生成对抗网络的三维仿生设计方法及系统 |
| CN113986717A (zh) * | 2021-09-29 | 2022-01-28 | 南京航空航天大学 | 采用基于区域的神经元选择策略的模糊测试方法及终端 |
| CN113986717B (zh) * | 2021-09-29 | 2024-08-09 | 南京航空航天大学 | 采用基于区域的神经元选择策略的模糊测试方法及终端 |
| WO2023087759A1 (zh) * | 2021-11-18 | 2023-05-25 | 华为技术有限公司 | 一种深度学习模型的测试方法和装置 |
| CN114565051A (zh) * | 2022-03-03 | 2022-05-31 | 余姚市亿盛金属制品有限公司 | 基于神经元影响程度的产品分类模型的测试方法 |
| CN114565051B (zh) * | 2022-03-03 | 2024-05-24 | 余姚市亿盛金属制品有限公司 | 基于神经元影响程度的产品分类模型的测试方法 |
| CN117493140A (zh) * | 2023-11-07 | 2024-02-02 | 上海安般信息科技有限公司 | 一种针对深度学习模型的评测系统 |
| CN117493140B (zh) * | 2023-11-07 | 2024-03-22 | 上海安般信息科技有限公司 | 一种针对深度学习模型的评测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753985B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753985B (zh) | 基于神经元覆盖率的图像深度学习模型测试方法与装置 | |
| Yu et al. | A bearing fault diagnosis technique based on singular values of EEMD spatial condition matrix and Gath-Geva clustering | |
| CN109190665B (zh) | 一种基于半监督生成对抗网络的通用图像分类方法和装置 | |
| CN110006649B (zh) | 一种基于改进蚁狮算法和支持向量机的轴承故障诊断方法 | |
| Arbin et al. | Comparative analysis between k-means and k-medoids for statistical clustering | |
| CN106897738A (zh) | 一种基于半监督学习的行人检测方法 | |
| CN110738247A (zh) | 一种基于选择性稀疏采样的细粒度图像分类方法 | |
| CN112052933B (zh) | 基于粒子群优化的深度学习模型的安全性测试方法和修复方法 | |
| CN110363230A (zh) | 基于加权基分类器的stacking集成污水处理故障诊断方法 | |
| CN115602337A (zh) | 一种基于机器学习的刺激隐核虫疾病预警方法及系统 | |
| CN109766905A (zh) | 基于自组织特征映射网络的目标分群方法 | |
| Zheng et al. | Benchmarking unsupervised anomaly detection and localization | |
| CN110097067B (zh) | 一种基于层进式特征变换的弱监督细粒度图像分类方法 | |
| CN116665039A (zh) | 基于两阶段因果干预的小样本目标识别方法 | |
| CN114721914A (zh) | 一种改进型深度学习算法模型的信息分析方法 | |
| Yan et al. | Gsm-hm: Generation of saliency maps for black-box object detection model based on hierarchical masking | |
| Liu et al. | Peaks fusion assisted early-stopping strategy for overhead imagery segmentation with noisy labels | |
| Zhu et al. | A robust feature fusion method for camera-based highway guardrail detection | |
| CN104463205B (zh) | 基于混沌深度小波网络的数据分类方法 | |
| Yani et al. | Plastic-type prediction based on digital image using multinomial Naïve Bayes method | |
| Lim et al. | Novel Annotation and Metrics for Mangrove Species Classification Using Bounding Box Object Detection | |
| CN118520357B (zh) | 基于表征引导的轴承故障诊断方法、系统及存储介质 | |
| CN117390688B (zh) | 一种基于监督训练的模型反演方法 | |
| CN118279289B (zh) | 一种电力设备视频图像缺陷识别方法及系统 | |
| CN115035409B (zh) | 一种基于相似性对比学习的弱监督遥感图像目标检测算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |