CN111753986B - 面向深度学习模型的动态测试方法及其装置 - Google Patents
面向深度学习模型的动态测试方法及其装置 Download PDFInfo
- Publication number
- CN111753986B CN111753986B CN202010600845.XA CN202010600845A CN111753986B CN 111753986 B CN111753986 B CN 111753986B CN 202010600845 A CN202010600845 A CN 202010600845A CN 111753986 B CN111753986 B CN 111753986B
- Authority
- CN
- China
- Prior art keywords
- test
- sample
- model
- deep learning
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 53
- 238000010998 test method Methods 0.000 title claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 181
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000013145 classification model Methods 0.000 claims abstract description 35
- 210000002569 neuron Anatomy 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 230000000630 rising effect Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向深度学习模型的动态测试方法，包括如下步骤：S1、获取图片数据集与深度学习模型；S2、将图片数据集划分为训练集和测试集，利用训练样本训练深度学习模型得到分类模型；S3、从测试集中随机选取图片作为测试种子样本；S4、将测试种子样本输入分类模型中，若分类模型输出的分类结果与测试种子样本的标签不一致，则将测试种子样本作为测试样本，否则进入步骤S5；S5、基于测试种子样本在分类模型中的交叉熵损失和神经元覆盖率计算梯度；S6、根据梯度上升算法修改测试种子样本；S7、循环执行步骤S4～S6，直到所有测试种子样本都成为测试样本并输出；S8、利用测试样本评判模型的分类性能。
Description
技术领域
本发明涉及测试技术领域，具体涉及一种一种面向深度学习模型的动态测试方法及其装置。
背景技术
深度学习逐渐成为人工智能领域的研究热点和主流发展方向。深度学习是由多个处理层组成的计算模型，学习具有多个抽象层次的数据表示的机器学习技术。深度学习代表了机器学习和人工智能研究的主要发展方向，给机器学习和计算机视觉等领域带来了革命性的进步。
人工智能技术在计算机视觉和自然语言处理等领域取得突破，使人工智能迎来了新一轮的爆炸式发展。深度学习是这些突破的关键。其中，基于深度卷积网络的图像分类技术已经超过了人眼的精度，基于深度神经网络的语音识别技术已经达到了95％的精度，基于深度神经网络的机器翻译技术已经接近了人类的平均翻译水平。随着精度的迅速提高，计算机视觉和自然语言处理已经进入产业化阶段，并带动了新兴产业的兴起。
与传统的机器学习算法相比，深度学习技术有两个优点。首先，深度学习技术可以随着数据规模的增加不断提高其性能，而传统的机器学习算法很难利用海量数据来不断提高其性能。减少了为每个问题设计特征提取器的工作量，而传统的机器学习算法需要手工提取特征。因此，深度学习已经成为大数据时代的热门技术。
学术界和产业界对深度学习进行了大量的研究和实践。卷积神经网络和循环神经网络是两种应用广泛的深度神经网络模型。计算机视觉和自然语言处理是人工智能的两个基本应用。卷积神经网络在计算机视觉领域有着广泛的应用。它在图像分类、目标检测、语义分割等方面的性能大大优于传统方法。循环神经网络适用于解决与序列信息相关的问题，在自然语言处理领域得到了广泛的应用，如语音识别、机器翻译、对话系统等。
深度神经网络(Deep Neural Network，DNN)取得了很好的进展，这促进了DNN驱动的自动驾驶汽车的发展。它们通过传感器如摄像机、激光雷达等感知环境，就可以在无人辅助的情况下自动驾驶。主要的制造商包括通用、福特、特斯拉、宝马，和waymo谷歌正致力于建造和测试不同类型的自动驾驶汽车。
然而，尽管DNN取得了惊人的进展，就像传统的软件一样，却常常暴露出不正确或不符预期的极端情形行为，这些可能会导致潜在的致命碰撞。几起自动驾驶汽车涉事的真实世界的事故已经发生，其中一个还导致了死亡。深度学习模型已经应用于多个领域，包括图像识别、语音识别，同时自动驾驶及流氓软件的检测等问题上也已经开始使用。尤其是类似自动驾驶问题，对安全性要求极强，所以迫切需要对深度学习模型有效的测试方法，来验证深度学习模型是否可靠。
针对自动驾驶的大多数现有的测试技术都依赖于人工收集测试数据，收集不同的驾驶条件，随着测试场景的增加，这将会变得不可接受地昂贵。同时现有的测试技术都是基于统计激活神经元数量来生成测试样本，是一个静态测试过程，在生成测试集中存在耗时长，效率低等问题。
发明内容
为了克服现有技术的上述缺点，本发明提供一种面向深度学习模型的动态测试方法及其装置，本发明所述的动态测试方法通过动态生成测试样本，加快测试样本的生成效率，提高测试样本的质量，然后将动态生成的测试样本用于评判模型的分类性能，从而提高评判结果的准确性。
本发明的技术方案为：
第一方面，提供了一种面向深度学习模型的动态测试方法，包括如下步骤：
S1、获取图片数据集与深度学习模型；
S2、将图片数据集划分为训练集和测试集，利用训练集中的训练样本训练深度学习模型得到分类模型；
S3、从测试集中随机选取图片作为测试种子样本；
S4、将测试种子样本输入分类模型中，若分类模型输出的分类结果与测试种子样本的标签不一致，则将测试种子样本作为测试样本输出，否则进入步骤S5；
S5、基于测试种子样本在分类模型中的交叉熵损失和神经元覆盖率计算梯度；
S6、根据梯度上升算法修改测试种子样本；
S7、循环执行步骤S4～S6，直到所有测试种子样本都成为测试样本并输出；
S8、利用测试样本对模型进行训练提高模型鲁棒性或利用测试样本评判模型的分类性能。
第二方面，提供了一种面向深度学习模型的动态测试方法的装置，所述装置包括：
获取模块，用于获取图片数据集与深度学习模型；
训练模块，用于训练深度学习模型得到分类模型；
获取测试种子样本模块，用于从测试集中随机选取图片作为测试种子样本；
检测模块，用于检测分类模型能否正确预测测试种子样本的标签；
生成模块，用于计算梯度，并根据梯度上升算法修改测试种子样本；
测试模块，用于利用测试样本评判模型的分类性能。
本发明的有益效果主要表现在：
对于传统静态深度学习模型测试方法，本发明所述的面向深度学习模型的动态测试方法具有良好的适用性，能够有效的生成测试样本集，取得较好的测试效果。
附图说明
图1是本发明的实施例提供的一种面向深度学习模型的动态测试方法的流程图。
图2是本发明的实施例提供的一种面向深度学习模型的动态测试装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
对于自动驾驶模型或人脸识别模型，安全性要求高，因此，需要对上述两种模型进行测试，来验证模型是否可靠，验证的可信度和准确性取决于测试样本，本申请提供的面向深度学习模型的动态测试方法通过动态生成测试样本，加快测试样本的生成效率，提高测试样本的质量，然后将动态生成的测试样本用于评判模型的分类性能，从而提高评判结果的准确性，若评判结果显示模型的分类性能不达标，则进一步用测试样本对模型进行训练，提高模型的鲁棒性。
第一方面，本发明实施例提供了一种面向深度学习模型的动态测试方法，参见图1，包括以下步骤：
S1、获取图片数据集与深度学习模型。
所述的图片数据集为MNIST数据集、Imagenet数据集或Driving数据集。
所述的深度学习模型为LeNet深度学习模型、VGG19深度学习模型、Dave-dropout模型或ResNet50深度学习模型。
S2、将图片数据集划分为训练集和测试集，利用训练集中的训练样本训练深度学习模型得到分类模型。
S21、将图片数据集按预设比例划分为训练集和测试集，通过one-hot编码将图片数据集中每个样本的标签转化为一维向量；
S22、构建损失函数loss1；
其中，Hi(yi，y′i)是训练样本i的交叉熵，b是训练集中训练样本的个数；
训练样本i的交叉熵的计算公式如下：
其中，yi是样本i的标签，y′i是样本i的预测标签；是样本i被预测标签为j的概率，/>是样本i的标签为j的概率；
S23、以损失函数最小化为目标对深度学习模型进行训练得到分类模型。
所述的训练采用小批量梯度下降法(Mini-Batch Gradient Descent，MBGD)训练，每次从训练集中随机选择一批数据用于模型的训练，既可避免随机梯度下降(StochasticGradient Descent，SGD)产生的训练震荡，也可避免批量梯度下降(Batch GradientDescent，BGD)对资源的过度消耗，批的大小选择128。训练目标是通过梯度的前向和反向传播调整深度学习模型的结构参数，不断降低损失函数值。
为避免实验偶然性的干扰，训练时采用十折交叉验证，即将训练样本集分成10份，每次选取其中的9份用于训练，一份用于验证。
S3、从测试集中随机选取图片作为测试种子样本。
S4将测试种子样本输入分类模型中，若分类模型输出的分类结果与测试种子样本的标签不一致，则将测试种子样本作为测试样本输出，否则进入步骤S5。
S5基于测试种子样本在分类模型中的交叉熵损失和神经元覆盖率计算梯度。
S51、统计测试种子样本的激活神经元数量并按下式计算神经元覆盖率；
其中，n代表神经元，x代表测试种子样本，T代表测试种子样本的集合，N为分类模型中所有神经元的集合，||代表集合里的神经元个数，out(n，x)是返回x在神经元n中的输出值的函数，t为阈值；
S52、基于测试种子样本在分类模型中的交叉熵损失和神经元覆盖率计算损失函数loss3；
loss3＝loss2+λ*NC(T，x) (4)
其中，λ为参数，λ的取值范围为[0，1]，优选为0.5；
所述的loss2的计算公式如下：
其中，Hx是测试种子样本x的交叉熵，yx是测试种子样本x的标签，y′x是测试种子样本x的预测标签；a代表测试种子样本的个数；
Hz(yz，y′z)的计算公式如下：
其中，是测试种子样本x被预测标签为j的概率，/>是测试种子样本x的标签为j的概率；
S53基于损失函数loss4计算梯度grad：
其中，所述的为loss3对x求梯度，/>为loss3对x求偏导。
S6、根据梯度上升算法修改测试种子样本。
S7、循环执行步骤S4～S6，直到所有测试种子样本都成为测试样本并输出。
S8、利用测试样本对模型进行训练提高模型鲁棒性或利用测试样本评判模型的分类性能。
本实施例提供了一个自动驾驶模型的动态测试方法，具体步骤为：
首先获取的图片数据集为Driving(Udacity自动驾驶汽车挑战数据集)，获取的深度学习模型为Dave-dropout模型；
将图片数据集按预设比例划分为训练集和测试集，训练集和测试集的比例为8∶2；构建损失函数loss1；以损失函数最小化为目标对Dave-dropout模型进行训练得到可对Driving进行止确分类的自动驾驶模型1；
从测试集中随机选取图片作为测试种子样本；
将测试种子样本输入自动驾驶模型1中，若自动驾驶模型1输出的分类结果与测试种子样本的标签不一致，则将测试种子样本作为测试样本输出，否则基于测试种子样本在自动驾驶模型1中的交叉熵损失和神经元覆盖率计算梯度；并根据梯度上升算法修改测试种子样本得到修改后的测试种子样本；循环测试和修改步骤，直到所有测试种子样本都成为测试样本并输出；
利用输出的测试样本评判用于自动驾驶模型1的分类性能，若错误率超过阈值，则利用输出的测试样本对自动驾驶模型1进行训练提高分类模型1的鲁棒性，从而增加自动驾驶的安全性。
本实施例提供了一个人脸识别模型的动态测试方法，具体步骤为：
首先获取的图片数据集为LFW(Labeled Faces in the Wild)人脸数据集，获取的深度学习模型为ResNet50；
将图片数据集按预设比例划分为训练集和测试集，训练集和测试集的比例为8∶2；构建损失函数loss1；以损失函数最小化为目标对ResNet50进行训练得到可对LFW人脸数据集进行正确分类的人脸识别模型1；
从测试集中随机选取图片作为测试种子样本；
将测试种子样本输入人脸识别模型1中，若人脸识别模型1输出的分类结果与测试种子样本的标签不一致，则将测试种子样本作为测试样本输出，否则基于测试种子样本在人脸识别模型1中的交叉熵损失和神经元覆盖率计算梯度；并根据梯度上升算法修改测试种子样本得到修改后的测试种子样本；循环测试和修改步骤，直到所有测试种子样本都成为测试样本并输出；
利用输出的测试样本评判人脸识别模型1的分类性能，若错误率超过阈值，则利用输出的测试样本对人脸识别模型1进行训练提高人脸识别模型1的鲁棒性，从而增加人脸识别模型1的准确性，提高机场或火车站内人脸识别闸机的准确性。
第二方面，提供了一种实施面向深度学习模型的动态测试方法的装置，参见图2，所述装置包括：
获取模块，用于获取图片数据集与深度学习模型，所述的获取模块包括第一获取模块和第二获取模块；第一获取模块，用于获取图像数据集，第二获取模块，用于获取深度学习模型；
训练模块，用于训练深度学习模型得到分类模型；
获取测试种子样本模块，用于从测试集中随机选取图片作为测试种子样本；
检测模块，用于检测分类模型能否正确预测测试种子样本的标签；
生成模块，用于计算梯度，并根据梯度上升算法修改测试种子样本；
测试模块，用于利用测试样本评判模型的分类性能。
Claims (8)
1.一种面向深度学习模型的动态测试方法，其特征在于，包括如下步骤：
S1、获取图片数据集与深度学习模型；
S2、将图片数据集划分为训练集和测试集，利用训练集中的训练样本训练深度学习模型得到分类模型；
S3、从测试集中随机选取图片作为测试种子样本；
S4、将测试种子样本输入分类模型中，若分类模型输出的分类结果与测试种子样本的标签不一致，则将测试种子样本作为测试样本输出，否则进入步骤S5；
S5、基于测试种子样本在分类模型中的交叉熵损失和神经元覆盖率计算梯度，包括：S51、统计测试种子样本的激活神经元数量并按下式计算神经元覆盖率；
其中，n代表神经元，x代表测试种子样本，T代表测试种子样本的集合，N为分类模型中所有神经元的集合，||代表集合里的神经元个数，out(n,x)是返回x在神经元n中的输出值的函数，t为阈值；
S52、基于测试种子样本在分类模型中的交叉熵损失和神经元覆盖率计算损失函数loss3；
loss3＝loss2+λ*NC(T,x)
其中，λ为参数，λ的取值范围为[0,1]；
所述的loss2的计算公式如下：
其中，Hx是测试种子样本x的交叉熵，yx是测试种子样本x的标签，y′x是测试种子样本x的预测标签；a代表测试种子样本的个数；
Hz(yz,y′z)的计算公式如下：
其中，是测试种子样本x被预测标签为j的概率，/>是测试种子样本x的标签为j的概率；
S53、基于损失函数loss3计算梯度grad：
其中，所述的为loss3对x求梯度，/>为loss3对x求偏导；
S6、根据梯度上升算法修改测试种子样本得到修改后的测试种子样本；
S7、循环执行步骤S4～S6，直到所有测试种子样本都成为测试样本并输出；
S8、利用测试样本对模型进行训练提高模型鲁棒性或利用测试样本评判模型的分类性能。
2.根据权利要求1所述的面向深度学习模型的动态测试方法，其特征在于，所述的图片数据集为MNIST数据集、Imagenet数据集或Driving数据集；所述的深度学习模型为LeNet深度学习模型、VGG19深度学习模型、Dave-dropout模型或ResNet50深度学习模型。
3.根据权利要求1所述的面向深度学习模型的动态测试方法，其特征在于，所述将图片数据集划分为训练集和测试集，利用训练集中的训练样本训练深度学习模型得到分类模型，具体过程为：
S21、将图片数据集按预设比例划分为训练集和测试集，通过one-hot编码将图片数据集中每个样本的标签转化为一维向量；
S22、构建损失函数loss1；
其中，Hi(yi,yi ′)是训练样本i的交叉熵，b是训练集中训练样本的个数；
训练样本i的交叉熵的计算公式如下：
其中，yi是样本i的标签，yi ′是样本i的预测标签；是样本i被预测标签为j的概率，是样本i的标签为j的概率；
S23、以损失函数最小化为目标对深度学习模型进行训练得到分类模型。
4.根据权利要求3所述的面向深度学习模型的动态测试方法，其特征在于，步骤S23中所述的训练采用小批量梯度下降法训练，并采用十折交叉验证。
5.根据权利要求1所述的面向深度学习模型的动态测试方法，其特征在于，所述的λ的取值范围为0.6≥λ≥0.4。
6.根据权利要求1所述的面向深度学习模型的动态测试方法，其特征在于，根据梯度上升算法修改测试种子样本的具体过程为：
修改后的测试种子样本x’＝x+s*grad，其中s为迭代步长，s的取值范围为[0，100]。
7.根据权利要求1所述的面向深度学习模型的动态测试方法，其特征在于，步骤S8中所述的模型为人脸识别模型或汽车自动驾驶模型。
8.一种面向深度学习模型的动态测试方法的装置，其特征在于，所述装置包括：
获取模块，用于获取图片数据集与深度学习模型；
训练模块，用于将图片数据集划分为训练集和测试集，利用训练集中的训练样本训练深度学习模型得到分类模型；
获取测试种子样本模块，用于从测试集中随机选取图片作为测试种子样本；
检测模块，用于检测分类模型能否正确预测测试种子样本的标签，包括：将测试种子样本输入分类模型中，若分类模型输出的分类结果与测试种子样本的标签不一致，则将测试种子样本作为测试样本输出；
生成模块，用于计算梯度基于测试种子样本在分类模型中的交叉熵损失和神经元覆盖率计算梯度，并根据根据梯度上升算法修改测试种子样本得到修改后的测试种子样本，其中梯度计算过程为：
统计测试种子样本的激活神经元数量并按下式计算神经元覆盖率；
其中，n代表神经元，x代表测试种子样本，T代表测试种子样本的集合，N为分类模型中所有神经元的集合，||代表集合里的神经元个数，out(n,x)是返回x在神经元n中的输出值的函数，t为阈值；
基于测试种子样本在分类模型中的交叉熵损失和神经元覆盖率计算损失函数loss3；
loss3＝loss2+λ*NC(T,x)
其中，λ为参数，λ的取值范围为[0,1]；
所述的loss2的计算公式如下：
其中，Hx是测试种子样本x的交叉熵，yx是测试种子样本x的标签，y′x是测试种子样本x的预测标签；a代表测试种子样本的个数；
Hz(yz,y′z)的计算公式如下：
其中，是测试种子样本x被预测标签为j的概率，/>是测试种子样本x的标签为j的概率；
基于损失函数loss3计算梯度grad：
其中，所述的为loss3对x求梯度，/>为loss3对x求偏导；
测试模块，用于利用测试样本评判模型的分类性能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010600845.XA CN111753986B (zh) | 2020-06-28 | 2020-06-28 | 面向深度学习模型的动态测试方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010600845.XA CN111753986B (zh) | 2020-06-28 | 2020-06-28 | 面向深度学习模型的动态测试方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753986A CN111753986A (zh) | 2020-10-09 |
| CN111753986B true CN111753986B (zh) | 2024-03-19 |
Family
ID=72677730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010600845.XA Active CN111753986B (zh) | 2020-06-28 | 2020-06-28 | 面向深度学习模型的动态测试方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753986B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905997B (zh) * | 2021-01-29 | 2022-06-28 | 浙江工业大学 | 面向深度学习模型中毒攻击的检测方法、装置及系统 |
| CN113205114B (zh) * | 2021-04-13 | 2024-07-09 | 联合汽车电子有限公司 | 一种流量测试方法 |
| CN112906829B (zh) * | 2021-04-13 | 2022-11-08 | 成都四方伟业软件股份有限公司 | 一种基于Mnist数据集的数字识别模型构建方法及装置 |
| CN113468046B (zh) * | 2021-06-17 | 2024-05-14 | 江苏大学 | 一种面向多目标的dnn模型的诱导输入生成的方法 |
| CN113326509B (zh) * | 2021-06-17 | 2022-07-19 | 浙江工业大学 | 基于互信息的深度学习模型中毒攻击检测方法及其装置 |
| CN113420289B (zh) * | 2021-06-17 | 2022-08-26 | 浙江工业大学 | 面向深度学习模型的隐蔽中毒攻击防御方法及其装置 |
| CN113837393B (zh) * | 2021-09-03 | 2023-10-24 | 西北大学 | 一种基于概率和统计评估的无线感知模型鲁棒性检测方法 |
| CN113986717B (zh) * | 2021-09-29 | 2024-08-09 | 南京航空航天大学 | 采用基于区域的神经元选择策略的模糊测试方法及终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052959A (zh) * | 2017-11-15 | 2018-05-18 | 南京邮电大学 | 一种提高深度学习图片识别算法鲁棒性的方法 |
| CN110084318A (zh) * | 2019-05-07 | 2019-08-02 | 哈尔滨理工大学 | 一种结合卷积神经网络和梯度提升树的图像识别方法 |
-
2020
- 2020-06-28 CN CN202010600845.XA patent/CN111753986B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052959A (zh) * | 2017-11-15 | 2018-05-18 | 南京邮电大学 | 一种提高深度学习图片识别算法鲁棒性的方法 |
| CN110084318A (zh) * | 2019-05-07 | 2019-08-02 | 哈尔滨理工大学 | 一种结合卷积神经网络和梯度提升树的图像识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753986A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753986B (zh) | 面向深度学习模型的动态测试方法及其装置 | |
| CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| EP3690714A1 (en) | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same | |
| CN106570464A (zh) | 一种快速处理人脸遮挡的人脸识别方法及装置 | |
| CN109741410A (zh) | 基于深度学习的荧光编码微球图像生成及标注方法 | |
| CN114155244B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN115769229A (zh) | 训练和测试通过利用注意力图检测图像上对象的对象检测网络的方法及设备 | |
| CN112861785B (zh) | 一种基于实例分割和图像修复的带遮挡行人重识别方法 | |
| US11948078B2 (en) | Joint representation learning from images and text | |
| CN111382709A (zh) | 一种基于无人机巡检的绝缘子图像检测方法 | |
| CN110287970B (zh) | 一种基于cam与掩盖的弱监督物体定位方法 | |
| CN111539456A (zh) | 一种目标识别方法及设备 | |
| CN112633327B (zh) | 分阶段金属表面缺陷检测方法、系统、介质、设备及应用 | |
| CN118037655A (zh) | 一种基于ssd的光伏板瑕疵检测方法及装置 | |
| CN111786999B (zh) | 一种入侵行为的检测方法、装置、设备和存储介质 | |
| CN116824333A (zh) | 一种基于深度学习模型的鼻咽癌检测系统 | |
| CN116451131A (zh) | 一种基于自监督时间卷积网络的雷达脉冲序列识别方法 | |
| Cho et al. | N-rpn: Hard example learning for region proposal networks | |
| CN116229228A (zh) | 基于中心环绕机制的小目标检测方法 | |
| CN114359698B (zh) | 一种基于双向跨跃反馈循环结构声纳图像识别方法及系统 | |
| CN113326509B (zh) | 基于互信息的深度学习模型中毒攻击检测方法及其装置 | |
| CN110163106A (zh) | 一体式纹身检测与识别方法和系统 | |
| CN117612231B (zh) | 人脸检测方法、装置、电子设备和存储介质 | |
| CN118396071B (zh) | 一种用于无人船环境理解的边界驱动神经网络结构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |