CN112232380A - 一种神经网络鲁棒性检测方法和装置 - Google Patents
一种神经网络鲁棒性检测方法和装置 Download PDFInfo
- Publication number
- CN112232380A CN112232380A CN202011026951.8A CN202011026951A CN112232380A CN 112232380 A CN112232380 A CN 112232380A CN 202011026951 A CN202011026951 A CN 202011026951A CN 112232380 A CN112232380 A CN 112232380A
- Authority
- CN
- China
- Prior art keywords
- sample
- group
- detection
- neural network
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 183
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 127
- 238000002372 labelling Methods 0.000 claims abstract description 94
- 238000005070 sampling Methods 0.000 claims abstract description 32
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 230000004931 aggregating effect Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 230000000875 corresponding effect Effects 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 32
- 238000012800 visualization Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 17
- 230000002596 correlated effect Effects 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种神经网络鲁棒性检测方法和装置，方法包括：使用神经网络对特定样本执行前向运算，并在每个卷积层均生成卷积核特征图；在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成特定样本的样本卷积图；将样本卷积图中的权重差异转化为颜色差异以可视化样本卷积图；从样本数据中提取具有标记的样本作为第一检测组、将样本特征可视化图像和相对应的特定样本的组合作为第二检测组并发送群体标注请求；基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性。本发明能够正确评估神经网络的鲁棒性。
Description
技术领域
本发明涉及神经网络领域，更具体地，特别是指一种神经网络鲁棒性检测方法和装置。
背景技术
深度学习已经在现实世界中得到了广泛的运用，例如无人驾驶汽车，收据识别，电影推荐等。深度学习需要大量的数据。对于神经网络，训练样本的多少，对于AI训练的质量影响巨大。为了提升模型的准确度，通常会使用较大量的数据样本进行训练。作为AI的开发人员，除了要关注训练好的神经网络在测试集和验证集上的表现，还需要关注于神经网络的鲁棒性以及泛化能力，但现有技术目前难以评价神经网络的鲁棒性。
对于卷积层所识别的模式是否正确，对于神经网络就起着至关重要的作用。存在有些情况下，神经网络在指定的测试集下，有较高的精度。但当使用新的数据集时，出现了精度大幅下降的情况。出现这样的现象的很大一部分原因在于在进行神经网络训练时，网络所选择的特征不能够很好的代表样本，也就无法评价神经网络的鲁棒性。
针对现有技术中神经网络的鲁棒性难以评价的问题，目前尚无有效的解决方案。
发明内容
有鉴于此，本发明实施例的目的在于提出一种神经网络鲁棒性检测方法和装置，能够正确评估神经网络的鲁棒性。
基于上述目的，本发明实施例的第一方面提供了一种神经网络鲁棒性检测方法，包括执行以下步骤：
使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算，并在神经网络中的每个卷积层均生成卷积核特征图；
将卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成特定样本的样本卷积图；
将样本卷积图中的权重差异转化为颜色差异以可视化样本卷积图，生成特定样本的样本特征可视化图像；
从样本数据中提取具有标记的样本作为第一检测组、将样本特征可视化图像和相对应的特定样本的组合作为第二检测组，并以第一检测组和第二检测组一一对应的方式发送群体标注请求；
接收针对群体标注请求的群体标注结果，并基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性。
在一些实施方式中，样本数据包括训练集、测试集、和检测集；特定样本为检测集的样本；使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算包括：使用经过训练集的样本训练、和经过测试集的样本测试的神经网络对检测集的样本执行前向运算。
在一些实施方式中，在神经网络中的每个卷积层均生成卷积核特征图包括：在神经网络中的每个卷积层中，在各通道上将检测集的样本与卷积层中的多个卷积核分别卷积获得检测集的样本在每个卷积层上的多个卷积核特征图。
在一些实施方式中，将卷积核特征图在各通道上抽样聚集形成卷积层特征图包括：在神经网络中的每个卷积层中，从多个卷积核特征图中随机抽取第一数量的卷积核特征图在各通道上叠加获得检测集的样本的多个卷积层特征图。
在一些实施方式中，进一步抽样聚集形成特定样本的样本卷积图包括：在神经网络中每隔第二数量指定一个卷积层，并对所有被指定的卷积层的卷积层特征图求平均以获得检测集的样本的样本卷积图。
在一些实施方式中，以第一检测组和第二检测组一一对应的方式发送群体标注请求包括：
从第一检测组选定一个样本，并请求针对该样本生成与标记相关的标注信息的第一群体标注；
从第二检测组选定样本特征可视化图像和相对应的检测集的样本的一个组合，并请求针对该检测集的样本生成关于样本特征可视化图像是否包括其特征信息的标注信息的第二群体标注；
将第一群体标注和第二群体标注组合生成群体标注请求并发送。
在一些实施方式中，基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性包括：
将第一检测组的标注信息与样本数据中的标记不同的所有群体标注结果抛弃；
将第一检测组的标注信息与样本数据中的标记相同、并且第二检测组的标注信息为包括其特征信息的所有群体标注结果记为成功反馈；
将第一检测组的标注信息与样本数据中的标记相同、并且第二检测组的标注信息为不包括其特征信息的所有群体标注结果记为失败反馈；
基于成功反馈和失败反馈的数量确定神经网络的鲁棒性，其中神经网络的鲁棒性与成功反馈的数量呈正相关性、并且与失败反馈的数量呈负相关性。
本发明实施例的第二方面提供了一种神经网络鲁棒性检测装置，包括：
处理器；和
存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：
使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算，并在神经网络中的每个卷积层均生成卷积核特征图；
将卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成特定样本的样本卷积图；
将样本卷积图中的权重差异转化为颜色差异以可视化样本卷积图，生成特定样本的样本特征可视化图像；
从样本数据中提取具有标记的样本作为第一检测组、将样本特征可视化图像和相对应的特定样本的组合作为第二检测组，并以第一检测组和第二检测组一一对应的方式发送群体标注请求；
接收针对群体标注请求的群体标注结果，并基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性。
在一些实施方式中，在神经网络中的每个卷积层均生成卷积核特征图包括：在神经网络中的每个卷积层中，在各通道上将检测集的样本与卷积层中的多个卷积核分别卷积获得检测集的样本在每个卷积层上的多个卷积核特征图；
将卷积核特征图在各通道上抽样聚集形成卷积层特征图包括：在神经网络中的每个卷积层中，从多个卷积核特征图中随机抽取第一数量的卷积核特征图在各通道上叠加获得检测集的样本的多个卷积层特征图；
进一步抽样聚集形成特定样本的样本卷积图包括：在神经网络中每隔第二数量指定一个卷积层，并对所有被指定的卷积层的卷积层特征图求平均以获得检测集的样本的样本卷积图。
在一些实施方式中，以第一检测组和第二检测组一一对应的方式发送群体标注请求包括：从第一检测组选定一个样本，并请求针对该样本生成与标记相关的标注信息的第一群体标注；从第二检测组选定样本特征可视化图像和相对应的检测集的样本的一个组合，并请求针对该检测集的样本生成关于样本特征可视化图像是否包括其特征信息的标注信息的第二群体标注；将第一群体标注和第二群体标注组合生成群体标注请求并发送；
基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性包括：将第一检测组的标注信息与样本数据中的标记不同的所有群体标注结果抛弃；将第一检测组的标注信息与样本数据中的标记相同、并且第二检测组的标注信息为包括其特征信息的所有群体标注结果记为成功反馈；将第一检测组的标注信息与样本数据中的标记相同、并且第二检测组的标注信息为不包括其特征信息的所有群体标注结果记为失败反馈；基于成功反馈和失败反馈的数量确定神经网络的鲁棒性，其中神经网络的鲁棒性与成功反馈的数量呈正相关性、并且与所述失败反馈的数量呈负相关性。
本发明具有以下有益技术效果：本发明实施例提供的神经网络鲁棒性检测方法和装置，通过使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算，并在神经网络中的每个卷积层均生成卷积核特征图；将卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成特定样本的样本卷积图；将样本卷积图中的权重差异转化为颜色差异以可视化样本卷积图，生成特定样本的样本特征可视化图像；从样本数据中提取具有标记的样本作为第一检测组、将样本特征可视化图像和相对应的特定样本的组合作为第二检测组，并以第一检测组和第二检测组一一对应的方式发送群体标注请求；接收针对群体标注请求的群体标注结果，并基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性的技术方案，能够正确评估神经网络的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的神经网络鲁棒性检测方法的流程示意图；
图2为本发明提供的神经网络鲁棒性检测方法的整体流程图；
图3为本发明提供的神经网络鲁棒性检测方法的群体标注请求示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种正确评估神经网络鲁棒性的检测方法的一个实施例。图1示出的是本发明提供的神经网络鲁棒性检测方法的流程示意图。
所述的神经网络鲁棒性检测方法，如图1所示，包括执行以下步骤：
步骤S101：使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算，并在神经网络中的每个卷积层均生成卷积核特征图；
步骤S103：将卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成特定样本的样本卷积图；
步骤S105：将样本卷积图中的权重差异转化为颜色差异以可视化样本卷积图，生成特定样本的样本特征可视化图像；
步骤S107：从样本数据中提取具有标记的样本作为第一检测组、将样本特征可视化图像和相对应的特定样本的组合作为第二检测组，并以第一检测组和第二检测组一一对应的方式发送群体标注请求；
步骤S109：接收针对群体标注请求的群体标注结果，并基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性。
典型的CNN(卷积神经网络)主要包含卷积层，池化层，全链接层，softmax层等，其中卷积层所进行的运算，是相对较为重要的运算。它通过使用不同的卷积核在图像的各个通道上进行滑动计算，从而在一幅图像上得出一组feature map(特征图)。图像能够在多个位置检测到相同的模式(平移和缩放不变性)，所以通过这种操作，可以有选择地重用针对于多个目标的权重。这样降低了权重数量和数据量的比例，从而有效的减少了过拟合，并导致模型的精度更高，提高了网络的泛化能力。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
在一些实施方式中，样本数据包括训练集、测试集、和检测集；特定样本为检测集的样本；使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算包括：使用经过训练集的样本训练、和经过测试集的样本测试的神经网络对检测集的样本执行前向运算。
在一些实施方式中，在神经网络中的每个卷积层均生成卷积核特征图包括：在神经网络中的每个卷积层中，在各通道上将检测集的样本与卷积层中的多个卷积核分别卷积获得检测集的样本在每个卷积层上的多个卷积核特征图。
在一些实施方式中，将卷积核特征图在各通道上抽样聚集形成卷积层特征图包括：在神经网络中的每个卷积层中，从多个卷积核特征图中随机抽取第一数量的卷积核特征图在各通道上叠加获得检测集的样本的多个卷积层特征图。
在一些实施方式中，进一步抽样聚集形成特定样本的样本卷积图包括：在神经网络中每隔第二数量指定一个卷积层，并对所有被指定的卷积层的卷积层特征图求平均以获得检测集的样本的样本卷积图。
在一些实施方式中，以第一检测组和第二检测组一一对应的方式发送群体标注请求包括：
从第一检测组选定一个样本，并请求针对该样本生成与标记相关的标注信息的第一群体标注；
从第二检测组选定样本特征可视化图像和相对应的检测集的样本的一个组合，并请求针对该检测集的样本生成关于样本特征可视化图像是否包括其特征信息的标注信息的第二群体标注；
将第一群体标注和第二群体标注组合生成群体标注请求并发送。
在一些实施方式中，基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性包括：
将第一检测组的标注信息与样本数据中的标记不同的所有群体标注结果抛弃；
将第一检测组的标注信息与样本数据中的标记相同、并且第二检测组的标注信息为包括其特征信息的所有群体标注结果记为成功反馈；
将第一检测组的标注信息与样本数据中的标记相同、并且第二检测组的标注信息为不包括其特征信息的所有群体标注结果记为失败反馈；
基于成功反馈和失败反馈的数量确定神经网络的鲁棒性，其中神经网络的鲁棒性与成功反馈的数量呈正相关性、并且与失败反馈的数量呈负相关性。
下面根据图2所示的具体实施例进一步阐述本发明的具体实施方式。
(1)首先根据要解决的问题(例如是目标检测问题还是分类问题)，确定神经网络的结构。将已有的样本数据随机分为三部分，分别为训练集，测试集和检测集。其中训练集的样本用来进行神经网络的训练，测试集的样本用来进行网络模型的验证。而对于检测集的样本，会针对已经训练完成的网络，使用检测集的样本生成feature map的可视化图像。
(2)确定神经网络的超参数，使用训练集进行神经网络的训练。当神经网络在测试集上达到期望的精度时，结束训练过程。
(3)训练完成神经网络之后。将检测集中的每一个样本，输入到已经训练的神经网络中，进行前向运算。对于每一个卷积层，即使用卷积核的每一个通道与输入样本的对应通道进行卷积操作，然后逐位置进行相加，从而得到了一个feature map。
(4)对于该层的每一个卷积核，都能得到一个feature map。对于每一层随机选择3个feature map，对这3个feature map在对应的通道上进行求和操作，最终的结果，作为该层的feature map。
(5)对于一个神经网络每间隔2层选择一个feature map，即选择了第1，4，7…层的feature map。对应做平均，从而得到了该网络对于该样本的feature map。
(6)将该样本针对于该网络的feature map进行可视化。其中feature map中高权重的值，描绘为白色(即高RGB值)，低权重的值为黑色(即低RGB值)。
(7)将对应的检测集的样本和生成的feature map可视化图像标记为一组图像。通过对检测集中的每个样本图像生成对应的可视化feature map，从而得到了针对于这个网络的若干组图像。
(8)随机从验证集中抽取一组图像和标签，并随机从(7)步生成的若干组图像中，抽取一组图像。
(9)在系统需要人机分辨检测，进行api请求的时候，以如图3所示的方式将这两个图像发送出去。由人工进行第一个图像的标签识别，并且判断第二组图像(feature map和样本)，查看feature map与样本是否匹配。
(10)第一个图像的人工识别与标签值匹配，则认为此次的人机检测通过。并收集另外一组图像的结果(匹配或不匹配)。
(11)对收集的第二组结果进行统计分析。如果大部分人对于第二组的选择结果是不匹配，则代表该feature map并不能很好的识别到该样本的特征。此时，即使该模型的测试集效果较好，也不一定能代表该样本具备较好的泛化能力。
从上述实施例可以看出，本发明实施例提供的神经网络鲁棒性检测方法，通过使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算，并在神经网络中的每个卷积层均生成卷积核特征图；将卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成特定样本的样本卷积图；将样本卷积图中的权重差异转化为颜色差异以可视化样本卷积图，生成特定样本的样本特征可视化图像；从样本数据中提取具有标记的样本作为第一检测组、将样本特征可视化图像和相对应的特定样本的组合作为第二检测组，并以第一检测组和第二检测组一一对应的方式发送群体标注请求；接收针对群体标注请求的群体标注结果，并基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性的技术方案，能够正确评估神经网络的鲁棒性。
需要特别指出的是，上述神经网络鲁棒性检测方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于神经网络鲁棒性检测方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种正确评估神经网络鲁棒性的检测装置的一个实施例。神经网络鲁棒性检测装置包括：
处理器；和
存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：
使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算，并在神经网络中的每个卷积层均生成卷积核特征图；
将卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成特定样本的样本卷积图；
将样本卷积图中的权重差异转化为颜色差异以可视化样本卷积图，生成特定样本的样本特征可视化图像；
从样本数据中提取具有标记的样本作为第一检测组、将样本特征可视化图像和相对应的特定样本的组合作为第二检测组，并以第一检测组和第二检测组一一对应的方式发送群体标注请求；
接收针对群体标注请求的群体标注结果，并基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性。
在一些实施方式中，在神经网络中的每个卷积层均生成卷积核特征图包括：在神经网络中的每个卷积层中，在各通道上将检测集的样本与卷积层中的多个卷积核分别卷积获得检测集的样本在每个卷积层上的多个卷积核特征图；
将卷积核特征图在各通道上抽样聚集形成卷积层特征图包括：在神经网络中的每个卷积层中，从多个卷积核特征图中随机抽取第一数量的卷积核特征图在各通道上叠加获得检测集的样本的多个卷积层特征图；
进一步抽样聚集形成特定样本的样本卷积图包括：在神经网络中每隔第二数量指定一个卷积层，并对所有被指定的卷积层的卷积层特征图求平均以获得检测集的样本的样本卷积图。
在一些实施方式中，以第一检测组和第二检测组一一对应的方式发送群体标注请求包括：从第一检测组选定一个样本，并请求针对该样本生成与标记相关的标注信息的第一群体标注；从第二检测组选定样本特征可视化图像和相对应的检测集的样本的一个组合，并请求针对该检测集的样本生成关于样本特征可视化图像是否包括其特征信息的标注信息的第二群体标注；将第一群体标注和第二群体标注组合生成群体标注请求并发送；
基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性包括：将第一检测组的标注信息与样本数据中的标记不同的所有群体标注结果抛弃；将第一检测组的标注信息与样本数据中的标记相同、并且第二检测组的标注信息为包括其特征信息的所有群体标注结果记为成功反馈；将第一检测组的标注信息与样本数据中的标记相同、并且第二检测组的标注信息为不包括其特征信息的所有群体标注结果记为失败反馈；基于成功反馈和失败反馈的数量确定神经网络的鲁棒性，其中神经网络的鲁棒性与成功反馈的数量呈正相关性、并且与所述失败反馈的数量呈负相关性。
从上述实施例可以看出，本发明实施例提供的神经网络鲁棒性检测装置，通过使用经过样本数据训练并测试的神经网络对样本数据中的特定样本执行前向运算，并在神经网络中的每个卷积层均生成卷积核特征图；将卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成特定样本的样本卷积图；将样本卷积图中的权重差异转化为颜色差异以可视化样本卷积图，生成特定样本的样本特征可视化图像；从样本数据中提取具有标记的样本作为第一检测组、将样本特征可视化图像和相对应的特定样本的组合作为第二检测组，并以第一检测组和第二检测组一一对应的方式发送群体标注请求；接收针对群体标注请求的群体标注结果，并基于群体标注结果中与标注正确的第一检测组相对应的第二检测组的标注信息确定神经网络的鲁棒性的技术方案，能够正确评估神经网络的鲁棒性。
需要特别指出的是，上述神经网络鲁棒性检测装置的实施例采用了所述神经网络鲁棒性检测方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述神经网络鲁棒性检测方法的其他实施例中。当然，由于所述神经网络鲁棒性检测方法实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于所述神经网络鲁棒性检测装置也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种神经网络鲁棒性检测方法，其特征在于，包括执行以下步骤：
使用经过样本数据训练并测试的所述神经网络对所述样本数据中的特定样本执行前向运算，并在所述神经网络中的每个卷积层均生成卷积核特征图；
将所述卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成所述特定样本的样本卷积图；
将所述样本卷积图中的权重差异转化为颜色差异以可视化所述样本卷积图，生成所述特定样本的样本特征可视化图像；
从所述样本数据中提取具有标记的样本作为第一检测组、将所述样本特征可视化图像和相对应的所述特定样本的组合作为第二检测组，并以所述第一检测组和所述第二检测组一一对应的方式发送群体标注请求；
接收针对所述群体标注请求的群体标注结果，并基于所述群体标注结果中与标注正确的所述第一检测组相对应的所述第二检测组的标注信息确定所述神经网络的鲁棒性。
2.根据权利要求1所述的方法，其特征在于，所述样本数据包括训练集、测试集、和检测集；所述特定样本为所述检测集的样本；
使用经过样本数据训练并测试的所述神经网络对所述样本数据中的特定样本执行前向运算包括：使用经过所述训练集的样本训练、和经过所述测试集的样本测试的所述神经网络对所述检测集的样本执行前向运算。
3.根据权利要求2所述的方法，其特征在于，在所述神经网络中的每个卷积层均生成卷积核特征图包括：
在所述神经网络中的每个卷积层中，在各通道上将所述检测集的样本与所述卷积层中的多个卷积核分别卷积获得所述检测集的样本在每个所述卷积层上的多个所述卷积核特征图。
4.根据权利要求3所述的方法，其特征在于，将所述卷积核特征图在各通道上抽样聚集形成卷积层特征图包括：
在所述神经网络中的每个卷积层中，从多个所述卷积核特征图中随机抽取第一数量的所述卷积核特征图在各通道上叠加获得所述检测集的样本的多个所述卷积层特征图。
5.根据权利要求4所述的方法，其特征在于，进一步抽样聚集形成所述特定样本的样本卷积图包括：
在所述神经网络中每隔第二数量指定一个所述卷积层，并对所有被指定的所述卷积层的所述卷积层特征图求平均以获得所述检测集的样本的所述样本卷积图。
6.根据权利要求2所述的方法，其特征在于，以所述第一检测组和所述第二检测组一一对应的方式发送群体标注请求包括：
从所述第一检测组选定一个样本，并请求针对该样本生成与标记相关的标注信息的第一群体标注；
从所述第二检测组选定所述样本特征可视化图像和相对应的所述检测集的样本的一个组合，并请求针对所述检测集的样本生成关于所述样本特征可视化图像是否包括其特征信息的标注信息的第二群体标注；
将第一群体标注和第二群体标注组合生成所述群体标注请求并发送。
7.根据权利要求6所述的方法，其特征在于，基于所述群体标注结果中与标注正确的所述第一检测组相对应的所述第二检测组的标注信息确定所述神经网络的鲁棒性包括：
将所述第一检测组的标注信息与所述样本数据中的标记不同的所有所述群体标注结果抛弃；
将所述第一检测组的标注信息与所述样本数据中的标记相同、并且所述第二检测组的标注信息为包括其特征信息的所有所述群体标注结果记为成功反馈；
将所述第一检测组的标注信息与所述样本数据中的标记相同、并且所述第二检测组的标注信息为不包括其特征信息的所有所述群体标注结果记为失败反馈；
基于所述成功反馈和所述失败反馈的数量确定所述神经网络的鲁棒性，其中所述神经网络的鲁棒性与所述成功反馈的数量呈正相关性、并且与所述失败反馈的数量呈负相关性。
8.一种神经网络鲁棒性检测装置，其特征在于，包括：
处理器；和
存储器，存储有处理器可运行的程序代码，所述程序代码在被运行时执行以下步骤：
使用经过样本数据训练并测试的所述神经网络对所述样本数据中的特定样本执行前向运算，并在所述神经网络中的每个卷积层均生成卷积核特征图；
将所述卷积核特征图在各通道上抽样聚集形成卷积层特征图，并进一步抽样聚集形成所述特定样本的样本卷积图；
将所述样本卷积图中的权重差异转化为颜色差异以可视化所述样本卷积图，生成所述特定样本的样本特征可视化图像；
从所述样本数据中提取具有标记的样本作为第一检测组、将所述样本特征可视化图像和相对应的所述特定样本的组合作为第二检测组，并以所述第一检测组和所述第二检测组一一对应的方式发送群体标注请求；
接收针对所述群体标注请求的群体标注结果，并基于所述群体标注结果中与标注正确的所述第一检测组相对应的所述第二检测组的标注信息确定所述神经网络的鲁棒性。
9.根据权利要求8所述的装置，其特征在于，在所述神经网络中的每个卷积层均生成卷积核特征图包括：在所述神经网络中的每个卷积层中，在各通道上将所述检测集的样本与所述卷积层中的多个卷积核分别卷积获得所述检测集的样本在每个所述卷积层上的多个所述卷积核特征图；
将所述卷积核特征图在各通道上抽样聚集形成卷积层特征图包括：在所述神经网络中的每个卷积层中，从多个所述卷积核特征图中随机抽取第一数量的所述卷积核特征图在各通道上叠加获得所述检测集的样本的多个所述卷积层特征图；
进一步抽样聚集形成所述特定样本的样本卷积图包括：在所述神经网络中每隔第二数量指定一个所述卷积层，并对所有被指定的所述卷积层的所述卷积层特征图求平均以获得所述检测集的样本的所述样本卷积图。
10.根据权利要求8所述的装置，其特征在于，以所述第一检测组和所述第二检测组一一对应的方式发送群体标注请求包括：从所述第一检测组选定一个样本，并请求针对该样本生成与标记相关的标注信息的第一群体标注；从所述第二检测组选定所述样本特征可视化图像和相对应的所述检测集的样本的一个组合，并请求针对所述检测集的样本生成关于所述样本特征可视化图像是否包括其特征信息的标注信息的第二群体标注；将第一群体标注和第二群体标注组合生成所述群体标注请求并发送；
基于所述群体标注结果中与标注正确的所述第一检测组相对应的所述第二检测组的标注信息确定所述神经网络的鲁棒性包括：将所述第一检测组的标注信息与所述样本数据中的标记不同的所有所述群体标注结果抛弃；将所述第一检测组的标注信息与所述样本数据中的标记相同、并且所述第二检测组的标注信息为包括其特征信息的所有所述群体标注结果记为成功反馈；将所述第一检测组的标注信息与所述样本数据中的标记相同、并且所述第二检测组的标注信息为不包括其特征信息的所有所述群体标注结果记为失败反馈；基于所述成功反馈和所述失败反馈的数量确定所述神经网络的鲁棒性，其中所述神经网络的鲁棒性与所述成功反馈的数量呈正相关性、并且与所述失败反馈的数量呈负相关性。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026951.8A CN112232380B (zh) | 2020-09-25 | 2020-09-25 | 一种神经网络鲁棒性检测方法和装置 |
| PCT/CN2021/109616 WO2022062649A1 (zh) | 2020-09-25 | 2021-07-30 | 一种神经网络鲁棒性检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026951.8A CN112232380B (zh) | 2020-09-25 | 2020-09-25 | 一种神经网络鲁棒性检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112232380A true CN112232380A (zh) | 2021-01-15 |
| CN112232380B CN112232380B (zh) | 2022-12-06 |
Family
ID=74108227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011026951.8A Active CN112232380B (zh) | 2020-09-25 | 2020-09-25 | 一种神经网络鲁棒性检测方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112232380B (zh) |
| WO (1) | WO2022062649A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022062649A1 (zh) * | 2020-09-25 | 2022-03-31 | 苏州浪潮智能科技有限公司 | 一种神经网络鲁棒性检测方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
| CN107492095A (zh) * | 2017-08-02 | 2017-12-19 | 西安电子科技大学 | 基于深度学习的医学图像肺结节检测方法 |
| CN110163077A (zh) * | 2019-03-11 | 2019-08-23 | 重庆邮电大学 | 一种基于全卷积神经网络的车道识别方法 |
| CN110889464A (zh) * | 2019-12-10 | 2020-03-17 | 北京市商汤科技开发有限公司 | 神经网络训练、目标对象的检测方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11645620B2 (en) * | 2019-03-15 | 2023-05-09 | Tecnotree Technologies, Inc. | Framework for explainability with recourse of black-box trained classifiers and assessment of fairness and robustness of black-box trained classifiers |
| CN111488711A (zh) * | 2020-04-08 | 2020-08-04 | 暨南大学 | 一种网络鲁棒性评估方法及系统 |
| CN112232380B (zh) * | 2020-09-25 | 2022-12-06 | 苏州浪潮智能科技有限公司 | 一种神经网络鲁棒性检测方法和装置 |
-
2020
- 2020-09-25 CN CN202011026951.8A patent/CN112232380B/zh active Active
-
2021
- 2021-07-30 WO PCT/CN2021/109616 patent/WO2022062649A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
| CN107492095A (zh) * | 2017-08-02 | 2017-12-19 | 西安电子科技大学 | 基于深度学习的医学图像肺结节检测方法 |
| CN110163077A (zh) * | 2019-03-11 | 2019-08-23 | 重庆邮电大学 | 一种基于全卷积神经网络的车道识别方法 |
| CN110889464A (zh) * | 2019-12-10 | 2020-03-17 | 北京市商汤科技开发有限公司 | 神经网络训练、目标对象的检测方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022062649A1 (zh) * | 2020-09-25 | 2022-03-31 | 苏州浪潮智能科技有限公司 | 一种神经网络鲁棒性检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022062649A1 (zh) | 2022-03-31 |
| CN112232380B (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330731B (zh) | 一种识别广告位点击异常的方法和装置 | |
| CN112215201B (zh) | 评估人脸识别模型、针对图像的分类模型的方法及装置 | |
| Ji et al. | Learning temporal action proposals with fewer labels | |
| CN111401418A (zh) | 一种基于改进Faster r-cnn的员工着装规范检测方法 | |
| CN108537119A (zh) | 一种小样本视频识别方法 | |
| CN112927783B (zh) | 图像检索方法及装置 | |
| CN112529210A (zh) | 模型训练方法、装置以及计算机可读存储介质 | |
| CN110956615A (zh) | 图像质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN111126420A (zh) | 一种建立识别模型的方法及装置 | |
| CN115830399B (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
| CN114241505A (zh) | 化学结构图像的提取方法、装置、存储介质及电子设备 | |
| CN112288012A (zh) | 图像识别方法、装置及存储介质 | |
| CN111858340A (zh) | 一种基于稳定性变换的深度神经网络测试数据生成方法 | |
| Xue et al. | Region comparison network for interpretable few-shot image classification | |
| CN112232380B (zh) | 一种神经网络鲁棒性检测方法和装置 | |
| CN113705215A (zh) | 一种基于元学习的大规模多标签文本分类方法 | |
| Shu et al. | Perf-al: Performance prediction for configurable software through adversarial learning | |
| CN111488950B (zh) | 分类模型信息输出方法及装置 | |
| CN112487270A (zh) | 基于图片识别进行资产分类及准确度校验的方法和装置 | |
| CN115471725A (zh) | 用于异常检测的图像处理方法及设备和神经网络构建方法 | |
| CN114913513A (zh) | 一种公章图像的相似度计算方法、装置、电子设备和介质 | |
| WO2023097685A1 (zh) | 核酸样本的碱基识别方法及装置 | |
| CN116452922B (zh) | 模型训练方法、装置、计算机设备及可读存储介质 | |
| CN117058432B (zh) | 图像查重方法、装置、电子设备及可读存储介质 | |
| Yang et al. | What is Dataset Distillation Learning? |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |