CN110070115A - 一种单像素攻击样本生成方法、装置、设备及存储介质 - Google Patents

一种单像素攻击样本生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110070115A
CN110070115A CN201910272980.3A CN201910272980A CN110070115A CN 110070115 A CN110070115 A CN 110070115A CN 201910272980 A CN201910272980 A CN 201910272980A CN 110070115 A CN110070115 A CN 110070115A
Authority
CN
China
Prior art keywords
pixel
neural network
value
images
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910272980.3A
Other languages
English (en)
Other versions
CN110070115B (zh
Inventor
顾钊铨
谢禹舜
胡卫雄
方滨兴
王乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201910272980.3A priority Critical patent/CN110070115B/zh
Publication of CN110070115A publication Critical patent/CN110070115A/zh
Priority to JP2019148281A priority patent/JP6731529B1/ja
Application granted granted Critical
Publication of CN110070115B publication Critical patent/CN110070115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种单像素攻击样本生成方法,通过获取待识别图像X,遍历待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;遍历像素点的位置P的每个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;将待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’,该方法的运行时间短,仅通过修改数字样本图像的一个像素点,就可使得神经网络正确识别数字图像的概率大大降低。

Description

一种单像素攻击样本生成方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术领域,尤其涉及一种单像素攻击样本生成方法。
背景技术
图像识别和分类是目前计算机科学研究的重要领域,数字识别是图像识别的一个重要分支,旨在让计算机智能识别0-9的阿拉伯数字。随着金融市场化进程的不断加快,票据业务不断发展,票据数量与日俱增,人手写的数字千差万别,传统的OCR技术的识别准确率不高,因此很多研究学者、公司都采用深度学习的方法,通过构建数字识别神经网络来自动识别数字。
随着深度学习、神经网络技术的飞速发展,神经网络暴露出了一些缺陷:通过对图像添加细微干扰生成的对抗样本,就能够使得神经网络分类器得出完全不同的识别结果。因此,针对神经网络的对抗攻击方法也逐渐成为学者研究的领域。一般而言,通过生成一个和原始图像差别不大的图像,该生成图像被称为对抗样本,这样的对抗样本图像能够使得神经网络发生错误,但人们肉眼很难察觉原始图像和对抗样本图像的差别。
目前存在一些针对数字识别神经网络的攻击方法。现有专利中最为接近的技术为:“一种基于对抗攻击的车牌攻击生成方法”(申请号201810186291.6),其中借鉴了梯度下降的思想,利用经典的卷积神经网络来生成对抗样本;还有一种更为极端的对抗攻击方法,仅仅改变图像中的一个像素值就能实现对抗攻击,在论文“One pixel attack forfooling deep neural networks”(Su J,Vargas D V,Kouichi S.One pixel attack forfooling deep neural networks[J].2017)中,Su等人使用差分进化算法,对每个图像进行迭代地修改生成子图像,并保留攻击效果最好的子图像作为对抗样本,实现对神经网络的攻击。针对于数字神经网络的单像素攻击,即修改原始图像样本中一个像素的数值,使得神经网络识别正确数字的概率降低。最简单的方法为遍历法,通过对图像所有像素点的像素值(0~255)进行遍历,即遍历选择每一个像素点,并将该点的数值从0到255枚举一遍,记录每一种情况下神经网络正确识别出当前数字的概率,在枚举所有情况以后选择神经网络正确识别概率最低的样本作为单像素攻击样本。
而上述生成对抗样本的技术中,第一项技术虽然可以对车牌数字生成对抗样本,使得基于神经网络进行识别的车牌分类器的分类精度大幅下降,但生成对抗样本方法的作用主体是车牌上的阿拉伯数字,这些数字规则性很强,而手写的阿拉伯数字具有很大的随意性,针对有一定规则的数字对抗样本生成方法并不能适用于一般情况下数字对抗样本的生成。
第二种技术是论文中使用的差分进化的方法,该方法主要针对彩色图片的对抗样本生成,并不针对数字识别领域,并且算法的复杂度很高。
第三种技术通过遍历枚举的方法能够有效生成单像素对抗样本,但是该方法需要枚举所有像素点,并且每个像素点的数值需要从0枚举到255,需要计算的复杂度很高,效率低下。
发明内容
本发明实施例的目的是提供一种单像素攻击样本生成方法,该方法的运行时间短,仅通过修改数字样本图像的一个像素点,就可使得神经网络正确识别数字图像的概率大大降低。
为实现上述目的,本发明实施例提供了一种单像素攻击样本生成方法,包括以下步骤:
获取待识别图像X,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;255≥K≥1;
遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;
将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
进一步的,所述预设的神经网络N是通过输入多个数字样本图像进行识别训练,直到正确识别每一个数字时构建而成;
所述预设的神经网络N,用于对输入的数字样本图片进行识别,并输出识别结果。
进一步的,所述识别结果为ai;其中,ai为概率最大的对应的数字,0≤i≤9。
进一步的,所述识别结果ai的概率满足:a0+a1+a2+a3+a4+a5+a6+a7+a8+a9=1。
进一步的,所述分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P,具体为:
所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;
分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;
获取所述M*N*K个输出的识别结果中最小的识别结果bi,并根据所述识别结果bi,得到识别概率最低时的像素点的位置P。
进一步的,所述K=10。
本发明还提供了一种单像素攻击样本生成装置,包括位置确认模块、像素值确认模块以及对抗样本生成模块;
所述位置确认模块,用于获取待识别图像X,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;255≥K≥1;
所述像素值确认模块,用于遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;
所述对抗样本生成模块,用于将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
优选的,所述位置确认模块包括像素个数确认单元、识别单元以及位置识别单元;
所述像素个数确认单元,用于所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;
所述识别单元,用于分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;
所述位置识别单元,用于获取所述M*N*K个输出的识别结果中最小的识别结果bi,并根据所述识别结果bi,得到识别概率最低时的像素点的位置P。
本发明另一实施例提供了一种单像素攻击样本生成设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述发明实施例所述的单像素攻击样本生成方法。
本发明另一实施例提供了一种存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的单像素攻击样本生成方法。
与现有技术相比,具有如下有益效果:
本发明实施例提供的单像素攻击样本生成方法,通过获取待识别图像X,遍历待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;遍历像素点的位置P的每个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;将待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’,该方法的运行时间短,仅通过修改数字样本图像的一个像素点,就可使得神经网络正确识别数字图像的概率大大降低。
附图说明
图1是本发明提供的单像素攻击样本生成方法的一个实施例的流程示意图;
图2是本发明提供的单像素攻击样本生成方法的一个实施例的总流程示意图;
图3是本发明提供的单像素攻击样本生成方法的一个实施例的具体流程示意图;
图4是本发明提供的单像素攻击样本生成方法的一个实施例的具体流程示意图;
图5是本发明提供的单像素攻击样本生成装置的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,本发明实施例提供了一种单像素攻击样本生成方法,包括步骤S1-S3:
S1,获取待识别图像X,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;255≥K≥1;
在本实施例中,步骤S1具体为:所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;获取所述M*N*K个输出的识别结果中最小的识别结果bi,并根据所述识别结果bi,得到识别概率最低时的像素点的位置P。
其中,K的取值和实际取值相关。K取值越大,计算复杂度越高,耗时越长,但是得到的结果越好;K取值越小,运行速度更快,但是效果稍微差一点。如果K取值为255,则等同于遍历的方法。实际情况中K可以取值10,20,30等。如果使用遍历的方法,需要遍历所有像素点和所有取值,即需要运行M*N*256次,可理解为计算的次数。如果使用本方案的方法,运行的次数为:M*N*K+256,其中M*N*K为第一步的计算次数,加上256是第二步中针对一个点遍历256个数值。因此,当K很小的时候,计算次数将会少很多,所以在本实施例中K取值为10,计算次数为10*M*N+256,和遍历方法相比提升的计算效率达到了几乎256/100=25.6倍,因此可以大大节省计算时间,能更加快速高效地生成对抗样本。
S2,遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;
S3,将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
在本发明实施例中,所述预设的神经网络N是通过输入多个数字样本图像进行识别训练,直到正确识别每一个数字时构建而成;
所述预设的神经网络N,用于对输入的数字样本图片进行识别,并输出识别结果。
其中,所述识别结果为ai;其中,ai为概率最大的对应的数字,0≤i≤9;ai的概率满足:a0+a1+a2+a3+a4+a5+a6+a7+a8+a9=1。
请参见图2至图4,为了更好的说明本发明的工作原理,以下为本发明提供的一种单像素攻击样本生成方法的工作流程:
请参见图2,图2为本发明一优选实施例提供的一种单像素攻击样本生成方法的总流程示意图。
请参见图3,图3为本发明单像素攻击样本生成方法第一步的具体实现过程,即通过遍历像素点和采样的方法寻找需要修改的像素点位置,结合采样方法找到X中需要改变的像素点位置:
待识别图像X的像素个数为M*N,即有M行、N列的像素点,其中每个像素点的数值范围为[0,255]。定义Pmn代表X中第m行n列的像素点,Vmn代表该像素点Pmn的像素值。首先遍历每个像素点,即考虑M*N个像素点{P00,P01,P02,…,PMN},在每一个像素点位置使用采样的方法改变当前像素值。例如,考虑像素点Pmn,假定对抗样本X’在该点的数值Vmn’从[0,255]中采样K个数值,分别记为{Vmn1,Vmn2,…,VmnK},分别计算每种数值下神经网络N对对抗样本X’的识别概率输出,记为(b0,b1,…,b9),计算ci=ai-bi,并仅保留所有采样情况下ci最大的数值。在遍历M*N个像素点的过程中,每个点采样K个数值,在所有得到的M*N*K个数值中,计算每次神经网络N对当前对抗样本的识别概率,找出ci最大的情况,并记当前的像素点位置为Pxy,像素值为Vxy1。
请参见图4,图4为本发明方法第二步的具体实现过程,即在选定的像素点遍历[0,255]所有像素数值,确定最好的像素数值,使得神经网络识别正确的概率最低:
根据选定的像素点位置Pxy,枚举所有像素值,寻找最佳的对抗样本。第一步通过采样的方式选择了点Pxy,且对应数值为Vxy1的时候对抗样本被识别正确的概率最低。本发明在确定Pxy位置的情况下,枚举所有的数值[0,255],其中包括第一步的数值Vxy1,在这256种情况中计算每次神经网络N对当前对抗样本的识别概率,并找出ci最大的情况,记ci最大情况下的像素值为Vxy2。于是生成的对抗样本X’为:修改原样本X的位置Pxy,且将该点的数值修改为Vxy2。
具体而言,以手写数字黑白图MNIST数据集进行训练得到的神经网络N作为实施例。MNIST数据集中每张图像大小是28*28,一共784个像素点,每个像素点可取的像素值为[0,255]。测试时输入一张图像P,得到输出结果F(P)=(a0,a1,…,a9),选取其中最大的结果Max(ai),则i为测试图像P对应的数字。
任选一张待识别图像X,假定该图像对应的数字是6,识别正确的概率a6=0.9;生成针对图像X的对抗样本X’的实施例如下:
首先是选取需要修改的像素点位置。遍历图像X的784个像素点,每个像素点从[0,255]中采样K=10个数值,例如可以随机从[0,255]中选取10个点,也可以选择[0,25,50,75,100,125,150,175,200,225,250]这10个固定的采样点。对于每个像素点Pmn,每个点有10种不同的采样值,于是会生成784*10=7840种不同的对抗样本。对于每个对抗样本图像,调用神经网络N计算数字识别的输出概率,并计算c6=a6-b6,其中b6表示对抗样本被识别为数字6的概率。在所有7840种情况中,假设c6最大的时候为选取像素点P7,8时,像素值V7,8=25时,b6=0.4,c6=0.5。
第二步,针对像素点P7,8,即第7行第8列的像素点,遍历所有[0,255]的像素值,在这256种情况下调用神经网络N计算数字识别的输出概率,并计算c6=a6-b6;假设当该点的数值为16的时候,c6=0.55为最高,此时b6=0.35表示神经网络识别该对抗样本为数字6的概率为0.35。因此,输出的单像素对抗样本X’为:在原图X的基础上,将第7行第8列的像素点修改为像素值16。
相比于现有技术,本发明提供的一种单像素攻击样本生成可以不涉及到神经网络内部结构的使用,包括神经网络训练过程中的损失函数、激活函数等,仅通过调用神经网络进行判断,仅使用神经网络的输出概率。
综上所述,本发明提供了一种单像素攻击样本生成方法,通过获取待识别图像X,遍历待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;遍历像素点的位置P的每个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;将待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’,该方法的运行时间短,仅通过修改数字样本图像的一个像素点,就可使得神经网络正确识别数字图像的概率大大降低。
请参见图5,作为本发明的一个优选实施例,本发明还提供了一种单像素攻击样本生成装置,包括位置确认模块、像素值确认模块以及对抗样本生成模块;
所述位置确认模块用于获取待识别图像X,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;255≥K≥1;所述像素值确认模块用于遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;所述对抗样本生成模块用于将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
在本实施例中,所述位置确认模块包括像素个数确认单元、识别单元以及位置识别单元;
所述像素个数确认单元用于所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;所述识别单元用于分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;所述位置识别单元用于获取所述M*N*K个输出的识别结果中最小的识别结果bi,并根据所述识别结果bi,得到识别概率最低时的像素点的位置P。
实施本发明实施例,具有如下有益效果:
本发明实施例提供了一种单像素攻击样本生成装置,通过位置确认模块获取待识别图像X,确认识别概率最低时的像素点的位置P;像素值确认模块根据所述像素点的位置P,遍历所述像素点的位置P的每个像素值,确认识别概率最低时的像素值V’;对抗样本生成模块根据所述像素点的位置P和像素值V’,对所述待识别图像X进行修改,生成对抗样本X’,大大减小了算法的时间复杂度,提高了对抗样本生成的效率,并且在最小程度上对图像进行更改,在最大限度上不影响人类识别。
本发明一实施例提供的单像素攻击样本生成设备。该设备包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个单像素攻击样本生成方法实施例中的步骤,例如图1所示的步骤S1至S3。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述单像素攻击样本生成设备的控制中心,利用各种接口和线路连接整个单像素攻击样本生成设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述单像素攻击样本生成设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述单像素攻击样本生成设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种单像素攻击样本生成方法,其特征在于,包括以下步骤:
获取待识别图像X,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;255≥K≥1;
遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;
将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
2.如权利要求1所述的单像素攻击样本生成方法,其特征在于,所述预设的神经网络N是通过输入多个数字样本图像进行识别训练,直到正确识别每一个数字时构建而成;
所述预设的神经网络N,用于对输入的数字样本图片进行识别,并输出识别结果。
3.如权利要求2所述的单像素攻击样本生成方法,其特征在于,所述识别结果为ai;其中,ai为概率最大的对应的数字,0≤i≤9。
4.如权利要求3所述的单像素攻击样本生成方法,其特征在于,所述识别结果ai的概率满足:a0+a1+a2+a3+a4+a5+a6+a7+a8+a9=1。
5.如权利要求4所述的单像素攻击样本生成方法,其特征在于,所述分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P,具体为:
所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;
分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;
获取所述M*N*K个输出的识别结果中最小的识别结果bi,并根据所述识别结果bi,得到识别概率最低时的像素点的位置P。
6.如权利要求5所述的单像素攻击样本生成方法,其特征在于,所述K=10。
7.一种单像素攻击样本生成装置,其特征在于,包括位置确认模块、像素值确认模块以及对抗样本生成模块;
所述位置确认模块,用于获取待识别图像X,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到识别概率最低时的像素点的位置P;255≥K≥1;
所述像素值确认模块,用于遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到识别概率最低时的像素值V’;
所述对抗样本生成模块,用于将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
8.如权利要求7所述的单像素攻击样本生成装置,其特征在于,所述位置确认模块包括像素个数确认单元、识别单元以及位置识别单元;
所述像素个数确认单元,用于所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;
所述识别单元,用于分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;
所述位置识别单元,用于获取所述M*N*K个输出的识别结果中最小的识别结果bi,并根据所述识别结果bi,得到识别概率最低时的像素点的位置P。
9.一种单像素攻击样本生成设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的单像素攻击样本生成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的单像素攻击样本生成方法。
CN201910272980.3A 2019-04-04 2019-04-04 一种单像素攻击样本生成方法、装置、设备及存储介质 Active CN110070115B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910272980.3A CN110070115B (zh) 2019-04-04 2019-04-04 一种单像素攻击样本生成方法、装置、设备及存储介质
JP2019148281A JP6731529B1 (ja) 2019-04-04 2019-08-13 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910272980.3A CN110070115B (zh) 2019-04-04 2019-04-04 一种单像素攻击样本生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110070115A true CN110070115A (zh) 2019-07-30
CN110070115B CN110070115B (zh) 2021-09-03

Family

ID=67367072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910272980.3A Active CN110070115B (zh) 2019-04-04 2019-04-04 一种单像素攻击样本生成方法、装置、设备及存储介质

Country Status (2)

Country Link
JP (1) JP6731529B1 (zh)
CN (1) CN110070115B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046380A (zh) * 2019-12-12 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于对抗样本增强模型抗攻击能力的方法和系统
CN111046432A (zh) * 2019-12-13 2020-04-21 支付宝(杭州)信息技术有限公司 一种安全数据处理方法和系统
CN111461261A (zh) * 2020-05-18 2020-07-28 南京大学 神经网络分类识别中的对抗样本生成的方法和装置
CN112149752A (zh) * 2020-09-30 2020-12-29 北京理工大学 一种单像素攻击分布可视化方法
CN112529047A (zh) * 2020-11-23 2021-03-19 广州大学 一种基于梯度屏蔽的对抗样本生成方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022244256A1 (zh) * 2021-05-21 2022-11-24
CN113505864A (zh) * 2021-09-10 2021-10-15 南京理工大学 群智能单像素生成扰动与攻击方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316281A1 (en) * 2016-04-28 2017-11-02 Microsoft Technology Licensing, Llc Neural network image classifier
CN108446700A (zh) * 2018-03-07 2018-08-24 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108446765A (zh) * 2018-02-11 2018-08-24 浙江工业大学 面向深度学习对抗性攻击的多模型协同防御方法
CN108491837A (zh) * 2018-03-07 2018-09-04 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
CN108491785A (zh) * 2018-03-19 2018-09-04 网御安全技术(深圳)有限公司 一种人工智能图像辨识攻击防御系统
US20180308012A1 (en) * 2017-04-19 2018-10-25 Robert Bosch Gmbh Method and device for improving the robustness against "adversarial examples"
CN109101999A (zh) * 2018-07-16 2018-12-28 华东师范大学 基于支持向量机的协神经网络可信决策方法
US20190005386A1 (en) * 2017-07-01 2019-01-03 Intel Corporation Techniques for training deep neural networks

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106656981B (zh) * 2016-10-21 2020-04-28 东软集团股份有限公司 网络入侵检测方法和装置
US11580383B2 (en) * 2017-03-16 2023-02-14 Nec Corporation Neural network learning device, method, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316281A1 (en) * 2016-04-28 2017-11-02 Microsoft Technology Licensing, Llc Neural network image classifier
US20180308012A1 (en) * 2017-04-19 2018-10-25 Robert Bosch Gmbh Method and device for improving the robustness against "adversarial examples"
US20190005386A1 (en) * 2017-07-01 2019-01-03 Intel Corporation Techniques for training deep neural networks
CN108446765A (zh) * 2018-02-11 2018-08-24 浙江工业大学 面向深度学习对抗性攻击的多模型协同防御方法
CN108446700A (zh) * 2018-03-07 2018-08-24 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108491837A (zh) * 2018-03-07 2018-09-04 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
CN108491785A (zh) * 2018-03-19 2018-09-04 网御安全技术(深圳)有限公司 一种人工智能图像辨识攻击防御系统
CN109101999A (zh) * 2018-07-16 2018-12-28 华东师范大学 基于支持向量机的协神经网络可信决策方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DAVID KÜGLER等: ""Exploring Adversarial Examples:Patterns of One-Pixel Attacks"", 《MLCN 2018, DLF 2018, IMIMIC 2018: UNDERSTANDING AND INTERPRETING MACHINE LEARNING IN MEDICAL IMAGE COMPUTING APPLICATIONS》 *
J. SU等: ""One Pixel Attack for Fooling Deep Neural Networks"", 《ARXIV:1710.08864V5》 *
KWON H.等: ""Friend-Safe Adversarial Examples in an Evasion Attack on a Deep Neural Network"", 《ICISC 2017: INFORMATION SECURITY AND CRYPTOLOGY》 *
NINA NARODYTSKA等: ""Simple Black-Box Adversarial Perturbations for Deep Networks"", 《ARXIV:1612.06299V1》 *
R. IZMAILOV等: ""Enablers of Adversarial Attacks in Machine Learning"", 《2018 IEEE MILITARY COMMUNICATIONS CONFERENCE (MILCOM)》 *
蒋凯等: ""关于对抗样本恢复的研究"", 《通信技术》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046380A (zh) * 2019-12-12 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于对抗样本增强模型抗攻击能力的方法和系统
CN111046380B (zh) * 2019-12-12 2022-02-15 支付宝(杭州)信息技术有限公司 一种基于对抗样本增强模型抗攻击能力的方法和系统
CN111046432A (zh) * 2019-12-13 2020-04-21 支付宝(杭州)信息技术有限公司 一种安全数据处理方法和系统
CN111046432B (zh) * 2019-12-13 2022-01-28 支付宝(杭州)信息技术有限公司 一种安全数据处理方法和系统
CN111461261A (zh) * 2020-05-18 2020-07-28 南京大学 神经网络分类识别中的对抗样本生成的方法和装置
CN111461261B (zh) * 2020-05-18 2024-02-13 南京大学 神经网络分类识别中的对抗样本生成的方法和装置
CN112149752A (zh) * 2020-09-30 2020-12-29 北京理工大学 一种单像素攻击分布可视化方法
CN112529047A (zh) * 2020-11-23 2021-03-19 广州大学 一种基于梯度屏蔽的对抗样本生成方法

Also Published As

Publication number Publication date
JP6731529B1 (ja) 2020-07-29
CN110070115B (zh) 2021-09-03
JP2020170495A (ja) 2020-10-15

Similar Documents

Publication Publication Date Title
CN110070115A (zh) 一种单像素攻击样本生成方法、装置、设备及存储介质
CN111931664B (zh) 混贴票据图像的处理方法、装置、计算机设备及存储介质
CN107273936B (zh) 一种gan图像处理方法及系统
CN110046622B (zh) 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN104915972A (zh) 图像处理装置、图像处理方法以及程序
CN107679997A (zh) 医疗理赔拒付方法、装置、终端设备及存储介质
CN104867225A (zh) 一种纸币的面向识别方法及装置
JP2008537198A (ja) 人工知能を使用した外来のアプリケーションユーザインタフェースからの情報のインテリジェントインポート
CN110852881B (zh) 风险账户识别方法、装置、电子设备及介质
CN109784368A (zh) 一种应用程序分类的确定方法和装置
CN110163250A (zh) 基于分布式调度的图像脱敏处理系统、方法以及装置
CN106778910A (zh) 基于本地训练的深度学习系统和方法
CN113505854A (zh) 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
CN109635755A (zh) 人脸提取方法、装置及存储介质
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN111275126A (zh) 样本数据集生成方法、装置、设备及存储介质
CN111178196A (zh) 一种细胞分类的方法、装置及设备
CN113673465A (zh) 图像检测方法、装置、设备及可读存储介质
CN110659631A (zh) 车牌识别方法和终端设备
CN112508000A (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
CN108830302B (zh) 一种图像分类方法、训练方法、分类预测方法及相关装置
CN110428012A (zh) 脑网络模型建立方法、脑图像分类方法、装置及电子设备
CN111753722B (zh) 一种基于特征点类型的指纹识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant