CN110046622B - 一种有目标的攻击样本生成方法、装置、设备及存储介质 - Google Patents

一种有目标的攻击样本生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110046622B
CN110046622B CN201910272129.0A CN201910272129A CN110046622B CN 110046622 B CN110046622 B CN 110046622B CN 201910272129 A CN201910272129 A CN 201910272129A CN 110046622 B CN110046622 B CN 110046622B
Authority
CN
China
Prior art keywords
pixel
image
identification
pixel point
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910272129.0A
Other languages
English (en)
Other versions
CN110046622A (zh
Inventor
顾钊铨
谢禹舜
胡卫雄
方滨兴
王乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201910272129.0A priority Critical patent/CN110046622B/zh
Publication of CN110046622A publication Critical patent/CN110046622A/zh
Application granted granted Critical
Publication of CN110046622B publication Critical patent/CN110046622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种有目标的攻击样本生成方法,通过获取待识别图像X和特定数字j,遍历待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在神经网络N中的识别概率,得到将待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;遍历像素点的位置P的每个像素值,并分别计算每个数值在神经网络N中的识别概率,得到将待识别图像X,识别为特定数字j的最大识别概率时的像素值V’;将待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’,该方法的运行时间短,仅通过修改数字样本图像的一个像素点,就可使得神经网络将待识别图像误识别为特定的数字。

Description

一种有目标的攻击样本生成方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术领域,尤其涉及一种有目标的攻击样本生成方法。
背景技术
识别手写数字的技术是目前图像识别技术的一个分支,该技术可以借助机器智能识别文本上的阿拉伯数字0-9。由于国际上统一使用阿拉伯数字,并且信息化时代进程越来越快,人类对于手写数字的识别具有广泛的需求。目前类似于银行支票录入、物流信息分管等大规模数据分析系统,都是使用结合神经网络的数字识别方法,实现智能化识别。
借助于2006年提出的深度学习,神经网络广泛应用于图像识别领域,随着技术的发展,神经网络也逐渐暴露出一些问题:通过对原始图像添加细微的噪声生成对抗样本,该对抗样本能够使得基于神经网络的分类器发生错误,但是人眼却很难察觉原始图像和对抗样本之间的差别。目前,该领域已经受到学者的广泛关注。
目前存在一些针对数字识别神经网络的攻击方法。现有专利中最为接近的技术为:“一种基于对抗攻击的车牌攻击生成方法”(申请号201810186291.6),其中借鉴了梯度下降的思想,利用经典的卷积神经网络来生成对抗样本;还有一种更为极端的对抗攻击方法,仅仅改变图像中的一个像素值就能实现对抗攻击,在论文“One pixel bttbck forfooling deep neurbl networks”(Su J,Vbrgbs D V,Kouichi S.One pixel bttbck forfooling deep neurbl networks[J].2017)中,Su等人使用差分进化算法,对每个图像进行迭代地修改生成子图像,并保留攻击效果最好的子图像作为对抗样本,实现对神经网络的攻击。针对于数字识别神经网络的单像素有目标攻击,即修改原始图像样本中一个像素点的像素值,使得神经网络识别成另一个特定数字(定向识别错误)。最简单的方法为遍历法,通过对图像所有像素点的像素值(0~255)进行遍历,即遍历选择每一个像素点,并将该点的数值从0到255枚举一遍,记录每一种情况下神经网络识别成另一个特定数字的概率,在枚举所有情况以后选择神经网络识别成另一个特定数字概率最高的样本作为单像素有目标攻击样本。
发明内容
本发明实施例的目的是提供一种有目标的攻击样本生成方法,该方法的运行时间短,仅通过修改数字样本图像的一个像素点,就可使得神经网络将待识别图像误识别为特定的数字。
为实现上述目的,本发明实施例提供了一种有目标的攻击样本生成方法,包括以下步骤:
获取待识别图像X和特定数字j,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;其中,255≥K≥1;
遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的最大识别概率时的像素值V’;
将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
进一步的,所述预设的神经网络N是通过输入多个数字样本图像进行识别训练,直到正确识别每一个数字时构建而成;
所述预设的神经网络N,用于对输入的数字样本图片进行识别,并输出识别结果。
进一步的,所述识别结果为bj;其中,bj为将所述待识别图像X,识别为所述特定数字j时的最大识别概率,0≤j≤9。
进一步的,所述识别结果bj的概率满足:b0+b1+b2+b3+b4+b5+b6+b7+b8+b9=1。
进一步的,所述分别计算每个数值在预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P,具体为:
所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;
分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;
获取所述M*N*K个输出的识别结果中将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率bj,并根据所述识别结果bj,得到对应像素点的位置P。
进一步的,所述K=10。
本发明还提供了一种单像素有目标的攻击样本生成装置,包括位置确认模块、像素值确认模块以及对抗样本生成模块;
所述位置确认模块,用于获取待识别图像X和特定数字j,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;其中,255≥K≥1;
所述像素值确认模块,用于遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的最大识别概率时的像素值V’;
所述对抗样本生成模块,用于将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
优选的,所述位置确认模块包括像素个数确认单元、识别单元以及位置识别单元;
所述像素个数确认单元,用于所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;
所述识别单元,用于分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;
所述位置识别单元,用于获取所述M*N*K个输出的识别结果中将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率bj,并根据所述识别结果bj,得到对应像素点的位置P。
本发明另一实施例提供了一种单像素有目标的攻击样本生成设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述发明实施例所述的有目标的攻击样本生成方法。
本发明另一实施例提供了一种存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的有目标的攻击样本生成方法。
与现有技术相比,具有如下有益效果:
本发明实施例提供的有目标的攻击样本生成方法,通过获取待识别图像X和特定数字j,遍历待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在神经网络N中的识别概率,得到将待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;遍历像素点的位置P的每个像素值,并分别计算每个数值在神经网络N中的识别概率,得到将待识别图像X,识别为特定数字j的最大识别概率时的像素值V’;将待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’,该方法的运行时间短,仅通过修改数字样本图像的一个像素点,就可使得神经网络将待识别图像误识别为特定的数字。
附图说明
图1是本发明提供的有目标的攻击样本生成方法的一个实施例的流程示意图;
图2是本发明提供的有目标的攻击样本生成方法的一个实施例的总流程示意图;
图3是本发明提供的有目标的攻击样本生成方法的一个实施例的具体流程示意图;
图4是本发明提供的有目标的攻击样本生成方法的一个实施例的具体流程示意图;
图5是本发明提供的单像素有目标的攻击样本生成装置的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,本发明实施例提供了一种有目标的攻击样本生成方法,包括步骤S1-S3:
S1,获取待识别图像X和特定数字j,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;其中,255≥K≥1;
在本实施例中,步骤S1具体为:所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;获取所述M*N*K个输出的识别结果中将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率bj,并根据所述识别结果bj,得到对应像素点的位置P。
其中,K的取值和实际取值相关。K取值越大,计算复杂度越高,耗时越长,但是得到的结果越好;K取值越小,运行速度更快,但是效果稍微差一点。如果K取值为255,则等同于遍历的方法。实际情况中K可以取值10,20,30等。如果使用遍历的方法,需要遍历所有像素点和所有取值,即需要运行M*N*256次,可理解为计算的次数。如果使用本方案的方法,运行的次数为:M*N*K+256,其中M*N*K为第一步的计算次数,加上256是第二步中针对一个点遍历256个数值。因此,当K很小的时候,计算次数将会少很多,所以在本实施例中K取值为10,计算次数为10*M*N+256,和遍历方法相比提升的计算效率达到了几乎256/100=25.6倍,因此可以大大节省计算时间,能更加快速高效地生成对抗样本。
S2,遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的最大识别概率时的像素值V’;
S3,将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
在本发明实施例中,所述预设的神经网络N是通过输入多个数字样本图像进行识别训练,直到正确识别每一个数字时构建而成;
所述预设的神经网络N,用于对输入的数字样本图片进行识别,并输出识别结果。
其中,所述识别结果为bj;bj为将所述待识别图像X,识别为所述特定数字j时的最大识别概率,0≤j≤9;bj的概率满足:b0+b1+b2+b3+b4+b5+b6+b7+b8+b9=1。
请参见图2至图4,为了更好的说明本发明的工作原理,以下为本发明提供的一种有目标的攻击样本生成方法的工作流程:
请参见图2,图2为本发明一优选实施例提供的一种有目标的攻击样本生成方法的总流程示意图。
请参见图3,图3为本发明有目标的攻击样本生成方法第一步的具体实现过程,即通过遍历像素点和采样的方法寻找需要修改的像素点位置:
数字图像X的像素个数为M*N,即有M行、N列的像素点,其中每个像素点的数值范围为[0,255]。定义Pmn代表X中第m行n列的像素点,Vmn代表该像素点Pmn的像素值。首先遍历每个像素点,即考虑M*N个像素点{P00,P01,P02,…,PMN},在每一个像素点位置使用采样的方法改变当前像素值。例如,考虑像素点Pmn,假定对抗样本X’在该点的数值Vmn’从[0,255]中采样K个数值,分别记为{Vmn1,Vmn2,…,VmnK},分别计算每种数值下神经网络N对对抗样本X’的识别概率输出,记为(b0,b1,…,b9),保留所有K个采用数值情况下得到bj最大的情况,记录在像素点Pmn情况下bj可达到最大的数值。在遍历M*N个像素点的过程中,每个点采样K个数值,每个点都保留bj可达到最大的数值,取这M*N个数值中最大的数值,并记bj最大时对应的像素点为Pxy,像素值为Vxy1。
请参见图4,图4为本发明方法第二步的具体实现过程,即在选定的像素点遍历[0,255]所有像素数值,确定最好的像素数值,使得神经网络将待识别图像X识别成另一特定数字的概率最高:
根据像素点Pxy位置,枚举所有的像素数值[0,255],其中包括数值Vxy1,在这256种情况中计算每次神经网络N对当前对抗样本的识别概率,并找出bj数值最大的情况,记bj数值最大情况下的像素值为Vxy2。于是生成的对抗样本X’为:修改原样本X的位置Pxy,且将该点的数值修改为Vxy2。
具体而言,以手写数字黑白图MNIST数据集进行训练得到的神经网络N作为实施例。MNIST数据集中每张图像大小是28*28,一共784个像素点,每个像素点可取的像素值为[0,255]。测试时输入一张图像P,得到输出结果F(P)=(b0,b1,…,b9),选取其中最大的结果Mbx(bj),则j为测试图像P对应的数字。
任选一张图像X,假定该图像对应的数字是j=6,识别正确的概率b6=0.9;我们的目的是想让神经网络将该图片识别是数字j=5,生成针对特定数字5的对抗样本X’的实施例如下。
首先是选取需要修改的像素点位置。遍历图像X的784个像素点,每个像素点从[0,255]中采样K=10个数值,例如可以随机从[0,255]中选取10个点,也可以选择[0,25,50,75,100,125,150,175,200,225,250]这10个固定的采样点。对于每个像素点Pmn,每个点有10种不同的采样值,于是会生成784*10=7840种不同的对抗样本。对于每个对抗样本图像,调用神经网络N计算数字识别的输出概率(b0,b1,…,b9),计算b5最大的情况,其中b5表示对抗样本被识别为数字5的概率。在所有7840种情况中,假设b5最大的时候为选取像素点P7,8时,像素值V7,8=25时,b5=0.6。
第二步,针对像素点P7,8,即第7行第8列的像素点,遍历所有[0,255]的像素值,在这256种情况下调用神经网络N计算数字识别的输出概率,计算神经网络识别该样本为数字5的概率,记录此时b5的数值;假设当该点的数值为30的时候,b5=0.7为最高,此时b5=0.7表示神经网络识别该对抗样本为数字5的概率为0.7。因此,输出的单像素对抗样本X’为:在原图X的基础上,将第7行第8列的像素点修改为像素值30。
相比于现有技术,本发明提供的一种单像素攻击样本生成可以不涉及到神经网络内部结构的使用,包括神经网络训练过程中的损失函数、激活函数等,仅通过调用神经网络进行判断,仅使用神经网络的输出概率。
综上所述,本发明提供了一种有目标的攻击样本生成方法,通过获取待识别图像X和特定数字j,遍历待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在神经网络N中的识别概率,得到将待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;遍历像素点的位置P的每个像素值,并分别计算每个数值在神经网络N中的识别概率,得到将待识别图像X,识别为特定数字j的最大识别概率时的像素值V’;将待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’,该方法的运行时间短,仅通过修改数字样本图像的一个像素点,就可使得神经网络将待识别图像误识别为特定的数字。
请参见图5,作为本发明的一个优选实施例,本发明还提供了一种单像素有目标的攻击样本生成装置,包括位置确认模块、像素值确认模块以及对抗样本生成模块;
所述位置确认模块用于获取待识别图像X和特定数字j,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每个数值在预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;其中,255≥K≥1;所述像素值确认模块用于遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的最大识别概率时的像素值V’;所述对抗样本生成模块用于将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
在本实施例中,所述位置确认模块包括像素个数确认单元、识别单元以及位置识别单元;
所述像素个数确认单元,用于所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;所述识别单元,用于分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;所述位置识别单元,用于获取所述M*N*K个输出的识别结果中将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率bj,并根据所述识别结果bj,得到对应像素点的位置P。
实施本发明实施例,具有如下有益效果:
本发明实施例提供了一种单像素有目标的攻击样本生成装置,通过位置确认模块获取待识别图像X和特点数字j,确认将待识别图像识别成特定数字时概率最大的像素点的位置P;像素值确认模块根据所述像素点的位置P,遍历所述像素点的位置P的每个像素值,确认将所述待识别图像X,识别为所述特定数字j的最大识别概率时的像素值V’;对抗样本生成模块根据所述像素点的位置P和像素值V’,对所述待识别图像X进行修改,生成对抗样本X’,大大减小了算法的时间复杂度,提高了对抗样本生成的效率,并且在最小程度上对图像进行更改,在最大限度上不影响人类识别,且能够使得神经网络将待识别图像X识别为特定的数字。
本发明一实施例提供的单像素有目标的攻击样本生成设备。该设备包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个有目标的攻击样本生成方法实施例中的步骤,例如图1所示的步骤S1至S3。
所称处理器可以是中央处理单元(Centrbl Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digitbl Signbl Processor,DSP)、专用集成电路(Bpplicbtion Specific Integrbted Circuit,BSIC)、现成可编程门阵列(Field-Progrbmmbble Gbte Brrby,FPGB)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述单像素有目标的攻击样本生成设备的控制中心,利用各种接口和线路连接整个单像素有目标的攻击样本生成设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述单像素有目标的攻击样本生成设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smbrt Medib Cbrd,SMC),安全数字(SecureDigitbl,SD)卡,闪存卡(Flbsh Cbrd)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述单像素有目标的攻击样本生成设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Rebd-Only Memory)、随机存取存储器(RBM,Rbndom Bccess Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种有目标的攻击样本生成方法,其特征在于,包括以下步骤:
获取待识别图像X和特定数字j,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每一个所述像素点的K个像素值在预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;其中,255≥K≥1;
遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的最大识别概率时的像素值V’;
将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
2.如权利要求1所述的有目标的攻击样本生成方法,其特征在于,所述预设的神经网络N是通过输入多个数字样本图像进行识别训练,直到正确识别每一个数字时构建而成;
所述预设的神经网络N,用于对输入的数字样本图片进行识别,并输出识别结果。
3.如权利要求2所述的有目标的攻击样本生成方法,其特征在于,所述识别结果为bj;其中,bj为将所述待识别图像X,识别为所述特定数字j时的最大识别概率,0≤j≤9。
4.如权利要求3所述的有目标的攻击样本生成方法,其特征在于,所述识别结果bj的概率满足:b0+b1+b2+b3+b4+b5+b6+b7+b8+b9=1。
5.如权利要求4所述的有目标的攻击样本生成方法,其特征在于,所述分别计算每个数值在预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P,具体为:
所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;
分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;
获取所述M*N*K个输出的识别结果中将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率bj,并根据所述识别结果bj,得到对应像素点的位置P。
6.如权利要求5所述的有目标的攻击样本生成方法,其特征在于,所述K=10。
7.一种单像素有目标的攻击样本生成装置,其特征在于,包括位置确认模块、像素值确认模块以及对抗样本生成模块;
所述位置确认模块,用于获取待识别图像X和特定数字j,遍历所述待识别图像X的每个像素点,在每个像素点采样K个像素值,并分别计算每一个所述像素点的K个像素值在预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率的像素点的位置P;其中,255≥K≥1;
所述像素值确认模块,用于遍历所述像素点的位置P的每个像素值,并分别计算每个数值在所述预设的神经网络N中的识别概率,得到将所述待识别图像X,识别为所述特定数字j的最大识别概率时的像素值V’;
所述对抗样本生成模块,用于将所述待识别图像X中像素位置P的像素值修改为V’,得到对抗样本X’。
8.如权利要求7所述的单像素有目标的攻击样本生成装置,其特征在于,所述位置确认模块包括像素个数确认单元、识别单元以及位置识别单元;
所述像素个数确认单元,用于所述待识别图像X的像素为M*N个,遍历所述M*N个像素点,并在每个像素点采样K个值,得到M*N*K个数值;
所述识别单元,用于分别将所述M*N*K个数值输入至所述预设的神经网络N中进行识别,得到M*N*K个输出的识别结果;
所述位置识别单元,用于获取所述M*N*K个输出的识别结果中将所述待识别图像X,识别为所述特定数字j的识别结果中最大识别概率bj,并根据所述识别结果bj,得到对应像素点的位置P。
9.一种单像素有目标的攻击样本生成设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的有目标的攻击样本生成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的有目标的攻击样本生成方法。
CN201910272129.0A 2019-04-04 2019-04-04 一种有目标的攻击样本生成方法、装置、设备及存储介质 Active CN110046622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910272129.0A CN110046622B (zh) 2019-04-04 2019-04-04 一种有目标的攻击样本生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910272129.0A CN110046622B (zh) 2019-04-04 2019-04-04 一种有目标的攻击样本生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110046622A CN110046622A (zh) 2019-07-23
CN110046622B true CN110046622B (zh) 2021-09-03

Family

ID=67276142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910272129.0A Active CN110046622B (zh) 2019-04-04 2019-04-04 一种有目标的攻击样本生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110046622B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507093A (zh) * 2020-04-03 2020-08-07 广州大学 一种基于相似字典的文本攻击方法、装置及存储介质
CN111461261B (zh) * 2020-05-18 2024-02-13 南京大学 神经网络分类识别中的对抗样本生成的方法和装置
CN112149752B (zh) * 2020-09-30 2022-10-21 北京理工大学 一种单像素攻击分布可视化方法
CN112529047A (zh) * 2020-11-23 2021-03-19 广州大学 一种基于梯度屏蔽的对抗样本生成方法
CN112766430B (zh) * 2021-01-08 2022-01-28 广州紫为云科技有限公司 基于黑盒通用人脸检测对抗攻击的方法、装置及存储介质
CN113449783B (zh) * 2021-06-17 2022-11-08 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
CN108491785A (zh) * 2018-03-19 2018-09-04 网御安全技术(深圳)有限公司 一种人工智能图像辨识攻击防御系统
CN108647683A (zh) * 2018-04-28 2018-10-12 浙江大学 一种基于频域加噪的字符对抗验证码生成方法和系统
CN109034632A (zh) * 2018-08-03 2018-12-18 哈尔滨工程大学 一种基于对抗样本的深度学习模型安全风险评估方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018200724A1 (de) * 2017-04-19 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
US20190019058A1 (en) * 2017-07-13 2019-01-17 Endgame, Inc. System and method for detecting homoglyph attacks with a siamese convolutional neural network
CN108734168A (zh) * 2018-05-18 2018-11-02 天津科技大学 一种手写数字的识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
CN108491785A (zh) * 2018-03-19 2018-09-04 网御安全技术(深圳)有限公司 一种人工智能图像辨识攻击防御系统
CN108647683A (zh) * 2018-04-28 2018-10-12 浙江大学 一种基于频域加噪的字符对抗验证码生成方法和系统
CN109034632A (zh) * 2018-08-03 2018-12-18 哈尔滨工程大学 一种基于对抗样本的深度学习模型安全风险评估方法

Also Published As

Publication number Publication date
CN110046622A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110046622B (zh) 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN110070115B (zh) 一种单像素攻击样本生成方法、装置、设备及存储介质
CN108229474A (zh) 车牌识别方法、装置及电子设备
CN110991533B (zh) 图像识别方法、识别装置、终端设备及可读存储介质
CN104915972A (zh) 图像处理装置、图像处理方法以及程序
CN114331829A (zh) 一种对抗样本生成方法、装置、设备以及可读存储介质
CN113298152B (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
JP2021135993A (ja) テキスト認識方法及びテキスト認識装置、電子設備、記憶媒体
CN112949706B (zh) Ocr训练数据生成方法、装置、计算机设备及存储介质
CN113850238B (zh) 文档检测方法、装置、电子设备及存储介质
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
CN115731422A (zh) 多标签分类模型的训练方法、分类方法及装置
CN110070017B (zh) 一种人脸假眼图像生成方法及装置
CN109359542B (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
CN111178153A (zh) 一种交通标志检测方法及系统
CN111753845B (zh) 基于ai的验证码图片识别方法、装置、设备及存储介质
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN113283388A (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN112132269A (zh) 模型处理方法、装置、设备及存储介质
CN115439850B (zh) 基于审单的图文字符识别方法、装置、设备及存储介质
CN113807407B (zh) 目标检测模型训练方法、模型性能检测方法及装置
CN116091400A (zh) 一种证件检测方法、装置、电子设备和存储介质
CN112801960B (zh) 图像处理方法及装置、存储介质、电子设备
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN114841287A (zh) 分类模型的训练方法、图像分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant