CN111461177B - 一种图像的识别方法及装置 - Google Patents

一种图像的识别方法及装置 Download PDF

Info

Publication number
CN111461177B
CN111461177B CN202010158601.0A CN202010158601A CN111461177B CN 111461177 B CN111461177 B CN 111461177B CN 202010158601 A CN202010158601 A CN 202010158601A CN 111461177 B CN111461177 B CN 111461177B
Authority
CN
China
Prior art keywords
particle
original image
deep learning
learning model
particles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010158601.0A
Other languages
English (en)
Other versions
CN111461177A (zh
Inventor
李丽香
李帅
彭海朋
潘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010158601.0A priority Critical patent/CN111461177B/zh
Publication of CN111461177A publication Critical patent/CN111461177A/zh
Application granted granted Critical
Publication of CN111461177B publication Critical patent/CN111461177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供的一种图像的识别方法及装置，其中，方法包括：获取原始图像，基于原始图像生成粒子群，迭代更新粒子群，直至达到迭代次数，得到更新后的粒子群，在更新后的粒子群中，确定自适应值最小的目标粒子，针对原始图像，将该原始图像的特征值上与目标粒子对应的坐标值求和，得到对抗样本，利用对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型，利用训练后的深度学习模型识别被扰动的图像。本发明实施例无需获知深度学习模型的内部结构，将目标粒子的坐标值与原始图像的特征值求和得到对抗样本，使用该对抗样本训练得到的深度学习模型抗干扰能力较强，可以提高识别携带未知扰动的图像时的准确性。

Description

一种图像的识别方法及装置
技术领域
本发明涉及图像技术领域，特别是涉及一种图像的识别方法及装置。
背景技术
随着智能设备高速发展，很多智能设备都具备图像识别功能，例如监控摄像头。在图像识别时，图像信息常常会受到周围环境的干扰，这些干扰称为扰动，如果扰动较为明显，这些扰动在图像识别前会被过滤器过滤掉。细微的扰动使得深度学习模型在识别携带扰动的图像时，也会产生错误的分类。示例性的，如果原始图像是一张数字1的图像，由于扰动使得原始图像产生了较小的失真，在使用深度学习模型识别该失真的图像时，可能将该图像误识别为模糊的数字1的图像。因此，现有技术中通常会在原始图像的基础上增加扰动，生成包含扰动的图像，将包含扰动的图像作为对抗样本，使用对抗样本训练得到深度学习模型。
现有技术在生成对抗样本时，需要获知深度学习模型的内部结构，内部结构包括：每一层神经元的个数以及神经元之间的连接方式，然后在获知深度学习模型的内部结构的情况下，使用梯度下降算法，迭代获取深度学习模型的梯度信息，根据梯度信息为原图像增加对应的扰动，得到对抗样本。
由于现有技术通过获知深度学习模型的内部结构，得到梯度信息，根据梯度信息为原图像增加的扰动的变化范围是已知的，该对抗样本在训练深度学习模型时，属于白盒攻击方式的训练，即对抗样本已获知深度学习模型的内部架构，而实际中大部分训练深度学习模型的方式属于黑盒攻击方式的训练，即对抗样本并不能就获知深度学习的内部结构，因此现有技术使用该对抗样本训练得到的深度学习模型，抗干扰能力较低，在识别携带未知扰动的图像时准确性不高。
发明内容
本发明实施例的目的在于提供一种图像的识别方法及装置，以提高识别携带未知扰动的图像时准确性。具体技术方案如下：
第一方面，本发明实施例提供的一种图像的识别方法，包括：
获取原始图像；
基于原始图像生成粒子群，粒子群包括：预设第一数量个粒子，每个粒子对应一个速度以及坐标值，每个粒子表示一个扰动；
迭代更新粒子群，直至达到迭代次数，得到更新后的粒子群；
在更新后的粒子群中，将自适应值最小的粒子作为目标粒子，自适应值表示原始图像在添加扰动后与原始图像的相似程度；
针对原始图像，将该原始图像的特征值上与目标粒子对应的坐标值求和，得到对抗样本；
利用对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型；
利用训练后的深度学习模型识别被扰动的图像。
可选的，在获取原始图像的步骤之后，本发明第一方面实施例提供的一种图像的识别方法还包括：
将原始图像进行编码，得到原始图像映射至隐空间的向量；
基于原始图像生成粒子群的步骤包括：
随机生成粒子，直至达到预设的粒子个数；
针对每个粒子，根据预设的粒子速度生成区间，生成每个粒子的速度；
针对每个粒子，根据预设的坐标值生成区间，生成每个粒子的坐标，随机坐标的维度与向量的维度相同；
将各个粒子组成粒子群。
可选的，在更新后的粒子群中，将自适应值最小的粒子作为目标粒子的步骤，包括：
利用预设的适应度函数，计算更新后的粒子群中每个粒子的自适应值；
将自适应值最小的粒子，确定为目标粒子。
可选的，迭代更新粒子群，直至达到迭代次数，得到更新后的粒子群的步骤，包括：
针对当前粒子，将每个当前粒子的坐标值输入至预设的适应度函数中，得到每个当前粒子的适应度值，当前粒子是当前粒子群中每个粒子，当前粒子群是上一次更新后的粒子群；
将适应度值最小的当前粒子的坐标值作为终点坐标，以使每个当前粒子按照自身的当前速度向终点坐标所在的位置移动，当前速度是当前粒子上一次更新后的速度；
将达到迭代次数的当前粒子群作为更新后的粒子群。
可选的，在更新后的粒子群中，将自适应值最小的粒子作为目标粒子的步骤，包括：
在更新后的粒子群中，当自适应值最小的粒子的个数大于1时，在达到迭代次数的当前粒子群中确定最先到达终点坐标的当前粒子作为目标粒子。
可选的，适应度函数包括：目标适应度函数以及无目标适应度函数；
其中，适应度函数为：
Figure BDA0002404951360000031
其中，P1表示适应度值，minimize表示最小化度量，z表示是原始图像在隐空间的向量，
Figure BDA0002404951360000032
表示p距离的度量，δ代表扰动，p是一个正整数，z∈Rn’Rn是实数集，n表示z向量的维度，/>
Figure BDA0002404951360000036
表示平衡因子；
对于目标适应度函数，
Figure BDA0002404951360000033
其中，t表示预先标记的被扰动图像的类别，
Figure BDA0002404951360000034
表示深度学习模型识别被扰动图像输出的类别，G代表深度学习模型，κ是预设的调节因子，i表示除预先标记的被扰动图像的类别外，深度学习模型输出的类别概率值中第i个类别；
对于无目标适应度函数，
Figure BDA0002404951360000035
其中，y表示原始图像的真实类别，r表示除原始图像的真实类别外，深度学习模型输出的类别概率值中第r个类别。
第二方面，本发明实施例提供的一种图像的识别装置，包括：
获取模块，用于获取原始图像；
生成模块，用于基于原始图像生成粒子群。
其中，粒子群包括：预设第一数量个粒子，每个粒子对应一个速度以及坐标值，每个粒子表示一个扰动。
更新模块，用于迭代更新粒子群，直至达到迭代次数，得到更新后的粒子群；
确定模块，用于在更新后的粒子群中，确定自适应值最小的目标粒子。
其中，自适应值表示原始图像在添加扰动后与原始图像的相似程度。
求和模块，用于针对原始图像，将该原始图像的特征值上与目标粒子对应的坐标值求和，得到对抗样本；
训练模块，用于利用对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型；
识别模块，用于利用训练后的深度学习模型识别被扰动的图像。
可选的，本发明第二方面实施例提供的一种图像的识别装置还包括：
编码模块，用于将原始图像进行编码，得到原始图像在隐空间的向量；
生成模块具体用于：
根据预设的粒子速度生成区间，生成粒子的速度；
根据预设的坐标值生成区间，生成随机坐标，随机坐标的维度与向量的维度相同；
将原始图像在隐空间的向量与随机坐标在同一维度的值相加，得到相加结果；
将相加结果确定为粒子的坐标值；
将各个粒子组成粒子群。
可选的，确定模块具体用于：
利用预设的适应度函数，计算更新后的粒子群中每个粒子的自适应值。
适应度函数包括：目标适应度函数以及无目标适应度函数；
其中，适应度函数为：
Figure BDA0002404951360000051
其中，P1表示适应度值，minimize表示最小化度量，z表示是原始图像在隐空间的向量，
Figure BDA0002404951360000052
表示p距离的度量，δ代表扰动，p是一个正整数，z∈Rn’Rn是实数集，n表示，
对于目标适应度函数，
Figure BDA0002404951360000053
其中，t表示预先标记的被扰动图像的类别，
Figure BDA0002404951360000054
表示深度学习模型识别被扰动图像输出的类别，G代表深度学习模型，κ是预设的调节因子，i表示除预先标记的被扰动图像的类别外，深度学习模型输出的类别；
对于无目标适应度函数，
Figure BDA0002404951360000055
其中，y表示原始图像的真实类别，r表示除原始图像的真实类别外，深度学习模型输出的类别概率值中第r个类别。
将自适应值最小的粒子，确定为目标粒子。
确定模块具体用于：
针对当前粒子，将每个当前粒子的坐标值输入至预设的适应度函数中，得到每个当前粒子的适应度值，当前粒子是当前粒子群中每个粒子，当前粒子群是上一次更新后的粒子群。
将适应度值最小的当前粒子的坐标值作为终点坐标，以使每个当前粒子按照自身的当前速度向终点坐标所在的位置移动，当前速度是当前粒子上一次更新后的速度。
将达到迭代次数的当前粒子群作为更新后的粒子群。
可选的，确定模块具体用于：
在更新后的粒子群中，当自适应值最小的粒子的个数大于1时，在达到迭代次数的当前粒子群中确定最先到达终点坐标的当前粒子作为目标粒子。
第三方面，本发明实施例提供了一种服务器，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现本发明实施例第一方面提供的一种图像的识别方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行本发明实施例第一方面提供的一种图像的识别方法步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明实施例第一方面提供的一种图像的识别方法步骤。
本发明实施例提供的一种图像的识别方法及装置，通过获取原始图像；基于所述原始图像生成粒子群，迭代更新所述粒子群，直至达到迭代次数，得到更新后的粒子群，在所述更新后的粒子群中，确定自适应值最小的目标粒子，针对所述原始图像，将该原始图像的特征值上与所述目标粒子对应的坐标值求和，得到对抗样本，利用所述对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型，利用所述训练后的深度学习模型识别被扰动的图像。相比于现有技术，本发明实施例无需获知深度学习模型的内部结构，通过生成粒子群，在更新后的粒子群中确定自适应值最小的目标粒子，将目标粒子的坐标值与原始图像的特征值求和得到对抗样本的方式，使得对抗样本接近原始图像，对训练深度学习模型表现的更加自然，使用该对抗样本训练得到的深度学习模型抗干扰能力较强，可以提高识别携带未知扰动的图像时的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像的识别方法的流程图；
图2为本发明实施例提供的生成粒子群过程的流程图；
图3为本发明实施例提供的迭代更新粒子群过程的流程图；
图4为本发明实施例提供的确定目标粒子过程的流程图；
图5a为本发明实施例提供的手写1的原始图像；
图5b为本发明实施例提供的扰动的效果图；
图5c才为本发明实施例提供的手写1的原始图像添加扰动后生成的对抗样本的效果图；
图6a是本发明实施例提供的手写4的原始图像；
图6b是本发明实施例提供的利用快速梯度符号攻击算法获得的扰动的效果图；
图6c是本发明实施例提供的利用快速梯度符号攻击算法生成对抗样本的效果图；
图7a是本发明实施例提供的手写4的原始图像；
图7b是本发明实施例提供的利用基于雅克比矩阵的显著图攻击算法获得的扰动的效果图；
图7c为本发明实施例提供的利用基于雅克比矩阵的显著图攻击算法生成对抗样本的效果图；
图8a是本发明实施例提供的手写4的原始图像；
图8b是本发明实施例提供的获得扰动的一种效果图；
图8c为本发明实施例提供的生成对抗样本的一种效果图；
图9a是本发明实施例提供的手写4的原始图像；
图9b是本发明实施例提供的获得扰动的另一种效果图；
图9c为本发明实施例提供的生成对抗样本的另一种效果图；
图10为本发明实施例提供的一种图像的识别装置的结构图；
图11为本发明实施例提供的电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的一种图像的识别方法，包括：
S101，获取原始图像。
可以理解，原始图像的信息在传输过程中会受到通信系统以及周围的干扰，该原始图像是未携带扰动的图像，可以从摄像机直接拍摄，也可以从监控系统的图像数据库中直接获取。
S102，基于原始图像生成粒子群。
其中，粒子群包括：预设第一数量个粒子，每个粒子对应一个速度以及坐标值，每个粒子表示一个扰动。
可以理解，原始图像如果是一张较为清晰的图像，则可以给原始图像增加较大的扰动，如果原始图像是一个模糊的图像，如果扰动过大会使得原始图像丧失原来的本质，在生成粒子群之前，可以根据原始图像的清晰度，生成适宜的粒子群，控制粒子群中每个粒子所代表的扰动的大小，以便为后续训练深度学习模型提供铺垫。
S103，迭代更新粒子群，直至达到迭代次数，得到更新后的粒子群。
可以理解，粒子群是模仿鸟群的捕食行为而产生的，粒子群中的每个粒子都会在群体中确定最佳的粒子位置，然后根据自身的速度向最佳的粒子位置运动，在移动过程中粒子的速度是迭代更新的，粒子的移动步长、可移动的最大距离以及可移动的最大速度是预先设定的，粒子的移动过程以及粒子的速度更新过程与现有技术相同，在此不在赘述。
其中，迭代次数是根据行业经验预先设定的数值。
S104，在更新后的粒子群中，确定自适应值最小的目标粒子。
其中，自适应值表示原始图像在添加扰动后与原始图像的相似程度。
可以理解，人类视觉对于图像携带的轻微扰动是无法感知的，但是深度学习模型在识别携带轻微扰动的图像时却容易识别为错误的类别，轻微的扰动对于深度学习模型的干扰较大，而深度学习模型识别扰动较大图像时，因为扰动越大，原始图像的特征与扰动会有明显的区别，容易被过滤器过滤掉，如果添加扰动后的图像与原始图像相似程度越高，则代表添加的扰动的浮动较小，产生的对抗样本更加自然，对于深度学习模型学习对抗样本的特征更具有迷惑性，利于提高得到深度学习模型的准确性。
S105，针对原始图像，将该原始图像的特征值上与目标粒子对应的坐标值求和，得到对抗样本。
其中，特征值是原始图像的特征点的特征值，原始图像的特征值维度与目标粒子的坐标值维度相同，将同一维度的原始图像的特征值与目标粒子的坐标值求和，将求和结果作为对抗样本。
示例性的，如果原始图像的特征维度是三维，则目标粒子的坐标维度也是三维。
可以理解，原始图像的特征点可以为：角点、SIFT(Scale-invariant featuretransform，尺度不变特征变换)特征点，边缘点，可以代表原始图像的全局信息、局部信息以及像素点的变化信息的特征点都在本发明实施例的保护范围，本发明实施例在此不作限制。
S106，利用对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型。
可以理解，使用对抗样本训练预设的深度学习模型的过程与现有技术训练神经网络模型的过程相同，在此不作介绍。
S107，利用训练后的深度学习模型识别被扰动的图像。
相比于现有技术，本发明实施例无需获知深度学习模型的内部结构，通过生成粒子群，在更新后的粒子群中确定自适应值最小的目标粒子，将目标粒子的坐标值与原始图像的特征值求和得到对抗样本的方式，使得对抗样本接近原始图像，对训练深度学习模型表现的更加自然，使用该对抗样本训练得到的深度学习模型抗干扰能力较强，可以提高识别携带未知扰动的图像时的准确性。
作为本发明实施例一种可选的实施方式，本发明实施例提供的一种图像的识别方法还包括：
将原始图像进行编码，得到原始图像映射至隐空间的向量。
其中，预设的深度学习模型可以由编码网络与生成网络构成，编码网络用于对原始图像进行编码，使得原始图像的特征值映射为latent space隐空间的向量，生成网络用于将隐空间的向量与目标粒子的坐标值求和，生成对抗样本。
作为本发明实施例一种可选的实施方式，如图2所示，上述S102的步骤可以通过如下方式实现：
S201，随机生成粒子，直至达到预设的粒子个数。
其中，可以使用PSO(Particle Swarm Optimization，粒子群算法)生成粒子。
可以理解，粒子群的规模大小决定了生成对抗样本的时间，粒子群规模越大，粒子的个数越多，在粒子群中确定的目标粒子的准确性越高，生成对抗样本的准确性越高，生成对抗样本的时间会加长，因此需要选取合适的粒子群规模。本发明实施例的粒子个数是根据行业经验预先设置，实际取值可以为50。
S202，针对每个粒子，根据预设的粒子速度生成区间，生成每个粒子的速度。
可以理解，根据预设的粒子速度生成区间，生成随机数，将随机数作为粒子的速度，在初次更新粒子群时，粒子的速度为初始速度，粒子会按照初始的速度移动，每次更新粒子群过程中，粒子的速度会进行更新，粒子的速度更新方式与PSO粒子速度更新方式相同，在此不再赘述，为防止粒子偏离粒子群，粒子在运动过程中受到粒子的移动步长、可移动的最大距离以及可移动的最大速度的限制。
S203，针对每个粒子，根据预设的坐标值生成区间，生成每个粒子的坐标。
其中，随机坐标的维度与向量的维度相同。
示例性的，假设预设的坐标值生成区间为1.0-2.0之间，向量的维度是2，则坐标的维度是2维，生成的随机坐标可以为[1.1，1.8]，1.1代表横坐标的值，1.8代表纵坐标的值。
S204，将各个粒子组成粒子群。
作为本发明实施例可选的一种实施方式，如图3所示，上述S103的步骤可以通过如下实现：
S301，针对当前粒子，将每个当前粒子的坐标值输入至预设的适应度函数中，得到每个当前粒子的适应度值。
其中，当前粒子是当前粒子群中每个粒子，当前粒子群是上一次更新后的粒子群。
可以理解，第一次更新粒子群时，当前粒子群就是还未进行更新的粒子群。
S302，将适应度值最小的当前粒子的坐标作为终点坐标，以使每个当前粒子按照自身的当前速度向终点坐标所在的位置移动。
其中，当前速度是当前粒子上一次更新后的速度。
S303，循环执行S301至S302的步骤，直至达到迭代次数。
S304，将达到迭代次数的当前粒子群作为更新后的粒子群。
可以理解，粒子群每迭代一次，粒子向终端坐标运动一次后，重新计算每个粒子在当前位置的适应度值，粒子间互相通知向适应度值最小的粒子运动，最终粒子会呈现聚集的效果。
作为本发明实施例可选的一种实施方式，如图4所示，上述S104的步骤可以通过如下实现：
S401，利用预设的适应度函数，计算更新后的粒子群中每个粒子的自适应值。
其中，适应度函数为：
Figure BDA0002404951360000121
其中，P1表示适应度值，minimize表示最小化度量，z表示是原始图像在隐空间的向量，
Figure BDA0002404951360000122
表示p距离的度量，δ表示扰动也代表粒子群中的一个粒子，p是一个正整数，z∈Rn’Rn是实数集，n表示z向量的维度，实际取值可以为64维，/>
Figure BDA0002404951360000126
表示平衡因子，用于平衡δ的大小，取正数。
其中，适应度函数包括：目标适应度函数以及无目标适应度函数。
对于目标适应度函数，
Figure BDA0002404951360000123
其中，t表示预先标记的被扰动图像的类别，
Figure BDA0002404951360000124
表示深度学习模型识别被扰动图像输出的类别，G代表深度学习模型，κ是预设的调节因子，i表示除预先标记的被扰动图像的类别外，深度学习模型输出的类别概率值中第i个类别。
对于无目标适应度函数，
Figure BDA0002404951360000125
其中，y表示原始图像的真实类别，r表示除原始图像的真实类别外，深度学习模型输出的类别概率值中第r个类别。
如果原始图像是一个汽车的图像，类别可以包括汽车类型，可以是面包车，卡车，救护车。如果原始图像是一个手写数字图像，类别可以包括：0-9个阿拉伯数字，具体类别可以根据训练深度学习模型的对抗样本进行设置，在此不作限制。
可以理解，目标适应度函数表示确定扰动生成对抗样本时，需要预先设置目标，即预先标记原始图像的类别，示例性的可以原始图像可以标记为数字1，然后使得深度学习模型识别对抗样本输出的类别与预先标记的原始图像的类别相同，或者深度学习模型识别对抗样本输出的类别与预先标记的原始图像的类别差异较小，即深度学习模型识别对抗样本输出的类别的概率越大，则差异越小。
无目标函数表示原始图像的真实类别与深度学习模型识别对抗样本输出的类别，无需设置目标，使得深度学习模型识别对抗样本输出的类别与原始图像的真实类别相同，或者深度学习模型识别对抗样本输出的类别与原始图像的真实类别差异较小。
S402，将自适应值最小的粒子，确定为目标粒子。
作为本发明实施例一种可选的实施方式，在所述更新后的粒子群中，当自适应值最小的粒子的个数大于1时，可以在达到迭代次数的当前粒子群中确定最先到达终点坐标的当前粒子作为目标粒子。
可以理解，最先到达终点坐标的当前粒子，该当前粒子的速度或者距离终点坐标的距离较近，该当前粒子在粒子群中接近最佳位置，即终点坐标，对整个粒子群汇聚表现较佳，因此将该当前粒子作为目标粒子，可以提高生成对抗样本的效率。
在具体实验时，本发明实施例采用MNIST(Mixed National Institute ofStandards and Technology database，国家标准和技术研究所混合数据库)数据集，深度学习模型采用卷积网络LeNet-5结构，使用本法明实施例生成的对抗样本训练预设的深度学习模型，得到训练后的深度学习模型在识别手写数字的准确率为97％。
图5a的1是MNIST数据集中手写1的原始图像，左上标的数字1表示手写1在MNIST数据集中的类别，图5b代表扰动，图5c是原始图像增加扰动后生成的对抗样本，上标的数字2表示该对抗样本输入预设的深度学习模型后，预设的深度学习模型将对抗样本误识别为类别2，由图5a、图5b以及图5c可见，本发明实施例添加的扰动更加自然，与手写1的轮廓较为接近。
如图6a、图6b、图6c、图7a、图7b、图7c、图8a、图8b、图8c、图9a、图9b以及图9c所示，图6a是原始图像，图6b是利用快速梯度符号攻击算法获得的扰动，图6c是将快速梯度符号攻击算法获得的扰动添加至原始图像后生成的对抗样本。图7a是原始图像，图7b是利用基于雅克比矩阵的显著图攻击算法获得的扰动，图7c是将基于雅克比矩阵的显著图攻击算法获得的扰动添加至原始图像后，生成的对抗样本。图8a以及图9a是原始图像，图8b以及图9b本发明实施例获得的扰动，图8c以及图9c是本发明实施例生成的对抗样本。由此可见，本发明实施例获得的扰动主要在原始图像中字体的轮廓附近，得到的对抗样本与原始图像的相似度更高，对于训练深度学习模型提高准确性效果会更加显著。
如图10所示，本发明实施例提供的一种图像的识别装置，包括：
获取模块1001，用于获取原始图像；
生成模块1002，用于基于原始图像生成粒子群。
其中，粒子群包括：预设第一数量个粒子，每个粒子对应一个速度以及坐标值，每个粒子表示一个扰动。
更新模块1003，用于迭代更新粒子群，直至达到迭代次数，得到更新后的粒子群；
确定模块1004，用于在更新后的粒子群中，确定自适应值最小的目标粒子。
其中，自适应值表示原始图像在添加扰动后与原始图像的相似程度。
求和模块1005，用于针对原始图像，将该原始图像的特征值上与目标粒子对应的坐标值求和，得到对抗样本；
训练模块1006，用于利用对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型；
识别模块1007，用于利用训练后的深度学习模型识别被扰动的图像。
可选的，本发明实施例提供的一种图像的识别装置还包括：
编码模块，用于将原始图像进行编码，得到原始图像在隐空间的向量；
生成模块具体用于：
根据预设的粒子速度生成区间，生成粒子的速度；
根据预设的坐标值生成区间，生成随机坐标，随机坐标的维度与向量的维度相同；
将原始图像在隐空间的向量与随机坐标在同一维度的值相加，得到相加结果；
将相加结果确定为粒子的坐标值；
将各个粒子组成粒子群。
可选的，确定模块具体用于：
利用预设的适应度函数，计算更新后的粒子群中每个粒子的自适应值。
适应度函数包括：目标适应度函数以及无目标适应度函数；
其中，适应度函数为：
Figure BDA0002404951360000151
其中，P1表示适应度值，minimize表示最小化度量，z表示是原始图像在隐空间的向量，
Figure BDA0002404951360000152
表示p距离的度量，δ代表扰动，p是一个正整数，z∈Rn’Rn是实数集，n表示z向量的维度，实际取值可以为64维，/>
Figure BDA0002404951360000156
表示平衡因子，用于平衡δ的大小，取正数。
对于目标适应度函数，
Figure BDA0002404951360000153
其中，t表示预先标记的被扰动图像的类别，
Figure BDA0002404951360000154
表示深度学习模型识别被扰动图像输出的类别，G代表深度学习模型，κ是预设的调节因子，i表示除预先标记的被扰动图像的类别外，深度学习模型输出的类别概率值中第i个类别；
对于无目标适应度函数，
Figure BDA0002404951360000155
其中，y表示原始图像的真实类别，r表示除原始图像的真实类别外，深度学习模型输出的类别概率值中第r个类别。
将自适应值最小的粒子，确定为目标粒子。
确定模块具体用于：
针对当前粒子，将每个当前粒子的坐标值输入至预设的适应度函数中，得到每个当前粒子的适应度值，当前粒子是当前粒子群中每个粒子，当前粒子群是上一次更新后的粒子群。
将适应度值最小的当前粒子的坐标值作为终点坐标，以使每个当前粒子按照自身的当前速度向终点坐标所在的位置移动，当前速度是当前粒子上一次更新后的速度。
将达到迭代次数的当前粒子群作为更新后的粒子群。
可选的，确定模块具体用于：
在更新后的粒子群中，当自适应值最小的粒子的个数大于1时，在达到迭代次数的当前粒子群中确定最先到达终点坐标的当前粒子作为目标粒子。
本发明实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，
存储器1103，用于存放计算机程序；
处理器1101，用于执行存储器1103上所存放的程序时，实现如下步骤：
获取原始图像；
基于原始图像生成粒子群，粒子群包括：预设第一数量个粒子，每个粒子对应一个速度以及坐标值，每个粒子表示一个扰动；
迭代更新粒子群，直至达到迭代次数，得到更新后的粒子群；
在更新后的粒子群中，将自适应值最小的粒子作为目标粒子，自适应值表示原始图像在添加扰动后与原始图像的相似程度；
针对原始图像，将该原始图像的特征值上与目标粒子对应的坐标值求和，得到对抗样本；
利用对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型；
利用训练后的深度学习模型识别被扰动的图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一一种图像的识别方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一一种图像的识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种图像的识别方法，其特征在于，所述方法包括：
获取原始图像；
基于所述原始图像生成粒子群，所述粒子群包括：预设第一数量个粒子，每个粒子对应一个速度以及坐标值，每个粒子表示一个扰动；
迭代更新所述粒子群，直至达到迭代次数，得到更新后的粒子群；
在所述更新后的粒子群中，将自适应值最小的粒子作为目标粒子，所述自适应值表示原始图像在添加扰动后与原始图像的相似程度；
针对所述原始图像，将该原始图像的特征值上与所述目标粒子对应的坐标值求和，得到对抗样本；
利用所述对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型；
利用所述训练后的深度学习模型识别被扰动的图像；
所述在所述更新后的粒子群中，将自适应值最小的粒子作为目标粒子的步骤，包括：
利用预设的适应度函数，计算更新后的粒子群中每个粒子的自适应值；
将自适应值最小的粒子，确定为目标粒子；
所述适应度函数包括：目标适应度函数以及无目标适应度函数；
其中，所述适应度函数为：
Figure FDA0004213936510000011
其中，P1表示适应度值，minimize表示最小化度量，z表示是原始图像在隐空间的向量，
Figure FDA0004213936510000012
表示p距离的度量，δ代表扰动，p是一个正整数，z∈Rn，Rn是实数集，n表示z向量的维度，/>
Figure FDA0004213936510000014
表示平衡因子；
对于所述目标适应度函数，
Figure FDA0004213936510000013
其中，t表示预先标记的被扰动图像的类别，
Figure FDA0004213936510000021
表示深度学习模型识别所述被扰动图像输出的类别，G代表深度学习模型，κ是预设的调节因子，i表示除预先标记的被扰动图像的类别外，深度学习模型输出的类别概率值中第i个类别；
对于所述无目标适应度函数，
Figure FDA0004213936510000022
其中，y表示原始图像的真实类别，r表示除原始图像的真实类别外，深度学习模型输出的类别概率值中第r个类别。
2.根据权利要求1所述的方法，其特征在于，在所述获取原始图像的步骤之后，所述方法还包括：
将所述原始图像进行编码，得到所述原始图像映射至隐空间的向量；
所述基于所述原始图像生成粒子群的步骤包括：
随机生成粒子，直至达到预设的粒子个数；
针对每个粒子，根据预设的粒子速度生成区间，生成每个粒子的速度；
针对每个粒子，根据预设的坐标值生成区间，生成每个粒子的坐标，所述随机坐标的维度与所述向量的维度相同；
将各个粒子组成粒子群。
3.根据权利要求1所述的方法，其特征在于，所述迭代更新所述粒子群，直至达到迭代次数，得到更新后的粒子群的步骤，包括：
针对当前粒子，将每个当前粒子的坐标值输入至预设的适应度函数中，得到每个当前粒子的适应度值，所述当前粒子是当前粒子群中每个粒子，当前粒子群是上一次更新后的粒子群；
将适应度值最小的当前粒子的坐标值作为终点坐标，以使每个当前粒子按照自身的当前速度向终点坐标所在的位置移动，当前速度是当前粒子上一次更新后的速度；
将达到迭代次数的当前粒子群作为更新后的粒子群。
4.根据权利要求3所述的方法，所述在所述更新后的粒子群中，将自适应值最小的粒子作为目标粒子的步骤，包括：
在所述更新后的粒子群中，当自适应值最小的粒子的个数大于1时，在达到迭代次数的当前粒子群中确定最先到达终点坐标的当前粒子作为目标粒子。
5.一种图像的识别装置，其特征在于，所述装置包括：
获取模块，用于获取原始图像；
生成模块，用于基于所述原始图像生成粒子群，所述粒子群包括：预设第一数量个粒子，每个粒子对应一个速度以及坐标值，每个粒子表示一个扰动；
更新模块，用于迭代更新所述粒子群，直至达到迭代次数，得到更新后的粒子群；
确定模块，用于在所述更新后的粒子群中，确定自适应值最小的目标粒子，所述自适应值表示原始图像在添加扰动后与原始图像的相似程度；
求和模块，用于针对所述原始图像，将该原始图像的特征值上与所述目标粒子对应的坐标值求和，得到对抗样本；
训练模块，用于利用所述对抗样本，训练预设的深度学习模型，得到训练后的深度学习模型；
识别模块，用于利用所述训练后的深度学习模型识别被扰动的图像；
所述确定模块，具体用于利用预设的适应度函数，计算更新后的粒子群中每个粒子的自适应值；
将自适应值最小的粒子，确定为目标粒子；
所述适应度函数包括：目标适应度函数以及无目标适应度函数；
其中，所述适应度函数为：
Figure FDA0004213936510000031
其中，P1表示适应度值，minimize表示最小化度量，z表示是原始图像在隐空间的向量，
Figure FDA0004213936510000041
表示p距离的度量，δ代表扰动，p是一个正整数，z∈Rn，Rn是实数集，n表示z向量的维度，/>
Figure FDA0004213936510000045
表示平衡因子；
对于所述目标适应度函数，
Figure FDA0004213936510000042
其中，t表示预先标记的被扰动图像的类别，
Figure FDA0004213936510000043
表示深度学习模型识别所述被扰动图像输出的类别，G代表深度学习模型，κ是预设的调节因子，i表示除预先标记的被扰动图像的类别外，深度学习模型输出的类别概率值中第i个类别；
对于所述无目标适应度函数，
Figure FDA0004213936510000044
其中，y表示原始图像的真实类别，r表示除原始图像的真实类别外，深度学习模型输出的类别概率值中第r个类别。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：编码模块，用于将所述原始图像进行编码，得到所述原始图像映射至隐空间的向量；
所述生成模块具体用于：
随机生成粒子，直至达到预设的粒子个数；
针对每个粒子，根据预设的粒子速度生成区间，生成每个粒子的速度；
针对每个粒子，根据预设的坐标值生成区间，生成每个粒子的坐标，所述随机坐标的维度与所述向量的维度相同；
将各个粒子组成粒子群。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN202010158601.0A 2020-03-09 2020-03-09 一种图像的识别方法及装置 Active CN111461177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010158601.0A CN111461177B (zh) 2020-03-09 2020-03-09 一种图像的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010158601.0A CN111461177B (zh) 2020-03-09 2020-03-09 一种图像的识别方法及装置

Publications (2)

Publication Number Publication Date
CN111461177A CN111461177A (zh) 2020-07-28
CN111461177B true CN111461177B (zh) 2023-07-07

Family

ID=71682658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010158601.0A Active CN111461177B (zh) 2020-03-09 2020-03-09 一种图像的识别方法及装置

Country Status (1)

Country Link
CN (1) CN111461177B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492249B (zh) * 2019-09-11 2024-04-09 瑞昱半导体股份有限公司 图像处理方法及电路
CN112949678B (zh) * 2021-01-14 2023-05-02 西安交通大学 深度学习模型对抗样本生成方法、系统、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694356A (zh) * 2017-04-10 2018-10-23 京东方科技集团股份有限公司 行人检测装置及方法、辅助驾驶系统
CN110175513A (zh) * 2019-04-15 2019-08-27 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694356A (zh) * 2017-04-10 2018-10-23 京东方科技集团股份有限公司 行人检测装置及方法、辅助驾驶系统
CN110175513A (zh) * 2019-04-15 2019-08-27 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QUANXIN ZHANG等.Attacking Black-Box Image Classifiers With Particle Swarm Optimization.IEEE ACCESS.2019,第7卷全文. *

Also Published As

Publication number Publication date
CN111461177A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN110222831B (zh) 深度学习模型的鲁棒性评估方法、装置及存储介质
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111027605A (zh) 基于深度学习的细粒度图像识别方法和装置
CN113592923B (zh) 一种基于深度局部特征匹配的批图像配准方法
CN110766708B (zh) 基于轮廓相似度的图像比较方法
CN111461177B (zh) 一种图像的识别方法及装置
CN112329837A (zh) 一种对抗样本检测方法、装置、电子设备及介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN111178364A (zh) 一种图像识别方法和装置
CN110135428B (zh) 图像分割处理方法和装置
CN115439708A (zh) 一种图像数据处理方法和装置
CN116522565B (zh) 一种基于bim的电力工程设计配电网规划方法及计算机设备
CN112241736A (zh) 一种文本检测的方法及装置
CN117710728A (zh) Sar图像目标识别方法、装置、计算机设备和存储介质
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN116704208A (zh) 基于特征关系的局部可解释方法
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
CN116206186A (zh) 一种sar图像目标检测、识别方法及相关装置
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN113888493A (zh) 显示屏贴合方法及其系统和电子设备
CN112001388A (zh) 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法
CN113051901A (zh) 一种身份证文本识别方法、系统、介质及电子终端
CN111640076A (zh) 一种图像补全方法、装置及电子设备
CN118172763B (zh) 物体检测方法、智能设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant