CN117058493B - 一种图像识别的安全防御方法、装置和计算机设备 - Google Patents
一种图像识别的安全防御方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117058493B CN117058493B CN202311326470.2A CN202311326470A CN117058493B CN 117058493 B CN117058493 B CN 117058493B CN 202311326470 A CN202311326470 A CN 202311326470A CN 117058493 B CN117058493 B CN 117058493B
- Authority
- CN
- China
- Prior art keywords
- network model
- expert network
- image data
- model
- image recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000007123 defense Effects 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 118
- 238000011478 gradient descent method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 115
- 238000012360 testing method Methods 0.000 claims description 51
- 238000010586 diagram Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 238000013101 initial test Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像识别的安全防御方法、装置和计算机设备。所述方法包括：在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到模型训练集；随机抽取预设数量的模型训练集中的图像数据，分别输入到各个子专家网络模型中，得到数据特征；计算此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数；基于此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新；当多专家网络模型收敛时，得到用于图像识别的完备多专家网络模型。采用本方法能够解决现有技术中存在人工智能模型对于黑客攻击的防御效果差问题。
Description
技术领域
本申请涉及计算机科学技术领域，特别是涉及一种图像识别的安全防御方法、装置和计算机设备。
背景技术
随着人工智能技术的逐渐普及，相应的安全问题也日渐增多，其中70%的安全问题出现在图像相关的领域，常见于人脸识别、自动驾驶、金融风控等业务场景。例如，针对图像的安全问题，通常是根据图像的人工智能模型的结构，反向推导出定制化扰动，该扰动叠加在原图片上，无法被人眼识别，却可以诱使图像的人工智能模型做出攻击者想要的错误判断。
而传统的计算机安全防御方法，如安全认证、防火墙、加密技术等，难以切中人工智能模型的本源，面对针对人工智能模型的黑客攻击比较乏力。现有技术主要采用在模型训练完毕后进行外挂式地分析和调整的方式，来抵御针对人工智能模型的黑客攻击。但是，采用在模型训练完毕后进行外挂式地分析和调整的方式，在流程上较为被动，通用性也较差，且防御手段必须基于已训练好的模型，限制较多，在保证人工智能模型的图像识别效果的情况下，往往防御效果较差。
针对现有技术中存在人工智能模型对于黑客攻击的防御效果差问题，目前还没有提出有效的解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种图像识别的安全防御方法、装置和计算机设备。
第一方面，本申请提供了一种图像识别的安全防御方法。所述方法包括：
在原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，得到所述原图像识别模型的攻击样本集；将所述原始样本集的训练集和所述攻击样本集的训练集合并，得到模型训练集；
随机抽取预设数量的所述模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征；
基于各个所述图像数据的所述数据特征，计算此组所述图像数据的准确率交叉熵损失函数以及各个所述图像数据的所述数据特征的像素级热力图；并根据各个所述图像数据的所述数据特征的像素级热力图，计算此组所述图像数据的差异性损失函数和焦点稳定性损失函数；
基于此组所述图像数据的所述准确率交叉熵损失函数、所述差异性损失函数和所述焦点稳定性损失函数，利用梯度下降法对所述多专家网络模型的参数进行更新；
当所述多专家网络模型收敛时，得到用于图像识别的完备多专家网络模型。
在其中一个实施例中，所述在原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，得到所述原图像识别模型的攻击样本集之前，包括以下步骤：
获取待识别的图片序列的各个图片的像素矩阵；
将各个所述图片的像素矩阵的尺寸修改至预设的大小，得到新的图片序列；
将所述新的图片序列按照预设的规则划分为初始训练集和初始测试集；
对所述初始训练集中的数据按照预设的变换规则进行几何变换，将变换后的数据进行保存，得到所述原始样本集的训练集；
将所述初始测试集作为所述原始样本集的测试集。
在其中一个实施例中，所述对所述初始训练集中的数据按照预设的变换规则进行几何变换，将变换后的数据进行保存，得到所述原始样本集的训练集，包括：
对所述初始训练集中的数据进行翻转、旋转、裁剪、缩放和平移中的一种或多种几何变换，将变换后的所述数据进行保存，得到所述原始样本集的训练集。
在其中一个实施例中，所述在原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，得到所述原图像识别模型的攻击样本集，包括以下步骤：
在所述原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，使得所述原图像识别模型输出攻击样本；
将所述攻击样本进行保存，得到所述攻击样本集；所述攻击样本集，包括所述攻击样本集的训练集和所述攻击样本集的测试集。
在其中一个实施例中，所述随机抽取预设数量的所述模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征，包括以下步骤：
随机抽取预设数量的所述模型训练集中的图像数据，作为一组图像数据，分别输入到所述多专家网络模型的各个子专家网络模型中，得到各个所述子专家网络模型关于所述图像数据的不同数据特征的概率预测结果；
将所述概率预测结果中概率最大的数据特征，作为各个所述图像数据的数据特征。
在其中一个实施例中，在基于此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新之后，所述方法还包括以下步骤：
当利用所述梯度下降法对所述多专家网络模型的参数进行更新达到预设次数时，计算当前的多专家网络模型的所述准确率交叉熵损失函数的梯度；
基于当前的所述多专家网络模型的所述准确率交叉熵损失函数的梯度，采用在所述原图像识别模型的所述原始样本集中加入与当前的所述多专家网络模型的所述准确率交叉熵损失函数的梯度相反的噪音的方式，更新当前的所述多专家网络模型的攻击样本集。
在其中一个实施例中， 在当所述多专家网络模型收敛时，得到用于图像识别的完备多专家网络模型之后，所述方法还包括：
基于所述原始样本集的测试集和所述攻击样本集的测试集，以及所述完备多专家网络模型，计算所述原始样本集的测试集的分类准确率，以及所述攻击样本集的测试集的分类准确率，得到所述完备多专家网络模型的分类准确率。
第二方面，本申请还提供了一种图像识别的安全防御装置。所述装置包括：
构建模块，用于在原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，得到所述原图像识别模型的攻击样本集；将所述原始样本集的训练集和所述攻击样本集的训练集合并，得到模型训练集；
特征提取模块，用于随机抽取预设数量的所述模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征；
计算模块，用于基于各个所述图像数据的所述数据特征，计算此组所述图像数据的准确率交叉熵损失函数以及各个所述图像数据的所述数据特征的像素级热力图；并根据各个所述图像数据的所述数据特征的像素级热力图，计算此组所述图像数据的差异性损失函数和焦点稳定性损失函数；
更新模块，用于基于此组所述图像数据的所述准确率交叉熵损失函数、所述差异性损失函数和所述焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新；
以及获取模块，用于当所述多专家网络模型收敛时，获取用于图像识别的完备多专家网络模型。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的图像识别的安全防御方法。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的图像识别的安全防御方法。
上述图像识别的安全防御方法、装置、计算机设备和存储介质，通过在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本，得到模型训练集。然后，随机抽取模型训练集中的一组图像数据，分别输入到各个子专家网络模型中，得到各个图像数据的数据特征。进而，计算此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，根据损失函数的计算结果，对多专家网络模型的参数进行更新，得到用于图像识别的完备多专家网络模型。其将原图像识别模型的攻击样本作为训练集，使得在多专家网络模型训练中约束各个子专家网络模型学习攻击样本中的噪点信息，并且利用准确率的交叉熵损失函数、差异性损失函数以及焦点稳定性损失函数对多专家网络模型进行训练，使得在多专家网络模型训练中约束各个子专家网络模型以准确率为导向学习不同的图像数据特征和与结果具有因果性的图像数据的特征，进行得到的能够实现安全防御的完备的多专家网络模型。利用完备的多专家网络模型，能够解决现有技术中存在人工智能模型对于黑客攻击的防御效果差问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一实施例提供的图像识别的安全防御方法的终端的硬件结构框图；
图2为本申请一实施例提供的图像识别的安全防御方法的流程图；
图3为本申请一优选实施例提供的图像识别的安全防御方法的流程图；
图4为本申请一实施例提供的图像识别的安全防御装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的图像识别的安全防御方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例提供的图像识别的安全防御方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像识别的安全防御方法，图2是本实施例的图像识别的安全防御方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本集；将原始样本集的训练集和攻击样本集的训练集合并，得到模型训练集。
在本步骤中，上述原图像识别模型，可以是用于图像识别的神经网络的模型，具体地，可以是卷积神经网络模型、递归神经网络模型、深度自动编码神经网络模型和生成对抗网络模型中的一种或多种神经网络模型。上述原始样本集，可以包括原始样本集的训练集和原始样本集的测试集。所述攻击样本集，可以包括攻击样本集的训练集和攻击样本集的测试集。上述模型训练集，可以包括原始样本集的训练集和攻击样本集的训练集，具体的，模型训练集中原始样本集的训练集和攻击样本集的训练集的分布可以根据需求而具体设定，例如，可设定模型训练集中，原始样本集的训练集和攻击样本集的训练集的比例为8:2。
上述在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本集，可以是在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，使得原图像识别模型输出攻击样本，进而将攻击样本进行保存，得到攻击样本集。具体地，可以是利用快速梯度下降法、集成模型和黑盒攻击方法或投影梯度下降法中的一种或多种算法，在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，诱导原图像识别模型输出攻击样本，进而将攻击样本进行保存，得到攻击样本集。需要说明的是，当多专家网络模型还没开始训练时，原图像识别模型的梯度，可以用-1到1之间的随机矩阵来表示。本步骤通过在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本集，进而将原始样本集的训练集和攻击样本集的训练集进行合并，得到模型训练集，进而利用模型训练集对多专家网络模型进行训练。
步骤S220，随机抽取预设数量的模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征。
其中，上述预设数量，可以是根据多专家网络模型中的子专家网络模型的数量来设置的数量。具体地，可以是将预设数量设置成与多专家网络模型中的子专家网络模型的数量相同的数量，便于利用各个子专家网络模型来实现对各个图像数据的数据特征的提取。上述多专家网络模型的各个子专家网络模型，可以是对原图像识别模型进行多次复制得到复制后的原图像识别模型，并将复制后的原图像识别模型作为多专家网络模型的各个子专家网络模型，进而利用各个子专家网络模型，得到各个图像数据的数据特征。上述子专家网络模型，可以将接收到的图像数据，经过子专家网络模型的多个神经网络层和激活函数，转化成表示图像数据的各个数据特征的概率预测结果的一维数据，并输出概率预测结果中概率最大的数据特征。上述随机抽取预设数量的模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征，可以是随机抽取预设数量的模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个子专家网络模型关于图像数据的不同数据特征的概率预测结果，进而将概率预测结果中概率最大的数据特征，作为各个图像数据的数据特征。
步骤S230，基于各个图像数据的数据特征，计算此组图像数据的准确率交叉熵损失函数以及各个图像数据的数据特征的像素级热力图；并根据各个图像数据的数据特征的像素级热力图，计算此组图像数据的差异性损失函数和焦点稳定性损失函数。
上述基于各个图像数据的数据特征，计算此组图像数据的准确率交叉熵损失函数以及各个图像数据的数据特征的像素级热力图，可以是根据各个图像数据的数据特征，利用准确率交叉熵损失函数的计算公式，计算此组图像数据的准确率交叉熵损失函数，以及利用预设的像素级热力图计算算法，计算各个图像数据的数据特征的局部信息，并根据局部信息得到各个图像数据的像素级热力图。其中，准确率交叉熵损失函数的计算公式L0为：
其中，ti是用于训练的监督值，i表示第i分类，为子专家网络模型识别出被识别的图像数据是否属于第i分类的概率。
上述利用预设的像素级热力图计算算法，计算各个图像数据的数据特征的局部信息，并根据局部信息得到各个图像数据的像素级热力图，可以是利用Grad-CAM（Gradient-weighted Class Activation Map，热力图可视化）算法，计算各个图像数据的数据特征的局部信息，并根据局部信息还原出各个图像数据的像素级热力图。
上述根据各个图像数据的数据特征的像素级热力图，计算此组图像数据的差异性损失函数和焦点稳定性损失函数，可以是根据各个图像数据的数据特征的像素级热力图，利用差异性损失函数的计算公式和焦点稳定性损失函数的计算公式，计算此组图像数据的差异性损失函数和焦点稳定性损失函数。其中，差异性损失函数L1的计算公式为：
其中，m为子专家网络模型的个数，m为正整数，a表示第a个子专家网络模型，b表示第b个子专家网络模型，Iaxy表示第a个子专家网络模型坐标为（x，y）的像素点的特征重要度，Ibxy表示第b个子专家网络模型坐标为（x，y）的像素点的特征重要度。
其中，焦点稳定性损失函数的计算公式L2为：
其中，Xa表示第a个子专家网络模型的焦点的横坐标，Ya表示第a个子专家网络模型的焦点的纵坐标，Xb表示第b个子专家网络模型的焦点的横坐标，Yb表示第b个子专家网络模型的焦点的纵坐标。
其中，第a个子专家网络模型的焦点坐标的横坐标Xa的定义为：
第a个子专家网络模型的焦点坐标的纵坐标Ya的定义为：
其中，第b个子专家网络模型的焦点坐标的横坐标Xb的定义为：
第b个子专家网络模型的焦点坐标的纵坐标Yb的定义为：
步骤S240，基于此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新。
在本步骤中，上述基于此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新，可以是根据图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，利用更新公式对多专家网络模型的参数进行更新，具体更新公式为：
其中，θt+1为更新到第t+1步的多专家网络模型参数，θt为更新到第t步的多专家网络模型参数，η为学习率，α、β为多目标系数。
在本步骤中，通过准确率交叉熵损失函数对多专家网络模型的参数进行训练，使得多专家网络模型能够以准确率为导向进行训练，利用差异性损失函数对多专家网络模型的参数进行训练，可以约束多专家网络模型的各个子专家网络模型学习不同的图像数据的特征，利用焦点稳定性损失函数对多专家网络模型的参数进行训练，可以约束多专家网络模型的各个子专家网络模型学习与结果具有因果性的图像数据的特征。
步骤S250，当多专家网络模型收敛时，得到用于图像识别的完备多专家网络模型。
上述多专家网络模型收敛，可以是多专家网络模型训练次数达到预设的阈值次数时，则认定多专家网络模型收敛，为了保障多专家网络模型的训练质量，可以将这个预设的阈值次数设置为一个较大的数值，例如，将预设的阈值次数设置为1000次，则当多专家网络模型训练达到1000次时，认为多专家网络模型收敛。上述得到用于图像识别的完备多专家网络模型，可以是在多专家网络模型收敛时，将最后一次训练得到的多专家网络模型，作为用于图像识别的完备多专家网络模型。
上述步骤S210至步骤S250，通过在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本，得到模型训练集。然后，随机抽取模型训练集中的一组图像数据，分别输入到各个子专家网络模型中，得到各个图像数据的数据特征。进而，计算此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，根据损失函数的计算结果，对多专家网络模型的参数进行更新，得到用于图像识别的完备多专家网络模型。其将原图像识别模型的攻击样本作为训练集，使得在多专家网络模型训练中约束各个子专家网络模型学习攻击样本中的噪点信息，并且利用准确率的交叉熵损失函数、差异性损失函数以及焦点稳定性损失函数对多专家网络模型进行训练，使得在多专家网络模型训练中约束各个子专家网络模型以准确率为导向学习不同的图像数据特征和与结果具有因果性的图像数据的特征，进行得到的能够实现安全防御的完备的多专家网络模型。利用完备的多专家网络模型，能够解决现有技术中存在人工智能模型对于黑客攻击的防御效果差问题。
在一个实施例中，在步骤S210之前，图像识别的安全防御方法还包括以下步骤：
步骤S201，获取待识别的图片序列的各个图片的像素矩阵。
在本步骤中，上述得到待识别的图片序列的各个图片的像素矩阵，可以是利用matlab或python中的图像处理库，将获取到的待识别的图片序列转换为像素矩阵，来得到待识别的图片序列的各个图片的像素矩阵。
步骤S202，将各个图片的像素矩阵的尺寸修改至预设的大小，得到新的图片序列。
其中，上述将各个图片的像素矩阵的尺寸修改至预设的大小，可以按照将空白部分用0填充的方式，对各个图片的像素矩阵进行尺寸修改，得到具有预设大小的新的图片序列。本步骤通过对各个图片的像素矩阵进行尺寸修改，来实现对像素矩阵进行归一化处理，通过对像素矩阵进行归一化处理，便于后续利用图片序列的图像数据，对多专家网络模型进行训练。
步骤S203，将新的图片序列按照预设的规则划分为初始训练集和初始测试集。
上述预设的规则，可以是按照一定的比例，将新的图片序列划分为初始训练集和初始测试集两部分。例如，可以按照7:3的比例，将新的图片序列划分为初始训练集和初始测试集两部分。
步骤S204，对初始训练集中的数据按照预设的变换规则进行几何变换，将变换后的数据进行保存，得到原始样本集的训练集。
其中，上述对初始训练集中的数据按照预设的变换规则进行几何变换，将变换后的数据进行保存，得到原始样本集的训练集，可以是对初始训练集中的数据进行翻转、旋转、裁剪、缩放和平移中的一种或多种几何变换，将变换后的数据进行保存，得到原始样本集的训练集。本步骤，通过对初始训练集中的数据按照预设的变换规则进行几何变换，来增加样本的数量，得到原始样本集的训练集。
步骤S205，将初始测试集作为原始样本集的测试集。
上述步骤S201至步骤S205，通过获取待识别的图片序列的各个图片的像素矩阵，并对待识别的图片序列的各个图片的像素矩阵进行归一化处理，得到新的图片序列，进而利用新的图片序列，得到原始样本集的训练集和测试集，为后续对多专家网络模型训练提供了充足的样本。
在一个实施例中，在步骤S240之后，图像识别的安全防御方法还包括以下步骤：
步骤S2402，当利用梯度下降法对多专家网络模型的参数进行更新达到预设次数时，计算当前的多专家网络模型的准确率交叉熵损失函数的梯度。
在本步骤中，上述预设次数，可以根据实际情况而调节，为了增加多专家网络模型的训练的灵活性，可以将此预设次数设置为一个较小的数值，例如，可以设置这个预设次数为50次。
步骤S2404，基于当前的多专家网络模型的准确率交叉熵损失函数的梯度，采用在原图像识别模型的原始样本集中加入与当前的多专家网络模型的准确率交叉熵损失函数的梯度相反的噪音的方式，更新当前的多专家网络模型的攻击样本集。
需要说明的是，当利用梯度下降法对多专家网络模型的参数进行更新达到预设次数时，可以认定为达到了更新多专家网络模型的攻击样本集的条件，进而利用当前的多专家网络模型的准确率交叉熵损失函数的梯度，来更新多专家网络模型的攻击样本集。上述利用当前的多专家网络模型的准确率交叉熵损失函数的梯度，来更新多专家网络模型的攻击样本集，具体地，可以是利用快速梯度下降法、集成模型和黑盒攻击方法或投影梯度下降法中的一种或多种算法，在原图像识别模型的原始样本集中加入与当前的多专家网络模型的准确率交叉熵损失函数的梯度相反的噪音的方式，更新当前的多专家网络模型的攻击样本集。
上述步骤S2402至步骤S2404，通过设置更新多专家网络模型的攻击样本集的条件，并在达到更新多专家网络模型的攻击样本集的条件时，利用当前的多专家网络模型的准确率交叉熵损失函数的梯度，对多专家网络模型的攻击样本集进行更新，使得多专家网络模型的训练样本更准确。
在一个实施例中，在步骤S250之后，图像识别的安全防御方法还包括：基于原始样本集的测试集和攻击样本集的测试集，以及完备多专家网络模型，计算原始样本集的测试集的分类准确率，以及攻击样本集的测试集的分类准确率，得到完备多专家网络模型的分类准确率。
在本步骤中，上述分类，可以是对待识别的测试集中的图像数据属于安全场景下的图像数据还是攻击场景下的图像数据的分类。需要说明的是，当输入完备多专家网络模型的是原始样本集的测试集的图像数据，若分类结果输出为安全场景下的图像数据，则认定为分类准确，若分类结果输出为攻击场景下的图像数据，则认定为分类不准确。当输入完备多专家网络模型的是攻击样本集的测试集的图像数据，若分类结果输出为攻击场景下的图像数据，认定为分类准确，若分类结果输出为安全场景下的图像数据，认定为分类不准确。上述计算原始样本集的测试集的分类准确率可以是将原始样本集的测试集的图像数据输入到完备多专家网络模型中，将输出的分类结果准确的原始样本集的测试集的图像数据的数量，除以原始样本集的测试集的图像数据的总数量，得到原始样本集的测试集的分类准确率。上述计算攻击样本集的测试集的分类准确率可以是将攻击样本集的测试集的图像数据输入到完备多专家网络模型中，将输出的分类结果准确的攻击样本集的测试集的图像数据的数量，除以攻击样本集的测试集的图像数据的总数量，得到攻击样本集的测试集的分类准确率。上述完备多专家网络模型的分类准确率，可以用原始样本集的测试集的分类准确率和攻击样本集的测试集的分类准确率的一对准确率数值信息来表示多专家网络模型对原始样本集和攻击样本集的分类准确率。例如，原始样本集的测试集的分类准确率为90%，攻击样本集的测试集的分类准确率为97%，则完备多专家网络模型对原始样本集的分类准确率为90%，对攻击样本集的分类准确率为97%。
一般情况下，原始样本集的测试集的分类准确率和攻击样本集的测试集的分类准确率越高，表示完备多专家网络模型的分类准确率越高，原始样本集的测试集的分类准确率和攻击样本集的测试集的分类准确率越低，表示完备多专家网络模型的分类准确率越低，其中，当原始样本集的测试集的分类准确率和攻击样本集的测试集的分类准确率中的任意一个分类准确率低，都表示完备多专家网络模型的分类准确率低。
优选地，可以通过计算训练过程中原始样本集的测试集的分类准确率，以及攻击样本集的测试集的分类准确率，作为中间结果，来评价多专家网络模型的训练结果，也可以作为多专家网络模型的收敛的判定条件。可以通过计算完备多专家网络模型的分类准确率，来评价完备多专家网络模型的训练结果。
下面通过优选实施例对本实施例进行描述和说明。
图3是本申请一优选实施例提供的图像识别的安全防御方法的流程图。如图3所示，该图像识别的安全防御方法包括以下步骤：
步骤S310，在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本集；将原始样本集的训练集和攻击样本集的训练集合并，得到模型训练集；
步骤S320，随机抽取预设数量的模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个子专家网络模型关于图像数据的不同数据特征的概率预测结果；
步骤S330，将概率预测结果中概率最大的数据特征，作为各个图像数据的数据特征；
步骤S340，基于各个图像数据的数据特征，计算此组图像数据的准确率交叉熵损失函数以及各个图像数据的数据特征的像素级热力图；并根据各个图像数据的数据特征的像素级热力图，计算此组图像数据的差异性损失函数和焦点稳定性损失函数；
步骤S350，基于此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新；
步骤S360，当多专家网络模型收敛时，得到用于图像识别的完备多专家网络模型；
步骤S370，基于原始样本集的测试集和攻击样本集的测试集，以及完备多专家网络模型，计算原始样本集的测试集的分类准确率，以及攻击样本集的测试集的分类准确率，得到完备多专家网络模型的分类准确率。
上述步骤S310至步骤S370，通过在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本，得到模型训练集。然后，随机抽取模型训练集中的一组图像数据，分别输入到各个子专家网络模型中，得到各个图像数据的数据特征。进而，计算此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，根据损失函数的计算结果，对多专家网络模型的参数进行更新，得到用于图像识别的完备多专家网络模型。其将原图像识别模型的攻击样本作为训练集，使得在多专家网络模型训练中约束各个子专家网络模型学习攻击样本中的噪点信息，并且利用准确率的交叉熵损失函数、差异性损失函数以及焦点稳定性损失函数对多专家网络模型进行训练，使得在多专家网络模型训练中约束各个子专家网络模型以准确率为导向学习不同的图像数据特征和与结果具有因果性的图像数据的特征，进行得到的能够实现安全防御的完备的多专家网络模型，并通过完备多专家网络模型的分类准确率来监控多专家网络模型的训练结果。利用完备的多专家网络模型，能够解决现有技术中存在人工智能模型对于黑客攻击的防御效果差问题。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，在本实施例中还提供了一种图像识别的安全防御装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中，图4是本申请一实施例提供的图像识别的安全防御装置的结构框图，如图4所示，该图像识别的安全防御装置，包括：
构建模块41，用于在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本集；将原始样本集的训练集和攻击样本集的训练集合并，得到模型训练集；
特征提取模块42，用于随机抽取预设数量的模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征；
计算模块43，用于基于各个图像数据的数据特征，计算此组图像数据的准确率交叉熵损失函数以及计算各个图像数据的数据特征的像素级热力图；并根据各个图像数据的数据特征的像素级热力图，计算此组图像数据的差异性损失函数和焦点稳定性损失函数；
更新模块44，用于基于此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新；
以及获取模块45，用于当多专家网络模型收敛时，获取用于图像识别的完备多专家网络模型。
上述图像识别的安全防御装置，其通过在原图像识别模型的原始样本集中加入与原图像识别模型的梯度相反的噪音，得到原图像识别模型的攻击样本，得到模型训练集。然后，随机抽取模型训练集中的一组图像数据，分别输入到各个子专家网络模型中，得到各个图像数据的数据特征。进而，计算此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，根据损失函数的计算结果，对多专家网络模型的参数进行更新，得到用于图像识别的完备多专家网络模型。其将原图像识别模型的攻击样本作为训练集，使得在多专家网络模型训练中约束各个子专家网络模型学习攻击样本中的噪点信息，并且利用准确率的交叉熵损失函数、差异性损失函数以及焦点稳定性损失函数对多专家网络模型进行训练，使得在多专家网络模型训练中约束各个子专家网络模型以准确率为导向学习不同的图像数据特征和与结果具有因果性的图像数据的特征，进行得到的能够实现安全防御的完备的多专家网络模型，并通过完备多专家网络模型的分类准确率来监控多专家网络模型的训练结果。利用完备的多专家网络模型，能够解决现有技术中存在人工智能模型对于黑客攻击的防御效果差问题。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中的任意一种图像识别的安全防御方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的任意一种图像识别的安全防御方法。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像识别的安全防御方法，其特征在于，所述方法包括：
在原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，得到所述原图像识别模型的攻击样本集；将所述原始样本集的训练集和所述攻击样本集的训练集合并，得到模型训练集；
随机抽取预设数量的所述模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征；所述多专家网络模型的各个子专家网络模型，为对原图像识别模型进行复制得到的复制后的原图像识别模型；
基于各个所述图像数据的所述数据特征，计算此组所述图像数据的准确率交叉熵损失函数以及各个所述图像数据的所述数据特征的像素级热力图；所述准确率交叉熵损失函数L0的计算公式为：；其中，ti是用于训练的监督值，i表示第i分类，/>为所述子专家网络模型识别出被识别的图像数据是否属于第i分类的概率；并根据各个所述图像数据的所述数据特征的像素级热力图，计算此组所述图像数据的差异性损失函数和焦点稳定性损失函数；所述差异性损失函数L1的计算公式为：；其中，m为子所述专家网络模型的个数，m为正整数，a表示第a个子专家网络模型，b表示第b个子专家网络模型，Iaxy表示第a个子专家网络模型坐标为（x，y）的像素点的特征重要度，Ibxy表示第b个子专家网络模型坐标为（x，y）的像素点的特征重要度；所述焦点稳定性损失函数的计算公式L2为：；其中，Xa表示第a个子专家网络模型的焦点的横坐标，Xa的定义为：/>，Ya表示第a个子专家网络模型的焦点的纵坐标，Ya的定义为：/>，Xb表示第b个子专家网络模型的焦点的横坐标，Xb的定义为：/>，Yb表示第b个子专家网络模型的焦点的纵坐标，Yb的定义为：/>；
基于此组所述图像数据的所述准确率交叉熵损失函数、所述差异性损失函数和所述焦点稳定性损失函数，利用梯度下降法对所述多专家网络模型的参数进行更新；
当所述多专家网络模型收敛时，得到用于图像识别的完备多专家网络模型。
2.根据权利要求1所述的图像识别的安全防御方法，其特征在于，所述在原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，得到所述原图像识别模型的攻击样本集之前，包括：
获取待识别的图片序列的各个图片的像素矩阵；
将各个所述图片的像素矩阵的尺寸修改至预设的大小，得到新的图片序列；
将所述新的图片序列按照预设的规则划分为初始训练集和初始测试集；
对所述初始训练集中的数据按照预设的变换规则进行几何变换，将变换后的数据进行保存，得到所述原始样本集的训练集；
将所述初始测试集作为所述原始样本集的测试集。
3.根据权利要求2所述的图像识别的安全防御方法，其特征在于，所述对所述初始训练集中的数据按照预设的变换规则进行几何变换，将变换后的数据进行保存，得到所述原始样本集的训练集，包括：
对所述初始训练集中的数据进行翻转、旋转、裁剪、缩放和平移中的一种或多种几何变换，将变换后的所述数据进行保存，得到所述原始样本集的训练集。
4.根据权利要求1所述的图像识别的安全防御方法，其特征在于，所述在原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，得到所述原图像识别模型的攻击样本集，包括：
在所述原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，使得所述原图像识别模型输出攻击样本；
将所述攻击样本进行保存，得到所述攻击样本集；所述攻击样本集，包括所述攻击样本集的训练集和所述攻击样本集的测试集。
5.根据权利要求1所述的图像识别的安全防御方法，其特征在于，所述随机抽取预设数量的所述模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征，包括：
随机抽取预设数量的所述模型训练集中的图像数据，作为一组图像数据，分别输入到所述多专家网络模型的各个子专家网络模型中，得到各个所述子专家网络模型关于所述图像数据的不同数据特征的概率预测结果；
将所述概率预测结果中概率最大的数据特征，作为各个所述图像数据的数据特征。
6.根据权利要求1所述的图像识别的安全防御方法，其特征在于，在基于此组图像数据的准确率交叉熵损失函数、差异性损失函数和焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新之后，所述方法还包括：
当利用所述梯度下降法对所述多专家网络模型的参数进行更新达到预设次数时，计算当前的多专家网络模型的所述准确率交叉熵损失函数的梯度；
基于当前的所述多专家网络模型的所述准确率交叉熵损失函数的梯度，采用在所述原图像识别模型的所述原始样本集中加入与当前的所述多专家网络模型的所述准确率交叉熵损失函数的梯度相反的噪音的方式，更新当前的所述多专家网络模型的攻击样本集。
7.根据权利要求1所述的图像识别的安全防御方法，其特征在于，在当所述多专家网络模型收敛时，得到用于图像识别的完备多专家网络模型之后，所述方法还包括：
基于所述原始样本集的测试集和所述攻击样本集的测试集，以及所述完备多专家网络模型，计算所述原始样本集的测试集的分类准确率，以及所述攻击样本集的测试集的分类准确率，得到所述完备多专家网络模型的分类准确率。
8.一种图像识别的安全防御装置，其特征在于，所述装置包括：
构建模块，用于在原图像识别模型的原始样本集中加入与所述原图像识别模型的梯度相反的噪音，得到所述原图像识别模型的攻击样本集；将所述原始样本集的训练集和所述攻击样本集的训练集合并，得到模型训练集；
特征提取模块，用于随机抽取预设数量的所述模型训练集中的图像数据，作为一组图像数据，分别输入到多专家网络模型的各个子专家网络模型中，得到各个图像数据的数据特征；所述多专家网络模型的各个子专家网络模型，为对原图像识别模型进行复制得到的复制后的原图像识别模型；
计算模块，用于基于各个所述图像数据的所述数据特征，计算此组所述图像数据的准确率交叉熵损失函数以及各个所述图像数据的所述数据特征的像素级热力图；所述准确率交叉熵损失函数L0的计算公式为：；其中，ti是用于训练的监督值，i表示第i分类，/>为所述子专家网络模型识别出被识别的图像数据是否属于第i分类的概率；并根据各个所述图像数据的所述数据特征的像素级热力图，计算此组所述图像数据的差异性损失函数和焦点稳定性损失函数；所述差异性损失函数L1的计算公式为：/>；其中，m为子所述专家网络模型的个数，m为正整数，a表示第a个子专家网络模型，b表示第b个子专家网络模型，Iaxy表示第a个子专家网络模型坐标为（x，y）的像素点的特征重要度，Ibxy表示第b个子专家网络模型坐标为（x，y）的像素点的特征重要度；所述焦点稳定性损失函数的计算公式L2为：；其中，Xa表示第a个子专家网络模型的焦点的横坐标，Xa的定义为：/>，Ya表示第a个子专家网络模型的焦点的纵坐标，Ya的定义为：/>，Xb表示第b个子专家网络模型的焦点的横坐标，Xb的定义为：/>，Yb表示第b个子专家网络模型的焦点的纵坐标，Yb的定义为：/>；
更新模块，用于基于此组所述图像数据的所述准确率交叉熵损失函数、所述差异性损失函数和所述焦点稳定性损失函数，利用梯度下降法对多专家网络模型的参数进行更新；
以及获取模块，用于当所述多专家网络模型收敛时，获取用于图像识别的完备多专家网络模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的图像识别的安全防御方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的图像识别的安全防御方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311326470.2A CN117058493B (zh) | 2023-10-13 | 2023-10-13 | 一种图像识别的安全防御方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311326470.2A CN117058493B (zh) | 2023-10-13 | 2023-10-13 | 一种图像识别的安全防御方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058493A CN117058493A (zh) | 2023-11-14 |
| CN117058493B true CN117058493B (zh) | 2024-02-13 |
Family
ID=88669662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311326470.2A Active CN117058493B (zh) | 2023-10-13 | 2023-10-13 | 一种图像识别的安全防御方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058493B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990432A (zh) * | 2021-03-04 | 2021-06-18 | 北京金山云网络技术有限公司 | 目标识别模型训练方法、装置及电子设备 |
| CN114298202A (zh) * | 2021-12-23 | 2022-04-08 | 上海高德威智能交通系统有限公司 | 一种图像加密方法、装置、电子设备及存储介质 |
| CN114387449A (zh) * | 2021-12-25 | 2022-04-22 | 中国人民解放军空军预警学院 | 一种应对神经网络对抗性攻击的图像处理方法及系统 |
| WO2022147965A1 (zh) * | 2021-01-09 | 2022-07-14 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统 |
| CN115019128A (zh) * | 2022-06-02 | 2022-09-06 | 电子科技大学 | 图像生成模型训练方法、图像生成方法及相关装置 |
| CN115564997A (zh) * | 2022-09-29 | 2023-01-03 | 东北大学 | 一种基于强化学习的病理切片扫描分析一体化方法及系统 |
| CN116468938A (zh) * | 2023-04-03 | 2023-07-21 | 南京大学 | 一种在标签带噪数据上鲁棒的图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220188645A1 (en) * | 2020-12-16 | 2022-06-16 | Oracle International Corporation | Using generative adversarial networks to construct realistic counterfactual explanations for machine learning models |
-
2023
- 2023-10-13 CN CN202311326470.2A patent/CN117058493B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022147965A1 (zh) * | 2021-01-09 | 2022-07-14 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统 |
| CN112990432A (zh) * | 2021-03-04 | 2021-06-18 | 北京金山云网络技术有限公司 | 目标识别模型训练方法、装置及电子设备 |
| CN114298202A (zh) * | 2021-12-23 | 2022-04-08 | 上海高德威智能交通系统有限公司 | 一种图像加密方法、装置、电子设备及存储介质 |
| CN114387449A (zh) * | 2021-12-25 | 2022-04-22 | 中国人民解放军空军预警学院 | 一种应对神经网络对抗性攻击的图像处理方法及系统 |
| CN115019128A (zh) * | 2022-06-02 | 2022-09-06 | 电子科技大学 | 图像生成模型训练方法、图像生成方法及相关装置 |
| CN115564997A (zh) * | 2022-09-29 | 2023-01-03 | 东北大学 | 一种基于强化学习的病理切片扫描分析一体化方法及系统 |
| CN116468938A (zh) * | 2023-04-03 | 2023-07-21 | 南京大学 | 一种在标签带噪数据上鲁棒的图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的灰度图像实际颜色预测;李智敏;陆宇豪;俞成海;;计算机应用(S2);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058493A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840531B (zh) | 训练多标签分类模型的方法和装置 | |
| CN113515770B (zh) | 基于隐私保护确定目标业务模型的方法及装置 | |
| WO2019100724A1 (zh) | 训练多标签分类模型的方法和装置 | |
| CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
| CN111523621A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN113095370B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN112163637B (zh) | 基于非平衡数据的图像分类模型训练方法、装置 | |
| CN110929848A (zh) | 基于多挑战感知学习模型的训练、跟踪方法 | |
| CN111784699B (zh) | 一种对三维点云数据进行目标分割方法、装置及终端设备 | |
| CN109165698A (zh) | 一种面向智慧交通的图像分类识别方法及其存储介质 | |
| CN112101087B (zh) | 一种面部图像身份去识别方法、装置及电子设备 | |
| CN113283590A (zh) | 一种面向后门攻击的防御方法 | |
| CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
| Asai et al. | Towards stable symbol grounding with zero-suppressed state autoencoder | |
| CN112817563B (zh) | 目标属性配置信息确定方法、计算机设备和存储介质 | |
| CN115456043A (zh) | 分类模型处理、意图识别方法、装置和计算机设备 | |
| Tripathi et al. | Real time object detection using CNN | |
| CN113987236A (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
| CN117876793A (zh) | 一种高光谱影像树种分类方法及装置 | |
| CN117058493B (zh) | 一种图像识别的安全防御方法、装置和计算机设备 | |
| CN111506691B (zh) | 一种基于深度匹配模型的轨迹匹配方法和系统 | |
| CN112036446B (zh) | 目标识别特征融合的方法、系统、介质及装置 | |
| EP4007173A1 (en) | Data storage method, and data acquisition method and apparatus therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |