CN117671409A - 样本生成、模型训练、图像处理方法、装置、设备及介质 - Google Patents
样本生成、模型训练、图像处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117671409A CN117671409A CN202311370877.5A CN202311370877A CN117671409A CN 117671409 A CN117671409 A CN 117671409A CN 202311370877 A CN202311370877 A CN 202311370877A CN 117671409 A CN117671409 A CN 117671409A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- original image
- image sample
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 147
- 238000000034 method Methods 0.000 claims abstract description 83
- 230000007246 mechanism Effects 0.000 claims abstract description 71
- 238000010586 diagram Methods 0.000 claims abstract description 59
- 238000013136 deep learning model Methods 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 25
- 238000007477 logistic regression Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种图像对抗样本的生成、图像处理模型的训练、图像处理方法、装置、图像处理模型的训练装置、设备及非介质，涉及图像处理技术领域，尤其涉及深度学习领域。该图像对抗样本的生成方法包括：获取原始图像样本，并获取与原始图像样本对应的特征向量图；按照原始图像样本的图像尺度，对特征向量图进行图像缩放处理，得到标准尺度特征图；采用目标类型的注意力机制网络，对标准尺度特征图进行处理，得到注意力影响图；根据注意力影响图，为所述原始图像样本添加扰动，得到与原始图像样本对应的图像对抗样本。这样操作既避免了引入过多的求取像素点的训练梯度的计算量，也使得生成的图像对抗样本更加丰富多样，灵活性更好。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及深度学习领域，具体涉及一种图像对抗样本的生成方法、图像处理模型的训练方法、图像处理方法、图像对抗样本的生成装置、图像处理模型的训练装置、图像处理装置、电子设备及非瞬时计算机可读存储介质。
背景技术
在很多缺少训练数据的模型训练场景中，可以通过构建对抗样本的方式提高模型的准确度、泛化性以及对抗性。
对抗样本是指在数据集中通过添加细微的干扰所形成的输入样本，用于“误导”模型以高置信度给出一个错误的输出。在正则化背景下，通过使用对抗训练，可以减少原有独立同分布的测试集的错误率。相关技术主要利用原图的训练梯度，在原图上生成对应干扰的方式生成对抗样本。
相关技术的主要缺陷是：对抗样本一般是在原图的基础上被赋予了一个与梯度相关的离散值(模型固定的超参数)，而该离散值的选项只有0和1，这种生成方式得到的对抗样本缺乏灵活性，无法应对各种各样的图像处理场景；此外，由于需要引入原图的训练梯度进行计算，计算量一般较大。
发明内容
本公开提供了一种用于图像对抗样本的生成方法、图像处理模型的训练方法、图像处理方法、图像对抗样本的生成装置、图像处理模型的训练装置、图像处理装置、电子设备及非瞬时计算机可读存储介质。
根据本公开实施例的一方面，提供了一种图像对抗样本的生成方法，包括：
获取原始图像样本，并获取与原始图像样本对应的特征向量图；
按照所述原始图像样本的图像尺度，对所述特征向量图进行图像缩放处理，得到标准尺度特征图；
采用目标类型的注意力机制网络，对所述标准尺度特征图进行处理，得到注意力影响图；
根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本。
根据本公开实施例的另一方面，还提供了一种图像处理模型的训练方法，包括：
获取多个原始图像样本，并通过如本公开任意实施例所述的图像对抗样本的生成方法，生成与所述多个原始图像样本对应的图像对抗样本；
使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练，得到训练后的图像处理模型。
根据本公开实施例的另一方面，还提供了一种图像处理方法，包括：
获取待处理图像；
将所述待处理图像输入至通过如本公开任意实施例所述的图像处理模型的训练方法训练得到的所述图像处理模型中，得到对所述待处理图像的处理结果。
根据本公开实施例的另一方面，还提供了一种图像对抗样本的生成装置，包括：
特征向量图获取模块，用于获取原始图像样本，并获取与原始图像样本对应的特征向量图；
标准尺度特征图生成模块，用于按照所述原始图像样本的图像尺度，对所述特征向量图进行图像缩放处理，得到标准尺度特征图；
注意力影响图生成模块，用于采用目标类型的注意力机制网络，对所述标准尺度特征图进行处理，得到注意力影响图；
图像对抗样本生成模块，用于根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本。
根据本公开实施例的另一方面，还提供了一种图像处理模型的训练装置，包括：
图像对抗样本生成模块，用于获取多个原始图像样本，并通过如本公开任意实施例所述的图像对抗样本的生成，生成与所述多个原始图像样本对应的图像对抗样本；
图像处理模型训练模块，用于使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练，得到训练后的图像处理模型。
根据本公开实施例的另一方面，还提供了一种图像处理装置，包括：
图像获取模块，用于获取待处理图像；
处理结果生成模块，用于将所述待处理图像输入至通过本公开任意实施例所述的图像处理模型的训练装置训练得到的所述图像处理模型中，得到对所述待处理图像的处理结果。
根据本公开实施例的另一方面，还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本公开任意实施例所述的图像对抗样本的生成方法，执行如本公开任意实施例所述的图像处理模型的训练方法，或者执行如本公开任意实施例所述的图像处理方法。
根据本公开实施例的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据本公开任意实施例所述的图像对抗样本的生成方法，执行根据本公开任意实施例所述的图像处理模型的训练方法，或者执行根据本公开任意实施例所述的图像处理方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例提供的一种图像对抗样本的生成方法的示意图；
图2是根据本公开实施例提供的另一种图像对抗样本的生成方法的示意图；
图3是本公开实施例所适用的一种通道注意力机制网络的结构示意图；
图4是本公开实施例所适用的一种完整的图像对抗样本的生成流程的示意图；
图5是根据本公开实施例提供的一种图像处理模型的训练方法的示意图；
图6是根据本公开实施例提供的一种图像处理方法的示意图；
图7是根据本公开实施例提供的一种图像对抗样本的生成装置的示意图；
图8是根据本公开实施例提供的一种图像处理模型的训练装置的示意图；
图9是根据本公开实施例提供的一种图像处理装置的示意图；
图10是用来实现本公开实施例的图像对抗样本的生成、图像处理模型的训练或者图像处理的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例提供的一种图像对抗样本的生成方法的示意图。本公开实施例可适用于高效、灵活的生成与原始图像样本对应的图像对抗样本的情况。该方法可以由图像对抗样本的生成装置来执行，该装置可采用硬件和/或软件的方式实现，并一般可以集成在具有数据处理功能的终端或者服务器中。
相应的，如图1所示，所述方法具体可以包括：
S110、获取原始图像样本，并获取与原始图像样本对应的特征向量图。
其中，原始图像样本是用于对设定深度学习模型进行训练的样本图像。原始图像样本的类型与该深度学习模型的训练目标相匹配，例如，人脸类型或者多目标物类型等，本实施例对此并不进行限制。
特征向量图可以理解为提取原始图像样本中的多维图像特征后，将上述多维图像特征按照图像组织形式进行排列后，得到的结果。
可选的，可以预先训练得到一个图像特征提取模型，该图像特征提取模型的输入为设定图像，输出为该图像的图像特征图。或者，还可以从一个已有的图像处理模型中，例如，图像分类模型或者图像检测模型等，获取该图像处理模型中的一个或者多个图像特征提取层，并将该图像特征提取层的参数固定后，作为前述的图像特征提取模型进行使用。
一般来说，特征向量图的图像尺度会远远小于原始图像样本的图像尺度。例如，对一个1024*768的原始图像样本进行特征提取后，可能会得到一个32*32的特征向量图。
S120、按照所述原始图像样本的图像尺度，对所述特征向量图进行图像缩放处理，得到标准尺度特征图。
如前所述，由于特征向量图与原始图像样本的图像尺度一般会不一致，因此，为了便于后续处理，首先需要将该特征向量图转换为与原始图像样本的图像尺度相一致的标准尺度特征图。
续前例，在得到了32*32的特征向量图之后，需要首先将该32*32的特征向量图转换为1024*768的标准尺度特征图。
也即，标准尺度特征图和原始图像样本的图像尺度一致，但是，标准尺度特征图的每个像素位置中携带的不是像素点的像素值，而是图像在设定维度下的特征值。
可选的，可以通过直接调用现有的图像缩放函数resize(.)的方式，对该特征向量图进行图像缩放处理。或者，还可以通过自定义编写缩放映射关系的方式，对该特征向量图进行图像缩放处理，本实施例对此并不进行限制。
S130、采用目标类型的注意力机制网络，对所述标准尺度特征图进行处理，得到注意力影响图。
在本实施例中，发明人综合考虑了使用原始图像样本中每个像素点的训练梯度构建图像扰动的各项弊端，不再像相关技术一样获取训练梯度，而是提出了一种应用注意力机制构建图像扰动的新方式。
其中，注意力机制是一种对输入数据的不同部分进行加权处理，以便更加精准的关注到重要信息的机制。注意力机制的类型主要包括：通道注意力机制、空间注意力机制以及混合注意力机制等。发明人通过多次实验研究发现，当引入注意力机制网络对一张图像，尤其是一张图像的图像特征进行注意力处理时，得到的处理结果图既可以反映出重要图像特征的权重加强，同时，加强的权重值也不会有明显的突变。基于此，发明人创造性的提出了直接使用注意力机制网络，提取原始图像样本的图像特征在特定注意力机制下微小的注意力差异，并将该微小的注意力差异(也即，注意力影响图)，作为扰动，以最终生成图像对抗样本。
可选的，可以直接将目标类型的注意力机制网络输出的注意力结果图直接作为注意力影响图，或者，还可以将注意力结果图中的每个像素位置的数据进行归一化处理，以将每个像素位置的数据限定在设定数值范围内，例如，[0，1]之间，本实施例对此并不进行限制。
S140、根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本。
其中，由于标准尺度特征图已经与原始图像样本的图像尺度相一致了，因此，注意力影响图的图像尺度也与原始图像样本的图像尺度相一致。进而，可以直接使用所述注意力影响图，为所述原始图像样本添加扰动，以得到与所述原始图像样本对应的图像对抗样本。
可以理解的是，通过上述设置，完全没有使用到原始图像样本中各像素点的训练梯度，仅通过简单的使用一个注意力机制网络，即可灵活、多变的获取对该原始图像样本的扰动信息。
本公开实施例的技术方案通过获取与原始图像样本对应的特征向量图；按照原始图像样本的图像尺度，对特征向量图进行图像缩放处理，得到标准尺度特征图；采用目标类型的注意力机制网络，对标准尺度特征图进行处理，得到注意力影响图；根据注意力影响图，为原始图像样本添加扰动，得到与原始图像样本对应的图像对抗样本的方式，提供了一种无需使用原始图像样本的训练梯度构建得到图像对抗样本的新方式，这样操作既避免了引入过多的求取像素点的训练梯度的计算量，也使得生成的图像对抗样本更加丰富多样，灵活性更好；同时，通过使用原始图像样本的图像特征生成图像对抗样本，使得图像对抗样本的生成效果更加理想。进而，可以从一定程度上提高后续图像处理模型的训练效果。
在本实施例的一个可选的实施方式中，根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本，可以包括：
将所述注意力影响图与所述原始图像样本进行像素叠加，得到与所述原始图像样本对应的图像对抗样本。
如前所述，由于注意力影响图与原始图像样本的图像尺度均一致，且注意力影响图中的每个像素位置的数值一般较小。因此，可以考虑直接将注意力影响图与所述原始图像样本中相同像素位置的数据进行对应相加，以到与所述原始图像样本对应的图像对抗样本。
通过上述设置，可以简单、便捷的得到与原始图像样本对应的图像对抗样本，在节约生成过程计算量的同时，保证了对抗图像样本的生成多样性以及生成效果。
图2是根据本公开实施例提供的另一种图像对抗样本的生成方法的示意图。本实施例以上述各实施例为基础进行细化，在本实施例中，具体将目标类型的注意力机制网络，优化为通道注意力机制网络，并对通道注意力机制网络的具体结构进行限定。
相应的，如图2所示，所述方法具体可以包括：
S210、获取原始图像样本，并获取与原始图像样本对应的特征向量图。
S220、按照所述原始图像样本的图像尺度，对所述特征向量图进行图像缩放处理，得到标准尺度特征图。
S230、将所述标准尺度特征图输入至预先构建的通道注意力机制网络中，获取所述通道注意力机制网络输出的注意力结果图。
如前所述，在本实施例中，将目标类型的注意力机制网络具体化为通道注意力机制网络中。其中，通道注意力机制网络的核心思想是提取每个卷积核通道中的特征，对某些感兴趣的通道特征进行加强，对某些不感兴趣的通道特征进行削弱。
其中，在图3中示出了本公开实施例所适用的一种通道注意力机制网络的结构示意图。如图3所示，所述通道注意力机制网络包括：依次相连的第一卷积核模块、归一化模块和乘法器，以及，依次相连的第二卷积核模块、层归一化模块、第三卷积核模块和加法器。
所述通道注意力机制网络的输入端分别与所述第一卷积核模块、所述乘法器的第一输入端和所述加法器的第一输入端相连，所述归一化模块的输出端与所述乘法器的第二输入端相连，所述乘法器的输出端与所述第二卷积核相连，所述第三卷积核模块的输出端与所述加法器的第二输入端相连，所述加法器的输出端作为所述通道注意力机制网络的输出端。
可选的，第一卷积核模块、第二卷积核模块以及第三卷积核模块可以均为1*1的卷积核，仅进行通道特征的压缩或者扩展。归一化模块可以为基于Softmax激活函数的模块，Softmax激活函数用于将输入的通道特征转换为[0，1]之间的概率值。层归一化模块可以为基于ReLU激活函数的模块，ReLU激活函数为线性整流函数，指代数学的斜坡函数。
本公开实施例提供的通道注意力机制网络的核心思想是，通过使用多个卷积核进行运算，提取输入的标准尺度特征图中不同通道之间的通道关系信息，最后，利用提取到的上述通道关系信息，微小修正该标准尺度特征图，以得到注意力结果图。通过使用上述结构对标准尺度特征图进行处理，可以在保证注意力结果图与标准尺度特征图具有微小差异的基础上，使得该差异尽可能的小，同时，差异出现位置也具有一定的随机性，进而，使得最终得到的注意力结果图的灵活性更强。
S240、将所述注意力结果图输入至逻辑回归模块中，获取所述逻辑回归模块输出的所述注意力影响图。
可以理解的是，虽然注意力结果图与输入的标准尺度特征图相比，差异值不大，但是，为了进一步保证上述差异值在一个可控的数值范围内，进一步考虑在将该注意力结果图输入至逻辑回归模块，以保证注意力结果图中每个像素位置的数据均在一个限定的数值范围内。
其中，该逻辑回归模块具体为基于Sigmoid激活函数的模块，通过该逻辑回归模块处理后得到注意力影响图后，可以保证注意力影响图中每个像素位置的数值均落入(0,1)的范围内。
S250、将所述注意力影响图与所述原始图像样本进行像素叠加，得到与所述原始图像样本对应的图像对抗样本。
本公开实施例的技术方案通过使用特定结构的通道注意力机制网络结合逻辑回归模块生成注意力影响图，并将该注意力影响图作为扰动，生成与所述原始图像样本对应的图像对抗样本的方式，可以有效保证图像对抗样本的多样性以及生成效果，满足不同的图像对抗样本应用需求。
在上述各实施例的基础上，在将所述标准尺度特征图输入至预先构建的通道注意力机制网络中之前，还可以包括：
按照所述通道注意力机制网络的处理通道数，对所述标准尺度特征图进行通道维度的扩充；
相应的，在将所述注意力结果图输入至逻辑回归模块中，获取所述逻辑回归模块输出的所述注意力影响图之后，还可以包括：
将所述注意力影响图的通道维度缩减至扩充前的通道维度状态。
在本实施例中，考虑到在使用通道注意力机制网络对标准尺度特征图进行修正时，通道数越少，单个通道中的修正值可能会较大，而通道数越多，单个通道中的修正值也会相应较小。进而，为了保证实际需要的微小抖动，使得标准尺度特征图中的各图像特征不会被通道注意力机制网络修正较多，可以首先按照所述通道注意力机制网络的处理通道数(此处可以理解为通道注意力机制网络所能修正的最大通道数)，对所述标准尺度特征图进行通道维度的扩充，并在获取所述逻辑回归模块输出的所述注意力影响图之后，将所述注意力影响图的通道维度缩减至扩充前的通道维度状态，以保证注意力影响图与标准尺度特征图之间仅具有微小且随机的差异值。
为了清楚的表述本公开各实施例的技术方案，在图4中示出了本公开实施例所适用的一种完整的图像对抗样本的生成流程的示意图。如图4所示，在获取与原始图像样本对应的特征向量图之后，首先通过图像缩放模块，将该特征向量图转换为与原始图像样本的图像尺度相一致的标准尺度特征图。之后，可以通过一个1*1的卷积核作为通道维度扩充模块，对该标准尺度特征图进行最大通道维度的扩充，并将完成通道扩充后的标准尺度特征图输入至通道注意力机制网络，得到注意力结果图，然后，继续通过一个1*1的卷积核作为通道维度缩减模块，对该注意力结果图进行通道维度的还原，使得注意力结果图的通道维度与标准尺度特征图的通道维度相一致。最后，通过逻辑回归模块，将注意力结果图中每个像素位置的数据归一化至一个(0,1)的输出结果中，以得到注意力影响图。
图5是根据本公开实施例提供的一种图像处理模型的训练方法的示意图。本公开实施例可适用于同时使用原始图像样本，以及与原始图像样本对应的图像对抗样本训练得到图像处理模型的情况。该方法可以由图像处理模型的训练装置来执行，该装置可采用硬件和/或软件的方式实现，并一般可以集成在具有数据处理功能的终端或者服务器中。
相应的，如图5所述，所述方法可以包括：
S510、获取多个原始图像样本，并通过如本公开任意实施例所述的图像对抗样本的生成方法，生成与所述多个原始图像样本对应的图像对抗样本。
如前所述，在很多缺少训练数据的模型训练场景中，可以通过构建对抗样本的方式提高模型的准确度、泛化性以及对抗性。本公开实施例正是应用于上述缺少原始图像样本的应用场景。
进而，可以通过前述各实施例的技术方案，生成与每个原始图像样本分别对应的图像对抗样本。
S520、使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练，得到训练后的图像处理模型。
可选的，使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练的方式可以为：
将所述原始图像样本和所述对抗图像样本进行拼接，得到拼接图像样本；将所述拼接图像样本输入所述深度学习模型中，得到所述原始图像样本的输出结果以及所述对抗图像样本的输出结果；根据所述原始图像样本的输出结果以及所述对抗图像样本的输出结果，确定所述原始图像样本的损失和所述对抗图像样本的损失；根据所述原始图像样本的损失和所述对抗图像样本的损失，调整所述深度学习模型的参数。
可以理解的是， 原始图像样本和图像对抗样本具有不同的数据分布，对原始图像样本和图像对抗样本进行混合训练的损失函数如下公式所示。
其中，L(θ，x，y)表示原始图像样本的损失，表示图像对抗样本的损失，E表示对原始图像样本的损失和图像对抗样本的损失的综合操作，例如可以是平均或加权求和等操作。∈为预设的参数， θ为深度学习模型的参数。
该损失本质上包含了原始图像样本的损失和图像对抗样本的损失两部分，混合训练本质上涉及两个不同分布下的组合训练。为了将这种混合分布分解为两个更简单的分布， 可以对深度学习模型的结构进行了改进。
所述深度学习模型包括至少一个统计层，每个统计层包括原始统计子层和辅助统计子层；
相应的，所述将所述拼接图像样本输入所述深度学习模型中，得到所述原始图像样本的输出结果以及所述对抗图像样本的输出结果，可以包括：
针对每个所述统计层，响应于所述拼接图像样本的特征输入所述统计层，将所述拼接图像样本的特征拆分为所述原始图像样本的特征和所述对抗图像样本的特征；将所述原始图像样本的特征输入所述原始统计子层，得到所述原始图像样本的特征分布信息；将所述对抗图像样本的特征输入所述辅助统计子层，得到所述对抗图像样本的特征分布信息；将所述原始图像样本的特征分布信息和所述对抗图像样本的特征分布信息进行拼接，得到所述统计层的输出结果；根据所述统计层的输出结果，确定所述原始图像样本的输出结果以及所述对抗图像样本的输出结果。
本实施例以与原始统计子层并列的方式插入辅助统计子层，将原始图像样本的特征输入原始统计子层，将图像对抗样本的特征输入辅助统计子层，原始统计子层统计原始图像样本的特征分布信息，辅助统计子层统计图像对抗样本的特征分布信息。从而深度学习模型既可以统计真实图像的特征分布信息，也可以统计模拟图像的特征分布信息，因此扩大了深度学习模型的知识域，对于新到来的真实图像，可以选择原始统计子层进行特征统计，避免将特征统计到错误的分布曲线中，保证深度学习模型识别目标对象的准确性。
本公开实施例的技术方案使用基于注意力机制网络生成的图像对抗样本，结合原始图像样本对深度学习模型进行训练，由于所生成的图像对抗样本更加丰富多样，灵活性更好，进而，可以从一定程度上提高后续图像处理模型的训练效果，在缺少原始图像样本的模型训练场景中，有效提高模型的准确度、泛化性以及对抗性。
图6是根据本公开实施例提供的一种图像处理方法的示意图，本公开实施例可适用于使用采用注意力机制网络构建的图像对抗样本生成的图像处理模型，生成特定场景的图像处理结果的情况。该方法可以由图像处理装置来执行，该装置可采用硬件和/或软件的方式实现，并一般可以集成在具有数据处理功能的终端或者服务器中。
相应的，如图6所述，所述方法可以包括：
S610、获取待处理图像。
其中，所述待处理图像可以理解为在设定图像处理场景中，例如，图像检测场景或者目标物识别场景等，需要进行处理的图像。
S620、将所述待处理图像输入至通过如本公开任意实施例所述的图像处理模型的训练方法训练得到的所述图像处理模型中，得到对所述待处理图像的处理结果。
本公开实施例的技术方案通过采用注意力机制网络构建的图像对抗样本生成的图像处理模型，生成与待处理图像的图像处理结果的技术手段，可以在该图像处理模型的原始图像样本数量不足的场景中，高效、准确的训练得到满足准确度、泛化性以及对抗性要求的图像处理模型，满足各类场景下的图像处理需求。
作为上述各图像对抗样本的生成方法的实现，本公开还提供了一种实施上述各图像对抗样本的生成方法的执行装置的可选实施例。
图7是根据本公开实施例提供的一种图像对抗样本的生成装置的示意图。如图7所示，所述图像对抗样本的生成装置包括：特征向量图获取模块710、标准尺度特征图生成模块720、注意力影响图生成模块730以及图像对抗样本生成模块740，其中：
特征向量图获取模块710，用于获取原始图像样本，并获取与原始图像样本对应的特征向量图；
标准尺度特征图生成模块720，用于按照所述原始图像样本的图像尺度，对所述特征向量图进行图像缩放处理，得到标准尺度特征图；
注意力影响图生成模块730，用于采用目标类型的注意力机制网络，对所述标准尺度特征图进行处理，得到注意力影响图；
图像对抗样本生成模块740，用于根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本。
本公开实施例的技术方案通过获取与原始图像样本对应的特征向量图；按照原始图像样本的图像尺度，对特征向量图进行图像缩放处理，得到标准尺度特征图；采用目标类型的注意力机制网络，对标准尺度特征图进行处理，得到注意力影响图；根据注意力影响图，为原始图像样本添加扰动，得到与原始图像样本对应的图像对抗样本的方式，提供了一种无需使用原始图像样本的训练梯度构建得到图像对抗样本的新方式，这样操作既避免了引入过多的求取像素点的训练梯度的计算量，也使得生成的图像对抗样本更加丰富多样，灵活性更好；同时，通过使用原始图像样本的图像特征生成图像对抗样本，使得图像对抗样本的生成效果更加理想。进而，可以从一定程度上提高后续图像处理模型的训练效果。
在上述各实施例的基础上，其中，所述注意力影响图生成模块，可以包括：
注意力结果图生成单元，用于将所述标准尺度特征图输入至预先构建的通道注意力机制网络中，获取所述通道注意力机制网络输出的注意力结果图；
逻辑回归处理单元，用于将所述注意力结果图输入至逻辑回归模块中，获取所述逻辑回归模块输出的所述注意力影响图。
在上述各实施例的基础上，其中，所述通道注意力机制网络可以包括：依次相连的第一卷积核模块、归一化模块和乘法器，以及，依次相连的第二卷积核模块、层归一化模块、第三卷积核模块和加法器；
所述通道注意力机制网络的输入端分别与所述第一卷积核模块、所述乘法器的第一输入端和所述加法器的第一输入端相连，所述归一化模块的输出端与所述乘法器的第二输入端相连，所述乘法器的输出端与所述第二卷积核相连，所述第三卷积核模块的输出端与所述加法器的第二输入端相连，所述加法器的输出端作为所述通道注意力机制网络的输出端。
在上述各实施例的基础上，还可以包括，通道维度扩充单元，用于在将所述标准尺度特征图输入至预先构建的通道注意力机制网络中之前，按照所述通道注意力机制网络的处理通道数，对所述标准尺度特征图进行通道维度的扩充；
以及，通道维度缩减单元，用于在将所述注意力结果图输入至逻辑回归模块中，获取所述逻辑回归模块输出的所述注意力影响图之后，将所述注意力影响图的通道维度缩减至扩充前的通道维度状态。
在上述各实施例的基础上，其中，图像对抗样本生成模块，具体可以用于：
将所述注意力影响图与所述原始图像样本进行像素叠加，得到与所述原始图像样本对应的图像对抗样本。
上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
作为上述各图像处理模型的训练方法的实现，本公开还提供了一种实施上述各图像处理模型的训练方法的执行装置的可选实施例。
图8是根据本公开实施例提供的一种图像处理模型的训练装置的示意图。如图8所示，所述图像处理模型的训练装置包括：图像对抗样本生成模块810以及图像处理模型训练模块820，其中：
图像对抗样本生成模块810，用于获取多个原始图像样本，并通过如本公开任意实施例所述的图像对抗样本的生成装置，生成与所述多个原始图像样本对应的图像对抗样本；
图像处理模型训练模块820，用于使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练，得到训练后的图像处理模型。
本公开实施例的技术方案使用基于注意力机制网络生成的图像对抗样本，结合原始图像样本对深度学习模型进行训练，由于所生成的图像对抗样本更加丰富多样，灵活性更好，进而，可以从一定程度上提高后续图像处理模型的训练效果，在缺少原始图像样本的模型训练场景中，有效提高模型的准确度、泛化性以及对抗性。
在上述各实施例的基础上，其中，所述图像处理模型训练模块，可以包括：
拼接图像样本生成单元，用于将所述原始图像样本和所述对抗图像样本进行拼接，得到拼接图像样本；
输出结果获取单元，用于将所述拼接图像样本输入所述深度学习模型中，得到所述原始图像样本的输出结果以及所述对抗图像样本的输出结果；
损失确定单元，用于根据所述原始图像样本的输出结果以及所述对抗图像样本的输出结果，确定所述原始图像样本的损失和所述对抗图像样本的损失；
参数调整单元，用于根据所述原始图像样本的损失和所述对抗图像样本的损失，调整所述深度学习模型的参数。
在上述各实施例的基础上，所述深度学习模型可以包括至少一个统计层，每个统计层包括原始统计子层和辅助统计子层；
输出结果获取单元，具体可以用于：
针对每个所述统计层，响应于所述拼接图像样本的特征输入所述统计层，将所述拼接图像样本的特征拆分为所述原始图像样本的特征和所述对抗图像样本的特征；
将所述原始图像样本的特征输入所述原始统计子层，得到所述原始图像样本的特征分布信息；
将所述对抗图像样本的特征输入所述辅助统计子层，得到所述对抗图像样本的特征分布信息；
将所述原始图像样本的特征分布信息和所述对抗图像样本的特征分布信息进行拼接，得到所述统计层的输出结果；
根据所述统计层的输出结果，确定所述原始图像样本的输出结果以及所述对抗图像样本的输出结果。
上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
作为上述各图像处理方法的实现，本公开还提供了一种实施上述各图像处理方法的执行装置的可选实施例。
图9是根据本公开实施例提供的一种图像处理装置的示意图。如图9所示，所述图像处理装置包括：图像获取模块910以及处理结果生成模块920，其中：
图像获取模块910，用于获取待处理图像；
处理结果生成模块920，用于将所述待处理图像输入至通过如本公开任意实施例所述的图像处理模型的训练装置训练得到的所述图像处理模型中，得到对所述待处理图像的处理结果。
本公开实施例的技术方案通过采用注意力机制网络构建的图像对抗样本生成的图像处理模型，生成与待处理图像的图像处理结果的技术手段，可以在该图像处理模型的原始图像样本数量不足的场景中，高效、准确的训练得到满足准确度、泛化性以及对抗性要求的图像处理模型，满足各类场景下的图像处理需求。
上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如执行如本公开任意实施例所述的图像对抗样本的生成、图像处理模型的训练或者图像处理方法。例如，在一些实施例中，如本公开任意实施例所述的图像对抗样本的生成、图像处理模型的训练或者图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的如本公开任意实施例所述的图像对抗样本的生成、图像处理模型的训练或者图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行如本公开任意实施例所述的图像对抗样本的生成、图像处理模型的训练或者图像处理方法。
具体的，该图像对抗样本的生成方法，包括：
获取原始图像样本，并获取与原始图像样本对应的特征向量图；
按照所述原始图像样本的图像尺度，对所述特征向量图进行图像缩放处理，得到标准尺度特征图；
采用目标类型的注意力机制网络，对所述标准尺度特征图进行处理，得到注意力影响图；
根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本。
以及，该图像处理模型的训练方法，包括：
获取多个原始图像样本，并通过如本公开任意实施例所述的图像对抗样本的生成方法，生成与所述多个原始图像样本对应的图像对抗样本；
使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练，得到训练后的图像处理模型。
同时，该图像处理方法，包括：
获取待处理图像；
将所述待处理图像输入至通过如本公开任意实施例所述的图像处理模型的训练方法训练得到的所述图像处理模型中，得到对所述待处理图像的处理结果。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (21)
1.一种图像对抗样本的生成方法，包括：
获取原始图像样本，并获取与原始图像样本对应的特征向量图；
按照所述原始图像样本的图像尺度，对所述特征向量图进行图像缩放处理，得到标准尺度特征图；
采用目标类型的注意力机制网络，对所述标准尺度特征图进行处理，得到注意力影响图；
根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本。
2.根据权利要求1所述的方法，其中，所述采用目标类型的注意力机制网络，对所述标准尺度特征图进行处理，得到注意力影响图，包括：
将所述标准尺度特征图输入至预先构建的通道注意力机制网络中，获取所述通道注意力机制网络输出的注意力结果图；
将所述注意力结果图输入至逻辑回归模块中，获取所述逻辑回归模块输出的所述注意力影响图。
3.根据权利要求2所述的方法，其中，所述通道注意力机制网络包括：依次相连的第一卷积核模块、归一化模块和乘法器，以及，依次相连的第二卷积核模块、层归一化模块、第三卷积核模块和加法器；
所述通道注意力机制网络的输入端分别与所述第一卷积核模块、所述乘法器的第一输入端和所述加法器的第一输入端相连，所述归一化模块的输出端与所述乘法器的第二输入端相连，所述乘法器的输出端与所述第二卷积核相连，所述第三卷积核模块的输出端与所述加法器的第二输入端相连，所述加法器的输出端作为所述通道注意力机制网络的输出端。
4.根据权利要求2或3所述的方法，在将所述标准尺度特征图输入至预先构建的通道注意力机制网络中之前，还包括：
按照所述通道注意力机制网络的处理通道数，对所述标准尺度特征图进行通道维度的扩充；
在将所述注意力结果图输入至逻辑回归模块中，获取所述逻辑回归模块输出的所述注意力影响图之后，还包括：
将所述注意力影响图的通道维度缩减至扩充前的通道维度状态。
5.根据权利要求1所述的方法，其中，根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本，包括：
将所述注意力影响图与所述原始图像样本进行像素叠加，得到与所述原始图像样本对应的图像对抗样本。
6.一种图像处理模型的训练方法，包括：
获取多个原始图像样本，并通过如权利要求1-5任一项所述的方法，生成与所述多个原始图像样本对应的图像对抗样本；
使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练，得到训练后的图像处理模型。
7.根据权利要求6所述的方法，其中，使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练，包括：
将所述原始图像样本和所述对抗图像样本进行拼接，得到拼接图像样本；
将所述拼接图像样本输入所述深度学习模型中，得到所述原始图像样本的输出结果以及所述对抗图像样本的输出结果；
根据所述原始图像样本的输出结果以及所述对抗图像样本的输出结果，确定所述原始图像样本的损失和所述对抗图像样本的损失；
根据所述原始图像样本的损失和所述对抗图像样本的损失，调整所述深度学习模型的参数。
8.根据权利要求7所述的方法，其中，所述深度学习模型包括至少一个统计层，每个统计层包括原始统计子层和辅助统计子层；
所述将所述拼接图像样本输入所述深度学习模型中，得到所述原始图像样本的输出结果以及所述对抗图像样本的输出结果，包括：
针对每个所述统计层，响应于所述拼接图像样本的特征输入所述统计层，将所述拼接图像样本的特征拆分为所述原始图像样本的特征和所述对抗图像样本的特征；
将所述原始图像样本的特征输入所述原始统计子层，得到所述原始图像样本的特征分布信息；
将所述对抗图像样本的特征输入所述辅助统计子层，得到所述对抗图像样本的特征分布信息；
将所述原始图像样本的特征分布信息和所述对抗图像样本的特征分布信息进行拼接，得到所述统计层的输出结果；
根据所述统计层的输出结果，确定所述原始图像样本的输出结果以及所述对抗图像样本的输出结果。
9.一种图像处理方法，包括：
获取待处理图像；
将所述待处理图像输入至通过如权利要求6-8中任一项所述的方法训练得到的所述图像处理模型中，得到对所述待处理图像的处理结果。
10.一种图像对抗样本的生成装置，包括：
特征向量图获取模块，用于获取原始图像样本，并获取与原始图像样本对应的特征向量图；
标准尺度特征图生成模块，用于按照所述原始图像样本的图像尺度，对所述特征向量图进行图像缩放处理，得到标准尺度特征图；
注意力影响图生成模块，用于采用目标类型的注意力机制网络，对所述标准尺度特征图进行处理，得到注意力影响图；
图像对抗样本生成模块，用于根据所述注意力影响图，为所述原始图像样本添加扰动，得到与所述原始图像样本对应的图像对抗样本。
11.根据权利要求10所述的装置，其中，所述注意力影响图生成模块，包括：
注意力结果图生成单元，用于将所述标准尺度特征图输入至预先构建的通道注意力机制网络中，获取所述通道注意力机制网络输出的注意力结果图；
逻辑回归处理单元，用于将所述注意力结果图输入至逻辑回归模块中，获取所述逻辑回归模块输出的所述注意力影响图。
12.根据权利要求11所述的装置，其中，所述通道注意力机制网络包括：依次相连的第一卷积核模块、归一化模块和乘法器，以及，依次相连的第二卷积核模块、层归一化模块、第三卷积核模块和加法器；
所述通道注意力机制网络的输入端分别与所述第一卷积核模块、所述乘法器的第一输入端和所述加法器的第一输入端相连，所述归一化模块的输出端与所述乘法器的第二输入端相连，所述乘法器的输出端与所述第二卷积核相连，所述第三卷积核模块的输出端与所述加法器的第二输入端相连，所述加法器的输出端作为所述通道注意力机制网络的输出端。
13.根据权利要求11或12所述的装置，还包括，通道维度扩充单元，用于在将所述标准尺度特征图输入至预先构建的通道注意力机制网络中之前，按照所述通道注意力机制网络的处理通道数，对所述标准尺度特征图进行通道维度的扩充；
以及，通道维度缩减单元，用于在将所述注意力结果图输入至逻辑回归模块中，获取所述逻辑回归模块输出的所述注意力影响图之后，将所述注意力影响图的通道维度缩减至扩充前的通道维度状态。
14.根据权利要求10所述的装置，其中，图像对抗样本生成模块，具体用于：
将所述注意力影响图与所述原始图像样本进行像素叠加，得到与所述原始图像样本对应的图像对抗样本。
15.一种图像处理模型的训练装置，包括：
图像对抗样本生成模块，用于获取多个原始图像样本，并通过如权利要求10-14任一项所述的装置，生成与所述多个原始图像样本对应的图像对抗样本；
图像处理模型训练模块，用于使用所述原始图像样本，以及与所述原始图像样本对应的图像对抗样本，对预设的深度学习模型进行训练，得到训练后的图像处理模型。
16.根据权利要求15所述的装置，其中，所述图像处理模型训练模块，包括：
拼接图像样本生成单元，用于将所述原始图像样本和所述对抗图像样本进行拼接，得到拼接图像样本；
输出结果获取单元，用于将所述拼接图像样本输入所述深度学习模型中，得到所述原始图像样本的输出结果以及所述对抗图像样本的输出结果；
损失确定单元，用于根据所述原始图像样本的输出结果以及所述对抗图像样本的输出结果，确定所述原始图像样本的损失和所述对抗图像样本的损失；
参数调整单元，用于根据所述原始图像样本的损失和所述对抗图像样本的损失，调整所述深度学习模型的参数。
17.根据权利要求16所述的装置，所述深度学习模型包括至少一个统计层，每个统计层包括原始统计子层和辅助统计子层；
输出结果获取单元，具体用于：
针对每个所述统计层，响应于所述拼接图像样本的特征输入所述统计层，将所述拼接图像样本的特征拆分为所述原始图像样本的特征和所述对抗图像样本的特征；
将所述原始图像样本的特征输入所述原始统计子层，得到所述原始图像样本的特征分布信息；
将所述对抗图像样本的特征输入所述辅助统计子层，得到所述对抗图像样本的特征分布信息；
将所述原始图像样本的特征分布信息和所述对抗图像样本的特征分布信息进行拼接，得到所述统计层的输出结果；
根据所述统计层的输出结果，确定所述原始图像样本的输出结果以及所述对抗图像样本的输出结果。
18.一种图像处理装置，包括：
图像获取模块，用于获取待处理图像；
处理结果生成模块，用于将所述待处理图像输入至通过如权利要求15-17中任一项所述的装置训练得到的所述图像处理模型中，得到对所述待处理图像的处理结果。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的图像对抗样本的生成方法，执行权利要求6-8中任一项所述的图像处理模型的训练方法，或者执行权利要求9中所述的图像处理方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-5中任一项所述的图像对抗样本的生成方法，执行根据权利要求6-8中任一项所述的图像处理模型的训练方法，或者执行根据权利要求9中所述的图像处理方法。
21.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1-5中任一项所述的图像对抗样本的生成方法，实现权利要求6-8中任一项所述的图像处理模型的训练方法，或者实现权利要求9中所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311370877.5A CN117671409A (zh) | 2023-10-20 | 2023-10-20 | 样本生成、模型训练、图像处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311370877.5A CN117671409A (zh) | 2023-10-20 | 2023-10-20 | 样本生成、模型训练、图像处理方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117671409A true CN117671409A (zh) | 2024-03-08 |
Family
ID=90065162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311370877.5A Pending CN117671409A (zh) | 2023-10-20 | 2023-10-20 | 样本生成、模型训练、图像处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117671409A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948658A (zh) * | 2019-02-25 | 2019-06-28 | 浙江工业大学 | 面向特征图注意力机制的对抗攻击防御方法及应用 |
| CN114742170A (zh) * | 2022-04-22 | 2022-07-12 | 马上消费金融股份有限公司 | 对抗样本生成方法、模型训练方法、图像识别方法及装置 |
| CN115880502A (zh) * | 2022-12-15 | 2023-03-31 | 北京百度网讯科技有限公司 | 检测模型的训练方法、目标检测方法、装置、设备和介质 |
| CN115994576A (zh) * | 2023-01-10 | 2023-04-21 | 同济大学 | 一种社交场景中人类注意力机制模仿学习方法 |
| CN116758373A (zh) * | 2023-06-16 | 2023-09-15 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、图像处理方法、装置和设备 |
-
2023
- 2023-10-20 CN CN202311370877.5A patent/CN117671409A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948658A (zh) * | 2019-02-25 | 2019-06-28 | 浙江工业大学 | 面向特征图注意力机制的对抗攻击防御方法及应用 |
| CN114742170A (zh) * | 2022-04-22 | 2022-07-12 | 马上消费金融股份有限公司 | 对抗样本生成方法、模型训练方法、图像识别方法及装置 |
| CN115880502A (zh) * | 2022-12-15 | 2023-03-31 | 北京百度网讯科技有限公司 | 检测模型的训练方法、目标检测方法、装置、设备和介质 |
| CN115994576A (zh) * | 2023-01-10 | 2023-04-21 | 同济大学 | 一种社交场景中人类注意力机制模仿学习方法 |
| CN116758373A (zh) * | 2023-06-16 | 2023-09-15 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、图像处理方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113657465B (zh) | 预训练模型的生成方法、装置、电子设备和存储介质 | |
| CN113379627A (zh) | 图像增强模型的训练方法和对图像进行增强的方法 | |
| CN113657289B (zh) | 阈值估计模型的训练方法、装置和电子设备 | |
| CN113705362B (zh) | 图像检测模型的训练方法、装置、电子设备及存储介质 | |
| CN112949767A (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
| CN113627361B (zh) | 人脸识别模型的训练方法、装置及计算机程序产品 | |
| CN113627536B (zh) | 模型训练、视频分类方法，装置，设备以及存储介质 | |
| CN115456167B (zh) | 轻量级模型训练方法、图像处理方法、装置及电子设备 | |
| CN115690443B (zh) | 特征提取模型训练方法、图像分类方法及相关装置 | |
| CN115147680B (zh) | 目标检测模型的预训练方法、装置以及设备 | |
| EP4343616A1 (en) | Image classification method, model training method, device, storage medium, and computer program | |
| CN115631381A (zh) | 分类模型训练方法、图像分类方法、装置及电子设备 | |
| CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
| CN113657468A (zh) | 预训练模型的生成方法、装置、电子设备和存储介质 | |
| CN113643260A (zh) | 用于检测图像质量的方法、装置、设备、介质和产品 | |
| CN115273148B (zh) | 行人重识别模型训练方法、装置、电子设备及存储介质 | |
| CN115937993B (zh) | 活体检测模型训练方法、活体检测方法、装置和电子设备 | |
| CN115496916B (zh) | 图像识别模型的训练方法、图像识别方法以及相关装置 | |
| CN113361575B (zh) | 模型训练方法、装置和电子设备 | |
| CN116052288A (zh) | 活体检测模型训练方法、活体检测方法、装置和电子设备 | |
| CN114494782B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
| CN114415997B (zh) | 显示参数设置方法、装置、电子设备及存储介质 | |
| CN113361621B (zh) | 用于训练模型的方法和装置 | |
| CN115457365A (zh) | 一种模型的解释方法、装置、电子设备及存储介质 | |
| CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |