CN111695596A - 一种用于图像处理的神经网络以及相关设备 - Google Patents

Abstract

本申请涉及人工智能领域中的图像处理技术，公开了一种用于图像处理的神经网络以及相关设备。方法包括：将对抗图像分别输入第一特征提取网络和第二特征提取网络，得到鲁棒表示和非鲁棒表示，将鲁棒表示和非鲁棒表示分别输入分类网络，得到分类网络输出的第一分类类别和第二分类类别；根据第一损失函数进行迭代训练，直至满足收敛条件，第一损失函数用于表示第一类别和与对抗图像对应的正确类别之间的相似度，且用于表示第二分类类别和与对抗图像对应的错误类别之间的相似度，既避免了鲁棒表示和非鲁棒表示混杂从而导致鲁棒性的降低，也能够同时保留鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

Description

一种用于图像处理的神经网络以及相关设备

技术领域

本申请涉及人工智能领域，尤其涉及一种用于图像处理的神经网络以及相关设备。

背景技术

人工智能(Artificial Intelligence，AI)是利用计算机或者计算机控制的机器模拟、延伸和扩展人的智能。人工智能包括研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。目前，基于深度学习的神经网络进行图像处理是人工智能常见的一种应用方式。

尽管如今的神经网络已经具备极高的识别准确率，但研究者发现，在对输入的原始图像进行极其微小的扰动之后，就可以迷惑识别准确度很高的神经网络，使其识别准确率急剧下降，这种被扰动的图像，我们称之为对抗(adversarial)图像。

为了提高神经网络的鲁棒性，人们提出了对抗训练，也即将对抗图像和与对抗图像对应的正确标签加入训练数据集中对神经网络进行训练，从而提高了神经网络对对抗图像的鲁棒性，鲁棒性指的是神经网络对对抗图像仍能够准确识别。

但研究发现，随着神经网络处理对抗图像的鲁棒性的提高，神经网络处理原始图像的识别准确率不断降低，因此，需要一种同时能够提升鲁棒性和识别准确率的方案。

发明内容

本申请实施例提供了一种用于图像处理的神经网络以及相关设备，训练后的第一特征提取网络和训练后的第二特征提取网络能够分别提取输入图像中的鲁棒表示和非鲁棒表示，既避免了两者混杂从而导致鲁棒性的降低，也能够同时保留输入图像中的鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种神经网络的训练方法，可用于人工智能领域的图像处理领域中。训练设备将对抗图像分别输入第一特征提取网络和第二特征提取网络，得到第一特征提取网络生成的第一鲁棒表示和第二特征提取网络生成的第一非鲁棒表示。其中，对抗图像为进行过扰动处理的图像，扰动处理指的是在原始图像的基础，调整原始图像中的像素点的像素值，以得到经过扰动处理的图像，对于人眼而言，通常是难以分辨对抗图像与原始图像之间的区别的。第一鲁棒表示和第二鲁棒表示中包括的均为从对抗图像中提取的特征信息。鲁棒表示指的是对扰动不敏感的特征，从原始图像中提取出的鲁棒表示所对应的分类类别，与，从与该原始图像对应的对抗图像中提取出的鲁棒表示所对应的分类类别一致；非鲁棒表示指的是对扰动敏感的特征，从原始图像中提取出的非鲁棒表示所对应的分类类别，与，从与该原始图像对应的对抗图像中提取出的非鲁棒表示所对应的分类类别不一致。换言之，鲁棒表示中包括的特征信息与人眼利用的特征相似，相反，非鲁棒表示中包括的特征信息不能被人眼理解，对人眼来说非鲁棒表示是噪声。训练设备将第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，第一分类类别为对对抗图像中对象的分类类别；将第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别，第二分类类别为对对抗图像中对象的分类类别。训练设备根据第一损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，输出训练后的第一特征提取网络和训练后的第二特征提取网络。其中，第一损失函数用于表示第一类别和第一标注类别之间的相似度，且用于表示第二分类类别和第二标注类别之间的相似度，第一损失函数具体可以为交叉熵损失函数或最大间隔损失函数。第一标注类别为与对抗图像对应的正确类别，第二标注类别为与对抗图像对应的错误类别，第一标注类别包括对抗图像中一个或多个对象的正确分类，第二标注类别对抗图像中一个或多个对象的错误分类，第一标注类别和第二标注类别均用来做训练阶段的监督数据的。收敛条件可以为第一损失函数的收敛条件，也可以为训练的迭代次数达到预设次数。

本实现方式中，神经网络中包括第一特征提取网络和第二特征提取网络，将对抗图像分别输入第一特征提取网络和第二特征提取网络中，得到第一特征提取网络生成的第一鲁棒表示和第二特征提取网络生成的第一非鲁棒表示，进而将第一鲁棒表示输入分类网络中，得到分类网络输出的第一分类类别，将第一非鲁棒表示输入分类网络中，得到分类网络输出的第二分类类别，利用第一损失函数对第一特征提取网络和第二特征提取网络进行迭代训练，第一损失函数的目的是拉近第一分类类别与对抗图像的正确类别之间的相似度，且拉近第二分类类别与对抗图像的错误类别之间的相似度，也即训练的目的是通过第一特征提取网络提取输入图像中的鲁棒表示，通过第二特征提取网络提取输入图像中的非鲁棒表示，技术人员在研究过程中发现，通过对抗训练使得神经网络只从输入图像中提取的鲁棒表示，而舍弃了非鲁棒表示，导致神经网络处理原始图像时准确率的下降，而本申请实施例中，分别通过第一特征提取网络和第二特征提取网络提取输入图像中的鲁棒表示和非鲁棒表示，既避免了两者混杂从而导致鲁棒性的降低，也能够同时保留输入图像中的鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

在第一方面的一种可能实现方式中，方法还包括：训练设备将原始图像分别输入第一特征提取网络和第二特征提取网络，得到第一特征提取网络生成的第二鲁棒表示和第二特征提取网络生成的第二非鲁棒表示。其中，原始图像指的是未经过扰动处理的图像，或者也可以为直接采集到的图像。训练设备将第二鲁棒表示和第二非鲁棒表示组合，得到组合后的第一表示，将组合后的第一表示输入分类网络，以通过分类网络根据组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别。其中，组合的方式包括以下中的一项或多项：拼接、相加、融合和相乘。训练设备根据第一损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，可以包括：训练设备根据第一损失函数和第二损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件。其中，第二损失函数用于表示第三分类类别与第三标注类别之间的相似度，第二损失函数具体可以为交叉熵损失函数或最大间隔损失函数。第三标注类别为与原始图像对应的正确类别，第三标注类别为对原始图像中一个或多个对象的正确分类，其中可以包括一个或多个分类类别，是用来做训练阶段的监督数据的。

本实现方式中，在训练过程中，不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，以进一步提高训练后的第一特征提取网络和训练后的第二特征提取网络在处理自然图像过程的准确度。

在第一方面的一种可能实现方式中，方法还可以包括：训练设备将原始图像输入第一特征提取网络，得到第一特征提取网络生成的第二鲁棒表示。之后训练设备将第二鲁棒表示输入分类网络，以通过分类网络根据第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别，第四分类类别包括对原始图像中一个或多个对象的类别。具体的，为了使得第二鲁棒表示的输入格式与组合后的第一表示格式一致，训练设备可以将第二鲁棒表示与一个第一常数张量组合，得到组合后的第三表示，将组合后的第三表示输入分类网络中，以通过分类网络根据组合后的第三表示执行分类操作，得到分类网络输出的第四分类类别。训练设备根据第一损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，可以包括：训练设备根据第一损失函数和第三损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件。其中，第三损失函数用于表示第四分类类别与第三标注类别之间的相似度，第三损失函数具体可以为交叉熵损失函数或最大间隔损失函数。第三标注类别为与原始图像对应的正确类别。本实现方式中，不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像训练第一特征提取网络对鲁棒表示的提取能力，以进一步提高训练后第一特征提取网络的准确率。

在第一方面的一种可能实现方式中，第一常数张量的长度与第二非鲁棒表示的长度相同，第二鲁棒表示和第一常数张量的前后位置可以与第二鲁棒表示和第二非鲁棒表示的前后位置对应，若组合后的第一表示中第二鲁棒表示在前且第二非鲁棒表示在后，则组合后的第三表示中第二鲁棒表示在前且第一常数张量在后；若组合后的第一表示中第二鲁棒非表示在前且第二鲁棒表示在后，则组合后的第三表示中第一常数张量在前且第二鲁棒表示在后。

在第一方面的一种可能实现方式中，方法还可以包括：训练设备将原始图像输入第二特征提取网络，得到第二特征提取网络生成的第二非鲁棒表示。之后训练设备将第二非鲁棒表示输入分类网络，以通过分类网络根据第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别，第五分类类别包括对原始图像中一个或多个对象的类别。具体的，为了使得第二非鲁棒表示的输入格式与组合后的第一表示格式一致，训练设备可以将第二鲁棒表示与一个第二常数张量组合，得到组合后的第四表示，将组合后的第四表示输入分类网络中，以通过分类网络根据组合后的第四表示执行分类操作，得到分类网络输出的第四分类类别。训练设备根据第一损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，可以包括：训练设备根据第一损失函数和第四损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件。其中，第四损失函数用于表示第五分类类别与第三标注类别之间的相似度，第四损失函数具体可以为交叉熵损失函数或最大间隔损失函数。第三标注类别为与原始图像对应的正确类别。

本实现方式中，不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像训练第二特征提取网络对非鲁棒表示的提取能力，以进一步提高训练后第二特征提取网络的准确率。

在第一方面的一种可能实现方式中，第二常数张量的长度与第二鲁棒表示的长度相同，第二非鲁棒表示和第二常数张量的前后位置可以与第二鲁棒表示和第二非鲁棒表示的前后位置对应，若组合后的第一表示中第二鲁棒表示在前且第二非鲁棒表示在后，则组合后的第四表示中第二常数张量在前且第二非鲁棒表示在后；若组合后的第一表示中第二鲁棒非表示在前且第二鲁棒表示在后，则组合后的第四表示中第二非鲁棒表示在前且第二常数张量在后。

在第一方面的一种可能实现方式中，训练设备将原始图像分别输入第一特征提取网络和第二特征提取网络，得到第一特征提取网络生成的第二鲁棒表示和第二特征提取网络生成的第二非鲁棒表示。训练设备将第二鲁棒表示和第二鲁棒表示组合，得到组合后的第一表示，将组合后的第一表示输入分类网络，以通过分类网络根据组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别。训练设备将第二鲁棒表示输入分类网络，以通过分类网络根据第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别。训练设备将第二非鲁棒表示输入分类网络，以通过分类网络根据第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别。训练设备根据第一损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，可以包括：训练设备根据第一损失函数和第五损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，其中，第五损失函数用于表示第四分类类别与第三标注类别之间的相似度，且用于表示第五分类类别与第三标注类别之间的相似度，且用于表示第六分类类别与第三标注类别之间的相似度，第五损失函数具体可以为交叉熵损失函数或最大间隔损失函数。第三标注类别为与原始图像对应的正确类别。

本实现方式中，在提高第一特征提取网络和第二特征提取网络对对抗图像的处理能力的同时，也提高第一特征提取网络和第二特征提取网络对自然图像的处理能力，也即无论是自然图像还是对抗图像，训练后的第一特征提取网络和第二特征提取网络均能准确的提取出鲁棒表示和非鲁棒表示，扩展了本方案的应用场景。

在第一方面的一种可能实现方式中，方法还可以包括：训练设备根据第二损失函数的函数值，生成第一梯度；根据第一梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。具体的，训练设备可以根据第三分类类别和第三标注类别，生成第二损失函数的函数值，并根据第二损失函数的函数值，生成第一梯度，将第一梯度带入到预设函数中，之后乘以预设系数，以得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。本实现方式中，根据第三分类类别与第三标注类别之间的相似度，生成第一梯度，并根据第一梯度对原始图像进行扰动，使得扰动处理更具有针对性，有利于加快第一特征提取网络和第二特征提取网络的训练过程，提高训练过程的效率。

在第一方面的一种可能实现方式中，方法还可以包括：训练设备根据第三损失函数的函数值，生成第二梯度；根据第二梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。具体的，训练设备可以根据第四分类类别和第三标注类别，生成第三损失函数的函数值，并根据第三损失函数的函数值，生成第二梯度，将第二梯度带入到预设函数中，之后乘以预设系数，以得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。本实现方式中，根据分类网络根据第二鲁棒表示输出的第四分类类别与第三标注类别之间的相似度，对原始图像进行扰动，使得扰动处理与第一特征提取网络之间更具有针对性，有利于提高第一特征提取网络对鲁棒表示的特征提取能力。

在第一方面的一种可能实现方式中，方法还可以包括：训练设备根据第四损失函数的函数值，生成第三梯度；根据第三梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。具体的，训练设备可以根据第五分类类别和第三标注类别，生成第四损失函数的函数值，并根据第四损失函数的函数值，生成第三梯度，将第三梯度带入到预设函数中，之后乘以预设系数，以得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。本实现方式中，根据分类网络根据第二非鲁棒表示第一特征提取网络输出的第五分类类别与第三标注类别之间的相似度，对原始图像进行扰动，使得扰动处理与第二特征提取网络之间更具有针对性，有利于提高第一特征提取网络对非鲁棒表示的特征提取能力。

在第一方面的一种可能实现方式中，方法还可以包括：训练设备将第一鲁棒表示和第一非鲁棒表示组合，得到组合后的第二表示，将组合后的第二表示输入分类网络，得到分类网络输出的第六分类类别，第六分类类别为对抗图像中对象的类别。训练设备将第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别，可以包括：训练设备在第六分类类别与第一标注类别不同的情况下，将第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别。本实现方式中，若第六分类类别与第一标注类别相同，则证明该扰动后图像的扰动过于轻微，则对于第一特征提取网络和第二特征提取网络而言，处理方式与对自然图像的处理方式相差不大，而此处训练的目的是增强第一特征提取网络和第二特征提取网络从扰动较大的图像中分离鲁棒表示和非鲁棒表示的能力，仅在第六分类类别与第一标注类别不同的情况下，才做后续的训练操作，以提高训练过程的效率。

在第一方面的一种可能实现方式中，方法还可以包括：训练设备在第六分类类别与第一标注类别不同的情况下，将第六分类类别确定为第二标注类别。本实现方式中，提供了第二标注类别的一种获取方式，操作简单，且不需要增加额外步骤，节省了计算机资源。

在第一方面的一种可能实现方式中，第一特征提取网络为卷积神经网络或者残差神经网络，第二特征提取网络为卷积神经网络或残差神经网络。本实现方式中，提供了第一特征提取网络和第二特征提取网络的两种具体实现方式，提高了本方案的实现灵活性。

第二方面，本申请实施例提供了一种图像处理网络，可用于人工智能领域的图像处理领域中。图像处理网络包括第一特征提取网络、第二特征提取网络和特征处理网络，其中，第一特征提取网络，用于接收输入的第一图像，生成与第一图像对应的鲁棒表示，鲁棒表示指的是对扰动不敏感的特征。第二特征提取网络，用于接收输入的第一图像，生成与第一图像对应的非鲁棒表示，非鲁棒表示指的是对扰动敏感的特征。特征处理网络，用于获取鲁棒表示和非鲁棒表示，以输出与第一图像对应的第一处理结果。其中，特征处理网络的具体实现方式以及第一处理结果的具体表现方式均与整个图像处理网络的功能有关。若图像处理网络的功能是图像分类，则特征处理网络为分类网络，第一处理结果用于指示整个图像的分类类别。若图像处理网络的功能是图像识别，则特征处理网络可以为识别网络，第一处理结果用于指示从图像中识别出的内容，例如图像中的文字内容等。若图像处理网络的功能是图像分割，则特征处理网络可以包括分类网络，该分类网络用于生成图像中每个像素点的分类类别，进而利用图像中每个像素点的分类类别对图像进行分割，第一处理结果为分割后的图像。

本实现方式中，分别通过第一特征提取网络和第二特征提取网络提取输入图像中的鲁棒表示和非鲁棒表示，既避免了两者混杂从而导致鲁棒性的降低，也能够同时保留输入图像中的鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

在第二方面的一种可能实现方式中，特征处理网络，具体可以用于：在第一情况下，将鲁棒表示和非鲁棒表示组合，根据组合后的表示，输出与第一图像对应的第一处理结果；在第二情况下，根据鲁棒表示，输出与第一图像对应的第一处理结果，第一情况和第二情况为不同的情况。其中，第一情况指的可以为在对第一处理结果的准确率要求高的情况，第二情况指的可以为对第一处理结果的鲁棒性要求高的情况下，或者，第二情况指的是输入的图像为扰动后图像的概率很高的情况。本实现方式中，图像处理网络中同时包括鲁棒路径和标准路径，用户可以根据实际情况灵活选择使用哪一条路径，扩展了本方案的应用场景，提高了本方案的实现灵活性。

在第二方面的一种可能实现方式中，特征处理网络，还可以用于在第三情况下，根据非鲁棒表示，输出与第一图像对应的第一处理结果。

在第二方面的一种可能实现方式中，特征处理网络具体表现为分类网络，分类网络具体可以用于：根据组合后的表示执行分类操作，输出与第一图像对应的分类类别；或者，根据鲁棒表示执行分类操作，输出与第一图像对应的分类类别；或者，根据非鲁棒表示执行分类操作，输出与第一图像对应的分类类别。本实现方式中，将提供的图像处理方法落到图像分类这一具体应用场景中，提高了与应用场景的结合程度。

在第二方面的一种可能实现方式中，若图像处理网络的功能为判断第一图像是原始图像还是对抗图像，则第一处理结果指示第一图像为原始图像，或者，第一处理结果指示第一图像为扰动后的图像。本实现方式中，不仅可以利用第一特征提取网络和第二提取网络提取到的特征信息，得到与图像中对象对应的处理结果，还可以得到与图像整体对应的处理结果，也即用于判断图像为原始图像还是扰动后的图像，扩展了本方案的应用场景。

在第二方面的一种可能实现方式中，特征处理网络，可以用于：根据鲁棒表示，生成与第一图像对应的第一分类类别；根据非鲁棒表示，生成与第一图像对应的第二分类类别；在第一分类类别与第二分类类别一致的情况下，输出的第一处理结果指示第一图像为原始图像；在第一分类类别与第二分类类别不一致的情况下，输出的第一处理结果指示第一图像为扰动后的图像。本实现方式中，通过判断第七分类类别和第八分类类别是否一致，来确定第一图像为原始图像还是对抗图像，方法简单，可操作性强。

在第二方面的一种可能实现方式中，特征处理网络，具体可以用于：将鲁棒表示和非鲁棒表示组合，并根据组合后的表示执行检测操作，以输出与第一图像对应的检测结果，第一处理结果包括检测结果。其中，在一种情况下，检测结果可以指示第一图像为原始图像还是扰动后图像；在另一种情况下，检测结果也可以指示第一图像中包括哪些对象，也即可以指示第一图像中包括的至少一个对象的对象类型，可选地，检测结果还可以包括前述至少一个对象中每个对象的位置信息。本实现方式中，提供了确定第一图像为原始图像还是对抗图像的另一种实现方式，增强了本方案的实现灵活性。

在第二方面的一种可能实现方式中，图像处理网络为以下中的一项或多项：图像分类网络、图像识别网络、图像分割网络或图像检测网络。本实现方式中，提供了图像处理网络的多种具体实现方式，扩展了本方案的应用场景，提高了本方案的实现灵活性。

在第二方面的一种可能实现方式中，特征处理网络包括感知机。

在第二方面的一种可能实现方式中，第一特征提取网络为卷积神经网络或残差神经网络，第二特征提取网络为卷积神经网络或残差神经网络。

对于本申请实施例第二方面以及第二方面的各种可能实现方式中某些步骤的具体实现方式，以及每种可能实现方式中名词的具体含义，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第三方面，本申请实施例提供了一种神经网络的训练装置，可用于人工智能领域的图像处理领域中。神经网络的训练装置可以包括输入模块和训练模块。其中，输入模块，用于将对抗图像分别输入第一特征提取网络和第二特征提取网络，得到第一特征提取网络生成的第一鲁棒表示和第二特征提取网络生成的第一非鲁棒表示，其中，对抗图像为对原始图像进行过扰动处理的图像，鲁棒表示指的是对扰动不敏感的特征，非鲁棒表示指的是对扰动敏感的特征。输入模块，还用于将第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别。训练模块，用于根据第一损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，输出训练后的第一特征提取网络和训练后的第二特征提取网络。其中，第一损失函数用于表示第一类别和第一标注类别之间的相似度，且用于表示第二分类类别和第二标注类别之间的相似度，第一标注类别为与对抗图像对应的正确类别，第二标注类别为与对抗图像对应的错误类别。

本申请实施例第三方面中，神经网络的训练装置包括各个模块还可以用于实现第一方面各种可能实现方式中的步骤，对于本申请实施例第三方面以及第三方面的各种可能实现方式中某些步骤的具体实现方式，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第四方面，本申请实施例提供了一种图像处理方法，可用于人工智能领域的图像处理领域中。方法可以包括：执行设备将第一图像输入第一特征提取网络，得到第一特征提取网络生成的与第一图像对应的鲁棒表示，鲁棒表示指的是对扰动不敏感的特征；执行设备将第一图像输入第二特征提取网络，得到第二特征提取网络生成的与第一图像对应的非鲁棒表示，非鲁棒表示指的是对扰动敏感的特征；执行设备通过特征处理网络，根据鲁棒表示和非鲁棒表示，输出与第一图像对应的第一处理结果，第一特征提取网络、第二特征提取网络和特征处理网络归属于同一图像处理网络。

本申请实施例第四方面中，执行设备还可以用于实现第二方面各种可能实现方式中的步骤，对于本申请实施例第四方面以及第四方面的各种可能实现方式中某些步骤的具体实现方式，以及每种可能实现方式所带来的有益效果，均可以参考第二方面中各种可能的实现方式中的描述，此处不再一一赘述。

第五方面，本申请实施例提供了一种训练设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第一方面所述的神经网络的训练方法。对于处理器执行第一方面的各个可能实现方式中训练设备执行的步骤，具体均可以参阅第一方面，此处不再赘述。

第六方面，本申请实施例提供了一种执行设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第二方面所述的图像处理网络执行的步骤。对于处理器执行第二方面的各个可能实现方式中图像处理网络执行的步骤，具体均可以参阅第二方面，此处不再赘述。

第七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面所述的神经网络的训练方法，或者，使得计算机执行上述第四方面所述的图像处理方法。

第八方面，本申请实施例提供了一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行上述第一方面所述的神经网络的训练方法，或者，所述处理电路配置为执行上述第四方面所述的图像处理方法。

第九方面，本申请实施例提供了一种计算机程序，当其在计算机上行驶时，使得计算机执行上述第一方面所述的神经网络的训练方法，或者，使得计算机执行上述第四方面所述的图像处理方法。

第十方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持训练设备或图像处理网络实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存服务器或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1为本申请实施例提供的人工智能主体框架的一种结构示意图；

图2为本申请实施例提供的图像处理系统的一种系统架构图；

图3为本申请实施例提供的神经网络的训练方法的一种流程示意图；

图4为本申请实施例提供的神经网络的训练方法中扰动操作的一种示意图；

图5为本申请实施例提供的神经网络的训练方法中可视化处理后的鲁棒表示和非鲁棒表示的一种示意图；

图6为本申请实施例提供的图像处理方法的一种流程示意图；

图7为本申请实施例提供的图像处理方法中图像处理网络的一个示意图；

图8为本申请实施例提供的图像处理方法的一种流程示意图；

图9为本申请实施例提供的神经网络的训练装置的一种结构示意图；

图10为本申请实施例提供的神经网络的训练装置的一种结构示意图；

图11为本申请实施例提供的神经网络的训练装置的一种结构示意图；

图12为本申请实施例提供的执行设备的一种结构示意图；

图13为本申请实施例提供的训练设备的一种结构示意图；

图14为本申请实施例提供的芯片的一种结构示意图。

具体实施方式

本申请实施例提供了一种用于图像处理的神经网络以及相关设备，训练后的第一特征提取网络和训练后的第二特征提取网络能够分别提取输入图像中的鲁棒表示和非鲁棒表示，既避免了两者混杂从而导致鲁棒性的降低，也能够同时保留输入图像中的鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

本申请的说明书和权利要求书及上述附图中的术语“第一”、第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。

(1)基础设施

基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片提供，作为示例，该智能芯片包括中央处理器(central processing unit，CPU)、神经网络处理器(neural-networkprocessing unit，NPU)、图形处理器(graphics processing unit，GPU)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程逻辑门阵列(fieldprogrammable gate array，FPGA)等硬件加速芯片；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。

(2)数据

基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。

(3)数据处理

数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。

其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。

推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。

决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。

(4)通用能力

对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。

(5)智能产品及行业应用

智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、平安城市等。

本申请实施例主要可以应用于上述各种应用领域中的图像处理的场景中，作为示例，例如在自动驾驶领域中，自动驾驶车辆上的传感器在采集到原始图像之后，会传输给自动驾驶车辆的处理器，自动驾驶车辆的处理器利用图像处理网络对传输过来的图像进行处理，若在原始图像的传输过程中，原始图像的像素值未受到扰动，则处理器处理的就是原始图像；若在原始图像的传输过程中，原始图像中的像素值受到扰动，则处理器就会处理到对抗图像，也即自动驾驶车辆的处理器处理的图像中可能会同时存在原始图像和对抗图像。作为另一示例，例如在手机、电脑、可穿戴设备等智能终端领域中，智能终端在采集到原始图像之后，若在对原始图像进行补光、添加滤镜等操作的过程中对原始图像的像素值造成了扰动，则智能终端通过神经网络处理的可能是扰动后的图像，也即在智能终端领域也有坑你会同时存在原始图像和对抗图像。其中，对抗图像与原始图像之间的区别通过人眼是察觉不出来的，但对抗图像会导致神经网络的精度大大降低。应当理解，此处举例仅为方便对本申请实施例的应用场景进行理解，不对本申请实施例的应用场景进行穷举。本申请实施例还可以应用于语音处理或文本处理的场景中，本申请实施例中仅以应用于图像处理的场景中为例，进行详细介绍。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

为了便于理解本方案，首先结合图2对本申请实施例提供的图像处理系统的系统架构进行介绍，请先参阅图2，图2为本申请实施例提供的图像处理系统的一种系统架构图。在图2中，图像处理系统200包括执行设备210、训练设备220、数据库230和数据存储系统250，执行设备210中包括计算模块211。

其中，在训练阶段，数据库230中存储有训练数据集合，训练数据集合中包括多个训练图像以及每个训练图像的标注分类，训练设备220生成用于图像的目标模型/规则201，并利用数据库中的训练数据集合对目标模型/规则201进行迭代训练，得到成熟的目标模型/规则201，该目标模型/规则201具体可以表现为图像处理网络。训练设备220得到的图像处理网络可以应用不同的系统或设备中。

在推理阶段，执行设备210可以调用数据存储系统250中的数据、代码等，也可以将数据、指令等存入数据存储系统250中。数据存储系统250可以置于执行设备210中，也可以为数据存储系统250相对执行设备210是外部存储器。

计算模块211可以通过图像处理网络对执行设备210采集到的图像进行处理，得到处理结果，处理结果的具体表现形式与图像处理网络的功能相关。

本申请的一些实施例中，例如图2中，“用户”可以直接与执行设备210进行交互，也即执行设备210与客户设备集成于同一设备中。但图2仅是本发明实施例提供的两种图像处理系统的架构示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。在本申请的另一些实施例中，执行设备210和客户设备可以为分别独立的设备，执行设备210配置有输入/输出接口，与客户设备进行数据交互，“用户”可以通过客户设备向输入/输出接口输入采集到的图像，执行设备210通过输入/输出接口将第一点的图像坐标返回给客户设备。

结合上述描述，本申请实施例提供了一种神经网络的训练方法和一种图像处理方法，分别应用于训练阶段和推理阶段，由于本申请实施例提供的图像处理系统中的训练阶段和推理阶段的具体实现方式有所不同，下面开始对本申请实施例的训练阶段和推理阶段的具体实现流程进行描述。

一、训练阶段

本申请实施例中，训练阶段指的是上述图2中训练设备220利用训练数据执行训练操作的过程。请参阅图3，图3为本申请实施例提供的神经网络的训练方法的一种流程示意图，本申请实施例提供的神经网络的训练方法可以包括：

301、训练设备获取原始图像和第三标注类别。

本申请实施例中，训练设备上配置有训练数据集，训练数据集中可以包括原始图像和与该原始图像对应的第三标注类别。其中，原始图像指的是未经过扰动处理的图像，或者也可以为直接采集到的图像。第三标注类别为与原始图像对应的正确分类，第三标注类别为对原始图像中一个或多个对象的正确分类，其中可以包括一个或多个分类类别，是用来做训练阶段的监督数据的。作为示例，例如一个图像中包括一个熊猫，则对应的第三标注类别为熊猫；作为另一示例，例如一个图像中包括一个熊猫和一个青蛙，则对应的第三标注类别为熊猫和青蛙，此处举例仅为方便理解本方案，不用于限定本方案。

扰动处理指的是在原始图像的基础，微微调整原始图像中的像素点的像素值，以得到经过扰动处理的图像，经过扰动处理的图像也可以称为对抗图像，对于人眼而言，通常是难以分辨对抗图像与原始图像之间的区别的。具体的，一次扰动处理过程中可以为调整原始图像中每个像素点的像素值，也可以为只原始图像中部分像素点的像素值。扰动具体可以表现为二维矩阵，该二维矩阵的大小与原始图像的大小一致。为更为直观的理解本方案，请参阅图4，图4为本申请实施例提供的神经网络的训练方法中扰动操作的一种示意图。其中，A1代表自然图像，A2代表扰动，A3代表对抗图像，将A1输入到图像分类网络中得到的分类类别为熊猫，将A3输入到图像分类网络中得到的分类类别为长臂猿，从而应理解，图4中的示例仅为方便理解扰动处理的概念，不用于限定本方案。

进一步地，上述扰动可以存在限制，对于扰动的限制可以通过如下公式进行展示：

S＝{δ：||_p≤ε}

其中，S代表对于扰动δ的限制，δ代表扰动，||δ||_p代表δ的p范数，也可以称为δ的模长，p可以为任何大于或等于1的整数，作为示例，例如p可以取2，或者p可以取无穷，ε为一个固定的预设值，作为示例，例如ε的取值可以为0.3、

或其他数值等，应理解，此次举例仅为进一步理解扰动这一概念，不用于限定本方案。

302、训练设备将原始图像输入第一特征提取网络，得到第一特征提取网络生成的第二鲁棒表示。

本申请实施例中，训练设备在得到原始图像之后，将原始图像输入第一特征提取网络中，可以得到第一特征提取网络生成的第二鲁棒表示(robust representation)。

其中，第一特征提取网络为卷积神经网络或者残差神经网络。作为示例，例如第一特征提取网络可以为宽残差神经网络34(Wide Residual Networks34，WRNS34)中用于进行特征提取的部分；作为另一示例，例如第一特征提取网络可以为预先激活残差神经网络18(Pre-activated Residual Networks18，PRNS18)中用于进行特征提取的部分，第一特征提取网络还可以表现为其他类型的卷积神经网络或残差神经网络等，此处不做限定。

鲁棒表示指的是在从图像提取的特征中对扰动不敏感的特征。从原始图像中提取出的鲁棒表示所对应的分类类别，与，从与该原始图像对应的扰动后图像中提取出的鲁棒表示所对应的分类类别一致。第二鲁棒表示中包括的是从原始图像提取出的特征中对扰动不敏感的特征。第二鲁棒表示具体可以表现为一维数据、二维数据、三维数据或更高维数据等等；第二鲁棒表示的长度可以为500、800、1000或其他长度等，具体此处均不做限定。

303、训练设备将原始图像输入第二特征提取网络，得到第二特征提取网络生成的第二非鲁棒表示。

本申请些实施例中，训练设备在得到原始图像之后，将原始图像输入第二特征提取网络，得到第二特征提取网络生成的第二非鲁棒表示(non-robust representation)。

其中，第二特征提取网络也可以为卷积神经网络或残差神经网络，第二特征提取网络与第一特征提取网络的功能类似，区别在于训练后的第二特征提取网络与训练后的第一特征提取网络的权重参数不同，从而通过第一特征提取网络提取到的是图像中的鲁棒表示，通过第二特征提取网络提取到的是图像中的非鲁棒表示。对于第二特征提取网络的具体表现形式的举例可以参阅上述对第一特征提取网络的举例中，此处不做赘述。本申请实施例中，提供了第一特征提取网络和第二特征提取网络的两种具体实现方式，提高了本方案的实现灵活性。

非鲁棒表示指的是从图像提取的特征中对扰动敏感的特征。从原始图像中提取出的非鲁棒表示所对应的分类类别，与，从与该原始图像对应的扰动后图像中提取出的非鲁棒表示所对应的分类类别不一致。第二非鲁棒表示中包括的是从原始图像提取的出的特征中对扰动敏感的特征，第二非鲁棒表示的具体表现形式和长度与第二鲁棒表示的相似，可参阅上述描述，此处不做赘述。

为了更直观的理解鲁棒表示和非鲁棒表示，请参阅图5，图5为本申请实施例提供的神经网络的训练方法中可视化处理后的鲁棒表示和非鲁棒表示的一种示意图。其中，B1和B2对应同一个原始图像(原始图像1)，B3和B4对应同一个原始图像(原始图像2)，原始图像1中的对象是一个松鼠，B1为对从原始图像1中提取出的鲁棒表示进行可视化处理后得到，B2为对从原始图像1中提取出的非鲁棒表示进行可视化处理后得到，通过人眼观看图5，B1中隐约有松鼠的形状，B1中还携带有松鼠的颜色(由于专利文件中不能存在色彩所以不能示出)，而人眼从B2中获得不到任何信息。原始图像2中的对象是一个船，B3为对从原始图像2中提取出的鲁棒表示进行可视化处理后得到，B4为对从原始图像2中提取出的非鲁棒表示进行可视化处理后得到，通过人眼观看图5，B3中隐约有船的形状，B3中还携带有船的颜色(由于专利文件中不能存在色彩所以不能示出)，而人眼从B4中获得不到任何信息。也即鲁棒表示中包括的特征信息与人眼利用的特征相似，相反，非鲁棒表示中包括的特征信息不能被人眼理解，对人眼来说非鲁棒表示是噪声。应理解，图5中的示例仅为方便理解鲁棒表示和非鲁棒表示的概念，不用于限定本方案。

需要说明的是，本申请实施例不限定步骤302和303的执行顺序，可以为先执行步骤302，再执行步骤303；也可以先执行步骤303，再执行步骤302；还可以同时执行步骤302和303。

304、训练设备将第二鲁棒表示和第二非鲁棒表示组合，得到组合后的第一表示。

本申请实施例中，在一种情况下，训练设备在得到第二鲁棒表示和第二非鲁棒表示之后，会将第二鲁棒表示和第二非鲁棒表示组合，得到组合后的第一表示。其中，组合的方式包括但不限于拼接(conact)、相加(add)、融合(fusion)和相乘等。

305、训练设备将组合后的第一表示输入分类网络，以通过分类网络根据组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别。

本申请实施例中，训练设备在得到组合后的第一表示之后，将组合后的第一表示输入分类网络，以通过分类网络根据组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别。步骤304和305的处理方式也可以称为通过标准路径生成第三分类类别。其中，分类网络中可以包括至少一个感知机，前述感知机包括至少两个神经网络层，具体可以为双层全连接感知机。第三分类类别指示原始图像中对象的类别。

306、训练设备将第二鲁棒表示输入分类网络，以通过分类网络根据第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别。

本申请实施例中，在另一种情况下，训练设备也可以将第二鲁棒表示与一个第一常数张量(比如全为0的向量)组合，得到组合后的第三表示，将组合后的第三表示输入分类网络中，以通过分类网络根据组合后的第三表示执行分类操作，得到分类网络输出的第四分类类别。具体的，由于组合后的第三表示中第一常数张量的部分不会发生变化，其中不包括自然图像的特征信息，从而分类网络可以利用组合后的第三表示中的第二鲁棒表示包括的特征信息，执行分类操作，输出第四分类类别，第四分类类别为自然图像中对象的分类类别。步骤306的处理方式也可以称为通过鲁棒路径生成第四分类类别。进一步地，由于步骤306与步骤305中使用的可以为同一个分类网络，为了使得组合后的第三表示与组合后的第一表示格式一致，所以将第二鲁棒表示与第一常数张量进行组合。若步骤306与步骤305中使用的是不同的分类网络，也可以直接将第二鲁棒表示输入至分类网络中。

其中，组合的具体实现方式可以参阅步骤304中的介绍，分类网络的具体表现形式可以参阅步骤305中的介绍，此处不做赘述。步骤306中可以与步骤305中使用同一个分类网络，也可以为分别使用不同的分类网络。组合后的第三表示的格式与组合后的第二表示的格式可以相同。第一常数张量指的是在多次训练中数值均保持不变的张量，具体可以表现为一维数据、二维数据、三维数据或更高维数据等等，一个第一常数张量中的所有常数的取值可以相同，也可不同。作为示例，例如一个第一常数张量中所有常数的取值可以均为0、1、2或其他数值等等，作为另一示例，例如一个第一常数张量中可以包括1、2、3、5、12、18等不同的数值等等，该第一常数张量的长度与第二非鲁棒表示的长度相同。第二鲁棒表示和第一常数张量的前后位置可以与第二鲁棒表示和第二非鲁棒表示的前后位置对应。若步骤304中第二鲁棒表示在前，第二非鲁棒表示在后，则步骤306中第二鲁棒表示在前，第一常数张量在后；若步骤304中第二鲁棒非表示在前，第二鲁棒表示在后，则步骤306中第一常数张量在前，第二鲁棒表示在后。

307、训练设备将第二非鲁棒表示输入分类网络，以通过分类网络根据第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别。

本申请实施例中，在又一种情况下，训练设备可以将第二非鲁棒表示与一个第二常数张量组合，得到组合后的第四表示，将组合后的第四表示输入分类网络，以通过分类网络根据组合后的第四表示执行分类操作，得到分类网络输出的第五分类类别。具体的，与步骤306类似，分类网络利用组合后第四表示中第二非鲁棒表示包括的特征信息，执行分类操作，输出第五分类类别，第五分类类别为自然图像中对象的分类类别。步骤307的处理方式也可以称为通过非鲁棒路径生成第五分类类别。

其中，组合的具体实现方式可以参阅步骤304中的介绍，分类网络的具体表现形式可以参阅步骤305中的介绍，此处不做赘述。步骤307中可以与步骤305和306中使用同一个分类网络，也可以为分别使用不同的分类网络。若步骤307与步骤305和306中使用同一个分类网络，为了保证分类网络在数据处理过程的一致性，需要将第二非鲁棒表示与第二常数张量组合，组合后的第四表示的格式与组合后的第一表示的格式需要保持一致。第二常数张量的含义和具体表现形式均可以参阅对第一常数张量的描述，第二常数张量可以与第一常数张量为相同的常数张量，也可以为不同的常数张量，此次不做限定。第二非鲁棒表示和第二常数张量的前后位置可以与第二鲁棒表示和第二非鲁棒表示的前后位置对应。若步骤304中第二鲁棒表示在前，第二非鲁棒表示在后，则步骤306中第二常数张量在前，第二非鲁棒表示在后；若步骤304中第二鲁棒非表示在前，第二鲁棒表示在后，则步骤306中第二非鲁棒表示在前，第二常数张量在后。

需要说明的是，本申请实施例不限定步骤304和305、步骤306以及步骤307之间的执行顺序，可以为先执行步骤304和305，再执行步骤306，再执行步骤307；也可以先执行步骤306，再执行步骤304和305，再执行步骤307；也可以先执行步骤306，再执行步骤307，再执行步骤304和305，也可以先执行步骤304和305，再执行步骤307，再执行步骤306等，步骤304和305、步骤306以及步骤307之间的先后顺序可以任意排列，此处不做穷举，此外，还可以同时执行步骤304和305、步骤306以及步骤307。

308、训练设备获取对抗图像和第一标注类别。

本申请实施例中，训练设备获取对抗图像和与该对抗图像对应的第一标注类别。其中，对抗图像为进行过扰动处理的图像，也可以称为扰动后图像，对于扰动的具体含义可以参阅步骤301中的描述，此处不做赘述。第一标注类别为与对抗图像对应的正确类别，为对对抗图像中一个或多个对象的正确分类，其中可以包括一个或多个分类类别，是用来做训练阶段的监督数据的。第一标注类别与上述第三标注类别的含义类似，区别在于第一标注类别是针对对抗图像的，第三标注类别是针对自然图像的，对于第三标注类别的例子可以参阅步骤301中对第一标注类别的举例，此次不做赘述。

具体的，训练设备可以在上述自然图像的基础上，进行扰动处理，得到对抗图像。在一种实现方式中，训练设备可以为在每次训练过程中，基于上述标准路径、鲁棒路径或非鲁棒路径的梯度获得前述扰动，进而得到扰动图像。在另一种实现方式中，训练设备也可以不依赖前述梯度获得前述扰动。而上述两种情况下对抗图像的生成方式有所不同，以下分别对前述两种实现方式进行描述。

(1)对抗图像是基于梯度生成的

进一步地，上述梯度可以分为标准路径的第一梯度、鲁棒路径的第二梯度和非鲁棒路径的第三梯度，以下分别进行介绍。

A、基于标准路径的第一梯度获得扰动

本实施例中，步骤308可以包括：训练设备根据第二损失函数的函数值，生成第一梯度，根据第一梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。其中，第二损失函数用于表示第三分类类别与第三标注类别之间的相似度，第二损失函数具体可以为交叉熵损失函数、最大间隔损失函数(max-margin loss)或其他类型的损失函数等，此次不做限定。本申请实施例中，根据第三分类类别与第三标注类别之间的相似度，生成第一梯度，并根据第一梯度对原始图像进行扰动，使得扰动处理更具有针对性，有利于加快第一特征提取网络和第二特征提取网络的训练过程，提高训练过程的效率。

具体的，在一种情况下，训练设备可以根据第三分类类别和第三标注类别，生成第二损失函数的函数值，并根据第二损失函数的函数值，生成第一梯度，将第一梯度带入到预设函数中，之后乘以预设系数，以得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。预设函数可以为sign函数、恒同变换(identity)函数或其他函数等；预设系数的取值可以为0.008、0.007、0.006、0.005或其他系数值等，具体预设函数的选择和预设系数的取值均可以结合实际应用环境确定，此处不做限定。

为进一步理解本方案，示出了生成扰动的一种表达式：

其中，J(θ，x，y)代表第二损失函数，θ代表第一特征提取网络和第二特征提取网络中各个神经网络层的权重构成的集合，x代表输入到第一特征提取网络和第二特征提取网络中的自然图像，y代表第三标注类别，

代表对第二损失函数求导，sign代表预设函数为sign函数，此处以预设系数的取值为0.007，应理解，此处对公式的举例仅为方便理解本方案，不用于限定本方案，预设函数和预设系数也可以进行替换。

在另一种情况下，训练设备还可以根据第三分类类别和第三标注类别，生成第二损失函数的函数值，并根据第二损失函数的函数值，生成第一梯度，将第一梯度与预设系数相乘，得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。

B、基于鲁棒路径的第二梯度获得扰动

本实施例中，步骤308可以包括：训练设备根据第三损失函数的函数值，生成第二梯度；根据第二梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。其中，第三损失函数用于表示第四分类类别与第三标注类别之间的相似度，第三损失函数的类型与第二损失函数的类型相似，此处不再举例。第二梯度与第一梯度的区别在于，第二梯度是对第三损失函数的函数值进行梯度求导得到的，第一梯度是对第二损失函数的函数值进行梯度求导得到的。进一步地，结合上述公式进行解释，在利用第一梯度生成扰动的情况下，上述公式中的J(θ，x，y)代表第二损失函数；在利用第二梯度生成扰动的情况下，上述公式中的J(θ，x，y)代表第三损失函数。本申请实施例中，根据分类网络根据第二鲁棒表示输出的第四分类类别与第三标注类别之间的相似度，对原始图像进行扰动，使得扰动处理与第一特征提取网络之间更具有针对性，有利于提高第一特征提取网络对鲁棒表示的特征提取能力。

具体的，在一种情况下，训练设备可以根据第四分类类别和第三标注类别，生成第三损失函数的函数值，并根据第三损失函数的函数值，生成第二梯度，将第二梯度带入到预设函数中，之后乘以预设系数，以得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。预设函数以及预设系数的具体实现方式可以参阅上述A种情况中的描述，此处不做赘述。在另一种情况下，训练设备还可以根据第四分类类别和第三标注类别，生成第三损失函数的函数值，并根据第二损失函数的函数值，生成第二梯度，将第二梯度与预设系数相乘，得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。

C、基于非鲁棒路径的第三梯度获得扰动

本实施例中，步骤308可以包括：训练设备根据第四损失函数的函数值，生成第三梯度；根据第三梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。其中，第四损失函数用于表示第五分类类别与第三标注类别之间的相似度，第四损失函数的类型与第二损失函数的类型相似，此处不再举例。第三梯度与第一梯度的区别在于，第三梯度是对第四损失函数的函数值进行梯度求导得到的，第一梯度是对第二损失函数的函数值进行梯度求导得到的。进一步地，结合上述公式进行解释，在利用第一梯度生成扰动的情况下，上述公式中的J(θ，x，y)代表第二损失函数；在利用第三梯度生成扰动的情况下，上述公式中的J(θ，x，y)代表第四损失函数。本申请实施例中，根据分类网络根据第二非鲁棒表示输出的第五分类类别与第三标注类别之间的相似度，对原始图像进行扰动，使得扰动处理与第二特征提取网络之间更具有针对性，有利于提高第一特征提取网络对非鲁棒表示的特征提取能力。

具体的，在一种情况下，训练设备可以根据第五分类类别和第三标注类别，生成第四损失函数的函数值，并根据第四损失函数的函数值，生成第三梯度，将第三梯度带入到预设函数中，之后乘以预设系数，以得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。预设函数以及预设系数的具体实现方式可以参阅上述A种情况中的描述，此处不做赘述。在另一种情况下，训练设备还可以根据第五分类类别和第三标注类别，生成第四损失函数的函数值，并根据第四损失函数的函数值，生成第三梯度，将第三梯度与预设系数相乘，得到扰动，再将得到的扰动与原始图像叠加，以生成对抗图像。

需要说明的是，本申请实施例中步骤301至307为可选步骤，但若对抗图像是基于上述标准路径、鲁棒路径或非鲁棒路径的梯度获得的，则步骤301至307为必选步骤，且步骤301至307的执行顺序在步骤308之前。

(2)对抗图像不依赖于梯度生成

本实施例中，训练设备上配置的训练数据集中可以预先配置有对抗图像和与该对抗图像对应的第一标注类别，步骤308可以包括：训练设备从训练数据集中获取对抗图像和与该对抗图像对应的第一标注类别。

进一步地，对于训练数据集中对抗图像的生成方式，训练设备在获取到自然图像之后，根据与自然图像对应的二维矩阵的大小，生成二维矩阵形式的扰动矩阵，扰动矩阵中每个参数的取值满足步骤301中的约束，前述扰动矩阵中每个参数的值可以为随机生成的，也可以为在步骤301的约束范围内按照从小到大的顺序生成扰动矩阵，也可以为在步骤301的约束范围内按照从大到小的顺序生成扰动矩阵，或者还可以按照其他规律来生成扰动矩阵等等，此处不做限定。

309、训练设备将对抗图像输入第一特征提取网络，得到第一特征提取网络生成的第一鲁棒表示。

本申请实施例中，训练设备在获取到对抗图像之后，将对抗图像输入第一特征提取网络，得到第一特征提取网络生成的第一鲁棒表示。其中，鲁棒表示的概念已在步骤302中进行了介绍，此处不做赘述。第一鲁棒表示与第二鲁棒表示的区别在于，第二鲁棒表示为是从原始图像中提取出的特征信息，第一鲁棒表示为从对抗图像中提取出的特征信息。

310、训练设备将对抗图像输入第二特征提取网络，得到第二特征提取网络生成的第一非鲁棒表示。

本申请实施例中，训练设备在获取到对抗图像之后，将对抗图像输入第二特征提取网络，得到第二特征提取网络生成的第一非鲁棒表示。其中，非鲁棒表示的概念已在步骤303中进行了介绍，此处不做赘述。第一非鲁棒表示与第二非鲁棒表示的区别在于，第二非鲁棒表示为是从原始图像中提取出的特征信息，第一非鲁棒表示为从对抗图像中提取出的特征信息。

需要说明的是，本申请实施例不限定步骤309和步骤310之间的执行顺序，可以先执行步骤309，再执行步骤310；也可以先执行步骤310，再执行步骤309；也可以同时执行步骤309和310。

311、训练设备将第一鲁棒表示和第一非鲁棒表示组合，得到组合后的第二表示。

本申请实施例中，训练设备在得到第一鲁棒表示和第一非鲁棒表示之后，将第一鲁棒表示和第一非鲁棒表示组合，得到组合后的第二表示。组合的方式可以参阅步骤304中的描述，此处不做赘述。

312、训练设备将组合后的第二表示输入分类网络，得到分类网络输出的第六分类类别。

本申请实施例中，训练设备在得到组合后的第二表示之后，将组合后的第二表示输入分类网络，得到分类网络输出的第六分类类别。其中，分类网络的具体表现形式可以参阅步骤305中的描述，步骤312中使用的分类网络与步骤305中使用的分类网络可以为同一个分类网络，也可以为不同的分类网络。第六分类类别的含义与第三分类类别的含义类似，区别在于，第六分类类别指示对抗图像中对象的类别。

313、训练设备判断第六分类类别与第一标注类别是否相同，若不相同，则进入步骤314，若相同，则进入步骤316。

本申请实施例中，训练设备在得到分类网络输出的第六分类类别之后，判断第六分类类别与第一标注类别是否相同，也即判断分类网络输出的第六分类类别是否为与对抗图像对应的正确分类类别。若不相同，则进入步骤314，若相同，则进入步骤316。

可选地，在第一六分类类别与第一标注类别不同的情况下，训练设备将第六分类类别确定为第二标注类别。其中，第二标注类别指的是与对抗图像对应的错误类别，为对抗图像中一个或多个对象的错误分类，其中可以包括一个或多个分类类别，也是用来做训练阶段的监督数据的。第二标注类别的含义与第一标注类别的含义类似，区别在于第二标注类别是与对抗图像对应的错误分类，第一标注类别是与对抗图像对应的正确分类。

本申请实施例中，提供了第二标注类别的一种获取方式，操作简单，且不需要增加额外步骤，节省了计算机资源。

314、训练设备将第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别。

本申请实施例中，训练设备将第一鲁棒表示输入到分类网络中，得到分类网络输出的第一分类类别。其中，分类网络的含义可以参阅上述步骤305中的描述，步骤314可以与步骤305中使用同一分类网络，也可以使用不同的分类网络。第一分类类别为对对抗图像中对象的分类类别。

315、训练设备将第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别。

本申请实施例中，训练设备将第一非鲁棒表示输入到分类网络中，得到分类网络输出的第二分类类别。其中，分类网络的含义可以参阅上述步骤305中的描述，步骤315可以与步骤305中使用同一分类网络，也可以使用不同的分类网络。第二分类类别为对对抗图像中对象的分类类别。

316、训练设备根据损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件。

本申请实施例中，训练设备可以根据损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件。具体的，训练设备根据损失函数的函数值，生成梯度值，并利用梯度值进行反向传播，以更新第一特征提取网络和第二特征提取网络的神经元权重，以实现对第一特征提取网络和第二特征提取网络的一次训练。

其中，收敛条件可以为满足损失函数的收敛条件，也可以为迭代次数满足预设次数等。损失函数用于指示分类类别与标注类别之间的相似度，分类类别与标注类别之间的相似度也可以理解为分类类别与标注类别之间的差别。由于步骤301至307以及步骤313均为可选步骤，且步骤301至步骤307中可以全部执行或不执行，也可以部分执行且部分不执行；若执行步骤313，则训练设备可以为通过步骤315进入步骤316，也可以为通过步骤313进入步骤316，而前述多种情况下损失函数的具体含义有所不总。以下对前述多种情况分别进行描述。

在一种情况下，若步骤301至307均不执行，且步骤313执行，为通过步骤315进入步骤316，也即在第六分类类别与第一标注类别不同的情况下，进入步骤316，则步骤316可以包括：训练设备根据第一损失函数，对第一特征提取网络和第二特征提取网络进行训练。其中，第一损失函数用于表示第一分类类别和第一标注类别之间的相似度，且用于表示第二分类类别和第二标注类别之间的相似度。第一损失函数具体可以表现为交叉熵损失函数、最大间隔损失函数或其他类型的损失函数等，此次不做限定。为更直观的体会第一损失函数，如下示出第一损失函数的一种表达式：

其中，L_AS(θ，x，y)代表第一损失函数，l(hr(x_adv；θ₁)，y₁)代表第一分类类别和第一标注类别之间的相似度，x_adv代表对抗图像，θ₁代表第一特征提取网络中的权重，y₁代表第一标注类别，

代表第二分类类别和第二标注类别之间的相似度，θ₂代表第二特征提取网络中的权重，

代表第二标注类别，应当理解，此次对于第一损失函数的举例仅为方便理解本方案，不用于限定本方案。

具体的，训练设备在通过步骤315和316得到第一分类类别和第二分类类别之后，生成第一损失函数的函数值，得到与第一损失函数的函数值对应的梯度值，利用与第一损失函数的函数值对应的梯度值进行反向传播，以更新第一特征提取网络和第二特征提取网络的神经元权重，从而完成了对第一特征提取网络和第二特征提取网络的一次训练。

在另一种情况下，若执行步骤301至303以及步骤304和305，不执行步骤306和307，且步骤313执行，为通过步骤315进入步骤316，则步骤316可以包括：训练设备根据第一损失函数和第二损失函数，对第一特征提取网络和第二特征提取网络进行训练。其中，第二损失函数用于表示第三分类类别与第三标注类别之间的相似度，第三标注类别为与原始图像对应的正确类别。本申请实施例中，在训练过程中，不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，以进一步提高训练后的第一特征提取网络和训练后的第二特征提取网络在处理自然图像过程的准确度。

具体的，训练设备在通过步骤301获取到第三标注类别，通过步骤305获取到第三分类类别之后，以及通过步骤315和316得到第一分类类别和第二分类类别之后，生成第一损失函数和第二损失函数的函数值。训练设备可以根据第一损失函数的函数值和第二损失函数的函数值，生成总函数值，并列用总函数值对第一特征提取网络和第二特征提取网络执行一次训练；具体的，训练设备可以直接将第一损失函数的函数值和第二损失函数的函数值相加，以得到总函数值，或者，训练设备可以为第一损失函数的函数值和第二损失函数的函数值分别分配不同的权重之后相加，以得到总函数值。利用函数值完成一次训练的具体步骤在可参阅上述描述，此处不做赘述。

在另一种情况下，若执行步骤301至303以及步骤306，不执行步骤304、305和307，且步骤313执行，为通过步骤315进入步骤316，则步骤316可以包括：训练设备根据第一损失函数和第三损失函数，对第一特征提取网络和第二特征提取网络进行训练。其中，第三损失函数用于表示第四分类类别与第三标注类别之间的相似度，第三标注类别为与原始图像对应的正确类别。本申请实施例中，不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像训练第一特征提取网络对鲁棒表示的提取能力，以进一步提高训练后第一特征提取网络的准确率。

具体的，训练设备在通过步骤301获取到第三标注类别，通过步骤306获取到第四分类类别之后，以及通过步骤315和316得到第一分类类别和第二分类类别之后，生成第一损失函数和第三损失函数的函数值。训练设备利用第一损失函数和第三损失函数的函数值，对第一特征提取网络和第二特征提取网络完成一次训练，具体实现方式可以参阅对利用第一损失函数和第二损失函数的函数值进行训练的描述，此处不做赘述。

在另一种情况下，若执行步骤301至303以及步骤307，不执行步骤304至306，且步骤313执行，为通过步骤315进入步骤316，则步骤316可以包括：训练设备根据第一损失函数和第四损失函数，对第一特征提取网络和第二特征提取网络进行训练。其中，第四损失函数用于表示第五分类类别与第三标注类别之间的相似度，第三标注类别为与原始图像对应的正确类别。本申请实施例中，不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像训练第二特征提取网络对非鲁棒表示的提取能力，以进一步提高训练后第二特征提取网络的准确率。

具体的，训练设备在通过步骤301获取到第四标注类别，通过步骤306获取到第五分类类别之后，以及通过步骤315和316得到第一分类类别和第二分类类别之后，生成第一损失函数和第四损失函数的函数值。训练设备利用第一损失函数和第四损失函数的函数值，对第一特征提取网络和第二特征提取网络完成一次训练，具体实现方式可以参阅对利用第一损失函数和第二损失函数的函数值进行训练的描述，此处不做赘述。

在另一种情况下，若执行步骤301至306，不执行步骤307，且步骤313执行，为通过步骤315进入步骤316，则步骤316可以包括：训练设备根据第一损失函数、第二损失函数和第三损失函数，对第一特征提取网络和第二特征提取网络进行训练。具体的，训练设备在生成第一损失函数的函数值、第二损失函数的函数值和第三损失函数的函数值之后，可以根据第一损失函数、第二损失函数和第三损失函数的函数值，生成总的函数值，进而利用总的函数值，对第一特征提取网络和第二特征提取网络进行训练。具体实现方式可以参阅对根据第一损失函数和第二损失函数的函数值进行训练的描述，此处不做赘述。

在另一种情况下，若执行步骤301至305以及步骤307，不执行步骤306，且步骤313执行，为通过步骤315进入步骤316，则步骤316可以包括：训练设备根据第一损失函数、第二损失函数和第四损失函数，对第一特征提取网络和第二特征提取网络进行训练。具体实现方式可以参阅上述描述，此处不做赘述。

在另一种情况下，若执行步骤301至303以及步骤306和307，不执行步骤304和305，且步骤313执行，为通过步骤315进入步骤316，则步骤316可以包括：训练设备根据第一损失函数、第三损失函数和第四损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件。具体实现方式可以参阅上述描述，此处不做赘述。

在另一种情况下，若执行步骤301至307，且步骤313执行，为通过步骤315进入步骤316，则步骤316可以包括：训练设备根据第一损失函数和第五损失函数，对第一特征提取网络和第二特征提取网络进行训练。其中，第五损失函数用于表示第四分类类别与第三标注类别之间的相似度，且用于表示第五分类类别与第三标注类别之间的相似度，且用于表示第六分类类别与第三标注类别之间的相似度，第三标注类别为与原始图像对应的正确类别。第五损失函数具体可以表现为交叉熵损失函数、最大间隔损失函数或其他类型的损失函数等，此次不做限定。为更直观的体会第五损失函数，如下示出第五损失函数的一种表达式：

L_total(θ，x，y)＝L_AS(θ，x，y)+L_ST(θ，x，y)；

L_ST(θ，x，y)＝l(h_s(x；θ₃)，y₂)+l(h_r(x；θ₁)，y₂)+l(h_n(x；θ₂)，y₂)；

其中，L_total(θ，x，y)代表总损失函数，L_AS(θ，x，y)代表第一损失函数，具体含义可以参阅上述描述，此处不做赘述，L_ST(θ，x，y)代表第五损失函数，l(h_s(x；θ₃)，y₂)代表第四分类类别与第三标注类别之间的相似度，x代表原始图像，θ₃代表第一特征提取网络和第二特征提取网络的权重，y₂代表第三标注类别，l(h_r(x；θ₁)，y₂)代表第五分类类别与第三标注类别之间的相似度，l(h_n(x；θ₂)，y₂)代表第六分类类别与第三标注类别之间的相似度，对于上述公式中其他字母的函数可以参阅上述对第一损失函数的描述中，应当理解，此次对于第五损失函数的举例仅为方便理解本方案，不用于限定本方案。

本申请实施例中，在提高第一特征提取网络和第二特征提取网络对对抗图像的处理能力的同时，也提高第一特征提取网络和第二特征提取网络对自然图像的处理能力，也即无论是自然图像还是对抗图像，训练后的第一特征提取网络和第二特征提取网络均能准确的提取出鲁棒表示和非鲁棒表示，扩展了本方案的应用场景。

在另一种情况下，若步骤301至307均不执行，且为通过步骤313进入步骤316，则训练设备不再根据损失函数，对第一特征提取网络和第二特征提取网络进行训练，而是重新进入步骤308，以获取新的对抗图像和新的第一标注类别，也即进入新一次的训练过程中。

在另一种情况下，若执行步骤301至303以及步骤304和305，不执行步骤306和307，且为通过步骤313进入步骤316，则步骤316可以包括：训练设备根据第二损失函数，对第一特征提取网络和第二特征提取网络进行训练。

在另一种情况下，若执行步骤301至303以及步骤306，不执行步骤304、305和307，且为通过步骤313进入步骤316，则步骤316可以包括：训练设备根据第三损失函数，对第一特征提取网络进行训练。

在另一种情况下，若执行步骤301至303以及步骤307，不执行步骤304至306，且为通过步骤313进入步骤316，则步骤316可以包括：训练设备根据第四损失函数，对第二特征提取网络进行训练。

在另一种情况下，若执行步骤301至306，不执行步骤307，且为通过步骤313进入步骤316，则步骤316可以包括：训练设备根据第二损失函数和第三损失函数，对第一特征提取网络和第二特征提取网络进行训练。

在另一种情况下，若执行步骤301至305以及步骤307，不执行步骤306，且为通过步骤313进入步骤316，则步骤316可以包括：训练设备根据第二损失函数和第四损失函数，对第一特征提取网络和第二特征提取网络进行训练。

在另一种情况下，若执行步骤301至303以及步骤306和307，不执行步骤304和305，且为通过步骤313进入步骤316，则步骤316可以包括：训练设备根据第三损失函数和第四损失函数，对第一特征提取网络和第二特征提取网络进行训练。

在另一种情况下，若步骤301至307均执行，且为通过步骤313进入步骤316，则步骤316可以包括：训练设备根据第五损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练。

在另一种情况下，若不执行步骤313，则步骤316的具体实现方式可以参阅上述执行步骤313，且通过步骤315进入步骤316的各种情况中的描述，此处不做赘述。

本申请实施例中，若第六分类类别与第一标注类别相同，则证明该扰动后图像的扰动过于轻微，则对于第一特征提取网络和第二特征提取网络而言，处理方式与对自然图像的处理方式相差不大，而此处训练的目的是增强第一特征提取网络和第二特征提取网络从扰动较大的图像中分离鲁棒表示和非鲁棒表示的能力，仅在第六分类类别与第一标注类别不同的情况下，才做后续的训练操作，以提高训练过程的效率。

317、训练设备输出训练后的第一特征提取网络和训练后的第二特征提取网络。

本申请实施例中，训练设备在确定满足收敛条件之后，会输出训练后的第一特征提取网络和训练后的第二特征提取网络，训练后的第一特征提取网络和训练后的第二特征提取网络可以作为各种图像处理网络的特征提取部分，也即训练后的第一特征提取网络和训练后的第二特征提取网络可以与高层的特征处理网络组合，以实现各种功能。作为一种示例，前述各种功能可以包括以下中的一项或多项：图像分类、图像识别、图像分割或图像检测。作为另一示例，前述功能也可以为进行图像类别判断，例如判断图像为自然图像还是对抗图像。

本申请实施例中，技术人员在研究过程中发现，通过对抗训练使得神经网络只从输入图像中提取的鲁棒表示，而舍弃了非鲁棒表示，导致神经网络处理原始图像时准确率的下降，而本申请实施例中，训练后的第一特征提取网络和训练后的第二特征提取网络能够分别提取输入图像中的鲁棒表示和非鲁棒表示，既避免了两者混杂从而导致鲁棒性的降低，也能够同时保留输入图像中的鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

二、推理阶段

本申请实施例中，推理阶段指的是上述执行设备210利用训练后的图像处理网络对输入的图像进行处理的过程。由于通过图3对应的各个实施例中得到的为训练后的第一特征提取网络和训练后的第二特征提取网络，而训练后的第一特征提取网络和训练后的第二特征提取网络，与，各种高层的特征处理网络层组合，可以实现各种不同的功能，具体实现功能在步骤317中已经进行了介绍，以下分别对步骤317中的两大类图像处理网络进行介绍。

首先介绍的是处理目标为图像中的对象的图像处理网络，也即上述：图像分类、图像识别、图像分割或图像检测等。请参阅图6，图6为本申请实施例提供的图像处理方法的一种流程示意图，本申请实施例提供的图像处理方法可以包括：

601、执行设备获取第一图像。

本申请实施例中，执行设备可以为实时采集第一图像，也可以为从执行设备存储的图库中获取第一图像，还可以为通过无线或有线网络下载得第一图像。其中，第一图像可以为原始图像，也可以为对抗图像。由于执行设备可以具体表现为手机、电脑、可穿戴设备、自动驾驶车辆、智能家电或芯片等，不同形态的执行设备获取第一图像的方式可以不同。作为示例，例如执行设备为手机，则执行设备可以通过手机上的摄像头采集获取第一图像，也可以为利用浏览器下载获得第一图像。作为另一示例，例如执行设备为自动驾驶车辆，自动驾驶车辆可以通过传感器采集获得第一图像等等，具体执行设备获取第一图像的方式可以结合实际应用场景和应用产品确定，此处不做赘述。

602、执行设备将第一图像输入第一特征提取网络，得到第一特征提取网络生成的第三鲁棒表示。

本申请实施例中，执行设备在获取到第一图像之后，将第一图像输入到第一特征提取网络中，使得第一特征提取网络根据输入的第一图像，生成与第一图像对应的第三鲁棒表示。其中，第一特征提取网络的具体表现形式和鲁棒表示的含义可以参阅图3对应实施例中的描述，此处不再赘述。

603、执行设备将第一图像输入第二特征提取网络，得到第一特征提取网络生成的第三非鲁棒表示。

本申请实施例中，执行设备在获取到第一图像之后，将第一图像输入到第二特征提取网络中，使得第二特征提取网络根据输入的第一图像，生成与第一图像对应的第三非鲁棒表示。其中，第二特征提取网络的具体表现形式和非鲁棒表示的含义可以参阅图3对应实施例中的描述，此处不再赘述。

604、在第一情况下，执行设备将第三鲁棒表示和第三非鲁棒表示组合，得到组合后的第四表示。

本申请实施例中，在第一情况下，执行设备将第三鲁棒表示和第三非鲁棒表示组合，得到组合后的第四表示。组合的方式以及步骤604的具体实现方式可以参阅图3对应实施例中步骤304中的描述，第一情况指的可以为在对图像处理网络输出结果的准确率要求高的情况，具体情况可以结合实际应用场景确定，此处不做限定。

605、执行设备通过特征处理网络，根据组合后的第四表示，输出与第一图像对应的第一处理结果。

本申请实施例中，执行设备在得到组合后的第四表示之后，将组合后的第四表示输入特征处理网络中，以使特征处理网络根据组合后的第四表示，输出与第一图像对应的第一处理结果。其中，特征处理网络的具体实现方式以及第一处理结果的具体表现方式均与整个图像处理网络的功能有关。作为示例，例如图像处理网络的功能是图像分类，则特征处理网络可以为分类网络，第一处理结果用于指示整个图像的分类类别；进一步地，分类网络具体可以表现为一个包括至少一个感知机的神经网络，前述感知机可以为双层全连接感知机。作为另一示例，例如图像处理网络的功能是图像识别，则特征处理网络可以为识别网络，第一处理结果用于指示从图像中识别出的内容，例如图像中的文字内容等。作为再一示例，例如图像处理网络的功能是图像分割，则特征处理网络可以包括分类网络，该分类网络用于生成图像中每个像素点的分类类别，进而利用图像中每个像素点的分类类别对图像进行分割，第一处理结果为分割后的图像。作为再一示例，例如图像处理网络的功能是图像检测，第一处理结果具体可以表现为检测结果，检测结果指示第一图像中包括哪些对象，也即可以指示第一图像中包括的至少一个对象的对象类型，可选地，检测结果还可以包括前述至少一个对象中每个对象的位置信息等，具体可以结合实际产品需求确定，此处不做穷举。本申请实施例中，提供了图像处理网络的多种具体实现方式，扩展了本方案的应用场景，提高了本方案的实现灵活性。

具体的，若特征处理网络为分类网络，则执行设备上的分类网络可以根据组合后的第四表示执行分类操作，输出与第一图像对应的分类类别。若特征处理网络为识别网络，则执行设备上的识别网络可以根据组合后的第四表示执行识别操作，输出与第一图像对应的识别结果等。此处不对所有的应用场景进行穷举。

606、在第二情况下，执行设备通过特征处理网络，根据第三鲁棒表示，输出与第一图像对应的第一处理结果。

本申请实施例中，在第二种情况下，执行设备还可以将第三鲁棒表示输入到特征提取网络中，以使特征提取网络根据第三鲁棒表示，输出与第一图像对应的第一处理结果。具体实现方式可以参阅图3对应实施例中步骤306中的描述。其中，第一情况和第二情况为不同的情况，第二情况指的可以为对图像处理网络输出结果的鲁棒性要求高的情况下，或者，第二情况指的是图像处理网络处于高风险的状态，也即输入的图像为扰动后图像的概率很高的情况下等，具体情况可以结合实际应用场景确定，此处不做限定。

具体的，若特征处理网络为分类网络，则执行设备上的分类网络可以根据第三鲁棒表示执行分类操作，输出与第一图像对应的分类类别。若特征处理网络为识别网络，则执行设备上的识别网络可以根据第三鲁棒表示执行识别操作，输出与第一图像对应的识别结果等。此处不对所有的应用场景进行穷举。

本申请实施例中，图像处理网络中同时包括鲁棒路径和标准路径，用户可以根据实际情况灵活选择使用哪一条路径，扩展了本方案的应用场景，提高了本方案的实现灵活性。

607、在第三情况下，执行设备通过特征处理网络，根据第三非鲁棒表示，输出与第一图像对应的第一处理结果。

本申请的一些实施例中，在第三情况下，执行设备还可以将第三非鲁棒表示输入到特征提取网络中，以使特征提取网络根据第三非鲁棒表示，输出与第一图像对应的第一处理结果，其中，第三情况不同于第一情况和第二情况。具体实现方式可以参阅图3对应实施例中步骤307中的描述。

具体的，若特征处理网络为分类网络，则执行设备上的分类网络可以根据第三非鲁棒表示执行分类操作，输出与第一图像对应的分类类别。若特征处理网络为识别网络，则执行设备上的识别网络可以根据第三非鲁棒表示执行识别操作，输出与第一图像对应的识别结果等。此处不对所有的应用场景进行穷举。本申请实施例中，将提供的图像处理方法落到图像分类这一具体应用场景中，提高了与应用场景的结合程度。

需要说明的是，步骤607为可选步骤，若不执行步骤607，则在执行完步骤605或者在执行完步骤606后可以执行结束。此外，上述实施例中展示的步骤605、步骤606和步骤607为一种并列的关系，在一些实施例中，步骤605、步骤606和步骤607也可以同时执行，作为示例，例如步骤605和606可以均被执行，或者步骤605和607可以均被执行，或者步骤606和607可以均被执行，或者步骤605至607均被执行等，具体哪些步骤被执行可以结合具体应用场景来确定，此处不做限定。

为进一步理解本方案，请参阅图7，图7为本申请实施例提供的图像处理方法中图像处理网络的一个示意图。图7中以图像处理网络为图像分类网络为例，图像处理网络中包括第一特征提取网络、第二特征提取网络和分类网络。将第一图像分别输入到第一特征提取网络和第二特征提取网络中，得到第一特征提取网络生成的鲁棒表示，和第二特征提取网络生成的非鲁棒表示。图7的分类网络中包括三种途径，分别为鲁棒路径、标准路径和非鲁棒路径。其中，鲁棒路径指的是分类网络根据鲁棒表示进行分类操作；标准路径指的是将鲁棒表示和非鲁棒表示组合，分类网络根据组合后的表示进行分类操作；非鲁棒路径指的是分类网络根据非鲁棒表示进行分类操作。图7示出的中鲁棒路径、标准路径以及非鲁棒路径所使用的为同一个分类网络，应理解，图7中的示例仅为方便理解本方案，在其他实现方式中，鲁棒路径、标准路径以及非鲁棒路径所使用的可以为三个不同的分类网络。

其次介绍的是处理目标为图像的图像处理网络，也即通过图像处理网络来确定输入的是自然图像还是对抗图像。

请参阅图8，图8为本申请实施例提供的图像处理方法的一种流程示意图，本申请实施例提供的图像处理方法可以包括：

801、执行设备获取第一图像。

802、执行设备将第一图像输入第一特征提取网络，得到第一特征提取网络生成的第三鲁棒表示。

803、执行设备将第一图像输入第二特征提取网络，得到第一特征提取网络生成的第三非鲁棒表示。

本申请实施例中，步骤801至803的具体实现方式可以参阅图6对应实施例中步骤601至603中的描述，此处不做赘述。

804、执行设备通过特征处理网络，根据第三鲁棒表示和第三非鲁棒表示，输出与第一图像对应的第一处理结果，第一处理结果指示第一图像为原始图像，或者，第一处理结果指示第一图像为扰动后的图像。

本申请实施例中，执行设备在获取到第三鲁棒表示和第三非鲁棒表示之后，可以通过特征处理网络，根据第三鲁棒表示和第三非鲁棒表示，输出该第一处理结果。其中，特征处理网络中可以包括至少一个感知机，感知机的含义可以参阅图3对应实施例中对步骤305的描述。

具体的，在一种实现方式中，步骤804可以包括：执行设备在获取到第三鲁棒表示和第三非鲁棒表示之后，将第三鲁棒表示和第三非鲁棒输入到特征处理网络中，以通过特征处理网络，根据鲁棒表示确定与第一图像对应的第七分类类别，根据非鲁棒表示确定与第一图像对应的第八分类类别。更具体的，在一种情况下，特征处理网络中可以包括一个分类网络，执行设备利用特征处理网络中的一个分类网络顺序执行两次分类操作，分别得到第七分类类别和第八分类类别。在另一种情况下，特征处理网络中可以包括两个分类网络，执行设备利用特征处理网络中的两个分类网络并行执行两次分类操作，分别得到第七分类类别和第八分类类别。

进而执行设备通过特征处理网络判断第七分类类别和第八分类类别是否一致，在第七分类类别与第八分类类别一致的情况下，特征处理网络输出的第一处理结果指示第一图像为原始图像；在第七分类类别与第八分类类别不一致的情况下，特征处理网络输出的第一处理结果指示第一图像为扰动后的图像。其中，第一处理结果具体可以表现为文本形式，作为示例，例如第一处理结果具体表现为“自然图像”或者“对抗图像”。第一处理结果也可以表现为字符形式。作为示例，例如第一处理结果具体表现为“0 0.3 1 0.7”，前述字符中0可以指代自然图像，1可以指代对抗图像，也即有0.3的概率为自然图像，有0.7的概率为对抗图像，从而第一处理结果指示第一图像为对抗图像。作为另一示例，例如第一处理结果具体表现为“0.3 0.7”，0.3指示第一图像为自然图像的概率，0.7指示第一图像为对抗图像的概率等，从而第一处理结果指示第一图像为对抗图像。应理解，此处对第一处理结果的举例仅为方便理解本方案，不用于限定本方案。

本申请实施例中，通过判断第七分类类别和第八分类类别是否一致，来确定第一图像为原始图像还是对抗图像，方法简单，可操作性强。

在另一种情况下，步骤804可以包括：将第三鲁棒表示和第三非鲁棒表示组合，并根据组合后的第五表示执行检测操作，以输出与第一图像对应的检测结果，检测结果为一种第一处理结果。其中，组合的方式以及组合后的第五表示的具体表现方式均可以参阅图3对应实施例中的描述。检测网络中可以包括至少一个感知机，感知机的含义可以参阅图3对应实施例中对步骤305的描述。检测结果的具体表现形式可以参阅上种情况中对第一处理结果的描述，此处均不做赘述

本申请实施例中，提供了确定第一图像为原始图像还是对抗图像的另一种实现方式，增强了本方案的实现灵活性。

本申请实施例中，不仅可以利用第一特征提取网络和第二提取网络提取到的特征信息，得到与图像中对象对应的处理结果，还可以得到与图像整体对应的处理结果，也即用于判断图像为原始图像还是扰动后的图像，扩展了本方案的应用场景。

本申请实施例中，技术人员在研究过程中发现，只提取鲁棒表示，而舍弃了非鲁棒表示，导致神经网络处理原始图像时准确率的下降，而本申请实施例中，分别通过第一特征提取网络和第二特征提取网络提取输入图像中的鲁棒表示和非鲁棒表示，既避免了两者混杂从而导致鲁棒性的降低，也能够同时保留输入图像中的鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

为了对本申请实施例所带来的有益效果有更为直观的认识，结合如下表格中的数据对本申请实施例所带来的有益效果作进一步的介绍。

表1

	S	R	N
				对抗训练	89.0	89.0	10.0
迭代优化	86.8	79.9	81.9
				本申请实施例	94.8	91.8	93.8

表1中以第一特征提取网络和第二特征提取网络均为WRNS34中的特征提取部分为例，其中，S指的是标准数据集，其中可以包括自然图像和对抗图像；R指的是对抗数据集，其中只包括对抗图像；N指的是自然数据集，其中只包括自然图像。对抗训练(adversarialtraining，AT)和迭代优化是目前的两种训练方式，通过表1示出的数据可以看出，在对S、R和N这三种数据集中的图像进行处理时，通过本申请实施例提供的训练方法得到的准确率均为最高的，也即本申请实施例提供了一种能够同时提升鲁棒性和准确率的训练方案。

此外，我们还在自然样本和对抗样本的比例为一比一的数据集中进行试验，也即通过图8对应的图像处理网络预测输入的图像是自然图像还是对抗图像，并通过利用迭代优化的方式训练得到的图像处理网络预测输入图像是自然图像还是对抗图像，结果如下：

表2

	迭代优化	本申请实施例
			检测精度	4.9	64.8

表2中以第一特征提取网络和第二特征提取网络均为WRNS34中的特征提取部分为例，检测精度(detection accuracy)指的是预测结果与实际情况相符的图像占总输入图像的比例，很明显，通过本申请实施例提供的训练方法得到的图像处理网络的。

在图1至图8所对应的实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图9，图9为本申请实施例提供的神经网络的训练装置的一种结构示意图。神经网络的训练装置900可以包括输入模块901和训练模块902。其中，输入模块901，用于将对抗图像分别输入第一特征提取网络和第二特征提取网络，得到第一特征提取网络生成的第一鲁棒表示和第二特征提取网络生成的第一非鲁棒表示，其中，对抗图像为对原始图像进行过扰动处理的图像，鲁棒表示指的是对扰动不敏感的特征，非鲁棒表示指的是对扰动敏感的特征。输入模块901，还用于将第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别。训练模块902，用于根据第一损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，输出训练后的第一特征提取网络和训练后的第二特征提取网络。其中，第一损失函数用于表示第一类别和第一标注类别之间的相似度，且用于表示第二分类类别和第二标注类别之间的相似度，第一标注类别为与对抗图像对应的正确类别，第二标注类别为与对抗图像对应的错误类别。

本申请实施例中，技术人员在研究过程中发现，通过对抗训练使得神经网络只从输入图像中提取的鲁棒表示，而舍弃了非鲁棒表示，导致神经网络处理原始图像时准确率的下降，而本申请实施例中，分别通过第一特征提取网络和第二特征提取网络提取输入图像中的鲁棒表示和非鲁棒表示，既避免了两者混杂从而导致鲁棒性的降低，也能够同时保留输入图像中的鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

在一种可能的设计中，请参阅图10，图10为本申请实施例提供的神经网络的训练装置的一种结构示意图，输入模块901，还用于将原始图像分别输入第一特征提取网络和第二特征提取网络，得到第一特征提取网络生成的第二鲁棒表示和第二特征提取网络生成的第二非鲁棒表示。装置900还包括：组合模块903，用于将第二鲁棒表示和第二非鲁棒表示组合，得到组合后的第一表示。输入模块901，还用于将组合后的第一表示输入分类网络，以通过分类网络根据组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别。训练模块902，具体用于根据第一损失函数和第二损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，其中，第二损失函数用于表示第三分类类别与第三标注类别之间的相似度，第三标注类别为与原始图像对应的正确类别。

本申请实施例中，在训练过程中，训练模块902不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，以进一步提高训练后的第一特征提取网络和训练后的第二特征提取网络在处理自然图像过程的准确度。

在一种可能的设计中，输入模块901，还用于将原始图像输入第一特征提取网络，得到第一特征提取网络生成的第二鲁棒表示。输入模块901，还用于将第二鲁棒表示输入分类网络，以通过分类网络根据第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别。训练模块902，具体用于根据第一损失函数和第三损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，其中，第三损失函数用于表示第四分类类别与第三标注类别之间的相似度，第三标注类别为与原始图像对应的正确类别。

本申请实施例中，训练模块902不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像训练第一特征提取网络对鲁棒表示的提取能力，以进一步提高训练后第一特征提取网络的准确率。

在一种可能的设计中，输入模块901，还用于将原始图像输入第二特征提取网络，得到第二特征提取网络生成的第二非鲁棒表示。输入模块901，还用于将第二非鲁棒表示输入分类网络，以通过分类网络根据第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别。训练模块902，具体用于根据第一损失函数和第四损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，其中，第四损失函数用于表示第五分类类别与第三标注类别之间的相似度，第三标注类别为与原始图像对应的正确类别。

本申请实施例中，训练模块902不仅利用对抗图像来训练第一特征提取网络和第二特征提取网络的特征提取能力，而且利用自然图像训练第二特征提取网络对非鲁棒表示的提取能力，以进一步提高训练后第二特征提取网络的准确率。

在一种可能的设计中，输入模块901，还用于将原始图像分别输入第一特征提取网络和第二特征提取网络，得到第一特征提取网络生成的第二鲁棒表示和第二特征提取网络生成的第二非鲁棒表示。输入模块901，还用于将第二鲁棒表示和第二鲁棒表示组合，得到组合后的第一表示，将组合后的第一表示输入分类网络，以通过分类网络根据组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别。输入模块901，还用于将第二鲁棒表示输入分类网络，以通过分类网络根据第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别。输入模块901，还用于将第二非鲁棒表示输入分类网络，以通过分类网络根据第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别。训练模块902，具体用于根据第一损失函数和第五损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，其中，第五损失函数用于表示第四分类类别与第三标注类别之间的相似度，且用于表示第五分类类别与第三标注类别之间的相似度，且用于表示第六分类类别与第三标注类别之间的相似度，第三标注类别为与原始图像对应的正确类别。

本申请实施例中，在提高第一特征提取网络和第二特征提取网络对对抗图像的处理能力的同时，也提高第一特征提取网络和第二特征提取网络对自然图像的处理能力，也即无论是自然图像还是对抗图像，训练后的第一特征提取网络和第二特征提取网络均能准确的提取出鲁棒表示和非鲁棒表示，扩展了本方案的应用场景。

在一种可能的设计中，请参阅图10，装置还包括生成模块904，具体用于：根据第二损失函数的函数值，生成第一梯度；根据第一梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。

本申请实施例中，生成模块904根据第三分类类别与第三标注类别之间的相似度，生成第一梯度，并根据第一梯度对原始图像进行扰动，使得扰动处理更具有针对性，有利于加快第一特征提取网络和第二特征提取网络的训练过程，提高训练过程的效率。

在一种可能的设计中，请参阅图10，装置还包括生成模块904，具体用于：根据第三损失函数的函数值，生成第二梯度；根据第二梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。

本申请实施例中，生成模块904根据分类网络根据第二鲁棒表示输出的第四分类类别与第三标注类别之间的相似度，对原始图像进行扰动，使得扰动处理与第一特征提取网络之间更具有针对性，有利于提高第一特征提取网络对鲁棒表示的特征提取能力。

在一种可能的设计中，请参阅图10，装置还包括生成模块904，具体用于：根据第四损失函数的函数值，生成第三梯度；根据第三梯度对原始图像进行扰动处理，以生成对抗图像，将第三标注类别确定为第一标注类别。

本申请实施例中，生成模块904根据分类网络根据第二非鲁棒表示输出的第五分类类别与第三标注类别之间的相似度，对原始图像进行扰动，使得扰动处理与第二特征提取网络之间更具有针对性，有利于提高第一特征提取网络对非鲁棒表示的特征提取能力。

在一种可能的设计中，请参阅图10，装置900还包括：组合模块903，用于将第一鲁棒表示和第一非鲁棒表示组合，得到组合后的第二表示。输入模块901，还用于将组合后的第二表示输入分类网络，得到分类网络输出的第六分类类别。输入模块901，具体用于在第六分类类别与第一标注类别不同的情况下，将第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别。

本申请实施例中，若第六分类类别与第一标注类别相同，则证明该扰动后图像的扰动过于轻微，则对于第一特征提取网络和第二特征提取网络而言，处理方式与对自然图像的处理方式相差不大，而此处训练的目的是增强第一特征提取网络和第二特征提取网络从扰动较大的图像中分离鲁棒表示和非鲁棒表示的能力，仅在第六分类类别与第一标注类别不同的情况下，才做后续的训练操作，以提高训练过程的效率。

在一种可能的设计中，请参阅图10，装置900还包括：确定模块905，用于在第六分类类别与第一标注类别不同的情况下，将第六分类类别确定为第二标注类别。本申请实施例中，提供了第二标注类别的一种获取方式，操作简单，且不需要增加额外步骤，节省了计算机资源。

在一种可能的设计中，第一特征提取网络为卷积神经网络或者残差神经网络，第二特征提取网络为卷积神经网络或残差神经网络。本申请实施例中，提供了第一特征提取网络和第二特征提取网络的两种具体实现方式，提高了本方案的实现灵活性。

需要说明的是，神经网络的训练装置900中各模块/单元之间的信息交互、执行过程等内容，与本申请中图3至图5对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供一种图像处理网络，具体参阅图11，图11为本申请实施例提供的神经网络的训练装置的一种结构示意图。图像处理网络1100包括第一特征提取网络1101、第二特征提取网络1102和特征处理网络1103，其中，第一特征提取网络1101，用于接收输入的第一图像，生成与第一图像对应的鲁棒表示，鲁棒表示指的是对扰动不敏感的特征。第二特征提取网络1102，用于接收输入的第一图像，生成与第一图像对应的非鲁棒表示，非鲁棒表示指的是对扰动敏感的特征。特征处理网络1103，用于获取鲁棒表示和非鲁棒表示，以输出与第一图像对应的第一处理结果。

本申请实施例中，分别通过第一特征提取网络1102和第二特征提取网络1103提取输入图像中的鲁棒表示和非鲁棒表示，既避免了两者混杂从而导致鲁棒性的降低，也能够同时保留输入图像中的鲁棒表示和非鲁棒表示，从而避免了准确率的降低，以同时提升神经网络的鲁棒性和准确率。

在一种可能的设计中，特征处理网络1103，具体用于：将鲁棒表示和非鲁棒表示组合，根据组合后的表示，输出与第一图像对应的第一处理结果；或者，根据鲁棒表示，输出与第一图像对应的第一处理结果，第一情况和第二情况为不同的情况；或者，根据非鲁棒表示，输出与第一图像对应的第一处理结果。本申请实施例中，图像处理网络1100中同时包括鲁棒路径和标准路径，用户可以根据实际情况灵活选择使用哪一条路径，扩展了本方案的应用场景，提高了本方案的实现灵活性。

在一种可能的设计中，特征处理网络1103，具体用于：根据组合后的表示执行分类操作，输出与第一图像对应的分类类别；或者，根据鲁棒表示执行分类操作，输出与第一图像对应的分类类别；或者，根据非鲁棒表示执行分类操作，输出与第一图像对应的分类类别。本申请实施例中，将提供的图像处理网络1100落到图像分类这一具体应用场景中，提高了与应用场景的结合程度。

在一种可能的设计中，第一处理结果指示第一图像为原始图像，或者，第一处理结果指示第一图像为扰动后的图像。本申请实施例中，不仅可以利用第一特征提取网络1101和第二提取网络1102提取到的特征信息，得到与图像中对象对应的处理结果，还可以得到与图像整体对应的处理结果，也即用于判断图像为原始图像还是扰动后的图像，扩展了本方案的应用场景。

在一种可能的设计中，特征处理网络1103，具体用于：根据鲁棒表示，确定与第一图像对应的第一分类类别；根据非鲁棒表示，确定与第一图像对应的第二分类类别；在第一分类类别与第二分类类别一致的情况下，输出的第一处理结果指示第一图像为原始图像；在第一分类类别与第二分类类别不一致的情况下，输出的第一处理结果指示第一图像为扰动后的图像。

本申请实施例中，特征处理网络1103通过判断第七分类类别和第八分类类别是否一致，来确定第一图像为原始图像还是对抗图像，方法简单，可操作性强。

在一种可能的设计中，特征处理网络1103，具体用于将鲁棒表示和非鲁棒表示组合，并根据组合后的表示执行检测操作，以输出与第一图像对应的检测结果，第一处理结果包括检测结果。本申请实施例中，提供了确定第一图像为原始图像还是对抗图像的另一种实现方式，增强了本方案的实现灵活性。

在一种可能的设计中，图像处理网络1100为以下中的一项或多项：图像分类网络、图像识别网络、图像分割网络或图像检测网络。本申请实施例中，提供了图像处理网络1100的多种具体实现方式，扩展了本方案的应用场景，提高了本方案的实现灵活性。

在一种可能的设计中，特征处理网络1103包括感知机。

在一种可能的设计中，第一特征提取网络1101为卷积神经网络或残差神经网络，第二特征提取网络1102为卷积神经网络或残差神经网络。

本申请实施例还提供了一种执行设备，请参阅图12，图12为本申请实施例提供的执行设备的一种结构示意图，执行设备1200具体可以表现为手机、电脑、可穿戴设备、自动驾驶车辆、智能家电、芯片或其他状态等，此处不做限定。其中，执行设备1200上可以部署有图11对应实施例中所描述的图像处理网络1100，用于实现图6至图8对应实施例中执行设备的功能。执行设备1200包括：接收器1201、发射器1202、处理器1203和存储器1204(其中数据生成装置1200中的处理器1203的数量可以一个或多个，图12中以一个处理器为例)，其中，处理器1203可以包括应用处理器12031和通信处理器12032。在本申请实施例的一些实施例中，接收器1201、发射器1202、处理器1203和存储器1204可通过总线或其它方式连接。

存储器1204可以包括只读存储器和随机存取存储器，并向处理器1203提供指令和数据。存储器1204的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1204存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器1203控制数据生成装置的操作。具体的应用中，数据生成装置的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器1203中，或者由处理器1203实现。处理器1203可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1203可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1203可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1204，处理器1203读取存储器1204中的信息，结合其硬件完成上述方法的步骤。

接收器1201可用于接收输入的数字或字符信息，以及产生与数据生成装置的相关设置以及功能控制有关的信号输入。发射器1202可用于通过第一接口输出数字或字符信息，发射器1202还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据，发射器1202还可以包括显示屏等显示设备。

本申请实施例中，处理器1203，用于执行图6至图8对应实施例中执行设备执行的图像处理方法。具体的，应用处理器12031用于执行如下步骤：将第一图像输入第一特征提取网络，得到第一特征提取网络生成的与第一图像对应的鲁棒表示，鲁棒表示指的是对扰动不敏感的特征；将第一图像输入第二特征提取网络，得到第二特征提取网络生成的与第一图像对应的非鲁棒表示，非鲁棒表示指的是对扰动敏感的特征；通过特征处理网络，根据鲁棒表示和非鲁棒表示，输出与第一图像对应的第一处理结果，第一特征提取网络、第二特征提取网络和特征处理网络归属于同一图像处理网络。

需要说明的是，应用处理器12031还用于执行图6至图8对应方法实施例中执行设备执行的其他步骤，对于应用处理器12031执行图像处理方法的具体实现方式以及带来的有益效果，均可以参考图2至图8对应的各个方法实施例中的叙述，此处不再一一赘述。

本申请实施例还提供一种训练设备，请参阅图13，图13为本申请实施例提供的训练设备的一种结构示意图。训练设备1300上可以部署有图9和图10对应实施例中所描述的训练设备900，用于实现图3和图5对应实施例中训练设备的功能，具体的，训练设备1300由一个或多个服务器实现，训练设备1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1322(例如，一个或一个以上处理器)和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储介质1330通信，在训练设备1300上执行存储介质1330中的一系列指令操作。

训练设备1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

本申请实施例中，中央处理器1322，用于执行图3对应实施例中的训练设备执行的图像处理方法。具体的，中央处理器1322，用于将对抗图像分别输入第一特征提取网络和第二特征提取网络，得到第一特征提取网络生成的第一鲁棒表示和第二特征提取网络生成的第一非鲁棒表示，其中，对抗图像为进行过扰动处理的图像，鲁棒表示指的是对扰动不敏感的特征，非鲁棒表示指的是对扰动敏感的特征。将第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别；根据第一损失函数，对第一特征提取网络和第二特征提取网络进行迭代训练，直至满足收敛条件，输出训练后的第一特征提取网络和训练后的第二特征提取网络。其中，第一损失函数用于表示第一类别和第一标注类别之间的相似度，且用于表示第二分类类别和第二标注类别之间的相似度，第一标注类别为与对抗图像对应的正确类别，第二标注类别为与对抗图像对应的错误类别。

需要说明的是，中央处理器1322还用于执行图3对应实施例中执行设备执行的其他步骤，对于中央处理器1322执行神经网络的训练方法的具体实现方式以及带来的有益效果，均可以参考图3对应的各个方法实施例中的叙述，此处不再一一赘述。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序，当其在计算机上运行时，使得计算机执行如前述图3至图5所示实施例描述的方法中训练设备所执行的步骤。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序，当其在计算机上运行时，使得计算机执行如前述图6至图8所示实施例描述的方法中执行设备所执行的步骤。

本申请实施例中还提供一种包括计算机程序产品，当其在计算机上行驶时，使得计算机执行如前述图3至图5所示实施例描述的方法中训练设备所执行的步骤，或者，使得计算机执行如前述图6至图8所示实施例描述的方法中执行设备所执行的步骤。

本申请实施例中还提供一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行如前述图3至图5所示实施例描述的方法中训练设备所执行的步骤，或者，所述处理电路配置为执行如前述图6至图8所示实施例描述的方法中执行设备所执行的步骤。

本申请实施例提供的神经网络的训练装置或执行设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使训练设备内的芯片执行上述图3至图5所示实施例描述的神经网络的训练方法，或者，以使执行设备内的芯片执行上述图6至图8所示实施例描述的图像处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

具体的，请参阅图14，图14为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 140，NPU 140作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1403，通过控制器1404控制运算电路1403提取存储器中的矩阵数据并进行乘法运算。

在一些实现中，运算电路1403内部包括多个处理单元(Process Engine，PE)。在一些实现中，运算电路1403是二维脉动阵列。运算电路1403还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1403是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1402中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1401中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1408中。

统一存储器1406用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1405，DMAC被搬运到权重存储器1402中。输入数据也通过DMAC被搬运到统一存储器1406中。

BIU为Bus Interface Unit即，总线接口单元1410，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1409的交互。

总线接口单元1410(Bus Interface Unit，简称BIU)，用于取指存储器1409从外部存储器获取指令，还用于存储单元访问控制器1405从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1406或将权重数据搬运到权重存储器1402中或将输入数据数据搬运到输入存储器1401中。

向量计算单元1407包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。

在一些实现中，向量计算单元1407能将经处理的输出的向量存储到统一存储器1406。例如，向量计算单元1407可以将线性函数和/或非线性函数应用到运算电路1403的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1407生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1403的激活输入，例如用于在神经网络中的后续层中的使用。

控制器1404连接的取指存储器(instruction fetch buffer)1409，用于存储控制器1404使用的指令；

统一存储器1406，输入存储器1401，权重存储器1402以及取指存储器1409均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，循环神经网络中各层的运算可以由运算电路1403或向量计算单元1407执行。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CLU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (44)

1.一种神经网络的训练方法，其特征在于，所述方法包括：

将对抗图像分别输入第一特征提取网络和第二特征提取网络，得到所述第一特征提取网络生成的第一鲁棒表示和所述第二特征提取网络生成的第一非鲁棒表示，其中，所述对抗图像为对原始图像进行过扰动处理的图像，鲁棒表示指的是对扰动不敏感的特征，非鲁棒表示指的是对扰动敏感的特征；

将所述第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将所述第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别；

根据第一损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，输出训练后的第一特征提取网络和训练后的第二特征提取网络；

其中，所述第一损失函数用于表示所述第一分类类别和第一标注类别之间的相似度，且用于表示所述第二分类类别和第二标注类别之间的相似度，所述第一标注类别为与所述对抗图像对应的正确类别，所述第二标注类别为与所述对抗图像对应的错误类别。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述原始图像分别输入所述第一特征提取网络和所述第二特征提取网络，得到所述第一特征提取网络生成的第二鲁棒表示和所述第二特征提取网络生成的第二非鲁棒表示；

将所述第二鲁棒表示和所述第二非鲁棒表示组合，得到组合后的第一表示；

将组合后的第一表示输入分类网络，以通过分类网络根据所述组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别；

所述根据第一损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，包括：

根据所述第一损失函数和第二损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，其中，所述第二损失函数用于表示所述第三分类类别与第三标注类别之间的相似度，所述第三标注类别为与所述原始图像对应的正确类别。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述原始图像输入所述第一特征提取网络，得到所述第一特征提取网络生成的第二鲁棒表示；

将所述第二鲁棒表示输入分类网络，以通过分类网络根据所述第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别；

所述根据第一损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，包括：

根据所述第一损失函数和第三损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，其中，所述第三损失函数用于表示所述第四分类类别与第三标注类别之间的相似度，所述第三标注类别为与所述原始图像对应的正确类别。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述原始图像输入所述第二特征提取网络，得到所述第二特征提取网络生成的第二非鲁棒表示；

将所述第二非鲁棒表示输入分类网络，以通过分类网络根据所述第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别；

所述根据第一损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，包括：

根据所述第一损失函数和第四损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，其中，所述第四损失函数用于表示所述第五分类类别与第三标注类别之间的相似度，所述第三标注类别为与所述原始图像对应的正确类别。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述原始图像分别输入所述第一特征提取网络和所述第二特征提取网络，得到所述第一特征提取网络生成的第二鲁棒表示和所述第二特征提取网络生成的第二非鲁棒表示；

将所述第二鲁棒表示和所述第二鲁棒表示组合，得到组合后的第一表示，将组合后的第一表示输入分类网络，以通过分类网络根据所述组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别；

将所述第二鲁棒表示输入分类网络，以通过分类网络根据所述第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别；

将所述第二非鲁棒表示输入分类网络，以通过分类网络根据所述第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别；

所述根据第一损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，包括：

根据所述第一损失函数和第五损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，其中，所述第五损失函数用于表示所述第四分类类别与第三标注类别之间的相似度，且用于表示所述第五分类类别与所述第三标注类别之间的相似度，且用于表示所述第六分类类别与所述第三标注类别之间的相似度，所述第三标注类别为与所述原始图像对应的正确类别。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述第二损失函数的函数值，生成第一梯度；

根据所述第一梯度对所述原始图像进行扰动处理，以生成所述对抗图像，将所述第三标注类别确定为所述第一标注类别。

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述第三损失函数的函数值，生成第二梯度；

根据所述第二梯度对所述原始图像进行扰动处理，以生成所述对抗图像，将所述第三标注类别确定为所述第一标注类别。

8.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述第四损失函数的函数值，生成第三梯度；

根据所述第三梯度对所述原始图像进行扰动处理，以生成所述对抗图像，将所述第三标注类别确定为所述第一标注类别。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：

将所述第一鲁棒表示和所述第一非鲁棒表示组合，得到组合后的第二表示；

将所述组合后的第二表示输入分类网络，得到分类网络输出的第六分类类别；

所述将所述第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将所述第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别，包括：

在所述第六分类类别与所述第一标注类别不同的情况下，将所述第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将所述第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

在所述第六分类类别与所述第一标注类别不同的情况下，将所述第六分类类别确定为所述第二标注类别。

11.根据权利要求1至8任一项所述的方法，其特征在于，所述第一特征提取网络为卷积神经网络或者残差神经网络，所述第二特征提取网络为卷积神经网络或残差神经网络。

12.一种图像处理网络，其特征在于，所述图像处理网络包括第一特征提取网络、第二特征提取网络和特征处理网络；

所述第一特征提取网络，用于接收输入的第一图像，生成与所述第一图像对应的鲁棒表示，所述鲁棒表示指的是对扰动不敏感的特征；

所述第二特征提取网络，用于接收输入的所述第一图像，生成与所述第一图像对应的非鲁棒表示，所述非鲁棒表示指的是对扰动敏感的特征；

所述特征处理网络，用于获取所述鲁棒表示和所述非鲁棒表示，以输出与所述第一图像对应的第一处理结果。

13.根据权利要求12所述的网络，其特征在于，所述特征处理网络，具体用于：

将所述鲁棒表示和所述非鲁棒表示组合，根据组合后的表示，输出与所述第一图像对应的第一处理结果；或者

根据所述鲁棒表示，输出与所述第一图像对应的第一处理结果；或者

根据所述非鲁棒表示，输出与所述第一图像对应的第一处理结果。

14.根据权利要求12或13所述的网络，其特征在于，所述特征处理网络，具体用于：

根据组合后的表示执行分类操作，输出与所述第一图像对应的分类类别；或者，

根据所述鲁棒表示执行分类操作，输出与所述第一图像对应的分类类别；或者，

根据所述非鲁棒表示执行分类操作，输出与所述第一图像对应的分类类别。

15.根据权利要求12所述的网络，其特征在于，所述第一处理结果指示所述第一图像为原始图像，或者，所述第一处理结果指示所述第一图像为扰动后的图像。

16.根据权利要求15所述的网络，其特征在于，所述特征处理网络，具体用于：

根据所述鲁棒表示，确定与所述第一图像对应的第一分类类别；

根据所述非鲁棒表示，确定与所述第一图像对应的第二分类类别；

在所述第一分类类别与所述第二分类类别一致的情况下，输出的第一处理结果指示所述第一图像为原始图像；

在所述第一分类类别与所述第二分类类别不一致的情况下，输出的第一处理结果指示所述第一图像为扰动后的图像。

17.根据权利要求12所述的网络，其特征在于，所述特征处理网络，具体用于：

将所述鲁棒表示和所述非鲁棒表示组合，并根据组合后的表示执行检测操作，以输出与所述第一图像对应的检测结果，所述第一处理结果包括所述检测结果。

18.根据权利要求12或13所述的网络，其特征在于，

所述图像处理网络为以下中的一项或多项：图像分类网络、图像识别网络、图像分割网络或图像检测网络。

19.根据权利要求12至13任一项所述的网络，其特征在于，所述特征处理网络包括感知机。

20.根据权利要求12至13任一项所述的网络，其特征在于，所述第一特征提取网络为卷积神经网络或残差神经网络，所述第二特征提取网络为卷积神经网络或残差神经网络。

21.一种神经网络的训练装置，其特征在于，所述装置包括：

输入模块，用于将对抗图像分别输入第一特征提取网络和第二特征提取网络，得到所述第一特征提取网络生成的第一鲁棒表示和所述第二特征提取网络生成的第一非鲁棒表示，其中，所述对抗图像为对原始图像进行过扰动处理的图像，鲁棒表示指的是对扰动不敏感的特征，非鲁棒表示指的是对扰动敏感的特征；

所述输入模块，还用于将所述第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将所述第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别；

训练模块，用于根据第一损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，输出训练后的第一特征提取网络和训练后的第二特征提取网络；

其中，所述第一损失函数用于表示所述第一类别和第一标注类别之间的相似度，且用于表示所述第二分类类别和第二标注类别之间的相似度，所述第一标注类别为与所述对抗图像对应的正确类别，所述第二标注类别为与所述对抗图像对应的错误类别。

22.根据权利要求21所述的装置，其特征在于，

所述输入模块，还用于将所述原始图像分别输入所述第一特征提取网络和所述第二特征提取网络，得到所述第一特征提取网络生成的第二鲁棒表示和所述第二特征提取网络生成的第二非鲁棒表示；

所述装置还包括：组合模块，用于将所述第二鲁棒表示和所述第二非鲁棒表示组合，得到组合后的第一表示；

所述输入模块，还用于将组合后的第一表示输入分类网络，以通过分类网络根据所述组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别；

所述训练模块，具体用于根据所述第一损失函数和第二损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，其中，所述第二损失函数用于表示所述第三分类类别与第三标注类别之间的相似度，所述第三标注类别为与所述原始图像对应的正确类别。

23.根据权利要求21或22所述的装置，其特征在于，

所述输入模块，还用于将所述原始图像输入所述第一特征提取网络，得到所述第一特征提取网络生成的第二鲁棒表示；

所述输入模块，还用于将所述第二鲁棒表示输入分类网络，以通过分类网络根据所述第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别；

所述训练模块，具体用于根据所述第一损失函数和第三损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，其中，所述第三损失函数用于表示所述第四分类类别与第三标注类别之间的相似度，所述第三标注类别为与所述原始图像对应的正确类别。

24.根据权利要求21或22所述的装置，其特征在于，

所述输入模块，还用于将所述原始图像输入所述第二特征提取网络，得到所述第二特征提取网络生成的第二非鲁棒表示；

所述输入模块，还用于将所述第二非鲁棒表示输入分类网络，以通过分类网络根据所述第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别；

所述训练模块，具体用于根据所述第一损失函数和第四损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，其中，所述第四损失函数用于表示所述第五分类类别与第三标注类别之间的相似度，所述第三标注类别为与所述原始图像对应的正确类别。

25.根据权利要求21所述的装置，其特征在于，

所述输入模块，还用于将所述原始图像分别输入所述第一特征提取网络和所述第二特征提取网络，得到所述第一特征提取网络生成的第二鲁棒表示和所述第二特征提取网络生成的第二非鲁棒表示；

所述输入模块，还用于将所述第二鲁棒表示和所述第二鲁棒表示组合，得到组合后的第一表示，将组合后的第一表示输入分类网络，以通过分类网络根据所述组合后的第一表示执行分类操作，得到分类网络输出的第三分类类别；

所述输入模块，还用于将所述第二鲁棒表示输入分类网络，以通过分类网络根据所述第二鲁棒表示执行分类操作，得到分类网络输出的第四分类类别；

所述输入模块，还用于将所述第二非鲁棒表示输入分类网络，以通过分类网络根据所述第二非鲁棒表示执行分类操作，得到分类网络输出的第五分类类别；

所述训练模块，具体用于根据所述第一损失函数和第五损失函数，对所述第一特征提取网络和所述第二特征提取网络进行迭代训练，直至满足收敛条件，其中，所述第五损失函数用于表示所述第四分类类别与第三标注类别之间的相似度，且用于表示所述第五分类类别与所述第三标注类别之间的相似度，且用于表示所述第六分类类别与所述第三标注类别之间的相似度，所述第三标注类别为与所述原始图像对应的正确类别。

26.根据权利要求22所述的装置，其特征在于，

所述装置还包括生成模块，具体用于：

根据所述第二损失函数的函数值，生成第一梯度；

根据所述第一梯度对所述原始图像进行扰动处理，以生成所述对抗图像，将所述第三标注类别确定为所述第一标注类别。

27.根据权利要求23所述的装置，其特征在于，

所述装置还包括生成模块，具体用于：

根据所述第三损失函数的函数值，生成第二梯度；

根据所述第二梯度对所述原始图像进行扰动处理，以生成所述对抗图像，将所述第三标注类别确定为所述第一标注类别。

28.根据权利要求24所述的装置，其特征在于，

所述装置还包括生成模块，具体用于：

根据所述第四损失函数的函数值，生成第三梯度；

根据所述第三梯度对所述原始图像进行扰动处理，以生成所述对抗图像，将所述第三标注类别确定为所述第一标注类别。

29.根据权利要求21至28任一项所述的装置，其特征在于，

所述装置还包括：组合模块，用于将所述第一鲁棒表示和所述第一非鲁棒表示组合，得到组合后的第二表示；

所述输入模块，还用于将所述组合后的第二表示输入分类网络，得到分类网络输出的第六分类类别；

所述输入模块，具体用于在所述第六分类类别与所述第一标注类别不同的情况下，将所述第一鲁棒表示输入分类网络，得到分类网络输出的第一分类类别，将所述第一非鲁棒表示输入分类网络，得到分类网络输出的第二分类类别。

30.根据权利要求29所述的装置，其特征在于，所述装置还包括：确定模块，用于在所述第六分类类别与所述第一标注类别不同的情况下，将所述第六分类类别确定为所述第二标注类别。

31.根据权利要求21至28任一项所述的装置，其特征在于，所述第一特征提取网络为卷积神经网络或者残差神经网络，所述第二特征提取网络为卷积神经网络或残差神经网络。

32.一种图像处理方法，其特征在于，所述方法包括：

将第一图像输入第一特征提取网络，得到所述第一特征提取网络生成的与所述第一图像对应的鲁棒表示，所述鲁棒表示指的是对扰动不敏感的特征；

将所述第一图像输入第二特征提取网络，得到所述第二特征提取网络生成的与所述第一图像对应的非鲁棒表示，所述非鲁棒表示指的是对扰动敏感的特征；

通过特征处理网络，根据所述鲁棒表示和所述非鲁棒表示，输出与所述第一图像对应的第一处理结果。

33.根据权利要求32所述的方法，其特征在于，所述通过特征处理网络，根据所述鲁棒表示和所述非鲁棒表示，输出与所述第一图像对应的第一处理结果，包括：

将所述鲁棒表示和所述非鲁棒表示组合，通过所述特征处理网络，根据组合后的表示，输出与所述第一图像对应的第一处理结果；或者，

通过所述特征处理网络，根据所述鲁棒表示，输出与所述第一图像对应的第一处理结果，所述第一情况和所述第二情况为不同的情况；或者，

通过所述特征处理网络，根据所述非鲁棒表示，输出与所述第一图像对应的第一处理结果。

34.根据权利要求32或33所述的方法，其特征在于，

通过所述特征处理网络，根据组合后的表示执行分类操作，输出与所述第一图像对应的分类类别；或者，

通过所述特征处理网络，根据所述鲁棒表示执行分类操作，输出与所述第一图像对应的分类类别；或者，

通过所述特征处理网络，根据所述非鲁棒表示执行分类操作，输出与所述第一图像对应的分类类别。

35.根据权利要求32所述的方法，其特征在于，所述第一处理结果指示所述第一图像为原始图像，或者，所述第一处理结果指示所述第一图像为扰动后的图像。

36.根据权利要求35所述的方法，其特征在于，所述通过特征处理网络，根据所述鲁棒表示和所述非鲁棒表示，输出与所述第一图像对应的第一处理结果，包括：

通过所述特征处理网络，根据所述鲁棒表示，确定与所述第一图像对应的第一分类类别，并根据所述非鲁棒表示，确定与所述第一图像对应的第二分类类别；

在所述第一分类类别与所述第二分类类别一致的情况下，通过所述特征处理网络输出的第一处理结果指示所述第一图像为原始图像；

在所述第一分类类别与所述第二分类类别不一致的情况下，通过所述特征处理网络输出的第一处理结果指示所述第一图像为扰动后的图像。

37.根据权利要求32所述的方法，其特征在于，所述通过特征处理网络，根据所述鲁棒表示和所述非鲁棒表示，输出与所述第一图像对应的第一处理结果，包括：

通过所述特征处理网络，将所述鲁棒表示和所述非鲁棒表示组合，并根据组合后的表示执行检测操作，以输出与所述第一图像对应的检测结果，所述第一处理结果包括所述检测结果。

38.根据权利要求32或33所述的方法，其特征在于，所述特征处理网络包括感知机。

39.根据权利要求32或33所述的方法，其特征在于，所述第一特征提取网络为卷积神经网络或残差神经网络，所述第二特征提取网络为卷积神经网络或残差神经网络。

40.一种训练设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至11中任一项所述的方法。

41.一种执行设备，其特征在于，所述执行设备中配置有图像处理网络，所述图像处理网络为权利要求12至20中任一项所述的图像处理网络。

42.根据权利要求41所述的执行设备，其特征在于，所述执行设备为以下中的一项或多项：手机、电脑、可穿戴设备、自动驾驶车辆、智能家电和芯片。

43.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至11中任一项所述的方法，或者，使得计算机执行如权利要求32至39中任一项所述的方法。

44.一种电路系统，其特征在于，所述电路系统包括处理电路，所述处理电路配置为执行如权利要求1至11中任一项所述的方法，或者，所述处理电路配置为执行如权利要求32至39中任一项所述的方法。

Images