CN113792791A - 针对视觉模型的处理方法及装置 - Google Patents

Abstract

本公开提供了一种针对视觉模型的处理方法，涉及人工智能领域，尤其涉及自动驾驶、深度学习和计算机视觉等技术领域，可用于视觉模型的鲁棒性评估场景。具体实现方案为：利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到与对抗样本中的每个样本图像；统计对抗样本对目标视觉模型的攻击成功率；以及基于攻击成功率，对目标视觉模型进行鲁棒性评估。

Description

针对视觉模型的处理方法及装置

技术领域

本公开涉及人工智能领域，尤其涉及自动驾驶、深度学习和计算机视觉等技术领域，可用于AI模型(即人工智能模型)的鲁棒性评估场景。

背景技术

近年来，深度学习技术已广泛应用于人工智能领域。在计算机视觉领域，深度学习已成为自动驾驶、图片审核、监控和安保应用的主力。然而研究发现，对图像进行某种轻微干扰，有可能诱导AI模型误判。

发明内容

本公开提供了一种针对视觉模型的处理方法、以及视觉模型训练方法、装置、设备、存储介质以及计算机程序产品。

根据本公开的一方面，提供了一种针对视觉模型的处理方法，包括：利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到所述对抗样本中的所述每个样本图像；统计所述对抗样本对所述目标视觉模型的攻击成功率；以及基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估。

根据本公开的另一方面，提供了一种视觉模型训练方法，包括：获取训练样本，其中，所述训练样本中包含预定比例的在图像阴影区域内增加有对抗扰动的样本图像；以及利用所述训练样本进行视觉模型训练，以得到对应的视觉模型。

根据本公开的另一方面，提供了一种针对视觉模型的处理装置，包括：攻击模块，用于利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到所述对抗样本中的所述每个样本图像；统计模块，用于统计所述对抗样本对所述目标视觉模型的攻击成功率；以及评估模块，用于基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估。

根据本公开的另一方面，提供了一种视觉模型训练装置，包括：样本获取模块，用于获取训练样本，其中，所述训练样本中包含预定比例的在图像阴影区域内增加有对抗扰动的样本图像；以及对抗训练模块，用于利用所述训练样本进行视觉模型训练，以得到对应的视觉模型。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开实施例所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开实施例所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示例性示出了适于本公开实施例的系统架构；

图2示例性示出了根据本公开实施例的针对视觉模型的处理方法的流程图；

图3示例性示出了根据本公开实施例的视觉模型训练方法的流程图；

图4示例性示出了根据本公开实施例的针对视觉模型的处理装置的框图；

图5示例性示出了根据本公开实施例的视觉模型训练装置的框图；以及

图6示例性示出了用来实现本公开实施例的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

应该理解，如果自动驾驶车辆对亮度较低的图像区域(如图像中的阴影区域)识别能力较差，则可能导致车辆无法正确识别前方的人影或其他目标。

还应该理解，如果黑色产业链或灰色产业链对图片进行一些图像变换，则可能导致有害图片无法被正常分类而通过图片审核。

还应该理解，亮度较低的图像区域通常含有较少的颜色信息和内容信息。而拍摄的图像中，这类区域通常是大量存在的，例如人脸的背阴面、人影、树影、车辆阴影、建筑物背阴面等。如果在这些容易被忽视的、图像质量较差的区域增加对抗干扰，则通常是难以被察觉的。也就是说，这些对抗干扰能够很好地隐藏于图像中的阴影区域内，严重情况下会直接影响深度学习模型的识别效果。

因此，有必要针对此类干扰进行视觉模型鲁棒性评估，从而可以有针对性地进行防御，例如对鲁棒性较低的视觉模型可以进行对抗训练等。其中，模型的鲁棒性是指模型的健壮性。

目前，相关技术中还没有针对此类干扰进行视觉模型鲁棒性评估的方案。

对此，本公开实施例提供了一种基于图像阴影区域的视觉模型评估方案及模型对抗训练方案，可以准确地评估视觉模型的鲁棒性，并且可以通过对抗训练提高视觉模型的鲁棒性。

以下将结合附图和具体实施例详细阐述本公开。

适于本公开实施例的系统架构介绍如下。

图1示例性示出了适于本公开实施例的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他环境或场景。

如图1所示，本公开实施例中系统架构100可以包括：服务器101和服务器102。

在一个实施例中，视觉模型的鲁棒性评估和对抗训练可以在两个不同的服务器上实现。

示例性的，可以在服务器101上运行用于实现视觉模型评估算法的应用，以评估各指定视觉模型的鲁棒性。此外，可以在服务器102上运行用于实现视觉模型对抗训练算法的应用，以对各指定视觉模型进行对抗训练，从而提高模型的鲁棒性。

在另一个实施例中，视觉模型的鲁棒性评估和对抗训练可以在同一个服务器上实现。比如，可以都在服务器101上实现或者都在服务器102上实现。

示例性的，可以在服务器101上运行用于实现视觉模型评估算法的应用，以评估指定视觉模型的鲁棒性。在评估结果显示该指定视觉模型的鲁棒性不符合要求的情况下，还可以在服务器101上运行用于实现视觉模型对抗训练算法的应用，以对各指定视觉模型进行对抗训练，从而提高模型的鲁棒性。或者，在评估结果显示该指定视觉模型的鲁棒性符合要求的情况下，可以在服务器101上继续运行用于实现视觉模型评估算法的应用，以评估其他指定视觉模型的鲁棒性。

应该理解，图1中的服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的服务器。

适于本公开实施例的应用场景介绍如下。

应该理解，本公开实施例提供的关于视觉模型的鲁棒性评估和对抗训练方案，可以应用的场景包括但不限于：深度学习、AI安全、模型鲁棒性和视觉感知等方面的评估。

根据本公开的实施例，本公开提供了一种针对视觉模型的处理方法。

图2示例性示出了根据本公开实施例的针对视觉模型的处理方法的流程图。

如图2所示，针对视觉模型的处理方法200可以包括：操作S210～S230。

在操作S210，利用对抗样本中的每个样本图像对目标视觉模型进行攻击。

其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，得到本实施例中对抗样本中的每个样本图像。

在操作S220，统计对抗样本对目标视觉模型的攻击成功率。

在操作S230，基于攻击成功率，对目标视觉模型进行鲁棒性评估。

需要说明的是，在执行操作S210～S230之前，可以预先生成对抗样本。

示例性的，可以先获取数据集，然后通过在数据集中每个原始图像的阴影区域内增加对抗性扰动来获得与每个原始图像一一对应的样本图像，最后将由这些样本图像构成的数据集作为本实施例中的对抗样本。应该理解，上述的数据集可以是图像数据集或视频数据集，本实施例在此不做限定。

本实施例中，在生成对抗样本的过程中，可以利用阴影检测模型，对数据集中每个原始图像进行阴影检测，从而确定每个原始图像中的阴影区域。然后在各图像的阴影区域内添加一种或者多种对抗性扰动，用于视觉模型的鲁棒性评测任务。应该理解，在利用阴影检测模型检测数据集中各图像的阴影区域时，可以通过阴影区域预测概率图获取不同大小的阴影区域。如利用预设的概率阈值参数、区域侵蚀参数、随机裁剪参数等获得多种阴影区域。此外，样本图像中增加的对抗扰动，可以以不影响人对相关目标的识别为准。换言之，图像中增加对抗扰动后，不影响人对图像中相关目标的准确识别。

此外，操作S210中，对于指定的待评估视觉模型，可以将预先生成的对抗样本中的每个样本图像输入该模型，以实现对该模型的对抗攻击。操作S220中，可以获取操作S210中该模型的各预测结果，即获取该模型对每个样本图像的预测结果，然后统计这些预测结果中包含的误识别的预测结果的占比，并将该占比作为该模型在此攻击下的误识别率。该误识别率等于该对抗样本对该模型的攻击成功率。操作S230中，可以将操作S220中获得的攻击成功率与预先设定的阈值进行比较，并根据比较结果确定该模型的鲁棒性指标是否符合预定要求。如果确定该模型的鲁棒性指标符合预定要求，则表征该模型的鲁棒性较强。否则，如果确定该模型的鲁棒性指标不符合预定要求，则表征该模型的鲁棒性较弱。

应该理解，图像中的阴影区域即图像中亮度较低的区域，通常含有较少的颜色信息和内容信息。如果在此类图像区域中增加对抗性扰动，则很难被察觉，尤其在阳光充足的白天，更难被察觉。因而此种情况下，可能严重影响深度学习模型如视觉模型的识别效果。比如图像中的人影、车影、建筑物背阴面等，这些阴影区域本身就遮挡了图像的部分区域，含有的信息较非阴影区域更少，因而在这些较暗的阴影区域内增加对抗性扰动相比于在较亮的非阴影区域(如天空)内增加对抗性扰动更难被察觉。但在很多情况下，此类干扰不会影响人的判断。

本实施例中，采用基于图像阴影区域的对抗样本攻击方式评估视觉模型的鲁棒性，在视觉模型鲁棒性较强的情况下，表征模型的识别效果较佳，可以继续使用；在视觉模型鲁棒性较弱的情况下，表征模型的识别效果欠佳，可以对模型进行对抗训练，直到模型的鲁棒性增强至预设程度为止。因而，通过本公开实施例，可以增强视觉模型的鲁棒性。

本公开实施例中，通过在图像阴影区域内增加对抗性扰动以形成对抗样本，然后利用对抗样本对已知的视觉模型进行攻击，最后根据模型的预测结果获取模型的鲁棒性评价结果，由此可以挖掘出图像中容易被忽视的扰动因素，进而可以通过对抗训练来提高模型的识别效果。

作为一种可选的实施例，基于攻击成功率，对目标视觉模型进行鲁棒性评估，可以包括：响应于攻击成功率大于预设阈值，确定目标视觉模型的鲁棒性指标不满足预设鲁棒性要求。

需要说明的是，可以预先设置上述的预设阈值，并定义模型的鲁棒性指标为攻击成功率。

示例性的，假设该预设阈值为80％，如果攻击成功率大于80％，则表示针对当前的对抗样本，目标视觉模型的误识别率达到了80％以上，因而识别效果较差，可确定该模型的鲁棒性指标不满足预设鲁棒性要求。如果攻击成功率小于或者等于80％，则表示针对当前的对抗样本，目标视觉模型的误识别率没有超出80％，因而识别效果较好，可确定该模型的鲁棒性指标满足预设鲁棒性要求。

通过本公开实施例，可以将攻击成功率，即模型的误识别率作为模型的鲁棒性指标，以精确评估模型的鲁棒性强弱。

作为一种可选的实施例，该方法还可以包括：在确定目标视觉模型的鲁棒性指标不满足预设鲁棒性要求的情况下，启动对目标视觉模型进行对抗训练的流程，以获得鲁棒性指标满足预设鲁棒性要求的视觉模型。

应该理解，视觉模型的鲁棒性评估和对抗训练可以在两个不同的服务器上实现，或者也可以在同一个服务器上实现。

因此，在一个实施例中，在确定目标视觉模型的鲁棒性指标不满足预设鲁棒性要求的情况下，可以在当前的执行主体上(即当前的服务器上)启动对目标视觉模型进行对抗训练的流程。

或者，在另一个实施例中，在确定目标视觉模型的鲁棒性指标不满足预设鲁棒性要求的情况下，也可以在其他执行主体上(如其他服务器上)启动对目标视觉模型进行对抗训练的流程。

应该理解，真实世界的环境因素对输入数据正常扰动(非恶意攻击，例如，亮度、对比度变化，摄像头抖动等)会对深度学习模型的分类或预测结果产生轻微的影响。而恶意的对抗性扰动会对深度学习模型的分类或预测结果产生较大的、甚至极其严重的影响。而隐藏于阴影区域或较暗区域等含有较少信息的图像区域中的对抗性扰动，风险更大。

因此，本实施例中，通过在图像阴影区域内增加对抗性干扰，以覆盖此类现实中常见的风险点，可以通过对抗攻击来精准评估模型的鲁棒性，并且可以通过对抗训练来更好地增强模型的鲁棒性。进一步地，在此基础上，还可以降低人工智能系统的漏洞数量和风险，提升系统的可用性，帮助开发人员构建更安全的人工智能系统。

作为一种可选的实施例，模型对抗训练流程可以包括如下操作。

获取训练样本。其中，训练样本中包含预定比例的在图像阴影区域内增加有对抗性扰动的样本图像。

利用训练样本，对目标视觉模型进行对抗训练。

应该理解，本实施例中，训练样本可以包含一定比例的正样本和一定比例的负样本。其中，正样本是关于原始图像或视频的数据集。负样本中包含的图像或视频是图像阴影区域内增加有对抗性扰动的图像或视频。

其中，本实施例中，生成负样本的方法与前述实施例中生成对抗样本的方法相同或类似，本公开在此不再赘述。

应该理解，现实中由于视觉模型的鲁棒性不强而造成的问题很多，因此需要对视觉模型进行鲁棒性评估，并对鲁棒性较弱的视觉模型进行对抗训练，以提高模型的鲁棒性，进而提高模型的识别效果。

此外，对抗训练是指为原始样本添加对抗性扰动(如传统类的有，增加滤波和噪声，其中滤波包括高斯滤波、平滑滤波和双边滤波等，噪声包括黑白噪声等；学习类的有，攻击模型等)，然后以一定的比例加入训练集，重新训练模型，以增强模型对对抗性扰动的辨识力。

通过本公开实施例，可以抽取一定比例的原始图像，并在这些原始图像的阴影区域内增加对抗性扰动，并以此作为训练集中的负样本来对视觉模型进行对抗性训练，由此可以增强视觉模型的鲁棒性。

作为一种可选的实施例，该方法还可以包括：针对目标视觉模型，输出鲁棒性评估结果。

其中，鲁棒性评估结果可以包括以下中的至少之一：目标视觉模型的名称、目标视觉模型所依赖的机器学习框架、模型的鲁棒性指标(即模型的鲁棒性评估指标)、模型评估中使用的数据集(即对抗样本)、该数据集中包含的图像总数、该数据集中具有阴影区域的图像的占比、模型评估中使用的扰动策略。

作为一种可选的实施例，目标视觉模型可以包括但不限于以下中的至少之一：图像分类模型、目标检测模型(如车道线检测模型)和图像分割模型。

应该理解，本实施例中，在模型的鲁棒性评估中，可以对不同结构的视觉模型进行鲁棒性对比，或者可以对同一结构模型但通过不同训练方式得到的视觉模型进行鲁棒性对比。由此可以确定哪些结构的视觉模型鲁棒性更强，哪些训练方式得到的视觉模型鲁棒性更强。

此外，本实施例中，对于图像分类模型而言，可以将模型的误识别率作为模型的鲁棒性评估指标；对于目标检测模型而言，可以将模型的MAP(即多目标的平均识别准确率)作为模型的评估指标。

根据本公开的实施例，本公开提供了一种视觉模型训练方法。

图3示例性示出了根据本公开实施例的视觉模型训练方法的流程图。

如图3所示，视觉模型训练方法300可以包括：操作S310～S320。

在操作S310，获取训练样本，其中，训练样本中包含预定比例的在图像阴影区域内增加有对抗性扰动的样本图像。

在操作S320，利用训练样本进行视觉模型训练，以得到对应的视觉模型。

应该理解，大量存在于图像中的不同亮度、不同面积、不同形状的阴影区域内的扰动，在白天等较亮环境下隐藏效果通常很好，这对视觉模型的鲁棒性影响会很大，比如在无人车等安全攸关场景，此类扰动可能会带来很大的安全隐患。

因此，本公开实施例通过模拟现实场景中的阴影区域或光照不足区域等，对模型进行对抗性训练，因而可以增强视觉模型的鲁棒性，进而使人工智能安全得以提高。

需要说明的是，本实施例中采用的视觉模型训练方法与前述实施例中采用的视觉模型对抗训练方法相同或类似，本公开在此不再赘述。

根据本公开的实施例，本公开还提供了一种针对视觉模型的处理装置。

图4示例性示出了根据本公开实施例的针对视觉模型的处理装置的框图。

如图4所示，针对视觉模型的处理装置400可以包括：攻击模块410、统计模块420和评估模块430。

攻击模块410，用于利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到对抗样本中的每个样本图像。

统计模块420，用于统计该对抗样本对该目标视觉模型的攻击成功率。

评估模块430，用于基于该攻击成功率，对该目标视觉模型进行鲁棒性评估。

作为一种可选的实施例，该评估模块还用于：响应于该攻击成功率大于预设阈值，确定该目标视觉模型的鲁棒性指标不满足预设鲁棒性要求。

作为一种可选的实施例，该装置还包括：流程启动模块，用于在确定该目标视觉模型的鲁棒性指标不满足该预设鲁棒性要求的情况下，启动对该目标视觉模型进行对抗训练的流程，以获得鲁棒性指标满足该预设鲁棒性要求的视觉模型。

作为一种可选的实施例，其中，模型对抗训练流程包括以下操作：获取训练样本，其中，该训练样本中包含预定比例的在图像阴影区域内增加有对抗扰动的样本图像；以及利用该训练样本，对该目标视觉模型进行对抗训练。

作为一种可选的实施例，该装置还可以包括：输出模块，用于针对该目标模型，输出鲁棒性评估结果，其中，该鲁棒性评估结果包括以下至少之一：该目标视觉模型的名称、该目标视觉模型所依赖的机器学习框架、鲁棒性指标、使用的数据集、该数据集中包含的图像总数、该数据集中包含阴影区域的图像的占比、模型评估中使用的扰动策略。

作为一种可选的实施例，该目标视觉模型包括以下至少之一：图像分类模型、目标检测模型和图像分割模型。

应该理解，本公开装置部分的实施例与本公开对应方法部分的实施例对应相同或类似，所解决的技术问题和所达到的技术效果也对应相同或类似，本公开在此不再赘述。

根据本公开的实施例，本公开还提供了一种视觉模型训练装置。

图5示例性示出了根据本公开实施例的视觉模型训练装置的框图。

如图5所示，视觉模型训练装置500可以包括：样本获取模块510和对抗训练模块520。

样本获取模块510，用于获取训练样本，其中，训练样本中包含预定比例的在图像阴影区域内增加有对抗性扰动的样本图像。

对抗训练模块520，用于利用该训练样本进行视觉模型训练，以得到对应的视觉模型。

应该理解，本公开装置部分的实施例与本公开对应方法部分的实施例对应相同或类似，所解决的技术问题和所达到的技术效果也对应相同或类似，本公开在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如针对视觉模型的处理方法(或视觉模型训练方法)。例如，在一些实施例中，针对视觉模型的处理方法(或视觉模型训练方法)可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的针对视觉模型的处理方法(或视觉模型训练方法)的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行针对视觉模型的处理方法(或视觉模型训练方法)。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

本公开的技术方案中，所涉及的相关数据的记录，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种针对视觉模型的处理方法，包括：

利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到所述对抗样本中的所述每个样本图像；

统计所述对抗样本对所述目标视觉模型的攻击成功率；以及

基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估。

2.根据权利要求1所述的方法，其中，基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估，包括：

响应于所述攻击成功率大于预设阈值，确定所述目标视觉模型的鲁棒性指标不满足预设鲁棒性要求。

3.根据权利要求1所述的方法，还包括：

在确定所述目标视觉模型的鲁棒性指标不满足所述预设鲁棒性要求的情况下，启动对所述目标视觉模型进行对抗训练的流程，以获得鲁棒性指标满足所述预设鲁棒性要求的视觉模型。

4.根据权利要求3所述的方法，其中，模型对抗训练流程包括以下操作：

获取训练样本，其中，所述训练样本中包含预定比例的在图像阴影区域内增加有对抗性扰动的样本图像；以及

利用所述训练样本，对所述目标视觉模型进行对抗训练。

5.根据权利要求1至4中任一项所述的方法，还包括：

针对所述目标视觉模型，输出鲁棒性评估结果，

其中，所述鲁棒性评估结果包括以下至少之一：所述目标视觉模型的名称、所述目标视觉模型所依赖的机器学习框架、鲁棒性指标、使用的数据集、该数据集中包含的图像总数、该数据集中具有阴影区域的图像的占比、模型评估中使用的扰动策略。

6.根据权利要求1所述的方法，其中，所述目标视觉模型包括以下至少之一：图像分类模型、目标检测模型和图像分割模型。

7.一种视觉模型训练方法，包括：

获取训练样本，其中，所述训练样本中包含预定比例的在图像阴影区域内增加有对抗性扰动的样本图像；以及

利用所述训练样本进行视觉模型训练，以得到对应的视觉模型。

8.一种针对视觉模型的处理装置，包括：

攻击模块，用于利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到所述对抗样本中的所述每个样本图像；

统计模块，用于统计所述对抗样本对所述目标视觉模型的攻击成功率；以及

评估模块，用于基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估。

9.根据权利要求8所述的装置，其中，所述评估模块还用于：

响应于所述攻击成功率大于预设阈值，确定所述目标视觉模型的鲁棒性指标不满足预设鲁棒性要求。

10.根据权利要求8所述的装置，还包括：

流程启动模块，用于在确定所述目标视觉模型的鲁棒性指标不满足所述预设鲁棒性要求的情况下，启动对所述目标视觉模型进行对抗训练，以获得鲁棒性指标满足所述预设鲁棒性要求的视觉模型。

11.根据权利要求10所述的装置，其中，模型对抗训练流程包括以下操作：

获取训练样本，其中，所述训练样本中包含预定比例的在图像阴影区域内增加有对抗扰动的样本图像；以及

利用所述训练样本，对所述目标视觉模型进行对抗训练。

12.根据权利要求8至11中任一项所述的装置，还包括：

输出模块，用于针对所述目标视觉模型，输出鲁棒性评估结果，

其中，所述鲁棒性评估结果包括以下至少之一：所述目标视觉模型的名称、所述目标视觉模型所依赖的机器学习框架、鲁棒性指标、使用的数据集、该数据集中包含的图像总数、该数据集中包含阴影区域的图像的占比、模型评估中使用的扰动策略。

13.根据权利要求8所述的装置，其中，所述目标视觉模型包括以下至少之一：图像分类模型、目标检测模型和图像分割模型。

14.一种视觉模型训练装置，包括：

样本获取模块，用于获取训练样本，其中，所述训练样本中包含预定比例的在图像阴影区域内增加有对抗性扰动的样本图像；以及

对抗训练模块，用于利用所述训练样本进行视觉模型训练，以得到对应的视觉模型。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images