CN113963190A

CN113963190A - 变更图像的系统和方法

Info

Publication number: CN113963190A
Application number: CN202110743390.1A
Authority: CN
Inventors: A·M·门诺斯德尔加多
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-02
Filing date: 2021-07-01
Publication date: 2022-01-21
Also published as: US20220004824A1; EP3933691A1

Abstract

变更图像的系统和方法。一些实施例针对变更输入图像以提供经训练的分类器的可解释性。变更的图像（161）可以通过优化至少以下各项来确定：变更的图像的分类得分（450），用于减小变更的图像的分类和目标分类之间的距离；以及相似性得分（460），用于减小在平均滤波器激活差异与输入图像和变更的图像之间的滤波器激活差异的度量之间的距离。

Description

变更图像的系统和方法

技术领域

当前公开的主题涉及一种变更输入图像的方法、一种用于变更输入图像的图像处理系统以及一种暂时性或非暂时性计算机可读介质。

背景技术

可解释性是模型核实（我们正确构建了模型吗

）和验证（我们构建了正确的模型吗

）二者的核心要素。大型的、最先进的神经网络模型可以被骗来提供虚假的、高置信度的预测；因此，它们真正的泛化性能受到了质疑。与意图用于在该领域中部署的任何其他软件组件一样，重要的是定量地确立这些模型能够被核实和验证的程度。当基于神经网络的算法应用于该领域中的重要任务时，重要的是可以分析模型已经学习了期望的输入到输出关系的程度；例如，经训练的神经网络已经被应用于诸如医疗诊断或自主驾驶之类的领域中。发明人发现，当设计用于制造的神经网络时，可开发性（exploitability）也是特别紧迫的问题。

例如，在没有分析经训练的神经网络的能力的情况下，例如，人们无意中可以使用有限的、并且因而固有的偏差的数据集，并产生与可用数据量相比参数化过度的模型。这可能在模型实际已学习到的东西和实现者认为模型已学习到的东西之间产生大的差距。随着深度神经网络越来越多地应用于关键任务，需要神经网络工程师可以用来探索该差距的工具。

虽然现有技术中当然存在若干种声称执行将模型的预测归因于其输入的技术，但是它们遭受各种缺点。

例如，显著性方法（saliency method）可以通过它们的输出直方图或热图来表征，所述输出直方图或热图例如针对输入像素标记注意力分布。此类解释在其表达性方面遭受若干限制。例如，它不能充分表达归因于输入图像的全局照明的改变或输入中的负面信息的分类解释，例如，输入实例中缺少一些鉴别性特征的事实。经常发生在例如制造用例中的这些场景通常不适合使用上述方法进行分析。

另一种方法是生成所谓的反设事实（counterfactual）。反设事实是与已知类的其他样本相似但由基础模型进行不同分类的样本。类似于已知类的其他样本，可能意味着从相同的分布抽取，或者看起来是从相同的分布抽取。产生反设事实是理解由模型学习的高度非线性决策边界并且从而解释分类器决策的工具。

例如，在由Ruth C. Fong和Andrea Vedaldi的论文“Interpretableexplanations of black boxes by meaningful perturbation”中提出了反设事实，该论文通过引用并入本文。该论文公开了一种直接在输入图像的像素级上工作的优化方法。该方法的重要缺点是产生的反设事实通常是对抗性的，例如落在基础模型针对其训练的自然图像空间之外。结果是图像是人造的，并且由于实际中不太可能出现的原因而产生不同的分类。

在由Chun-Hao Chang等人的论文“Explaining image classifiers bycounterfactual generation”中公开了可解释性的另一种方法，该论文通过引用并入本文。该方法使用生成模型来产生看起来自然的反设事实。不幸的是，这是以必须训练生成模型为代价的，这对于许多应用——例如仅有很少数据点可用于其的应用——而言是不可能的或不实际的。

发明内容

将有利的是具有一种分析经训练的分类器的行为的改进方式。经训练的分类器是计算机实现的，并且被配置为接收图像作为输入，并且产生分类。经训练的分类器包括多个经训练的滤波器——典型地，经训练的分类器是卷积神经网络，例如，包括多个卷积滤波器的神经网络，典型地，包括多个卷积滤波器的多个层。

如在背景技术中也指出的，当此类经训练的分类器应用于该领域中时，核实分类边界是重要的，该分类边界例如是被不同分类的输入之间的边界。然而，分析神经网络的已知方法具有限制。例如，它们可能仅以直方图或热图的形式提供可解释性，而很少提及分类边界。例如，它们可能产生对抗性的反设事实，或者需要训练新的神经网络。对抗性的反设事实对于现实世界的应用而言仅具有很小的相关性，例如，因为对抗性的场景仅罕见地发生。

实施例解决了这些和其他缺点。例如，在实施例中，在不需要新网络的训练、例如不依赖于生成模型的情况下产生非对抗性反设事实。实施例提供了调试或验证经训练的分类器的强大的新工具。

例如，在实施例中，通过针对分类得分优化变更的图像来变更输入图像，使得变更的图像将被分类为不同于输入图像。例如，虽然经训练的分类器可以将输入图像分类为源分类，但是经训练的分类器可以将变更的图像分类为不同于源分类的目标分类。有趣的是，优化还试图优化相似性得分。相似性得分确保变更的图像在分类器的滤波器中引起不同激活的方式类似于来自目标分类的典型图像与源分类的典型图像相比在分类器的滤波器中引起不同激活的方式。

例如，优化相似性得分减小了以下各项之间的距离：一方面在具有源分类的第一图像集合和具有目标分类的第二图像集合的滤波器激活差异的度量，以及另一方面在输入图像和变更的图像之间的滤波器激活差异的度量。

表征滤波器激活的不同度量是可能的。尽管滤波器激活或平均滤波器激活的直接比较是可能的，但是有利地，滤波器激活以相关的方式被总结。

优选地，用于滤波器激活比较的度量是独立于平移的（translation-independent），例如，如果输入稍微偏移，则度量不应改变。滤波器激活的直接比较不是独立于平移的。例如，对于该度量，特别好的选择是二阶统计量；例如，如用也称为Gramian矩阵的Gram矩阵总结；Gram矩阵是独立于平移的。

使用Gram矩阵具有附加的优势，因为它通常对全局亮度的差异甚至对对象旋转非常稳健。很好的方式是把Gram矩阵认为是总结局部和全局纹理的方式，当把局部和全局纹理放在一起时，产生图像中的独特风格。事实上，它是使其成为实施例的卓越候选的这样一个一般的总结统计。

由实施例产生的变更的图像提供了可解释性，因为它们示出图像应当像什么，以便提供不同的分类。例如，对于将导致丢弃对应对象（变更的图像）的源分类，解释了图像应当看起来像什么，以便保留它。

与已知的方法形成对比，反设事实生成过程可以被视为由在例如第一图像集合和第二图像集合的大量示例中发现的一般概念所说明的变换过程。特别地，量化的度量、诸如滤波器激活或者滤波器激活差异的Gram矩阵可以用于总结风格。该度量可以用于构建在优化过程中被最小化的距离指标。

如指出的，变换过程可以使用优化过程来实现，该优化过程在强制改变输出类成员的同时承担该风格变换。可选地，不确定性估计技术被用作进一步的加强，以创建高置信度的反设事实。后者进一步改进了图像的自然度，从而使生成的反设事实甚至与现实生活更相关。这对于探测或校正分类边界很重要——不正确分类的现实示例或几乎现实的示例比不自然的示例对于应用而言重要得多。在优化中包括不确定性估计也降低了对抗性解决方案的可能性。

有趣的是，实施例不需要昂贵的生成模型。不需要新的神经网络也是用例的优点，在该用例中例如，有限的数据可用。此外，对抗性的反设事实被避免。避免新神经网络的需要也加速了反设事实生成过程，这当例如需要处理许多样本或者需要快速处理它们时是优点。

有趣的是，反设事实生成过程是使用示例集合而说明的。这些示例集合可以符合例如从具有期望分类的图像集合被随机选择的分类。然而，这样的示例集合还提供了添加在任何这样的示例集合中表达的概念、从而从该角度解释图像的附加灵活性。利用任意概念进行测试允许人们更完全地探索在任何给定数据样本周围的解释空间。将实施例应用于不同的第一集合和第二集合也确保了结果确实趋向于收敛到相同的样本。

在实施例中，第一集合和/或第二集合包括单个图像。在第一和/或第二集合中仅使用单个图像是可能的，但是具有如下缺点：优化也是由单个图像的特定特性说明的。在实施例中，第一集合、第二集合或第一集合和第二集合二者都包括多个图像，例如至少2个、至少10个等等。使用多个图像允许操作员例如通过选择具有他/她感兴趣的缺陷类型的多个图像来定义该缺陷类型。

例如，可以为二元分类训练经训练的分类器，该二元分类例如是OK和NOK（不OK）类。该分类可以用来构造示例集合，并生成反设事实。然而，人们也可以获得例如精选的表达更精细类的示例图像集合，例如，特定的故障模式，例如，缺失组件、有划痕组件等；或者特定的OK模式，例如利用正确的照明、利用稍微曝光过度或曝光不足的照明等。这些集合可以用于生成其中神经网络在特定精细控制下故障、从而利用更多的控制来探索分类边界的示例。

有趣的是，实施例可以快速生成许多反设事实图像。当例如由人类操作员审阅生成的反设事实时，在它们看起来自然并且它们的新分类正确的意义上，它们中的许多可能是正确的。另一方面，许多生成的反设事实图像可能不正确地对应于它们的新分类。发现了通过使用实施例，人们可以容易地生成看起来自然但被不正确分类的反设事实图像。通过在分类器的训练或重新训练中包括此类反设事实，可以主动校正分类边界。

由实施例产生的反设事实给出了分类器在哪里绘制其分类边界的重要视觉理解。基于这些反设事实是否适当来进一步训练分类器是可能改进分类器的。例如，人们可以标记产生的反设事实并使用它们来微调模型，例如，重新训练模型。分类边界的目标校正成为可能。

根据实施例的生成变更的图像的方法可以是计算机实现的。用于生成变更的图像的设备和/或系统是电子设备，例如被配置用于根据实施例的方法的计算机。

如本文描述的变更图像的方法可以应用于广泛的实际应用中。此类实际应用包括：测试和调试经训练的分类器，特别是神经网络，特别是卷积神经网络；以及校正经训练的分类器的分类边界。经训练的分类器用于许多应用中，例如：医学应用，例如，对医学图像中的器官进行分类，对自主车辆附近的对象进行分类，对机器人附近或由机器人操纵的对象进行分类，对制造的对象进行分类，例如OK/NOK分类。

该方法的实施例可以作为计算机实现的方法在计算机上实现，或者在专用硬件中实现，或者在两者的组合中实现。用于该方法的实施例的可执行代码可以存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光存储设备、集成电路、服务器、在线软件等。优选地，计算机程序产品包括存储在计算机可读介质上的非暂时性程序代码，用于当所述程序产品在计算机上执行时执行该方法的实施例。

在实施例中，计算机程序包括计算机程序代码，当计算机程序在计算机上运行时，该计算机程序代码适于执行该方法的实施例的全部或部分步骤。优选地，计算机程序体现在计算机可读介质上。

附图说明

将参考附图仅以示例的方式描述另外的细节、方面和实施例。各图中的元件是为了简单和清楚而图示的，并且不一定按比例绘制。在各图中，与已经描述的元件相对应的元件可以具有相同的参考标号。在附图中，

图1a示意性地示出了图像处理系统的实施例的示例，

图1b示意性地示出了生产线的实施例的示例，

图1c示意性地示出了图像和变更的图像的实施例的示例，

图1d示意性地示出了图像和变更的图像的实施例的示例，

图2示意性地示出了用于变更图像的流程图的示例，

图3示意性地示出了用于重新训练神经网络的流程图的示例，

图4示意性地示出了用于变更图像的流程图的示例，

图5a示意性地示出了根据实施例的具有包括计算机程序的可写部分的计算机可读介质，

图5b示意性地示出了根据实施例的处理器系统的表示。

图1-2、5a、5b中的参考标号列表

提供以下参考标号和缩写的列表是为了促进对附图的解释，并且不应被解释为限制权利要求。

100 图像处理系统

101 扩展图像处理系统

110 接口

120 传感器

121 输入图像

130 经训练的分类器

131 源分类

132 分类器训练器

140 平均滤波器激活计算机

141 平均滤波器激活差异

150 训练集合

151 第一图像集合

152 第二图像集合

160 变更的图像优化器

161 变更的图像

170 显示器

181 第一制造站

182 第二制造站

190 电路板

191-193 组件

200 图像处理流程图

201 扩展图像处理流程图

221 输入图像

222 滤波器激活差异

230 经训练的分类器

232 滤波器选择

241 平均滤波器激活差异

251 第一图像集合

252 第二图像集合

253 第一平均滤波器激活

254 第二平均滤波器激活

261 变更的图像

262 优化图像

263 相似性得分

264 不确定性估计

265 分类得分

266 分类阈值

267 总损失值

268 优化循环

1000 计算机可读介质

1010 可写的部分

1020 计算机程序

1110 （一个或多个）集成电路

1120 处理单元

1122 存储器

1124 专用集成电路

1126 通信元件

1130 互连

1140 处理器系统。

具体实施方式

虽然当前公开的主题容许以许多不同形式的实施例，但是在附图中示出了并且在本文将详细描述一个或多个具体实施例，具有如下理解：本公开将被认为是当前公开的主题的原理的示例，并且不旨在将其限制于所示出和描述的具体实施例。

在下文中，为了理解，在操作中描述了实施例的元件。然而，将清楚的是，相应元件被布置成执行被描述为由它们执行的功能。

此外，当前公开的主题不仅限于实施例，而且还包括本文描述的或在相互不同的从属权利要求中引用的特征的每一个其他组合。

图1a示意性地示出了图像处理系统100的实施例的示例。在该示例中，图像处理系统100被示出为图像处理设备100。然而，图像处理系统可以以分布式方式实现；例如，图像处理系统的处理、存储、输入和/或输出可以在云中实现。图像处理系统100配置有接口110。接口110被配置为接收输入图像121作为输入。接口110还可以被配置为接收经训练的图像分类器。图像处理系统100被配置为从输入图像121生成变更的图像161，例如，反设事实。通过优化序列获得变更的图像，使得变更的图像具有不同的分类，例如，目标分类。此外，由变更的图像161引起的滤波器激活可以以类似于具有源分类的典型图像不同于具有目标分类的典型图像的方式而不同于输入图像121的滤波器激活。源分类的典型图像可以由也称为

的第一图像集合151表示；目标分类的典型图像可以由也称为

的第二图像集合152表示。

图像处理系统100可以连接到或包括用于显示变更的图像161的显示器170。也可以显示原始图像121。人们也可以或者取而代之地显示在变更的图像161和原始图像121之间的差异。尤其是在光学检测用例中，大部分图像非常相似；并且特别地，变更的图像161和原始图像121通常非常相似，使得差异图像通常给出图像121的相关部分位于何处的良好指示，该良好指示与分类器130的决策相关。这进一步贡献于可解释性。

图1b示意性地示出了生产线的实施例的示例，其中可以使用经训练的分类器。例如，经训练的分类器可以用于光学检查。例如，生产线可以被配置为制造电路板，例如，PCB板。例如，电路板可以是电子控制单元（ECU），例如控制车辆中的一个或多个电气系统或子系统的汽车电子设备中的嵌入式系统。例如，生产线可以被配置为制造焊接金属板，例如以供在汽车制造中使用。图1b中示意性地示出了第一制造站181，其可以被认为生成所述物理对象，例如，电路板、焊接金属板等。

作为生产线的部分，图像传感器120被配置为获得制造对象的图像；该对象可以是完成的或部分完成的对象。例如，在电路板示例的情况下，图像可以是可见光谱中的图像。例如，在金属板的情况下，图像可以是X光光谱中的图像。在其中获得图像的特定光谱取决于其中可能的缺陷可见的光谱。

训练分类器130被配置为对传感器120获得的图像进行分类。典型的示例是，经训练的分类器130被配置用于类OK和NOK（不OK）。基于该分类，将对由第一制造站181生产的对象进行操作的第二制造站182可以执行不同的动作。典型地，对于NOK分类，对象在f中被丢弃，而对于OK分类，对象可以被进一步处理。例如，站181和182可以都是机器；例如，站181和182都可以是人类；例如，站181可以是机器，并且站182可以是人类。

例如，在电路板的情况下，典型的缺陷包括划痕和缺失组件。例如，在焊接金属板的情况下，典型的缺陷是焊接连接中截留的气泡。分类器130可以是二元分类器，但是该分类器可以配置有另外的类。例如，分类器130可以具有OK类、有划痕类、缺失组件类等。甚至更小粒度的分类也是可能的——例如，在特定组件处的划痕、特定的缺失组件等等。对于金属板示例这也成立。

第一和第二示例集合可以对应于这些分类，即使分类器没有被配置为输出这样的类。例如，第一集合可以对应于OK分类的图像，而第二集合可能是有划痕图像，即使分类器是二元分类器。第一集合和第二集合中的图像仍然可以分别符合源和目标分类，但是它们可能不从所述类随机抽取。取而代之，第一集合和第二集合可以用于在特定方向上引导反设事实的生成。

模型130的错误分类可引起各种问题。例如，分类器130可以将对象分类为NOK，即使它应当被分类为OK，这可能引起该对象被错误地丢弃。甚至更糟糕的是，如果分类器130在即使对象应当被分类为NOK的情况下将该对象分类为OK。这很可能将在后续处理中浪费有价值的时间，尤其是如果后续处理涉及到人类操作员，则在理想情况下应当避免这种情况，因为人工参与成本很高。最糟糕的情况是，错误的分类将导致成品中包括不良部分，例如，汽车的ECU中的不良电路板。修复此类问题比直接在由站181制造之后在成品中涉及的多得多。

可以使用监督学习来训练诸如分类器130的图像分类器。例如，可以收集具有已知分类的图像数据库150。可以使用已知的训练方法来训练分类器。例如，获得经训练的图像分类器的高效方式是在大图像集、例如ImageNet集合上预训练分类器。然后，可以在与图1b中的传感器120相关的图像上重新训练预训练的网络。可以使用获得经训练的图像分类器130的各种已知方式。

在训练分类器130之后，它将正确地对出自图像120的大多数图像进行分类，例如产生针对图像的正确分类。然而，可能发生的是一些图像以意外方式被分类。例如，图像可能意外地被分类为NOK，尽管没有出现任何错误。例如，图像可能意外地被分类为OK，尽管该图像示出有缺陷的产品，例如，具有缺失部分。换句话说，分类器130的分类边界可能不完全正确，其中一些图像落在边界的错误侧。

为了帮助工程师配置生产线以及特别是分类器130，他/她可以使用图像处理系统100的实施例。用虚线指示的是从传感器120到系统100的连接。该连接是虚线，因为在正常操作使用中，图像处理系统100可能不总是被使用。例如，系统100可以用于使人们需要在图像121中做出什么改变来改变分类例如从NOK去往OK可视化。例如，系统100可以用于将意外的NOK改变为OK。这样，可以被可视化的是分类器在图像121中认为什么是错误的。同样，系统100可以用于根据分类器130核实从OK去往NOK分类需要什么。例如，如果分类器130如预期那样工作，它比如可能从电路板的图像去除HF部分以将分类从OK改变为NOK。

图1c示意性地示出了未变更图像A的实施例的示例。在这种情况下，图像示出电路板，其上已经组装了许多组件；组件191、192和193配备有参考标号。例如，图像A可以从分类器130接收分类OK。使用实施例，分类可以被改变为NOK。例如，图像B示出了缺失部分191。例如，图像C示出了有划痕的部分191。在这种情况下，图像B和C看起来被正确地分类为NOK。这指示分类器正确地学习了缺失的组件或有划痕的组件将改变分类。然而，可能发生的是OK图像以不合理的方式改变（图1c中未示出），例如，照明或焦点的稍微改变；在这种情况下，分类可能被错误地改变为NOK。在这种情况下，将找到被分类为NOK而它应当被分类为OK的图像的示例。人们可以使用此类图像来重新训练分类器。

例如，人们可以通过在第二集合中包括示出缺失组件的NOK图像，来在朝向图像B呈现OK图像A时引导实施例；或者通过在第二集合中包括示出划痕的NOK图像，来朝向图像C呈现OK图像A时引导实施例。

同样，当系统100被应用于NOK图像时，可能发生的是例如图像中的缺失部分没有被完全校正的问题。在这种情况下，获得了被错误地分类为OK的图像示例——即使比如人类操作员将仍然把它分类为NOK。

图1d示意性地示出了未变更图像D的实施例的示例。图像D示意性地表示从安装在电路板生产线的光学检查系统中的传感器获得的图像。作为示例，考虑图像D被图像分类器正确地分类为NOK，可能是由于组件191上的划痕。使用实施例，可以为OK的分类生成变更的图像E、例如反设事实。然而，审阅示出，该图像不应被分类为OK。尽管划痕在长度上减少了，但划痕仍然存在。因此，已经找到了一个图像，该图像既逼真、例如看起来自然类似于从图像传感器获得的其他图像，但它被分类错误。图像E可以与类NOK一起用在重新训练分类器中。

例如，人们可以通过在第一集合中包括具有划痕的NOK图像来测试分类器130如何理解有划痕。在这种情况下，它将尝试通过去除划痕来改进图像。

图1c和图1d将正确分类的图像取作起点，但是实施例也可以应用于不正确分类的图像。这贡献于理解为什么特定的图像被分类错误。该理解然后可以跟随有：例如，用不同的参数执行新的训练例如以对抗过度训练，或者通过用生成的图像进行重新训练来校正分类边界中的问题，等等。

在典型的光学检测情况下，光学检测中的样本看起来彼此非常相像。除了小变型之外，一遍又一遍都是相同的画面。此外，大部分NOK分类的原因都很有包容性。如果您在本地改变风格，则您就知道改变发生在哪里。由于后续图像之间的高度相似性，因此使变更的图像可视化的良好方式是从变更的图像、例如从反设事实减去原始图像。差异图像可能指向出现或消失的组件或划痕。

因此，实施例可以用于自动化光学检查中的可解释性。组件可以跨生产线之上进行处理，并可以由自动化系统进行检查，该自动化系统决定是进一步处理它们（OK）还是丢弃组件（NOK）。在后一种情况下，知道组件被丢弃的原因是有用的——例如，以改进分类器130、调试系统、测试系统、获得另外的训练图像等等。

组件被丢弃的原因可以通过将原始输入图像与由实施例产生的反设事实集合进行比较来获得。换句话说，在给定具有丢弃分类的图像的情况下，例如，可以用不丢弃分类（例如OK）来生成变更的图像（例如NOK）。该变更的图像解释了原始分类，因为它告诉操作员“如果样本看起来像这样，则它将不被分类为NOK”。事实上，生成一个或多个反设事实可以是自动化的，例如一旦从传感器130获得了NOK图像。

在实施例中，人们甚至可以配置生产线以基于在图像121和反设事实161之间的改变做出决策，例如标记样本以供进一步手动检查、引导分拣系统或变更制造过程本身的参数。例如，如果变更的图像中的改变在处理流水线的某个阶段示出了比如高温、高压等的已知为副作用的小的局部缺陷，则可以自动调整这些控制因素，以调整缺陷在将来重新发生的概率。取决于个体的用例，这可以使用基于规则的系统或者例如将本方法的输出取作其输入的基于强化学习的系统来完成。

返回到图1a。图1a示出了图像处理系统100的实施例。图像处理系统100在扩展图像处理系统101的上下文中示出，其中图像处理系统100可以形成一部分。扩展图像处理系统101示出了获得图像121的图像传感器120。图像可以是可见光图像、红外图像、x光图像等等。使用哪种模态取决于人们可以对于其使用分类器的分类类型。例如，为了对自主车辆附近的对象和/或人员进行分类，人们可以使用可见光图像传感器或LIDAR图像等。例如，为了对焊缝中的气泡进行分类，人们可以使用X光传感器，因为否则缺陷将不可见。

图像处理系统100的应用包括光学检查，但是各种其他分类应用、例如监督系统或医学成像系统等。在实施例中产生的反设事实和/或在反设事实和原始输入图像之间的比较对于模型开发者和最终用户二者而言也是重要的信息源，因为它传递关于所使用的分类器模型和/或可用数据的状态的可行动信息，例如通过揭示隐藏的偏差，该隐藏的偏差否则将通过传统的性能评估方法（像灵敏度或特异性测量）而不可检测到。这些反设事实和/或它们与原始输入的差异可以可视地输出到例如作为质量评估度量的自动化光学检测流水线的监督器。

获得图像121的传感器120可以使用各种图像模态，例如视频、雷达、LiDAR、超声波、运动、热成像相机、可见光成像等。实施例利用信息的表示作为2D空间网格，这在图像数据上工作良好。图像分类器可以被配置为对传感器数据进行分类，例如，例如关于诸如交通标志、路面、行人、车辆等之类的对象检测传感器数据中对象的存在，这取决于用例。图像处理系统100可以用于检测异常并标识异常的原因。

例如，在例如自动化光学检查的上下文中的可解释性可以涉及异常检测，并且也可以涉及将分类决策归因于这些异常。除了可解释性之外，图像系统100还可以用于生成另外的训练数据，这改进了分类器130的质量，并且最终改进了例如ECU或汽车等之类的最终产品的质量。

例如，在实施例中，图像处理系统100可以包括被配置为变更输入图像121的处理器子系统。在图1a中，处理器子系统没有示出为与系统100的其他元件分离。图1a还示出了包括图像处理系统100的扩展系统101。扩展系统101可以包括例如用于生成输入图像121的传感器120。扩展系统101可以包括例如具有训练图像的数据库150，用于使用分类器训练器132来训练分类器130。

图像处理系统100和/或扩展系统101可以包括处理器系统、存储器和通信接口。系统100和/或101可以通过计算机网络在内部彼此通信、与外部存储装置、输入设备、输出设备和/或一个或多个传感器通信。计算机网络可以是互联网、内联网、LAN、WLAN等。计算机网络可以是因特网。系统可以包括连接接口，该连接接口被布置成按照需要在系统内或系统外进行通信。例如，连接接口可以包括连接器，例如：有线连接器，例如以太网连接器、光学连接器等；或者无线连接器，例如天线、例如Wi-Fi、4G或5G天线。系统100和101可以附加地或替代地使用内部通信机制，例如，总线和API等。

系统100和/或101的执行可以在处理器系统中实现，该处理器系统例如是一个或多个处理器电路、例如微处理器，其示例在本文示出。图1a示出了可以是处理器系统的功能单元的功能单元。（一个或多个）处理器电路没有示出为与这些图中的单元分离。例如，图1a中所示的功能单元可以全部或部分以计算机指令来实现，所述计算机指令在系统100和/或101处存储在例如所述系统的电子存储器中，并且可由所述系统的微处理器执行。在混合实施例中，功能单元部分在硬件中实现例如作为协处理器、例如神经网络协处理器，并且部分存储在系统100和/或101上存储和执行的软件中。分类器130的参数和/或训练数据150可以本地存储在系统100处或者外部存储在系统101中，并且可以存储在云存储中。

系统100包括被配置为接收数据对象的接口110，该数据对象例如是输入图像121或经训练的分类器130。例如，该接口可以包括用于接收输入图像121的API。接口110可以用于获得其他数据，例如，平均差异向量141等。接口110可以包括例如不同模态的多个子接口。例如，接口110可以包括例如至本地存储装置或至云存储的存储接口，以检索经训练的分类器等。

图像处理系统100包括经训练的分类器130。例如，经训练的分类器130可以包括深度神经网络，该深度神经网络被配置用于例如通过学习它们在潜在空间中的输入的表示并且然后根据这些深度特征对它们的输入进行分类而进行分类。例如，分类器130的网络可以被组织成一系列层或层块；这些层中的至少一层包括多个卷积。该网络还可以包括其他已知的神经网络算子，例如，诸如ReLU层的非线性激活功能。

例如，经训练的分类器130可以包括至少一层，该至少一层包括多个卷积滤波器。当分类器应用于图像时，卷积滤波器产生滤波器激活，例如，当神经网络应用于输入图像时所述滤波器的输出。

经训练的分类器130可以使用监督训练算法——例如针对训练图像集合150和对应分类的反向传播算法——来训练。例如，分类器训练器132可以被配置为使用集合150来训练分类器130。为了重新训练分类器130，人们可以向集合150添加新的训练图像和对应的分类，并再次开始训练。然而，人们也可以从已经训练的分类器开始训练，并且在可能与来自集合150的现有训练图像混合的新图像上训练它。后者更高效。在任一情况下，新图像可以被赋予比现有图像更高的权重，使得神经网络接收更强的学习信号。

可以用于引导变更过程的第一图像集合和/或第二图像集合可以从训练集合150取得。例如，第一和/或第二集合可以从具有所选分类的集合150选择；可能选择是随机的。选择可能是有意的，而不是随机的。它们可以是预定的，例如，精选并提供有实施例。取代修改（例如重新训练）分类器130，人们也可以一起训练例如来自数据库150的新的分类器，其优选地用附加的变更图像扩展，以改进新分类器的分类边界。

有趣的是，第一和第二集合可以用于定义例如风格的纹理统计，其将从输入图像转换到变更的图像。这可以通过聚集如由Gram矩阵表示给出的来自这些子集的统计来实现。

经训练的分类器130在系统100中至少用于建立输入图像的分类，即源分类131。例如，经训练的分类器可以应用于输入图像121以获得源分类131。当经训练的分类器被应用于输入图像121时，卷积滤波器的滤波器激活可以被记录。记录所有卷积滤波器激活是可能的，但不是必需的；例如，记录的滤波器激活可以被限制到一个或多个感兴趣的层。

例如，在实施例中，经训练的分类器可以配置有被配置为接收层的选择的API。当将分类器应用于输入图像时，输出所选的层中的滤波器激活。该API可以用于例如计算平均差异向量141。也可以或取而代之选择单独的滤波器来替代层。

扩展系统101可以包括平均滤波器激活计算机140，以计算平均滤波器激活差异141。平均滤波器激活差异141可以预先计算，这是为什么平均滤波器激活计算机140在图101中被示出为扩展系统101的部分，并且不是在图像处理系统100中。平均滤波器激活计算机140也可以是图像处理系统100的部分。集合150也可以是图像处理系统100的部分。例如，如果变更的图像被自动计算，例如对于分类器130为其生成NOK分类的任何输入图像121，预先计算可能是有利的。然而，预先计算不是必需的。在平均滤波器激活计算机140和分类器130之间示出了虚线连接，因为计算机140使用的滤波器激活是例如使用相同的神经网络滤波器参数从相同的分类器获得的。

在实施例中，系统100可以配备有多个平均滤波器激活差异141。例如，第一差异141可以指示当存在划痕时，OK图像中通常如何滤波；第二差异141可以指示当组件缺失时，OK图像中通常如何滤波。例如，系统100可以被配置用于用户选择多个预先计算的平均滤波器激活差异之一。例如，系统100可以被配置为例如自动计算所有多个平均滤波器激活差异141的反设事实。取代预先计算的差异，系统101可以配置有对应的第一和/或第二集合，使得用户可以从中进行选择。

平均滤波器激活计算机140被配置为确定平均而言第一类典型图像和第二类典型图像之间、例如在第一分类的典型图像和第二分类的典型图像之间的滤波器激活如何改变。典型地，第一分类是源分类。

平均滤波器激活计算机140可以被配置为计算平均滤波器激活差异，该平均滤波器激活差异包括具有源分类的第一图像集合151和具有目标分类的第二图像集合152的滤波器激活差异的度量。例如，平均滤波器激活计算机140可以将经训练的分类器130应用于第一集合中的图像和第二集合中的图像，记录相关的滤波器激活并且对于每个集合对它们取平均。可以对第一图像集合的经训练的分类器中的滤波器激活和第二图像集合的经训练的分类器中的滤波器激活之间的平均差异应用一种度量。应用一些总结度量具有下面描述的优化将是更少对抗性并且更自然的优点。例如，该度量可以是应用于激活差异、特别是差异向量的函数。该函数通常将这些向量的集合映射到总结值的集合。为了使比较有意义，对输入图像和变更的图像之间的激活差异应用相同的度量或函数。

度量的良好选择是计算二阶，例如，在平均滤波器激活之上的二次型。在某种意义上，这些是针对滤波器激活的二阶统计的代表。特别地，人们可以采取多个或甚至所有的内积；特别地，所谓的Gram矩阵是度量的特别有用的选择。例如，可以为平均滤波器激活差异计算例如如为第一和第二集合定义的Gram矩阵，同时也为滤波器激活差异计算例如如为输入图像和变更的图像定义的Gram矩阵。

图像处理系统100可以包括变更的图像优化器160，例如以存储在系统100的电子存储器中的计算机程序指令集的形式。变更的图像优化器160被配置为获得平均滤波器激活差异141。变更的图像优化器160进一步被配置为获得变更的图像161。变更的图像161可以从未变更的输入图像121开始通过迭代优化过程获得。变更的图像优化器160的目标是找到变更的图像，其中滤波器激活已经以匹配滤波器激活如何在图像之间改变的方式改变，所述图像对于输入类的图像和期望目标类的图像是典型的。同时，变更的图像优化器160可以优化其他约束。例如，可能要求的是变更的图像161具有特定的目标分类。例如，目标分类可以被配置到系统100中，但是也可以被获得例如作为至系统100的输入。

例如，变更的图像优化器160可以被配置为通过优化至少分类得分和相似性得分来确定输入图像121的变更图像161。分类得分的优化可以被配置为将变更的图像推向不同的分类。例如，分类得分可以包括在变更的图像的分类和目标分类之间的距离。优化相似性得分，以减小平均滤波器激活差异与输入图像和变更的图像之间的滤波器激活差异的度量之间的距离。注意，优选地，被最小化的不是平均滤波器激活之间的差异，而是平均滤波器激活的度量的差异，例如，Gram统计、而不是激活本身的差异。

例如，相似性得分可以是或包括损失项，诸如：

。

在该等式中，x标示输入图像，并且

标示变更的图像。在左边的部分：

标示滤波器激活中的典型改变的度量，而在右边的部分标示当比较变更的图像和输入图像时滤波器激活的改变。算子

标示输入图像x和变更的图像

在层l处的滤波器激活的差异。可以对表示输入图像中期望改变的图像进行类似的计算。例如，

标示相同的滤波器激活差异，但是对于第一和第二集合，取平均。例如，

，其中

是第一集合，

是第二集合，

和

分别是第一集合

和第二集合

在层l处的平均滤波器激活。例如，

可以为层1中的每个卷积滤波器包括一个向量。

最后，如指出的，不需要采取滤波器激活本身，或者事实上优选地，取而代之的是可以采取度量来接管它们以对它们进行某种程度总结。如指出的，为此使用Gram矩阵效果特别好。相应的，

标示从向量集合计算Gram矩阵的Gram算子。

Gram矩阵是从学习的特征抽象输入数据表示的方式。这样的度量优选地足够抽象以对于例如基础特性（激活）中的虚假工件不变，但同时仍然有足够的表达性来捕获激活模式的行为。Gram矩阵通过逐对比较层中的激活滤波器并将结果总结到矩阵中——该矩阵是层中存在的行为的指纹，从而有效地做到了这一点。Gram矩阵为该目的而工作；滤波器的逐对比较向该度量赋予相比于更简单的度量（诸如均值和标准差等）的明显优势。

在实施例中，应用于滤波器激活的度量包括为核函数计算的相关矩阵。Gram矩阵使用以不同滤波器输出之间内积乘法形式的相关性。因此，用于寻找相关性的内积可以由用于相关性的其他度量、例如Pearson相关性来替换。此外，用于Gram矩阵的线性核函数：

，可以由其他选择替换，例如，多项式核可以使用：

，例如，使用

。例如，高斯核可以使用：

。

例如，经训练的分类器中滤波器激活之间的差异或者经训练的分类器中滤波器激活之间的平均差异可以表示为向量集合。例如，滤波器的输出可以表示为向量，并且因此两个滤波器输出之间的差异可以表示为向量。为了改进相似性，可以对这些向量进行进一步处理。例如，可以通过对第一图像集合和第二图像集合中的激活之间的差异向量的每个组合应用核函数来获得矩阵。选择内积作为核函数，人们得到Gram矩阵。

除了相似性得分和分类得分之外，还可以添加其他标准来进一步改进变更的图像。例如，在实施例中，优化可以进一步包括最小化变更的图像的不确定性估计。后者进一步增加了变更的图像和训练图像之间的相似性。

下面描述另外的详细实施例，其可以与扩展系统101一起在图像处理系统100中实现。设A是模型在某个样本x上的激活，并且B是模型在某个样本y上的激活，使得x和y属于不同的类。曾经可想象的为x生成反设事实的方式将是向B插入它的激活A。尽管该方法是可能的，并且这样实现反设事实将是可能的，但该方法具有缺点。首先，它将搜索条件限定在特定的B上并且因此条件限定在特定的y上。然而，如何适当地挑选y不一定清楚。其次，这使用简单的线性模型进行变换，这将最可能不导致对应于看起来自然的图像的通过模型的潜在空间的路径。

更好的方法是将潜在空间映射到不同的表示，以便避免该后一个问题。设

是输入模型M中在层l处的滤波器i，例如经训练的分类器，并且设

是展平的滤波器/特征图中的第k个值。然后，考虑所有的滤波器对i、j，并为层l构建对称的Gram矩阵，给出如下：

。

该表示计算在层中给定特征之间的逐对相关性，并且因此总结了在给定层中特征的相对激活。注意，该值不仅取决于个体滤波器激活的幅度，而且还取决于它们在高维空间中的方向。

该信息在产生反设事实中是有用的，因为它不像上面的示例中那样依赖于指定或要求附加的显式表示y。因此，人们可以创建反设事实，其不一定具有与固定示例y完全相同的潜在表示，而是分享与通过上面的Gram矩阵量化的相同风格的表示。因此，创建这样的反设事实可以通过沿着轨迹进行优化来完成，该轨迹由可以如何最大化该度量来决定。

该轨迹可能取决于附加因素集合。这是有利的，因为通常可以用许多不同的方式来解释输入图像。例如，在以上讨论的二元光学检查场景中，由于不同的原因——例如，在组件表面上存在纹理不规则、缺失某些关键组件、图像照明不正确等，输入图像可能被认为NOK。这些都可以被认为是不同的解释模式。有趣的是，反设事实生成轨迹可以通过针对这些模式中的一个或多个模式调节其开始和结束来定制。

这可以相对花费不多地完成。设

为输入集合。例如，

可以是用户定义的，并且可以如上表示这些概念中的一个或多个。设

对应于样本集合

在层l处的滤波器响应分布。该分布可以通过在样本集合中的个体样本的响应之上聚集——例如求和、取平均等——来计算。然后，给定由特征分布

描述的另一个概念，人们可以对从

到

的轨迹建模，并且如下将该轨迹应用于输入样本x，以便为其生成反设事实。

为了找到从

到

的概念方向，人们可以如下计算每层的激活德尔塔：

。

在模型以相似的方式对概念

和

作出反应的情况下，该结果将是低的，并且在概念不同的情况下，该结果具有高的绝对值。给定将在概念

下解释的新输入x，但是想要在概念

下重新解释，人们可以将

与原始输入x和新输入

的对应激活差异进行比较：

。

其中，如以上

是对输入x的滤波器响应，并且

是对于

的滤波器响应。

目标是找到反设事实的

，例如，变更的图像，对于其的该相似性可以被最大化。如以上讨论的，相似性优选地不直接针对以上特征差异进行测量，而是经由应用于它们的度量、诸如相应的Gram矩阵计算，针对它们的总结表示进行测量：

。

其中

是根据以上定义但使用由其输入给出的特征激活的Gram矩阵。注意，它相对于其输入是可微分的。

函数可以指代任何公共的lp范数，例如，l1或l2范数，并且l索引输入模型的层。因此，这找到了输入

，使得至根或起始样本x的激活差异表现得像在概念

和

之间的差异。为了新图像

是反设事实，例如，与x不同地分类，人们可以对附加的损失进行建模：

。

其中

是由输入模型M计算的分类输出，例如，典型地，样本

的最终softmax向量，并且

是函数，该函数采用目标阈值T_C并量化其与模型预测的差异。例如，

和T_C可以是softmax向量，并且

可以是熵损失。典型地，可以根据选择的目标反设事实类来选择T_C。

也可以替代地在无向导的意义上对

与

的距离进行建模，而不需要T_C。从分类器M的最后一层计算分类可以使用不同的公式，在这种情况下，后一个公式可以结合到分类损失函数中。

可选地，取决于用例，为了防止表示输入模型M的分布外输入的值，可以优选包括对

的附加正则化。例如，人们可以依赖任何数量的可微分不确定性估计技术。例如，人们可以将反设事实

的概率度量建模为

，人们可以直接将其用作

。这些损失项可以组合如下：

。

这可以是个体子损失项之间的加权和；为了简洁起见，上面没有指定这些超参数。超参数可以如所写的那样取作1或-1，或者可以针对特定应用例如凭经验进行优化。由于总损失相对于

是可微分的，因此人们可以使用诸如SGD或ADAM的通用的优化方案，来找到以上能量的最小值

。

要考虑的附加因素是用于优化的滤波器集合，例如，层l中的滤波器，在其上发生L_G的求和。在实施例中，人们可以例如采用模型的所有滤波器。人们也可以采用这些滤波器的任何子集。这将把优化约束到寻找反设事实

，该

将被限制在给定的抽象水平处的格式上的改变。例如，仅使用较早的层将限制除低水平纹理改变之外的所有改变。

在系统100、101等的各种实施例中，通信接口可以从各种替代物中选择。例如，接口可以是至局域网或者例如因特网的广域网的网络接口，至内部或外部数据存储装置的存储接口、键盘、应用接口（API）等。

系统100和101可以具有用户接口，其可以包括公知的元件，诸如一个或多个按钮、键盘、显示器、触摸屏等。用户接口可以被布置用于适应用于配置系统、变更图像、重新训练分类器等的用户交互。

存储装置可以实现为电子存储器、比如闪存，或者磁存储器、比如硬盘等。存储装置可以包括一起构成存储装置140、180的多个分立存储器。存储装置可以包括临时存储器，比如RAM。存储装置可以是云存储。

系统100或甚至系统101可以在单个设备中实现。典型地，该系统包括执行存储在系统处的适当软件的微处理器；例如，该软件可能已经被下载和/或存储在对应的存储器中，所述对应的存储器例如是诸如RAM的易失性存储器或诸如闪存的非易失性存储器。替代地，系统可以全部或部分以可编程逻辑实现例如作为现场可编程门阵列（FPGA）。系统可以全部或部分地实现为所谓的专用集成电路（ASIC），例如为特殊用途而定制的集成电路（IC）。例如，电路可以例如使用硬件描述语言在CMOS中实现，所述硬件描述语言诸如是Verilog、VHDL等。特别地，系统100和/或101可以包括用于评估神经网络的电路。

处理器电路可以以分布式方式实现例如作为多个子处理器电路。存储装置可以分布在多个分布式子存储装置上。部分或全部存储器可以是电子存储器、磁存储器等。例如，存储装置可以具有易失性和非易失性部分。部分存储装置可能是只读的。

图2示意性地示出了用于变更图像的流程图201的示例，流程图201的部分是流程图200，其专用于取决于输入图像执行的计算，并且因此不能被预先计算。后一部分用虚线框指示。

方法201针对经训练的鉴别模型M工作，例如经训练的分类器和样本输入x，例如图像，例如从图像传感器获得的图像。所示的方法如下进行：给定使用输入模型M的两个概念示例集合

和

的激活分布，优化反设事实x0，以模拟当与输入x相比时

和

之间的差异。这发生在内部优化循环中，其也旨在改变

的类成员资格，并且可选地，还包括附加的正则化，例如以鼓励模型对于其具有低不确定性的解决方案。

图2中示出了第一图像集合251和第二图像集合252、经训练的分类器230和滤波器选择232。后者可以例如指示模型230中将被考虑用于优化的特定层。

为第一集合251计算第一平均滤波器激活253，并且为第二集合252计算第二平均滤波器激活254。根据平均滤波器激活253和254，计算平均滤波器激活差异241。后者可以涉及诸如Gram矩阵的度量。

平均滤波器激活差异241用于在正确的方向上引导优化。接收输入图像221，并且初始化变更的图像

。好的选择是将例如

的优化图像262初始化到输入图像x。这具有如下优点：例如，除了所用的损失项之外，在优化图像262中执行的变更也可以由优化周期的数量来控制。计算在输入图像和优化图像262之间的滤波器激活差异222。优化图像262将在某一时刻作为变更的图像261输出。

例如，通过应用例如Gram矩阵的度量从滤波器激活差异222计算相似性得分263。相似性得分可以是例如浮点值的值，该值根据差异向量——输入图像（变更的图像）的第一个差异向量，以及两个典型图像之间的第二个差异向量——计算。可以在第一差异向量之上和第二差异向量之上独立地计算Gram矩阵或其他度量。例如，通过在差异矩阵之上计算范数，例如Gram矩阵的这些度量的差异可以进而被总结为单个值。该范数可以是欧几里德范数等。

也可以计算其他损失项，例如，可以从优化图像262计算不确定性估计264和分类得分265。分类得分265也可以取决于分类阈值266。后者是可选的，并且例如可以被固定。将可能加权的损失项组合成总损失值267。优化循环268使用总损失值267来生成新的优化图像262。例如，通过对损失函数进行微分并将其应用于在减少损失函数的方向上变更图像。

在某一时刻，优化图像262作为变更的图像261被输出。例如，终止条件可以是预定数量的优化周期。例如，终止条件可以是达到损失函数或任何子损失的预定值。后两者的结合也是可能的。

例如，在实施例中，该方法可以如下应用：

1、分别选择表示起始概念x（例如输入图像）的示例集合

和

，以及目标概念。典型地，

将被选为在某些方面类似于x的示例；例如，在光学检查的情况下，与x相同类的样本（例如，NOK）。这可以例如基于图像分类器为x计算的分类被全自动完成。例如，这些集合可以包括被选择为具有相同源分类和目标分类的多个图像。例如，这些集合可以从训练图像随机选择。

为了获得精确的结果，可以选择符合工程师需要在经训练的分类器中核实的特定方面的集合。例如，可以选择

来包括属于该类（例如NOK类）的图像样本，出于相同的原因，例如，组件上的同类缺陷等。同样，可以选择

来表示计数器类（例如，OK）的一个或若干个模式。使用分类器工作的工程师可以以极好的效果使用在选择集合

和

中的灵活性。向他/她赋予在他/她想要探索的分类器的各方面之上的极好控制。

注意，经训练的分类器不需要是二元分类器。例如，分类器可以被训练成分类成若干种类型的NOK分类之一，例如，划痕、缺失组件、不可使用图像，例如，失焦、曝光过度。

2、对要使用的层/滤波器进行选择。典型地，这将是网络中的所有滤波器，但是也可以限于例如：仅后一个滤波器的子集，或模型中较早的滤波器。该方法也可以用不同的滤波器、例如来自不同层的滤波器重复。这可以用于从一个起始图像开始生成不同类型的反设事实。

3、计算滤波器选择的概念激活

和

。可以通过例如在

和

中个体样本的激活之上聚集（例如，取平均、求和等）来对这些分布建模。计算

。

4、设置x0 = x。

5、计算（可能被加权的）子损失

、

和

以及总损失

。

6、使用诸如SGD或ADAM的优化器为

找到最小值

。假设

的类成员不同于x的类成员，并且

超过某个阈值，则

是x的反设事实。为了避免对

进行不必要的改变，优化可以受制于例如：一旦

的类成员满足其要求，就提前停止。将该反设事实返回给用户。优化可能是确定性的，也可能涉及一些随机化。后者可以用于为给定的输入图像生成多个反设事实。

7、取决于用例偏好或要求，在使用不同的层和滤波器选择的情况下从步骤2进行重复。

8、计算的反设事实可以以某种形式显示给用户。它们可以被转发到下游处理任务。该后处理可以包括，例如，用于进一步分类或评估解释模式并在生产系统上启动由实施例生成的、被分类器不正确分类的反设事实的另外分类模型可以用于重新训练。

图3示意性地示出了用于重新训练神经网络的流程图300的示例。图3中示出的是：

训练或重新训练（310）分类器，特别是神经网络分类器。训练可以使用训练图像和训练分类的集合150。

用于分类器初始训练的典型方法是采用例如在ImageNet上训练的预训练的模型，继之以对上层进行重新训练。这样，需要较少的训练数据。实际上，用于光学检查的有用分类器仅需要几千个图像来训练模型；

将分类器应用（320）于一个或多个输入图像。图像可以是训练图像，和/或可以是实践中获得的新图像；

从输入图像获得（330）第一多个的变更的图像。可以为每个输入图像生成一个变更的图像，但是人们也可以生成多个变更的图像。例如，可以从不同的第一集合和第二集合生成变更的图像。例如，可以为不同的目标分类生成集合。例如，可以通过不同的优化获得变更的图像；

从第一多个的变更的图像选择（340）第二多个的变更的图像，对于该第二多个的变更的图像，经训练的分类器产生不正确的分类，并且获得对应的校正的分类。给定输入图像和目标分类，实施例可以很好地生成被不同地正确分类的变更的图像。例如，给定OK图像，实施例可以正确地生成作为NOK并且应当被分类为NOK的变更的图像。同样，给定比如具有缺失组件的NOK图像，实施例可以正确地内绘该缺失的组件，使得变更的图像正确地接收并且应当接收OK分类。如果图像是简单的和/或可预测的，诸如在光学检查的情况下，则成功地从NOK分类过渡到OK分类是更容易的。

然而，一些变更的图像将被不同地分类，虽然它们不应当被不同地分类。后者对于NOK图像而言尤其可能，尽管实施例可以改进图像，但是它可能由于任何原因不完全去除缺陷。此类图像对于重新训练特别有用，因为它们可以改进假阳性的分类器。后一种类型的错误——对于不ok的图像给出OK分类——对于诸如光学检查的实际应用特别重要，因为这样的错误可能引起不良组件在生产线上被进一步处理。实际上，如果模型上写道NOK，则该部分可能被简单地扔掉。当模型上写道OK时，人力成本起作用，但实际上部分不是。后者的成本通常更高。

这可能是因为一些生成的图像，尽管远非典型的对抗性，但对人类观察者而言看起来不完全自然。该问题可以通过包含不确定性损失来减少——具有较低不确定性的图像更可能看起来更自然。此外，对于重新训练，不太自然的图像，尤其是当使用反设事实样本生成从ok到nok的过渡时，这不是问题；即使图像可能不是完全自然的，它们仍然表示缺陷，并且可以用来改进分类器。第一和第二集合可能与OK/NOK分类有关；它们也可以更具体。

选择具有不正确分类的变更的图像可以通过人工选择步骤来完成。例如通过使用更昂贵的，例如更慢的分类器，但质量更高的分类器，选择变更的图像也可以自动完成。混合也是可能的。

图3中所示，选择340的结果可以是由分类器正确分类的变更图像的框350，或者它可以是由分类器未正确分类的变更图像的框360。

最后，框360中的图像可以在步骤310中用于分类器的重新训练，例如至少针对多个变更的图像和校正的分类重新训练经训练的分类器。

实施例的优点包括取得决策边界的非常具体的部分并对其进行校正的能力。从一个或仅几个图像，可以生成许多反设事实。尤其，从NOK分类图像开始，可以生成分类器将认为OK的许多图像。通过对这是不正确的但是具有正确的NOK分类的那些图像进行重新训练，分类器可以在该特定方面得到改进。

图4示意性地示出了用于变更图像的流程图400的示例。方法400包括

- 访问（410）经训练的分类器和输入图像，经训练的分类器包括多个滤波器，

- 将经训练的分类器应用于（420）输入图像以获得源分类（131），

- 获得（430）平均滤波器激活差异（141），其包括具有源分类的第一图像集合（152）和具有目标分类的第二图像集合（152）的滤波器激活差异的度量，

- 确定（440）输入图像的变更的图像（161），确定变更的图像包括优化至少以下各项：

- 变更的图像的分类得分（450），用于减小变更的图像的分类和目标分类之间的距离，

- 相似性得分（460），用于减小在平均滤波器激活差异与输入图像和变更图像之间的滤波器激活差异的度量之间的距离。

例如，变更图像和/或重新训练分类器的方法可以是计算机实现的方法。例如，访问训练数据和/或接收输入数据可以使用通信接口来完成，所述通信接口例如是电子接口、网络接口、存储器接口等。例如，存储或检索参数可以从电子存储器完成，所述电子存储器例如是存储器、硬盘驱动器等，所述参数例如是网络参数。例如，将神经网络应用于训练数据的数据，或者应用于输入图像和/或调整存储的参数以训练网络可以使用电子计算设备来完成，所述电子计算设备例如是计算机。优化变更的图像也可以用电子计算设备来完成，所述电子计算设备例如是计算机。当变更的图像通知工程师关于分类器的技术状态、例如提供可解释性时，可以显示输出的变更的图像，这对于从事图像分类器、特别是神经网络分类器工作的工程师是有用的。取决于神经网络的可靠性，由此获得的洞察力可以用于增加或减少附加的安全预防措施，以增加或减少神经网络的层数或滤波器或训练数据等。变更的图像可以用于重新训练，以改进或校正分类器的分类边界。

分类器中的神经网络可以具有多个层，所述多个层可以例如包括卷积层等。例如，神经网络可以具有至少2、5、10、15、20或40个隐藏层，或者更多，等等。神经网络中的神经元数量可以例如是至少10、100、1000、10000、100000、1000000，或者更多，等等。

执行该方法的许多不同方式是可能的，这如对本领域技术人员而言将是清楚的。例如，步骤的次序可以以所示的次序执行，但是步骤的次序可以改变或者一些步骤可以并行执行。此外，在步骤之间可以插入其他方法步骤。插入的步骤可以表示诸如本文所述的方法的改进，或者可以与该方法无关。例如，一些步骤可以至少部分并行执行。此外，在开始下一步骤之前，给定的步骤可能尚未完全完成。

该方法的实施例可以使用软件来执行，该软件包括用于使得处理器系统执行方法201、200、300、400等的指令。软件可以仅包括由系统的特定子实体采取的那些步骤。软件可以存储在诸如硬盘、软盘、存储器、光盘等之类的合适的存储介质中。软件可以作为信号沿有线或无线或使用例如因特网的数据网络发送。可以使软件可用于下载和/或在服务器上远程使用。该方法的实施例可以使用被布置成配置例如现场可编程门阵列（FPGA）的可编程逻辑的比特流来执行，用于执行该方法。

将领会，当前公开的主题还扩展到计算机程序、特别是载体上或载体中的计算机程序，其适于将当前公开的主题付诸实践。该程序可以是以源代码、目标代码、代码中间源和目标代码的形式，诸如部分编译的形式，或者是以适合供在该方法的实施例的实现中使用的任何其他形式。与计算机程序产品相关的实施例包括与所阐述的至少一个方法的每个处理步骤相对应的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。与计算机程序产品相关的另一实施例包括与所阐述的系统和/或产品中的至少一个的每个设备、单元和/或部分相对应的计算机可执行指令。

图5a示出了根据实施例的具有包括计算机程序1020的可写部分1010的计算机可读介质1000，计算机程序1020包括用于使得处理器系统执行变更图像的方法的指令。计算机程序1020可以作为物理标记或通过计算机可读介质1000的磁化而体现在计算机可读介质1000上。然而，任何其他合适的实施例也是可想到的。此外，将领会，尽管计算机可读介质1000在这里被示出为光盘，但是计算机可读介质1000可以是任何合适的计算机可读介质，诸如硬盘、固态存储器、闪存等，并且可以是不可记录的或可记录的。计算机程序1020包括用于使得处理器系统执行所述变更图像的方法的指令。

图5b示出了根据例如变更图像的图像处理系统实施例的处理器系统1140的示意表示。处理器系统包括一个或多个集成电路1110。图5b中示意性地示出了一个或多个集成电路1110的架构。电路1110包括例如CPU的处理单元1120，用于运行计算机程序组件以执行根据实施例的方法和/或实现其模块或单元。电路1110包括用于存储编程代码、数据等的存储器1122。存储器1122的部分可以是只读的。电路1110可以包括通信元件1126，例如，天线、连接器或两者，等等。电路1110可以包括专用集成电路1124，用于执行该方法中定义的部分或全部处理。处理器1120、存储器1122、专用IC 1124和通信元件1126可以经由互连1130（比如总线）彼此连接。处理器系统1110可以被布置用于分别使用天线和/或连接器进行接触式和/或非接触式通信。

例如，在实施例中，处理器系统1140、例如图像处理系统或设备可以包括处理器电路和存储器电路，处理器被布置成执行存储在存储器电路中的软件。例如，处理器电路可以是英特尔酷睿i7处理器、ARM Cortex-R8等。在实施例中，处理器电路可以是ARM CortexM0。存储器电路可以是ROM电路或例如闪存的非易失性存储器。存储器电路可以是易失性存储器，例如SRAM存储器。在后一种情况下，设备可以包括被布置用于提供软件的非易失性软件接口，例如硬盘驱动器、网络接口等。

如本文使用的，术语“非暂时性”将被理解为排除暂时性信号，而是包括所有形式的存储，包括易失性和非易失性存储器二者。

虽然设备1140被示出为包括每个所描述的组件中的一个，但是各种组件可以在各种实施例中被复制。例如，处理器单元1120可以包括多个微处理器，所述多个微处理器被配置为独立执行本文描述的方法，或者被配置为执行本文描述的方法的步骤或子例程，使得多个处理器协作来实现本文描述的功能。此外，在云计算系统中实现设备1140的情况下，各种硬件组件可以属于单独的物理系统。例如，处理单元1120可以包括第一服务器中的第一处理器和第二服务器中的第二处理器。

应当注意到，以上提及的实施例说明而不是限制当前公开的主题，并且本领域技术人员将能够设计许多替代的实施例。

在权利要求书中，被置于括号之间的任何参考标记不应被解释为限制权利要求。对动词“包括”及其词形变化的使用不排除除了在权利要求中所陈述的那些元素或步骤之外的元素或步骤的存在。在元素之前的冠词“一”或“一个”不排除多个此类元素的存在。诸如“……中的至少一个”之类的表述当在元素的列表之前时表示从该列表中选择全部元素或元素的任何子集。例如，表述“A、B和C中的至少一个”应当被理解为包括仅A、仅B、仅C、A和B两者、A和C两者、B和C两者或者全部A、B和C。当前公开的主题可以通过包括若干不同元件的硬件、以及通过合适编程的计算机来被实现。在列举了若干构件的设备权利要求中，这些构件中的若干个可以通过硬件的同一个项目来体现。仅有事实即在相互不同的从属权利要求中记载了某些措施不指示这些措施的组合不能被有利地使用。

在权利要求中，括号中的参考标号指代示例性实施例的附图中的参考标记或实施例的公式，因此增加了权利要求的可理解性。这些参考标号不应被解释为限制权利要求。