CN113807384A

CN113807384A - 测量图像分类器对输入图像变化的灵敏度

Info

Publication number: CN113807384A
Application number: CN202110653683.0A
Authority: CN
Inventors: A·M·穆诺兹德尔加多
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-06-12
Filing date: 2021-06-11
Publication date: 2021-12-17
Also published as: US11790639B2; US20210390350A1; EP3923193A1; EP3923193B1

Abstract

本发明涉及用于测量图像分类器（2）对输入图像（1）的变化的灵敏度（2*）的方法（100），所述图像分类器将输入图像（1）分配给预给定分类的一个或多个类别（3a‑3c），所述方法具有以下步骤：通过至少一个预给定的算子（4）将所述输入图像（1）映射（110）为中间图像（5），所述中间图像与所述输入图像（1）相比具有较少的信息内容和/或较差的信噪比；提供（120）至少一个生成器（6），所述至少一个生成器被训练为产生由所述图像分类器（2）分配给所述预给定分类的特定类别（3a‑3c）的逼真图像；利用所述生成器（6）从所述中间图像（5）产生（130）所述输入图像（1）的变型（7）。

Description

测量图像分类器对输入图像变化的灵敏度

技术领域

本发明涉及可训练图像分类器的行为控制，所述图像分类器例如可用于批量生产的产品的质量控制。

背景技术

在产品批量生产的情况下，通常需要对生产质量持续地进行检查。在此力求尽可能快地识别出质量问题，以便能尽可能快地消除原因并且不会有太多单位的相应产品作为废品损失。

产品的几何形状和/或表面的光学控制是快速且无损的。WO 2018/197 074 A1公开了一种试验设备，其中可以将对象置于大量照明状况下，其中在这些照明状况中的每一种状况下都用相机记录所述对象的图像。从这些图像中分析所述对象的形貌。

所述产品的图像也可以直接利用基于人工神经网络的图像分类器分配给预给定分类的多个类别之一。在此基础上，可以将所述产品分配给多个预给定的质量类别之一。在最简单的情况下，这种分类是二元的（“合格”/“不合格”）。

发明内容

在本发明的范围中分配了一种用于测量图像分类器对输入图像变化的灵敏度的方法。

所述图像分类器将输入图像分配给预给定分类的一个或多个类别。作为输入图像可以例如使用批量生产的、名义上相同的产品的图像。例如可以将所述图像分类器训练为将所述输入图像分配给代表相应产品的质量评判的至少两个可能类别中的一个或多个。

例如，可以基于图像将产品二元地分类为“合格”或“不合格”(NOK)。例如，划分为包含更多介于“合格”和“不合格”之间的中间级别的分类也能够是可能且有意义的。

图像的概念原则上包括布置为二维或多维栅格的任何信息分布。例如，这些信息可以是使用任意成像模态（例如使用光学相机、热成像相机或使用超声）记录的图像像素的强度值。但是，也可以将任何其他数据、例如音频数据、雷达数据或激光雷达数据转换为图像，然后以相同的方式进行分类。

在该方法中，通过至少一个预给定算子将所述输入图像映射为中间图像，所述中间图像与所述输入图像相比具有较少的信息内容和/或较差的信噪比。

例如，所述信息内容可以在香农信息论的意义上理解为表征图像以及例如通过信道传输图像所需的独立参数（例如比特）的最小数量。

这样，例如将所述输入图像缩小到更低的像素分辨率导致所述中间图像完全由这些更低数量的像素来描述。如果所述中间图像在缩小后再次放大到所述输入图像的原始像素分辨率，则也没有任何变化。所述输入图像中原始包含的信息的一部分已不可挽回地丢失了。

如果使用自动编码器结构的编码器将所述输入图像转换为降维表示，则同样适用。无论该降维表示是直接用作中间图像还是为此又转换回与原始输入图像具有相同像素分辨率的图像，都适用。自动编码器结构可以例如包括编码器和解码器，其中所述编码器产生降维表示，而所述解码器将该表示转换回。然后可以一起训练所述编码器和所述解码器，其目标是在转换回时产生与原始输入图像尽可能相似的图像。

所述输入图像的至少一部分的模糊导致该图像中的信息在空间中变化更慢，也就是说，从该图像中去除了特定的空间频率。因此，该图像由较少的空间频率局部或全局描述。因此由于所述模糊也减少了信息内容。

例如，通过向所述中间图像添加加性和/或乘性噪声，可以使所述中间图像的信噪比与所述输入图像相比变差。

与所述输入图像相比，仿射变换也可以减少中间图像的信息内容。此外，所述输入图像也可以通过经过训练的中间图像生成器映射为具有较少信息内容和/或具有较差信噪比的中间图像。例如，可以将所述中间图像生成器训练为从输入图像产生伴有难以用解析公式描述的干扰的图像。该生成器可以基于具有这种干扰的示例图像来学习在完全不同的图像上也留下这种干扰。

提供至少一个生成器，该生成器被训练为产生一方面是逼真的并且另一方面由所述图像分类器分配给预给定分类的特定预给定类别的图像。利用所述生成器，从中间图像产生输入图像的变型。在此，除了输送所述中间图像之外，还可以向所述生成器输送随机噪声，以便从同一个中间图像产生许多变型，这些变型由所述图像分类器分类到特定的预给定类别中。

通过这种方式，例如可以将由所述图像分类器分配给“合格”类别的输入图像有针对性地转换为由所述图像分类器分配给“不合格”类别的变型。如果在“合格”和“不合格”之间存在其他中间级别作为其他类别，则也可以从同一个输入图像有针对性地产生属于这些其他类别之一的变型。在此，对于每个目标类别可以由单独的生成器负责。但是，也可以使用例如唯一的“条件”生成器，可以为该生成器预给定期望的目标类别。

原则上也可以将所述输入图像直接输送到生成器，从而获得变型。绕过中间图像背后的考虑是，原始输入图像上必须进行明显更强的变化才能引导所述图像分类器脱离其原始判断并将所述变型分配给另外的类别。这些明显更强的变化很难与所述变型应当是逼真图像的目标相一致。

恰恰对于质量控制的所提到的应用目的，重要的是所述变型是逼真的。这里所想要的正好是在真实图像记录时可能出现并导致所述输入图像被不同分类的效应。

现在通过首先产生具有减少的信息内容和/或具有恶化的信噪比的中间图像，通过所述图像分类器进行的分类不确定性显著增加。同时，所述中间图像仍然保留了输入图像的基本特征，所述基本特征尤其是插入到所述输入图像的低频分量中。从不确定性增加的该状态开始，只还需要对图像进行相对较小的干预，以从中得到由所述图像分类器分配给另一类别的变型。这种小干预于是仍然在可以被引入所述图像中而不剥夺其逼真特征的范围内。

在特别有利的设计中，将所述中间图像生成器训练为产生与输入图像尽可能相似并且同时由所述图像分类器以尽可能大的不确定性分类的逼真图像。如上所述，由此出发，能够以高概率通过小的变化来改变由所述图像分类器将所述中间图像分类到的类别。例如，可以利用这些图像在经过预训练的神经网络的深度特征图中分别引起的激活之间的余弦距离来测量与所述输入图像的相似性。

所述变型提供了关于所述输入图像中的哪些具体变化促使所述图像分类器将该图像分配给与目前类别不同的类别的可直接理解的信息。如果由所述生成器产生的变型所属的特定类别是与由所述图像分类器将所述输入图像分配到的类别不同的类别，则一个或多个变型与所述输入图像的比较直接提供了驱使所述图像超出类别之间的判定界限的变化。由此，可以既定性又定量地分析所述图像分类器对输入图像变化的灵敏度。替代地或与此组合地，也可以将关于多个变型的任何综合统计用于灵敏度评估。此外，例如也可以确定根据余弦距离、特征聚类或任何其他度量而最接近所述输入图像的变型。

例如，在此可以得出，在制造过程中产生的产品污染或在特定照明条件下产品表面的光反射导致无缺陷的产品被分配到“不合格”类别并因此作为废品丢弃。

相反，该分析例如还可以得出，质量控制中物理图像记录中的特定缺陷，例如所使用相机的景深差或照明不足，导致缺陷产品的图像被分配到“合格”类别，并且因此该缺陷产品错误地通过所述质量控制。在提供大量完美产品的配合的生产过程中，各个产品的质量缺陷以高概率通过可明确分界的个体损坏表明。例如，划痕可能会划过表面，或者涂层可能在特定部位处剥落。如果这样的损坏由于差的图像质量而无法识别出，则可能无法将缺陷产品识别为缺陷产品。

为了具体地能够调查图像记录时的问题，在另一特别有利的设计中，附加地改变用于产生所述中间图像的算子，并且分析所述灵敏度对算子的依赖性。例如，所述算子可以通过能够改变的参数来表征。在该分析中，可以例如发现最小变差的景深就已经显著恶化了许多错误的识别，而即使在照明状况明显更差的情况下该识别仍然起作用。

最后，例如还可以识别出，所述图像分类器是否可能根本不是基于图像的相关特征，而是基于另外的特征做出判定。例如，如果在质量控制时难以识别实际产品的特征，则所述图像分类器可以回避这一点，转而检查将该产品保持在相机中的机械臂。

在另一特别有利的设计中，响应于图像分类器的所确定的灵敏度满足预给定的标准，预标记输入图像所涉及的产品以进行手动的事后控制，和/或操控输送装置以将该产品从生产过程中分拣出来。于是可以节省在自动化的质量控制的范围中记录和分析图像所需的大量额外的技术耗费，该额外的技术耗费本来是为了能够也自动澄清所有可疑情况和边界情况而必需的。与在自动化的质量控制情况下将命中率提高到完全消除要事后控制的可疑情况的程度相比，对大量生产的产品的少数若干示例进行手动的事后控制在经济上明显更为有利。

以所描述的方式产生的变型不仅可以用于测量关于所述图像分类器对输入图像变化的灵敏度的现状。更确切地，所述变型还可以用于改进对所述图像分类器的训练并从而特别是锐化在接近判定界限时的识别性能。因此，在另一有利的设计中，将所述变型用作用于训练所述图像分类器的其他训练图像。例如，这些训练图像可以手动地用应当由所述图像分类器将其分配到的类别加以标记。这不必是所述输入图像也被分配到的同一类别。

本发明还涉及一种用于训练在上述方法中使用的生成器的方法。在该方法中提供了大量训练图像，其中针对这些训练图像不必强制知道所述图像分类器名义上应当将哪个训练图像分类到哪个类别中。如前所述，从这些训练图像分别产生中间图像。

现在针对以下目标优化表征所述生成器的行为的参数：由所述生成器产生的变型由所述图像分类器分配给预给定的类别并且同时与训练图像相似。在此，可以分别选择性地针对所有训练图像，或仅针对由所述图像分类器分配给与将由所述生成器产生的变型相同的类别的训练图像来测量这种相似性。

在此，可以利用任何度量来定量地测量向特定的预给定类别的分配，所述变型应当由所述图像分类器分配到该特定的预给定类别。例如，可以利用任何标准来测量与所述预给定类别相关的实际分类分数和期望分类分数之间的差异。

通过与所述生成器同时或交替训练的判别器能够将所述变型与训练图像区分开的程度，可以特别有利地测量所述变型与所述训练图像的相似性。该比较的基础可以选择性地是所有训练图像的多样性或仅以下训练图像的多样性，这些训练图像由所述图像分类器分配给与将由所述生成器产生的变型相同的类别。在训练期间，生成器和判别器形成生成对抗网络（Generative Adversarial Network）GAN，其中在训练结束后的测量灵敏度时仅还继续使用生成器。

在另一特别有利的设计中，附加地训练产生来自以下类别的图像的生成器，使得所述变型尽可能与所述训练图像相似，所述图像分类器也将所述训练图像分类到该类别。通过这种方式，确保了所述生成器不仅仅学习“从无”中（即从噪声中）产生变型，而且学习重建具体的输入图像。为了该训练，例如可以汇总由所述图像分类器分别分配给同一类别的输入图像的“批次”。

如果使用中间图像生成器来产生中间图像，则该中间图像生成器特别是可以例如与所述生成器同时或交替地接受训练。于是，例如可以在用于训练的公共成本函数中期望将

•每个生成器产生实际上也由所述图像分类器分类到期望的目标类别中的变型；

•每个生成器产生一般很难与训练图像或期望目标类别的训练图像区分开来的变型；

•每个生成器以最佳方式重建由所述图像分类器分类到期望的目标类别的输入图像；

•所述中间图像生成器产生与所述输入图像尽可能相似或至少仍保持所述输入图像的基本特征的逼真图像；以及

•所述中间图像生成器产生的图像同时由所述图像分类器以尽可能大的不确定性进行分类，

以任何权重（可选地由超参数规定）综合在成本函数（损失函数）中。然后可以基于该成本函数利用任何优化方法（例如ADAM或梯度下降）来训练所述生成器以及可选地训练所述中间图像生成器。

该方法特别是可以完全或部分地由计算机实现。因此，本发明还涉及一种具有机器可读指令的计算机程序，当在一台或多台计算机上执行所述机器可读指令时，所述机器可读指令促使所述一台或多台计算机执行所描述的方法之一。从这个意义上说，同样能够执行机器可读指令的车辆控制设备和技术设备的嵌入式系统也应被视为计算机。

同样，本发明还涉及机器可读数据载体和/或具有计算机程序的下载产品。下载产品是可以通过数据网络传输的数字产品，即可以由所述数据网络的用户下载的数字产品，所述数字产品可以例如在用于立即下载的在线商店中供出售。

此外，计算机可以配备有所述计算机程序、所述机器可读数据载体或所述下载产品。

下面与本发明的优选实施例的描述一起基于附图更详细地示出改进本发明的其他措施。

附图说明

其中：

图1示出了用于测量图像分类器2的灵敏度2*的方法100的实施例；

图2示出了输入图像1的变型7的示例性重新分类；

图3示出了用于训练生成器6的方法200的实施例。

具体实施方式

图1是用于测量图像分类器2对输入图像1变化的灵敏度2*的方法100的实施例的示意性流程图。根据步骤105，作为输入图像1特别是例如可以选择批量生产的、名义上相同的产品的图像。然后可以将图像分类器2训练为将输入图像1划分为预给定分类的类别3a-3c，这些类别代表相应产品的质量评判。

在步骤110中，通过预给定的算子4将输入图像1映射为中间图像5，所述预给定的算子4特别地可以是经过训练的中间图像生成器4a。与输入图像1相比，中间图像5具有较少的信息内容和/或较差的信噪比。在步骤120中提供至少一个生成器6。将生成器6训练为产生由图像分类器2分配给预给定分类的特定类别3a-3c的逼真图像。

特别地，可以为每个类别3a-3c设置单独的生成器6。然而，也存在唯一的生成器6就足够的应用。例如，可以仅询问为什么将产品归类到质量类别3a-3c中的最差质量类别并打算分拣出。然后，唯一的生成器6可以产生由图像分类器2归类到该最差质量类别3a-3c中的逼真图像。

在步骤130中，利用生成器6从中间图像5产生输入图像1的变型7。特别地，例如根据块131，该变型在此可以是由图像分类器2归类到与原始输入图像1不同的类别3a-3c中的变型7。然后变型7仍然可识别地基于原始输入图像1，但被改变为使得超过图像分类器2在两个类别之间的判定界限。这直接体现了图像分类器2对输入图像1变化的灵敏度2*。

可以例如根据块134从一个或多个变型7与输入图像1的比较132和/或从多个变型7的综合统计133来分析灵敏度2*。然后附加地还可以根据块111改变用于产生中间图像5的算子4，使得根据块135可以分析图像分类器2的灵敏度2*对算子4的依赖性。如上所述，由此可以特别是评估哪些减少信息内容的措施或哪些类型和强度的噪声对图像分类器2进行的分类具有特别不利的影响。

然而，变型7不仅可以用作灵敏度2*的度量，而且可以在步骤140中附加地用作用于训练图像分类器2的其他训练图像。接近图像分类器2的判定界限的训练图像特别适合于锐化该判定界限。

在步骤150中可以检查图像分类器2的所确定的灵敏度2*（也可能表达为灵敏度2*对算子4的依赖性2*(4)）是否满足预给定标准。如果满足（真值1），则可以例如在步骤160中预标记输入图像1所涉及的产品以用于手动的事后控制。替代地或与此相组合地，可以在步骤170中操控输送装置8，以便将该产品从生产过程中分拣出来。

图2示例性地示出了输入图像1的变型7如何能够通过产生减少了信息的中间图像5和随后使用生成器6的重建来导致变型7由图像分类器2归类到与原始输入图像1不同的类别3a-3c中。

输入图像1示出了正六边形形式的螺母10，其具有在中间的内螺纹11。由于材料或制造缺陷，裂纹12从内螺纹11的外周一直延伸到螺母10的外边缘。如果将该输入图像1输送到图像分类器2，则将该输入图像归类到类别3a中，该类别对应于质量评判“不合格”（NOK）。

而如果通过模糊算子4将所述输入图像转换为减少了信息的中间图像5，则螺母10的角被倒圆。仍然可以识别出该六边形的基本形状。然而，该模糊已经导致裂纹12仅还以强烈减弱的方式可见。

生成器6被训练为产生由图像分类器2归类到类别3b中的逼真图像，该类别3b对应于质量评判“合格”（OK）。在将中间图像5输送到该生成器6时，在中间图像5中仍然可识别的裂纹12的最后残余也消失了。

变型7与原始输入图片1的比较得出，裂纹12使得划分到类别3a=“不合格”中与划分到类别3b=“合格”中之间存在区别。

图3是用于训练生成器6的方法200的实施例的示意性流程图。在步骤210中提供大量训练图像1#。在步骤230中，利用至少一个预给定算子4分别从这些训练图像1#产生中间图像5#。

在步骤230中，针对以下目标对表征生成器6的行为的参数6*进行优化：将由生成器6产生的变型7通过图像分类器2分配给预给定类别3a-3c并且同时与训练图像1#相似。

在此，根据块231，可以通过与生成器6同时或交替训练的判别器能够将变型7与训练图像1#区分开的程度来测量变型7与训练图像1#的相似性。

根据块232，附加地可以训练产生来自以下类别3a-3c的图像的生成器6，使得变型7尽可能与训练图像1#相似，图像分类器2也将训练图像1#划分到该类别中。

根据块233，可以与生成器6同时或交替地训练产生中间图像5的中间图像生成器4a。

参数6*的优化可以继续进行，直到满足任何终止标准为止。参数6*的完成训练的状态表征完成的生成器6。

Claims

1.用于测量图像分类器（2）对输入图像（1）的变化的灵敏度（2*）的方法（100），所述图像分类器将输入图像（1）分配给预给定分类的一个或多个类别（3a-3c），所述方法具有以下步骤：

•通过至少一个预给定的算子（4）将所述输入图像（1）映射（110）为中间图像（5），所述中间图像与所述输入图像（1）相比具有较少的信息内容和/或较差的信噪比；

·提供（120）至少一个生成器（6），所述至少一个生成器被训练为产生由所述图像分类器（2）分配给所述预给定分类的特定类别（3a-3c）的逼真图像；

•利用所述生成器（6）从所述中间图像（5）产生（130）所述输入图像（1）的变型（7），

其中由所述生成器（6）产生的变型（7）所属的特定类别（3a-3c）是与由所述图像分类器（2）将所述输入图像（1）分配（131）到的类别（3a-3c）不同的类别（3a-3c），以及其中

•从一个或多个变型（7）与所述输入图像（1）的比较（132），和/或

•从关于多个变型（7）的综合统计（133）

分析（134）所述图像分类器（2）对所述输入图像（1）的变化的灵敏度（2*）。

2. 根据权利要求1所述的方法（100），其中所述预给定的算子（4）包括：

•将所述输入图像（1）缩小到较低的像素分辨率；和/或

•利用自动编码器结构的编码器产生所述输入图像（1）的降维表示，和/或

•添加加性和/或乘性噪声；和/或

•模糊所述输入图像的至少一部分；和/或

•至少一个仿射变换，和/或

•其他经过训练的中间图像生成器（4a）。

3.根据权利要求2所述的方法（100），其中所述中间图像生成器（4a）被训练为产生与所述输入图像（1）尽可能相似并且同时由所述图像分类器（2）以尽可能大的不确定性分类的逼真图像。

4.根据权利要求1至3中任一项所述的方法（100），其中附加地为了产生所述中间图像（5）而改变（111）所述算子（4），以及其中分析（135）所述图像分类器（2）的灵敏度（2*）对所述算子（4）的依赖性。

5.根据权利要求1至4中任一项所述的方法（100），其中将所述变型（7）用作（140）用于训练所述图像分类器（2）的其他训练图像。

6.根据权利要求1至5中任一项所述的方法（100），其中选择（105）批量生产的、名义上相同的产品的图像作为输入图像（1），以及其中所述图像分类器（2）被训练为将所述输入图像（2a-3c）分配给至少两个可能类别（3a-3c）中的一个或多个类别，所述至少两个可能类别代表相应产品的质量评判。

7.根据权利要求6所述的方法（100），其中响应于图像分类器（2）的所确定的灵敏度（2*）满足预给定的标准（150），预标记（160）所述输入图像（1）所涉及的产品以进行手动的事后控制，和/或操控（170）输送装置（8）以将该产品从生产过程中分拣出来。

8.用于训练在根据权利要求1至7中任一项所述的方法（100）中使用的生成器（6）的方法（200），具有以下步骤：

•提供（210）大量训练图像（1#）；

•利用至少一个预给定的算子（4）分别从所述训练图像（1#）产生（220）中间图像（5#）；

•针对以下目标优化（230）表征所述生成器（6）的行为的参数（6*）：由所述生成器（6）产生的变型（7）通过所述图像分类器（2）分配给预给定类别（3a-3c）并且同时与训练图像（1#）相似。

9.根据权利要求8所述的方法（200），其中通过与所述生成器（6）同时或交替训练的判别器能够将所述变型（7）与训练图像（1#）区分开的程度，测量（231）所述变型（7）与所述训练图像（1#）的相似性。

10.根据权利要求8至9中任一项所述的方法（200），其中附加地训练（232）产生来自以下类别（3a-3c）的图像的生成器（6），使得所述变型（7）尽可能与所述训练图像（1#）相似，所述图像分类器（2）也将所述训练图像（1#）分类到该类别（3a-3c）。

11.根据权利要求8至10中任一项所述的方法（200），其中，与所述生成器（6）同时或交替地训练（233）产生所述中间图像（5）的中间图像生成器（4a）。

12.包含机器可读指令的计算机程序，当在一台或多台计算机上执行所述机器可读指令时，所述机器可读指令促使所述一台或多台计算机执行根据权利要求1至11中任一项所述的方法（100、200）。

13.机器可读数据载体和/或下载产品，具有根据权利要求12所述的计算机程序。

14.计算机，配备有根据权利要求12所述的计算机程序和/或根据权利要求13所述的机器可读数据载体和/或下载产品。