CN114627357A - 确定对于图像分类器决策相关的图像份额 - Google Patents

确定对于图像分类器决策相关的图像份额 Download PDF

Info

Publication number
CN114627357A
CN114627357A CN202111516396.1A CN202111516396A CN114627357A CN 114627357 A CN114627357 A CN 114627357A CN 202111516396 A CN202111516396 A CN 202111516396A CN 114627357 A CN114627357 A CN 114627357A
Authority
CN
China
Prior art keywords
image
input image
intermediate product
classifier
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111516396.1A
Other languages
English (en)
Inventor
A·M·穆诺兹德尔加多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114627357A publication Critical patent/CN114627357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

测量输入图像的份额的方法，其中图像分类器依据所述份额而进行自身关于将输入图像分配到预给定分类的一个或多个类别的决策，该方法包括：由图像分类器将输入图像通过卷积层处理成中间产物；由图像分类器将中间产物映射到关于至少一个目标类别的分类评分；由反图像确定中间产物的空间中的干扰，其中与目标类别相比，图像分类器优先将所述反图像分配给其他类别；提供二元掩模，其具有与中间产物相同数量的像素；由中间产物创建变型，在所述变型中由二元掩模设定的像素被该干扰的与此对应的像素替代；由图像分类器将所述变型映射到关于预给定类别的分类评分；根据分类评分利用质量函数确定：二元掩模以怎样的度量说明输入图像的所求的决策相关份额。

Description

确定对于图像分类器决策相关的图像份额
技术领域
本发明涉及检查（Kontrolle）可训练的图像分类器的行为，这些图像分类器例如能够被用于批量生产的产品的质量检查或者也能够用于至少部分自动化地驾驶车辆。
背景技术
在产品的批量生产中，通常需要持续地检验生产质量。在此力求尽可能快速地识别质量问题，以便能够尽快消除原因并且不会损失作为次品的相应产品的过多单位。
产品的几何形状和/或表面的光学检查是快速的和无破坏性的。WO 2018/197 074A1公开一种检验设备，在该检验设备中对象可遭受大量照明情形，其中在这些照明情形中的每一种下利用摄像机记录对象的图像。由这些图像而评估该对象的形貌（Topographie）。
产品的图像也可以直接利用图像分类器基于人工神经网络被分配给预给定分类的多个类别之一。在此基础上，产品可以被分配给多个预给定的质量类别之一。在最简单的情况下，这种分类是二元的（“OK”/“不OK”）。
在至少部分自动化地驾驶车辆时，同样使用可训练的图像分类器，以便评价交通状况或至少研究其含有的对象的含量（Gehalt）。
发明内容
在本发明的范畴内已经开发了一种用于测量输入图像的如下份额（Anteil）的方法，其中图像分类器依据所述份额而进行自身的关于将所述输入图像分配到预给定的分类的一个或多个类别的决策。
在该方法中，由所述图像分类器首先将所述输入图像通过一个或多个卷积层处理成中间产物。与输入图像相比，该中间产物在维数方面明显减小并且说明了对卷积层直到现在逐渐在输入图像中已识别的特征的激活（Aktivierung）。越多的卷积层已参与创建该中间产物，则如下特征就越复杂，其中中间产物显示出对这些特征的激活。中间产物可以例如包括大量特征图（“feature map”），这些特征图已分别通过将过滤内核（Filterkernen）应用到输入图像或应用到事先已由输入图像产生的中间产物而产生。
因此，中间产物在图像分类器内属于（angehören）“潜在空间（latenten Raum）”。由图像分类器将所述中间产物映射到关于至少一个目标类别的分类评分（Klassifikations-Score）。
由一个或多个如下反图像（Gegen-Bild）确定所述中间产物的空间中的干扰，其中与目标类别相比而言所述图像分类器优先（vorrangig）将所述反图像分配给至少一个其他类别。现在提供至少一个二元掩模，所述二元掩模具有与所述中间产物相同数量的像素。所述掩模中的这些像素中的每一个都只能具有两个不同值，也即例如0和1，或“真”和“假”。
由所述中间产物创建至少一个变型（Abwandlung）。在该变型中，由二元掩模设定的像素被所述干扰的与此相对应的像素所替代。例如，在掩模中具有值为0或“假”的所有像素在所述变型中都可以被所述干扰的像素所替代。
由所述图像分类器将所述变型映射到关于预给定的类别的分类评分。根据所述分类评分利用质量函数（Gütefunktion）确定：所述二元掩模以怎样的度量说明所述输入图像的所求的决策相关的份额。通过合适地选择质量函数和所述变型的分类评分所涉及的类别，可以研究所述输入图像的决策相关的份额的不同方面。
如果根据所述变型而对其确定分类评分的预给定类别例如是目标类别，则质量函数可以包含：该分类评分与针对中间产物所确定的分类评分的比较。例如，现在可以提供掩模，所述掩模使中间产物的所确定的小区域不变，而在此外则给中间产物加载干扰。然后以此例如可以研究：是否所述未改变的区域对于将中间产物分配到目标类别而言是如此地重要，以至于在中间产物的其他区域中应用干扰也不能再动摇该分配。
然而，也可以例如有针对性地询问：通过中间产物的哪些变化而可以将中间产物的分配从目标类切换到另一类别。如果例如在产品的质量检查的范畴内已记录的产品图像已被归入为“不OK=NOK”类别，则可以利用相应的掩模来询问必须对该图像作出什么改变以便将产品图像归入类别“OK”。理想地，图像的这些与决策相关的区域应该对应于具体的缺陷或损坏。这类似于对于人工检查员也期望的是：该人工检查员针对报废产品指出具体原因，而不只是简单声称：所述产品“不知怎么地令人不满意”。
如果预给定的类别不是目标类别，则可以尤其是例如研究：通过中间产物的哪些变化可以将中间产物的分配从目标类别切换到多个可能其他类别中的特定类别。在相应应用的上下文中，到不同类别的错误分配可能导致不同的严重后果。如果例如用于至少部分自动化驾驶车辆的系统对交通标志进行分类，则将“30 km/h”标志错误识别为“50 km/h”标志与将相同的“30km/h”标志错误识别为标志301相比而言较不严重，其中所述标志301对于下一十字路口或街口授予优先行驶权。如果车辆错误地假定拥有优先行驶权，则明显提高碰撞风险。
在这些以及其他研究（Untersuchung）中特别有利的是，由一个或多个反图像确定干扰。已经认识到，与对于通常使用的干扰的情况相比，特别这种类型的干扰的有效强度（Wirkstärke）较少地取决于在图像分类器中具体使用的模型的具体特点（Spezifika）。由两个不同的图像分类器一定能将同一变型分配给不同的类别。尽管如此，针对这些不同的图像分类器所得到的结果是能够有意义地彼此定量比较的。以这种方式，例如分析哪些区域分别对于不同图像分类器而言是决策相关的则可以提供关于对多个可能的图像分类器之一的选择的标准。
更简单的干扰、诸如在使用ReLU激活函数的图像分类器中将像素设置为零或将像素设置为其他统一值，就其有效强度而言是取决于模型的。因此，不仅由于存在如下缺陷或损坏而可能引起例如将产品归入类别“不OK=NOK”，其中所述缺陷或损坏在图像中显示为加性特征（additive Feature）。图像中这种特征的存在表现（zeigen sich）在中间产物中的不同于零的激活中，使得将这些激活置零会移除相应的特征。然而，恰恰相反地，缺少特定的特征也可能提供将产品归入为“NOK”的动机（Anlass）。例如，用于家庭使用的路由器的制造过程可以规定，给设备配备标签，所述标签包含针对首次设立（Ersteinrichtung）应使用的密码。于是在最终检查（Endkontrolle）时重要的是：该标签实际上位于该设备上，因为设备在无该标签的情况下不可用。因此，如果在将干扰应用于中间产物时将特征“标签”的激活设置为零，则并不像是有意的那样从中间产物中移除信息，而是相反地添加关于产品缺陷的非常重要的信息。
有利地选择如下中间产物，所述中间产物在所述图像分类器中由分类器层被映射到至少一个分类评分。恰好在这样的中间产物情况下，将激活设置为零或其他统一值如何产生影响是以所描述的方式而取决于模型的。
干扰尤其可以例如由至少一个如下中间产物形成，其中所述图像分类器将一个或多个反图像处理成所述中间产物。这在中间产物的变型中不仅可能导致附加特征的激活而且可能导致特征的去活（Deaktivieren）。干扰尤其可以例如通过关于如下多个中间产物的其他汇总统计的形成或求平均而被形成，其中所述图像分类器将不同的反图像处理成所述多个中间产物。
在另一有利设计方案中，从多个反图像中选择至少一个如下反图像，其中对于所述至少一个反图像，通过所述图像分类器形成的中间产物根据预给定的距离度量而最接近于由所述输入图像形成的中间产物。例如，包含相应中间产物的像素值的向量之间的余弦距离可以被用作距离度量。所述干扰于是更切合实际，并且包含更少的语义差错，例如对象在移除其之前所位于的桌子之后在空中自由漂浮。
在另一种特别有利的设计方案中，提供多个二元掩模。由所述掩模的总体和通过所述质量函数进行的所属评价而确定所述输入图像的所求的决策相关的份额。例如，这可以包含给输入图像的每个像素分配评价数字（Bewertungszahl），所述评价数字说明该具体像素是如何地决策相关的。可以例如从随机分布中、例如伯努利分布中抽取大量二元掩模。
在该方法（Vorgehen）中，即使是具有由质量函数进行的较低评价或者差的评价的二元掩模也不必被干脆丢弃。反而能够将总体被研究的所有掩模纳入到最终形成的最终结果中。最后，经数个随机抽取的二元掩模的进行的聚合（Aggregieren）也引起：对掩模中的随机性的部分再次求平均（herausmitteln）。
有利地，为了评价每个掩模而随机选择至少一个反图像。这使得最终聚合的结果不取决于对特定反图像的选择。
在另一特别有利的设计方案中，根据如下二元掩模的总和而评估所述输入图像的决策相关的份额，其中所述二元掩模分别利用通过质量函数对所述二元掩模的评价被加权。
例如，假定x是输入图像，fL(x)是由图像分类器由此产生的在潜在空间中的中间产物。于是，利用二元掩模m和在潜在空间中的根据输入图像x所设定的干扰PL(x)而可以将该中间产物的变型x'L例如写为：
Figure 975125DEST_PATH_IMAGE002
。
每个掩模m的质量评价Rx,f(m)现在可以例如对应于分类评分fc，其中图像分类器将所述分类评分分配给该变型x'L：
Figure 361107DEST_PATH_IMAGE003
。
如果在中间产物的空间中抽取N个二元掩模mi，则评价数字
Figure 812948DEST_PATH_IMAGE004
可以例如被写为
Figure 942578DEST_PATH_IMAGE006
。
在这里，脚注f表示图像分类器。
通常，通过内插或其他上采样可以将所述中间产物的根据一个或多个二元掩模所确定的决策相关的份额转变为所述输入图像的所求的决策相关的份额。在此情况下，充分利用中间产物和输入图像之间的空间对应性（Korrespondenz）。
在一种特别有利的设计方案中，选择批量生产的产品的图像作为输入图像。所述分类的类别于是代表产品的质量评价、例如“OK”、“不OK=NOK”、“不能决策”或介于两者之间的任何阶梯分级（Abstufung）。就此而论尤其重要的是针对如下方面的解释：为什么图像分类器将输入图像分配给类别“NOK”。在这里，由图像分类器分配给类别“OK”的图像被用作反图像。在产品的批量生产中，原则上所有图像、即不仅“OK”图像而且“NOK”图像都彼此非常相似，因为制造过程通常提供非常可再现的结果。与此相应地，由这些图像所获得的中间产物中的激活也彼此非常相似。在这里提出的方法提供对在“OK”图像和“NOK”图像之间的差异的非常具体的解释。
利用这样的解释，不仅可以改进图像分类器本身，而且还可以获得关于在制造过程中已确定的质量问题可能原因的认识。如果例如大量的在产品上的小的局部缺陷都对于被归入为“NOK”而言是决定性的（ausschlaggebend）并且这些缺陷又与产品制造期间的特定物理条件（诸如高温或高压）有相关性，则可以有针对性地致力于校正这些条件，以便在将来将所制造的产品样本的更大份额归入为“OK”。
可以将所述图像分类器自身决策所依据的所述输入图像的被确定的份额尤其例如与所述输入图像的借助以其他成像模态（Abbildungsmodalität）对相同产品的观测已被确定为对于所述产品的质量评价而言相关的份额相比较。根据所述比较的所述结果而能够确定用于所述图像分类器的质量评价。例如，能够以如下目标来优化图像分类器的超参数（Hyperparameter）：优化该质量评价。
在另一特别有利的设计方案中，选择从车辆记录的交通状况的图像作为输入图像。所述分类的类别于是代表所述交通状况的评价，基于所述交通状况的评价规划所述车辆的未来行为。恰好在该应用领域中，图像分类器和下游警告系统、驾驶员辅助系统或用于至少部分自动化驾驶的系统通常只能在以下前提条件下被信任：图像分类器的决策是可解释的（erklärbar）。该方法恰好能够提供这些解释。
例如，用于行人的识别系统可以识别在输入图像中的交通状况是否包含行人（输出1）或该交通状况是否不包含行人（输出0）。如果现在例如输入图像根据图像分类器不包含行人，则可以在不同的位置将“行人激活”添加到由该输入图像所创建的中间产物中，以便研究图像分类器的行为如何变化。
就此而论，特别有利的是，通过改变中间产物而不是通过改变输入图像本身来产生这些变型。与通过逐像素改变输入图像而产生包含附加行人并且看起来还是切合实际的变型相比，在中间产物的潜在空间中添加“行人激活”要明显更简单。因此，在这里提出的方法通常是用来测试利用生成对抗网络GAN或其他生成模型产生的新数据点的更简单的途径。
可以将所述图像分类器自身决策所依据的所述输入图像的被确定的份额尤其例如与所述输入图像的已知作为对于交通状况的评定而言相关的份额相比较。于是根据所述比较的所述结果而能够确定用于所述图像分类器的质量评价。类似于批量生产的产品的质量检查的应用示例，于是能够例如以如下目标来优化图像分类器的超参数：此后更好地评价图像分类器的质量。
尤其是，这些方法可以完全或部分地是以计算机实现的。因此，本发明还涉及一种具有机器可读指令的计算机程序，当所述机器可读指令在一个或多个计算机上被执行时，所述机器可读指令促使所述一个或多个计算机执行所描述的方法之一。在这个意义上，同样能够执行机器可读指令的用于车辆的控制设备和用于技术设备的嵌入式系统也应该被视为计算机。
本发明同样还涉及具有计算机程序的机器可读数据载体和/或下载产品。下载产品是可以通过数据网络传输、也即可以由数据网络的用户下载的数字产品，所述数字产品例如可以在在线商店中被出售用于立即下载。
此外，计算机可以装备有计算机程序、机器可读数据载体或下载产品。
附图说明
在下面，与根据附图对本发明的优选实施例的描述共同地更详细地示出改进本发明的其他措施。
图1示出用于测量输入图像2的决策相关的份额2a的方法100的实施例；
图2示出对如下问题的图解：在潜在空间中特征的去活也可以添加信息。
具体实施方式
图1示出用于测量输入图像2的如下份额2a的方法100的实施例的示意流程图，其中图像分类器1依据所述份额而进行自身的关于将该输入图像2分配到预给定的分类的一个或多个类别的决策。输入图像2可选地根据块106可以是批量生产的产品的图像或根据块107可以是交通状况的图像。
在步骤110中，由图像分类器1通过一个或多个卷积层将输入图像2处理成中间产物3。在此，可以有利地根据块111选择中间产物3，所述中间产物在图像分类器1中由分类器层被映射到至少一个分类评分7。中间产物3尤其是例如直至通过分类器层处理之前不能被其他卷积层处理。
在步骤120中，由图像分类器1将中间产物3映射到关于至少一个目标类别的分类评分7。
在步骤130中，由一个或多个反图像5a-5c确定中间产物3的空间中的干扰6，其中与目标类别相比而言，图像分类器1优先将所述反图像5a-5c分配给至少一个其他类别。在步骤140中，提供至少一个二元掩模4，所述二元掩模具有与中间产物3相同数量的像素。二元掩模4和干扰6在步骤150中被合并（zusammenführen）：由中间产物3创建至少一个变型3*，在所述变型中，通过二元掩模4所设定的像素被干扰6的与此相对应的像素所替代。
在此情况下，根据块131，尤其是例如可以由至少一个如下中间产物3'形成干扰6，其中图像分类器1将一个或多个反图像5a-5c处理成所述中间产物3'。
例如，根据块131a，所述干扰6尤其可以例如通过关于多个中间产物3'的其他汇总统计的形成或求平均而被形成，其中所述图像分类器1将不同的反图像5a-5c处理成所述多个中间产物3'。
例如，根据块131b，可以从多个反图像5a-5c中选择至少一个如下反图像5a-5c，对于所述至少一个反图像，通过图像分类器1形成的中间产物3'根据预给定的距离度量而最接近于由输入图像2形成的中间产物3。
根据块132，如果使用多个掩模4，则可以为了评价每个掩模4而随机地选择至少一个反图像5a-5c，以便使最终获得的结果并非过于强烈地受到各个反图像5a-5c的约束。
在步骤160中，由图像分类器1将变型3*映射到关于预给定的类别的分类评分7*。在步骤170中，根据所述分类评分7*利用质量函数8确定：所述二元掩模4以怎样的度量8a说明输入图像2的所求的决策相关的份额2a。因此，所述度量8a是针对具体二元掩模4的质量函数8的值。
根据块161，根据变型3*而对其确定分类评分7*的预给定的类别尤其是例如可以是目标类别。于是，根据方框171，质量函数8可以包含：该分类评分7*与针对中间产物3所确定的分类评分7的比较。
根据块141，可以提供多个二元掩模4。然后可以在步骤180中由掩模4的总体和通过质量函数8进行的所属评价8a而确定输入图像2的所求的决策相关的份额2a。
只要事先还在中间产物的空间中确定了决策相关的份额，就可以在步骤190中通过内插或其他上采样将所述决策相关的份额转变为输入图像2的所求的决策相关的份额2a。
只要根据块106已经根据显示出批量生产的产品的输入图像2确定了决策相关的份额2a，就可以在步骤200中将这些份额2a与所述输入图像的借助以其他成像模态对相同产品的观测已被确定为对于所述产品的质量评价而言相关的份额2b相比较。然后可以在步骤210中根据该比较200的结果200a确定用于图像分类器1的质量评价1a。
只要根据块107已经根据显示出交通状况的输入图像2确定了决策相关的份额2a，就可以在步骤220中将这些份额2a与输入图像的已知作为对于交通状况的评定而言相关的份额2b相比较。然后可以在步骤230中根据该比较220的结果220a确定用于图像分类器1的质量评价1a。
图2阐明在针对产品的质量评定而言相关的图像特征与潜在空间中的由输入图像2所获得的中间产物3中的特征的激活之间的关联。
子图像a）是输入图像2，所述输入图像示出用于家庭使用的WLAN路由器15。在路由器15的外表目视检查期间，通常可以看到外壳10、三个天线11a-11c、LED 12和带有用于初次投入运行的密码的标签13。在子图像a）中，所有这些组件也实际上存在，使得用于质量检查所使用的图像分类器1应该将该输入图像2归类到类别“OK”中。子图像b）示出潜在空间中的在进行该评定的过程中获得的中间产物3。激活50、51a-51c、52和53对应于图像特征10、11a-11c、12或13。
子图像c）是输入图像2，所述输入图像示出由于两个原因而有缺陷的路由器15。一方面，外壳10具有大的裂缝14。而另一方面，则缺少标签13，其中在无标签的情况下使得初次投入运行是不可能的并且整个路由器15是无用的。这些缺陷中的每一个本身都是路由器15不再能销售的充分理由。因此，该输入图像2被图像分类器1归类到类别“不OK=NOK”。子图像d）是在进行该评定的过程中形成的在潜在空间中的中间产物3。在这里，与子图像b）相比，还添加了激活54，该激活对应于外壳10中的裂缝14。同时，缺少对应于标签13的激活53。
这意味着，在根据子图像b）的中间产物3中，将对应于标签13的激活53置零并非仅仅意味着将信息非关键性地“重置”到“无信息”标准状态。相反地，由此添加了如下信息：路由器15具有严重缺陷，所述严重缺陷妨碍到投入运行。
这种效果在如下相反状况（inversen Situation）下还要更加明显，其中在所述相反状况下，图像分类器1的训练以如下方式收敛，零的激活53显示出该标签13的存在，而非零的激活53（例如1）则指示标签13缺少。如果现在应该如下地研究带有标签13的路由器15的输入图像2，即为什么该路由器15已被归入为“OK”，则通过对激活的常规置零并不能识别出标签13与路由器15的质量有关。激活53已经为零，也即相应的干扰6并不导致任何结果。
这里提出的方法基于反图像5a-5c确定干扰6。因此，干扰6究竟是否改变中间产物3不再是取决于对中间产物3中的各个特征的编码。只有利用改变中间产物3的干扰6才能确定输入图像2的决策相关份额2a。
在子图像b）和d）中，绘出示例性掩模4，所述掩模在中间产物3中界定可能的决策相关区域。在方法100的范畴内所使用的干扰6可以例如包含：将来自于属于反图像5a-5c的中间产物3中的根据掩模4所标出的区域复制到由当前中间产物3形成的变型3*中。

Claims (17)

1.一种用于测量输入图像（2）的份额（2a）的方法（100），其中图像分类器（1）依据所述份额而进行自身的关于将所述输入图像（2）分配到预给定的分类的一个或多个类别的决策，所述方法具有步骤：
•由所述图像分类器（1）将所述输入图像（2）通过一个或多个卷积层处理（110）成中间产物（3）；
•由所述图像分类器（1）将所述中间产物（3）映射（120）到关于至少一个目标类别的分类评分（7）；
•由一个或多个反图像 （5a-5c）确定（130）所述中间产物（3）的空间中的干扰（6），其中与目标类别相比而言所述图像分类器（1）优先将所述反图像分配给至少一个其他类别；
•提供（140）至少一个二元掩模（4），所述二元掩模具有与所述中间产物（3）相同数量的像素；
•由所述中间产物（3）创建（150）至少一个变型（3*），在所述变型中，由二元掩模（4）设定的像素被所述干扰（6）的与此相对应的像素所替代；
•由所述图像分类器（1）将所述变型（3*）映射（160）到关于预给定的类别的分类评分（7*）；
•根据所述分类评分（7*）利用质量函数（8）确定（170）：所述二元掩模（4）以怎样的度量（8a）说明所述输入图像（2）的所求的决策相关的份额（2a）。
2.根据权利要求1所述的方法（100），其中选择（111）如下中间产物（3），所述中间产物（3）在所述图像分类器（1）中由分类器层被映射到至少一个分类评分（7）。
3.根据权利要求1至2中任一项所述的方法（100），其中所述干扰（6）由至少一个如下中间产物（3'）形成（131），其中所述图像分类器（1）将一个或多个反图像（5a-5c）处理成所述中间产物（3'）。
4.根据权利要求3所述的方法（100），其中所述干扰（6）通过关于如下多个中间产物（3'）的其他汇总统计的形成或求平均而被形成（131a），其中所述图像分类器（1）将不同的反图像（5a-5c）处理成所述多个中间产物。
5.根据权利要求3至4中任一项所述的方法（100），其中从多个反图像（5a-5c）中选择（131b）至少一个如下反图像（5a-5c），其中对于所述至少一个反图像，通过所述图像分类器（1）形成的中间产物（3'）根据预给定的距离度量而最接近于由所述输入图像（2）形成的中间产物（3）。
6.根据权利要求1至5中任一项所述的方法（100），其中提供（141）多个二元掩模（4）并且其中由所述掩模（4）的总体和通过所述质量函数（8）进行的所属评价（8a）而确定（180）所述输入图像（2）的所求的决策相关的份额（2a）。
7.根据权利要求6所述的方法（100），其中为了评价每个掩模（4）而随机选择（132）至少一个反图像（5a-5c）。
8.根据权利要求6至7中任一项所述的方法（100），其中根据如下二元掩模（4）的总和而评估（181）所述输入图像（2）的决策相关的份额（2a），其中所述二元掩模分别利用通过所述质量函数（8）对所述二元掩模（4）的评价（8a）被加权。
9.根据权利要求1至8中任一项所述的方法（100），其中根据所述变型（3*）而对其确定分类评分（7*）的预给定的类别是目标类别（161），并且其中所述质量函数（8）包含：所述分类评分（7*）与为所述中间产物（3）所确定的所述分类评分（7）的比较（171）。
10.根据权利要求1至9中任一项所述的方法（100），其中通过内插或其他上采样将所述中间产物（3）的根据一个或多个二元掩模（4）所确定的决策相关的份额转变（190）为所述输入图像（2）的所求的决策相关的份额（2a）。
11.根据权利要求1至10中任一项所述的方法（100），其中选择（106）批量生产的产品的图像作为输入图像（2）并且其中所述分类的类别代表所述产品的质量评价。
12.根据权利要求11所述的方法（100），其中将所述图像分类器（1）自身决策所依据的所述输入图像（2）的被确定的份额（2a）与所述输入图像（2）的借助以其他成像模态对相同产品的观测已被确定为对于所述产品的质量评价而言相关的份额（2b）相比较（200），并且其中根据所述比较（200）的结果（200a）而确定（210）用于所述图像分类器（1）的质量评价（1a）。
13.根据权利要求1至10中任一项所述的方法（100），其中选择（107）从车辆记录的交通状况的图像作为输入图像（2）并且其中所述分类的类别代表所述交通状况（50）的评价，其中基于所述交通状况的评价来规划所述车辆的未来行为。
14.根据权利要求13所述的方法（100），其中将所述图像分类器（1）自身决策所依据的所述输入图像（2）的被确定的份额（2a）与所述输入图像（2）的已知作为对于所述交通状况的评定而言相关的份额（2b）相比较（220），并且其中根据所述比较的结果（220a）而确定（230）用于所述图像分类器（1）的质量评价（1a）。
15.一种计算机程序，所述计算机程序包含机器可读指令，当在一个或多个计算机上执行所述机器可读指令时，所述机器可读指令促使所述一个或多个计算机执行根据权利要求1至14中任一项所述的方法（100）。
16.一种机器可读数据载体和/或下载产品，其中所述机器可读数据载体和/或下载产品具有根据权利要求15所述的计算机程序。
17.一种计算机，其中所述计算机具有根据权利要求15所述的计算机程序和/或具有根据权利要求16所述的机器可读数据载体和/或下载产品。
CN202111516396.1A 2020-12-14 2021-12-13 确定对于图像分类器决策相关的图像份额 Pending CN114627357A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20213726.1A EP4012611A1 (de) 2020-12-14 2020-12-14 Bestimmung der für einen bildklassifikator entscheidungsrelevanten bildanteile durch zielgerichtetes abwandeln im latenten raum
EP20213726.1 2020-12-14

Publications (1)

Publication Number Publication Date
CN114627357A true CN114627357A (zh) 2022-06-14

Family

ID=73835390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111516396.1A Pending CN114627357A (zh) 2020-12-14 2021-12-13 确定对于图像分类器决策相关的图像份额

Country Status (3)

Country Link
US (1) US20220189148A1 (zh)
EP (1) EP4012611A1 (zh)
CN (1) CN114627357A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022212153A1 (de) 2022-11-15 2024-05-16 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfung eines Bildklassifikators mit Abwandlungen im latenten Raum der Zwischenprodukte

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017207071A1 (de) 2017-04-27 2018-10-31 Robert Bosch Gmbh Prüfvorrichtung zur optischen Prüfung eines Objekts und Objektprüfungsanordnung

Also Published As

Publication number Publication date
US20220189148A1 (en) 2022-06-16
EP4012611A1 (de) 2022-06-15

Similar Documents

Publication Publication Date Title
CN108229267B (zh) 对象属性检测、神经网络训练、区域检测方法和装置
CN114155181B (zh) 检查方案的自动优化
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN111178446A (zh) 一种基于神经网络的目标分类模型的优化方法、装置
CN114627357A (zh) 确定对于图像分类器决策相关的图像份额
CN114170227A (zh) 产品表面缺陷检测方法、装置、设备及存储介质
CN115100614A (zh) 车辆感知系统的评估方法、装置、车辆及存储介质
CN113963190A (zh) 变更图像的系统和方法
JP2023123387A (ja) 欠陥検出方法およびシステム
US20220012546A1 (en) Measurement of the sensitivity of classifiers based on interacting faults
Soni et al. A review on strategic pavement maintenance with machine learning techniques
JP7415286B2 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN112150344A (zh) 用于确定一类别的对象的置信值的方法
CN113807384A (zh) 测量图像分类器对输入图像变化的灵敏度
KR20210087100A (ko) 광 신호를 포인트 확산 함수에 피팅하는 것에 의한 결함 분류
Brummel et al. Spatial precision and recall indices to assess the performance of instance segmentation algorithms
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
JP6923021B2 (ja) 評価方法、トレーニングデータセット、エミュレータ作成方法、分類方法、試験方法、車両制御装置、および車両
US20220222528A1 (en) Method for Making a Neural Network More Robust in a Function-Specific Manner
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
JP7119949B2 (ja) 判定装置及び判定方法
CA2997335C (en) Automatically generating image datasets for use in image recognition and detection
US20220189006A1 (en) Determination of the decision-relevant image components for an image classifier using binary masks
DE102020212005B4 (de) Verfahren zur Bestimmung der für einen Bildklassifikator entscheidungsrelevanten Bildanteile

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination