CN113435238A - 依据关于特征的附加信息对神经分类器网络的输出的合理性检查 - Google Patents

Abstract

本发明涉及一种用于对被用作分类器的神经网络KNN的输出进行合理性检查的方法，具有如下步骤：提供大量图像以及分别由KNN确定的分配，针对所述图像，KNN已确定到预先给定的分类的一个或多个类别的分配；针对每个图像，还确定至少一个特征参数，其表征至少一个包含在图像中的特征的类型、表达程度和/或位置；针对图像和分配的每个组合，通过应用相关性评估功能来确定图像的位置分辨的相关性评估；针对图像和分配的每个组合，使用特征参数来确定目标相关性评估；依据相关性评估与目标相关性评估之间的一致性，确定相关性评估功能的质量量度。

Description

依据关于特征的附加信息对神经分类器网络的输出的合理性 检查

技术领域

本发明涉及对神经分类器网络的输出的合理性检查，这些神经分类器网络例如被用于从图像数据中识别对象。

背景技术

人类驾驶员为了在道路交通中驾驶车辆所需的信息的大约90%是视觉信息。因而，为了对车辆的至少部分自动化驾驶，至关重要的是：在内容上准确地分析在监视车辆周围环境时所记录的任何形式的图像。对于驾驶任务来说特别重要的是按如下地对这些图像进行分类：哪些交通相关的对象包含在这些图像中，诸如其他交通成员、车道标线、障碍物和交通标志。

为了应对这种复杂性，使用人工神经网络。这样的神经网络例如可以由多个串联的层组成，在这些串联的层中通过应用卷积核并且通过下采样来显著降低该任务的维度。这样的神经网络的特点还在于：对数据进行大规模并行处理。GB 2 454 857 B示出了如下方法的示例，在该方法中，借助于自学习神经网络对显微图像按照该显微图像包含哪些对象来进行分类。

由于在这种情况下涉及安全相关的功能性，所以要证明对象识别的可靠性以容许进入道路交通并且要在车辆正在运行时监视对象识别的可靠性。

发明内容

在本发明的范围内，开发了一种用于对被用作分类器的人工神经网络KNN的输出进行合理性检查的方法。

在该方法中，提供大量图像，针对这些图像，KNN已分别确定到预先给定的分类的一个或多个类别的分配。这些类别例如可以表示不同的交通成员、交通标志、车道边界或者其它对象。相应的分配同样被提供。即，存在由一方面图像与另一方面到一个或多个类别的分配构成的配对。分配尤其例如可以是向量，在该向量中，各一个分量针对恰好一个类别说明了图像能以怎样的概率和/或置信度来归属于该类别。在此，该向量例如可以是“独热（one-hot）”向量，在该“独热”向量中只有一个分量等于1，而所有其它分量都等于0。但是，该向量例如也可以是Softmax向量并且包括多个不是零的分量，这些不是零的分量之和为1。

针对每个图像都确定至少一个特征参数，该特征参数表征至少一个包含在该图像中的特征的类型、表达程度和/或位置。该特征参数可来自任意来源。该特征参数例如可以根据图像利用任意方法来被分析。替选地或者也与之相结合地，也可以将其它传感器的测量数据用于该分析。该图像也可以预先被产生为使得该图像具有确定的所希望的特征参数。

针对图像和分配的每个组合，通过应用相关性评估功能来确定图像的位置分辨的相关性评估。该相关性评估（“显著图（saliency map）”）说明了图像的哪些部分对该分配做出了何种程度的贡献。这种相关性评估可以以多种方式被使用，以便对KNN的输出进行合理性检查。

这样，例如可以针对图像和分配的确定组合在视觉上随机检查将对象例如分配给类别“PKW（载客车）”的决策是否决定性地基于实际显示出PKW的图像区域来做出的。如果对象已被分类成PKW（载客车），但是该决策是基于比如显示出树木的图像区域来做出的，那么该分配根本不合理。即使图像在其它位置确实显示出PKW，但要点仍是显示出树木的图像区域被错误地分类成PKW（载客车）。因而，在具有多个对象的复杂场景的情况下，要担心的是：在该场景的图像中总共识别出的对象集合最终与在该场景中实际存在的对象集合不一致。

替选地或者也与之相结合地，相关性评估也可以利用任意的自动化方法来予以机器分析，那么这能够实现为了100%监控所有由KNN确定的分配而进行随机检查的步骤。在下文说明了这种机器分析的示例性的设计方案。

不管相关性评估是被视觉分析还是被机器分析，该评估的可信度都取决于相关性评估功能适合于相应的应用。在文献中已知大量这种相关性评估功能，这些相关性评估功能是分别针对确定应用来开发的。对具体的相关性评估功能适合于具体应用的数学保证没有先验。

因而，针对图像和分配的每个组合，在使用特征参数的情况下确定目标相关性评估。依据相关性评估与目标相关性评估之间的一致性，确定相关性评估功能的质量量度。该一致性可以根据任意的度规、例如通过对相关函数的分析来确定。

已经认识到：以这种方式，可以使用存在于特征参数中的附加信息，以便检查相关性评估功能对于具体应用来说适合的程度。

尤其可以针对很多具体的分类任务来如下说明合理的规则：在两个图像之间的怎样的差异的情况下，适合的相关性评估功能要么不应该发生变化要么应该与这些差异等变地发生变化。

如果例如在第一图像中确定像素被车辆占据而在第二图像中相同的像素被路边的广告牌占据，则这些像素在对第一图像分类的情况下对于将该第一图像分配给类别“车辆”来说相关。在对第二图像分类的情况下，相同的像素以相同的程度对于将该第二图像分配给类别“广告牌”来说相关。即，如果一方面针对第一图像与到类别“车辆”的分配的组合并且另一方面针对第二图像与到类别“广告牌”的分配的组合分别形成相关性评估，则所提及的像素应该在两个相关性评估中被评价为同等相关。即，适合于分类任务的相关性评估功能相对于仅仅将对象换成另一类型的一样大的对象而言应该不变。同样，相关性评估功能例如应该相对于车辆的品牌或设计、人的年龄、性别或肤色以及其它特性而言只要这些特性关于对象到确定类别的分配不重要就应该不变。这样，例如当在预先给定的分类的范围内只是关心对象是否是人时，性别不重要，但是当预先给定的分类根据性别来进行区分时，性别当然重要。

如果确定类别的同一对象在第一图像中处在第一位置而在第二图像中处在另一位置，则在第一图像中第一集合像素对于图像到类别的分配相关而在第二图像中第二集合像素对于图像到类别的分配相关。即预期：随着对象从一个位置移动到另一个位置，该对象的表示在位置分辨的相关性评估中也以相同方式一并移动。即，适合于分类任务的相关性评估功能应该与对象的位置的变化等变。相同的情况适用于对象的尺寸或者也适用于其外观尺寸，当对象朝着图像传感器移动或者从该图像传感器远离时，该尺寸发生变化。

所提到的示例表明：相关性评估功能的不变性或等变性可以在对图像和分配的两个或更多个组合的比较中特别好地被检查。

因而，在一个特别有利的设计方案中，基于

• 第一图像和第一分配的第一组合、

• 该组合的位置分辨的相关性评估以及

• 第一图像的第一特征参数

通过依据第一特征参数与第二图像的第二特征参数之差对位置分辨的相关性评估的更新来确定针对第二图像与第二分配的第二组合并且针对该第二图像的第二特征参数的目标相关性评估。

在该更新中，例如可以反映：在位置分辨的相关性评估中，移动对象的相关性应该与对象的物理移动一并移动；或者仅仅将对象换成一样大的对象不应该使相关性评估发生变化。

在另一特别有利的设计方案中，根据第一图像通过变换和/或处理来得出第二图像，该变换和/或处理使特征参数不发生变化或者以公知的方式变成新的特征参数。

如果例如图像仅仅有噪声、模糊或者颜色不同，则该图像一如既往地显示出在相同位置的相同对象。即，不改变特征参数的这样的处理在理想情况下不应该导致相关性评估发生变化。即，利用这种处理可以测试相关性评估功能相对于与图像的语义内容无关的变化而言是否有抵抗力。

而如果在从第一图像过渡到第二图像时对象在空间上移位，则表示对象的位置的特征参数发生变化，并且预期就该对象而言相关的像素在位置分辨的相关性评估中相对应地移位。

在此，尤其例如可以在指定相应的特征参数的情况下合成地产生至少一个图像。这会比例如将精确定义的变化引入到摄像机图像中更容易实现，而同时也不改变图像的其它方面。

例如，利用生成器、比如生成对抗网络GAN可以将利用元信息、比如

• 对象的数目、位置和类型、

• 背景和道路走向的描述以及

• 环境条件的描述

所描述的场景转换成逼真的图像。根据元数据还得出KNN应该将所生成的该图像分配给的类别。那么，在形成相关性评估时，可以使该图像与这些类别相关联，而不是与KNN实际提供的类别相关联。

在另一特别有利的设计方案中，根据利用至少一个物理传感器所检测到的测量数据来分析至少一个特征参数。该物理传感器不同于用于记录图像的传感器。

例如，可以利用雷达传感器或激光雷达传感器来跟踪对象的位置，并且依据该特征参数可以检查相关像素在位置分辨的相关性评估中是否相对应地一并移动。根据附加地记录的测量数据对分别令人感兴趣的特征参数的分析可以比从图像中提取该特征参数更简单且更可靠。

在一个特别有利的设计方案中，对多个候选相关性评估功能的选择的质量量度被确定。选择具有质量量度的最佳值的候选相关性评估功能作为相关性评估功能。那么，明显更加可信的是：正是该相关性评估功能在具体应用中正确地测量图像区域的相关性用于KNN的决策。

在另一特别有利的设计方案中，附加地针对作为位置分辨的比较相关性评估的

• 图像的相同成像和/或

• 填充随机值的区域和/或

• 填充恒定值的区域和/或

• 图像的语义分割和/或

• 图像中的边缘探测

来确定质量量度。这些比较相关性评估对应于丝毫没有包含关于所使用的KNN的架构的知识并且因此体现相关性评估的“猜测”的相关性评估功能。

与完全没有这种知识的相关性评估功能相比，通过关于KNN的架构和/或关于具体应用的知识来说明动机的每个相关性评估功能都应该实现更好的质量量度。这大致类似于：管理投资基金的股票投资组合的每个基金经理都期待投资组合收益在相同时间段内至少好于通过随机发生器编制的平均投资组合。如果基金经理没有做到这一点，那么会认为他的工作模式存在根本缺陷。

因而，尤其例如可以将其质量量度与比较相关性评估功能的质量量度相比更差的相关性评估功能或候选相关性评估功能作为不合理而丢弃。

在另一特别有利的设计方案中，针对相关性评估功能可以制定具有自由参数的参数化方案。接着，该方案的参数可以以使相关性评估功能的质量量度达到极限的目的来进行优化。即，该质量量度在一定程度上是优化的准绳。

KNN的输出的所寻找的合理性可以依据相关性评估功能和/或依据该相关性评估功能的质量量度和/或依据利用该相关性评估功能所确定的相关性评估来分析。不管以何种方式来进行该分析，该分析都基于定量动机。

在这种情况下，该合理性例如可以明确取决于质量量度。即，例如仅存在任一具有特别有利的质量量度的相关性评估功能就已经可以表明：KNN的输出总体上本身有说服力且合理：矛盾本身是无论相关性评估功能如何被设计都无法用该相关性评估功能有说服力地来解释。

但是，质量量度例如也可以间接加入对合理性的确定，其方式是通过优化该质量量度来找出与相应的应用最适合的相关性评估功能并且接着又将该相关性评估功能用于分析KNN的输出的合理性。

在另一特别有利的设计方案中，将所确定的合理性通过显示器输出给KNN的用户。经此，能够使用户及时识别出被用作分类器的KNN的功能失灵并且引入应对措施。经此，从KNN中取得“黑匣子（black box）”特征。作为替代，该KNN的行为能被解释。经此，又能更安全地操作基于利用分类器所确定的到类别的分配来触发行动的技术系统。

如上所述，该分析尤其可以机器实现。为了该目的，本发明提供了用于对被用作分类器的KNN的输出进行合理性检查的另一方法。

在该方法的范围内，提供至少一个图像，针对该图像，KNN已确定到预先给定的分类的一个或多个类别的分配。此外，由KNN所确定的该分配也被提供。

针对图像和分配的组合，通过应用相关性评估功能来确定图像的位置分辨的相关性评估，其中该相关性评估说明了图像的哪些部分对该分配做出了何种程度的贡献。该相关性评估功能例如可以在之前阐述的方法的过程中已被选择和/或已形成，使得该相关性评估功能在特别程度上被定量说明动机。然而，相关性评估功能也可能来自任意其它来源。

一方面相关性评估与另一方面图像的语义分割和/或图像中的边缘探测之间的相关被确定。如果相关性评估、语义分割或边缘探测例如分别作为二维图像存在，则该相关例如可以被确定为二维离散互相关。该相关被评价为对KNN的输出的合理性的量度。

在此，图像的语义分割可使用所研究的KNN或者任意其它KNN已提供的从图像区域到类别的分配。但是，语义分割也可以来自任意其它来源。同样可以在使用KNN的情况下或者不使用KNN的情况下确定边缘探测。

该相关的绝对值将取决于语义分割或边缘探测以何种方式被确定。然而，在利用KNN的类别分配正确发挥作用的情况下，该绝对值在KNN正在运行时不应该显著发生变化或者只应该在确定范围内发生变化。因此，在KNN和图像记录（该图像记录给该KNN馈送图像）正在运行时，可以监视该类别分配仍可靠地发挥作用的程度。

例如，在行驶期间，由于车辆在驶入雾堤或者由于快落山的太阳突然完全照到摄像机传感器上并且使该摄像机传感器饱和，由摄像机系统所提供的图像质量可能突然明显变差。那么，边缘会比在记录条件良好的情况下明显更差地被识别。即，在位置分辨的相关性评估保持不变的情况下，该相关降低，使得KNN的输出被评价为不太合理。

但是，例如立法者新引入的交通标志也可能被还没有关于该交通标志予以训练的KNN错误地分类。这样，例如交通标志“环境区域”与交通标志“速度30区域”在很大程度上感觉相似；仅仅数字“30”被换成了词语“环境”。因而，还不认识交通标志“环境区域”的KNN可能会把该交通标志的图像分配给类别“速度30区域”。然而，针对带有词语“环境”的图像的区域的位置分辨的相关性评估将低于该图像的与交通标志“速度30区域”的图像没有区别的其余部分。即，位置分辨的相关性评估在具有词语“环境”的区域内与在图像中可见的边缘相关得比在图像的其余部分中的情况更差。因而，KNN的输出被评价为不太合理。

此外，例如可以有针对性地尝试通过恶意篡改图像来引起KNN的错误分类。这样，例如可以通过贴上看上去不起眼的贴纸来更改交通标志，使得该交通标志被KNN识别为具有完全不同含义的交通标志（比如“速度70”而不是“停止（Stopp）”）。在这种情况下，贴纸被KNN认为比例如在边缘探测中能明确识别出的停车指示牌的八边形更为相关。即，相关性评估与边缘探测的相关差。

在一个特别有利的设计方案中，作为对该相关低于预先给定的阈值的响应，依据由KNN确定的分配至少部分自动化地起作用的技术系统如下被操控：减少错误分配的不利后果。

这样，例如至少部分自动化车辆可以更缓慢和/或更谨慎地行驶，以便以更高的概率避免碰撞或者至少减轻这些碰撞的后果。检查所给予的访问介质（比如证件或生物特征）的门禁系统可以在相关差的情况下拒绝进入或者要求附加的验证（比如PIN）。用于批量生产产品的质量控制系统可以将产品置于更耗时的、但是更彻底的检查方法下。用于分析医学图像数据的系统可以标记其中相关差的图像或图像区域，用于由专家来检查。

在另一特别有利的设计方案中，选择通过观察机器人和/或车辆的周围环境所形成的图像。机器人和/或车辆尤其例如可以是部分自主的。作为对该相关低于预先给定的阈值的响应，机器人和/或车辆被如下操控：

• 至少一个附加的物理传感器被激活用于观察机器人和/或车辆的周围环境；和/或

• 至少部分自动化驾驶的机器人和/或车辆的行驶速度被降低；和/或

• 驾驶辅助系统和/或用于至少部分自动化地驾驶机器人和/或车辆的系统完全或者部分地被停用；和/或

• 机器人或至少部分自动化驾驶的车辆在预先计划的紧急停车轨迹上被停下。

这样，例如作为对在摄像机图像的位置分辨的相关性评估与在该摄像机图像中能看到的边缘之间的相关变差的响应，可以打开雷达传感器或激光雷达传感器，以便解决在识别对象时的矛盾和/或不清楚。在所提到的其中快落山的太阳照到摄像机上的示例中，雷达传感器可以不受此干扰。

尤其是，例如可针对该相关规定不同的阈值，在低于这些阈值的情况下触发不同的行动。这样，车辆例如可以在低于第一阈值时在高速公路上加入右侧行车道上的较慢的交通流，以便在低于第二阈值时停在紧急车道上。

KNN尤其可以是卷积KNN。那么，相关性评估功能例如可以包含多个卷积核的激活图的加权和，这些卷积核在KNN的一个层中被应用于图像或者被应用于该图像的处理产物。

这些方法尤其可以完全或部分地计算机实现。因而，本发明也涉及一种计算机程序，该计算机程序具有机器可读指令，当这些机器可读指令在一个或多个计算机上被实施时，这些机器可读指令促使所述一个或多个计算机实施所描述的方法之一。就此而言，同样能够实施机器可读指令的用于车辆的控制设备以及用于技术设备的嵌入式系统也应被视为计算机。

同样，本发明也涉及一种具有该计算机程序的机器可读数据载体和/或下载产品。下载产品是能通过数据网络来传输的、也就是说能由该数据网络的用户来下载的数字产品，该数字产品例如可以在网上商店被出售以立即下载。

此外，计算机可以装备该计算机程序、该机器可读数据载体或该下载产品。

附图说明

在下文，其它改善本发明的措施共同利用依据附图对本发明的优选的实施例的描述进一步予以呈现。

其中：

图1示出了用来确定相关性评估功能4的质量量度4a的方法100的实施例；

图2示出了用来依据具体的相关性评估功能4来评价KNN 1的输出的合理性6的方法200的实施例；

图3示出了相对于将对象25换成几乎一样大的对象26而言相关性评估2a的不变性的示例；

图4示出了相对于对象24的位置和尺寸变化而言相关性评估2a的等变性的示例；

图5示出了方法200对利用“对抗样本（adversarial example）”进行的攻击的示例性识别。

具体实施方式

图1示出了方法100的实施例的示意性流程图。利用该方法来主要确定相关性评估功能4的质量量度4a。这又能够分析KNN 1的输出的合理性6。

在步骤110中，提供图像2以及这些图像2到预先给定的分类的类别3a-3c的分配3。

在步骤120中，针对每个图像都确定至少一个特征参数8，该特征参数表征至少一个包含在图像2中的特征的类型、表达程度和/或位置。

这例如可以按照方框121来实现，其方式是在指定相应的特征参数8、8'的情况下合成地产生至少一个图像2、2'。

替选地或者与之相结合地，例如按照方框122可以根据测量数据8a来分析至少一个特征参数8、8'。这些测量数据8a是利用至少一个物理传感器来检测的，该物理传感器不同于用于记录图像2、2'的传感器。

在步骤130中，分别一个图像2和一个分配3的组合借助于相关性评估功能4被处理成图像2的相关性评估2a。该相关性评估2a说明了图像2的哪些部分对分配3做出了何种程度的贡献。

在步骤140中，针对图像2和分配3的每个组合，在使用特征参数8的情况下确定目标相关性评估2a*。该目标相关性评估2a*表示适合于具体应用的相关性评估功能4针对具体图像2和具体分配3应该提供的那个位置分辨的相关性评估2a。

例如，按照方框141，可以基于

• 第一图像2和第一分配3的第一组合、

• 该组合的位置分辨的相关性评估2a以及

• 第一图像2的第一特征参数8

通过依据第一特征参数8与第二图像2'的第二特征参数8'之差对位置分辨的相关性评估2a的更新来确定针对第二图像2'与第二分配3'的第二组合并且针对第二特征参数8'的目标相关性评估2a*。即可以测试：所研究的相关性评估功能4在特征参数8、8'的确定发展的情况下是否不变或等变。

为了该目的，例如按照方框141a，可以根据第一图像2通过变换和/或处理来得出第二图像2'，该变换和/或处理使特征参数8不发生变化或者以公知的方式变成新的特征参数8'。之前讨论过的对图像的合成产生也可以被用于更新。

在步骤150中，依据相关性评估2a与目标相关性评估2a*之间的一致性来确定相关性评估功能4的质量量度4a。

在框150之内，说明了如何借助于质量量度4a也可以同时找出对于相应的应用来说特别适合的相关性评估功能4的不同的示例性的设计方案。

按照方框151，可以确定对多个候选相关性评估功能4*的选择的质量量度4a。接着，按照方框142，可以选择具有质量量度的最佳值的候选相关性评估功能4*作为相关性评估功能4。

按照方框153，可以附加地针对作为位置分辨的比较相关性评估2a**的

• 图像2的相同成像和/或

• 填充随机值的区域和/或

• 填充恒定值的区域和/或

• 图像2的语义分割2b和/或

• 图像2中的边缘探测2c

来确定质量量度4a。接着,按照方框154可以将其质量量度4a与针对比较相关性评估功能2a**所确定的质量量度4a相比更差的相关性评估功能4或候选相关性评估功能4*作为不合理而丢弃。

按照方框155，针对相关性评估功能4可以制定具有自由参数的参数化方案4'。接着，按照方框156，该方案4'的参数可以以使相关性评估功能4的质量量度4a达到极限的目的来进行优化。

相关性评估功能4和/或该相关性评估功能的质量量度4a和/或利用该相关性评估功能4所确定的相关性评估2a可以在步骤160中被使用，以便分析KNN 1的输出的合理性6。然而，这是可选的。方法100例如也可以仅被用于找出最佳的相关性评估功能4。

图2示出了方法200的实施例的示意性流程图。该方法200的出发点是：已经实现了适合的相关性评估功能4。

类似于方法100的步骤110，在方法200的步骤210中，提供至少一个图像2以及由KNN 1所确定的分配3，针对该图像，KNN 1已确定到预先给定的分类的一个或多个类别3a-3c的分配3。

类似于方法100的步骤120，在方法200的步骤220中，针对图像2和分配3的组合，通过应用相关性评估功能4来确定图像2的位置分辨的相关性评估2a。该相关性评估2a又说明了图像2的哪些部分对分配3做出了何种程度的贡献。

在步骤230中，一方面相关性评估2a与另一方面图像2的语义分割2b和/或图像2中的边缘探测2c之间的相关7被确定。在步骤240中，该相关7被评价为对KNN 1的输出的合理性6的量度。

接着，在步骤250中可以将该合理性6或者也可以直接将相关7与阈值7a进行比较，并且至少部分自动化地起作用的系统可以如下被操控：减少错误分配的不利后果。

在框250之内，说明了该操控可以如何专门针对车辆来设计的不同示例。

按照方框251，可以激活至少一个附加的物理传感器，用于观察车辆的周围环境。

按照方框252，可以降低至少部分自动化驾驶的车辆的行驶速度。例如，车辆可以在高速公路上有准备地被操控来加入右侧行车道的较慢的交通中。

按照方框253，驾驶辅助系统和/或用于至少部分自动化地驾驶车辆的系统可以完全或者部分被停用。

按照方框253，至少部分自动化驾驶的车辆可以在预先计划的紧急停车轨迹上被停下。在每个用于至少部分自动化驾驶的系统中，都针对系统失灵的情况符合标准地提供这种紧急停车轨迹。

图3示意性地阐明了如下示例，在该示例中，相关性评估功能4以及因此还有由该功能4提供的相关性评估2a相对于图像2中的对象25、26的更换而言不变。

第一图像2示出了男人25，该男人充当特征参数8。如果该男人25被KNN 1识别和分类，则为此利用更高的点密度来标记的区域25*在位置分辨的相关性评估2a中是决定性的。

第二图像2'示出了女人26，作为经改变的特征参数8'。如果该女人26被KNN 1识别和分类，则为此利用更高的点密度来标记的区域26*在位置分辨的相关性评估2a'中是决定性的。

该区域26*与区域25*比女人26与男人25相似得多。这些差异基本上由于空间伸展方面的差异而造成。

即，用来产生位置分辨的相关性评估2a、2a'的相关性评估功能4相对于将男人25换成女人26而言基本上不变。

图4示意性地阐明了如下示例，在该示例中，相关性评估功能4以及因此还有由该功能4提供的相关性评估2a相对于对象23、24的位置和尺寸变化而言等变。

第一图像2示出了道路23和车辆24，该车辆朝着观察者移动。道路23和车辆24共同形成图像2的特征参数8。在针对该图像2的位置分辨的相关性评估2a中，道路23的边缘通过相关性更高的区域23*来表示。在该相关性评估2a中，车辆24通过相关性更高的另一区域24*来表示。

第二图像2'是同一道路23和同一车辆24的稍后记录的快照。不同于第一图像2，车辆24继续朝着观察者移动。就这方面来说，特征参数8'相对于第一图像2的特征参数8而言发生变化。该变化也反映在针对第二图像2'的相关性评估2a'方面。道路23的边缘始终还是通过与在相关性评估2a中相同的区域23*来表示。然而，在对两个图像2和2'的比较中，表示车辆24的区域24*变大了而且与原来的相关性评估2a相比在位置分辨的相关性评估2a'之内与车辆以相同方式移动。

因此，用来产生位置分辨的相关性评估2a、2a'的相关性评估功能4相对于对象在图像2、2'中的移动而言等变。

图5示出了通过方法200可以如何识别出利用“对抗样本”、即被篡改的图像2对被用作分类器KNN 1的攻击的示例。在该示例中，图像2示出了停车指示牌21，该停车指示牌恶意地被配备了贴纸22。该贴纸22故意被设计为使得KNN 1应该不将停车指示牌21分类成停车指示牌，而是例如分类成速度70指示牌。

如果应该会成功“欺骗”KNN 1，则这暗示带有贴纸22的区域具有对由KNN 1确定的分配3的特别强的影响。这意味着：与图像2的其余部分相比，该区域在位置分辨的相关性评估2a中具有特别大的权重。这在图3中通过如下方式来阐明：只有具有贴纸22的区域被标记并且被配备附图标记2a。

另一方面，图像2中的边缘探测2c特别突出了停车指示牌21的特征，而贴纸22（如果有的话）只能还很微弱地被识别出。恶意贴到指示牌上的贴纸22应该恰好在视觉上尽可能不显眼，以便没人发现并移除这些贴纸。

即停车指示牌21的在边缘探测2c中特别突出的特征恰好在位置分辨的相关性评估2a中实际上完全不起作用。同样，对于相关性评估2a来说非常重要的贴纸22在边缘探测2c中实际上完全不起作用。即，相关性评估2a与边缘探测2c之间的相关7差，这可以利用方法200来识别。

Claims (19)

1.一种用于对被用作分类器的人工神经网络KNN（1）的输出进行合理性检查的方法（100），所述方法具有如下步骤：

• 提供（110）大量图像（2）以及分别由所述KNN（1）所确定的分配（3），针对所述图像，所述KNN（1）已确定到预先给定的分类的一个或多个类别（3a-3c）的分配（3）；

• 针对每个图像（2），还确定（120）至少一个特征参数（8），所述特征参数表征至少一个包含在所述图像（2）中的特征的类型、表达程度和/或位置；

• 针对图像（2）和分配（3）的每个组合，通过应用相关性评估功能（4）来确定（130）所述图像（2）的位置分辨的相关性评估（2a），其中所述相关性评估（2a）说明了所述图像（2）的哪些部分对所述分配（3）做出了何种程度的贡献；

• 针对图像（2）和分配（3）的每个组合，在使用所述特征参数（8）的情况下确定（140）目标相关性评估（2a*）；

• 依据所述相关性评估（2a）与所述目标相关性评估（2a*）之间的一致性，确定（150）所述相关性评估功能（4）的质量量度（4a）。

2.根据权利要求1所述的方法（100），其中基于第一图像（2）和第一分配（3）的第一组合、所述组合的位置分辨的相关性评估（2a）以及所述第一图像（2）的第一特征参数（8），通过依据所述第一特征参数（8）与第二图像（2'）的第二特征参数（8'）之差对所述位置分辨的相关性评估（2a）的更新来确定（141）针对第二图像（2'）与第二分配（3'）的第二组合并且针对所述第二特征参数（8'）的目标相关性评估（2a*）。

3.根据权利要求2所述的方法（100），其中根据所述第一图像（2）通过变换和/或处理来得出（141a）所述第二图像（2'），所述变换和/或处理使特征参数（8）不发生变化或者以公知的方式变成新的特征参数（8'）。

4.根据权利要求1至3中任一项所述的方法（100），其中在指定相应的特征参数（8、8'）的情况下合成地产生（121）至少一个图像（2、2'）。

5.根据权利要求1至4中任一项所述的方法（100），其中至少一个特征参数（8、8'）根据测量数据（8a）来被分析（122），所述测量数据是利用至少一个物理传感器来检测的，所述物理传感器不同于用于记录图像（2、2'）的传感器。

6. 根据权利要求1至5中任一项所述的方法（100），其中确定（151）对多个候选相关性评估功能（4*）的选择的质量量度（4a），而且其中选择（152）具有所述质量量度（4a）的最佳值的候选相关性评估功能（4*）作为相关性评估功能（4）。

7. 根据权利要求1至6中任一项所述的方法（100），其中附加地针对作为位置分辨的比较相关性评估（2a**）的

• 所述图像（2）的相同成像和/或

• 填充随机值的区域和/或

• 填充恒定值的区域和/或

• 所述图像（2）的语义分割（2b）和/或

• 所述图像（2）中的边缘探测（2c）

来确定（153）所述质量量度（4a）。

8.根据权利要求7所述的方法（100），其中将其质量量度（4a）与针对所述比较相关性评估功能（2a**）所确定的质量量度（4a）相比更差的相关性评估功能（4）或候选相关性评估功能（4*）作为不合理而丢弃（154）。

9.根据权利要求1至8中任一项所述的方法（100），其中针对所述相关性评估功能（4）制定（155）具有自由参数的参数化方案（4'），而且其中所述方案（4'）的参数以使所述相关性评估功能（4）的质量量度（4a）达到极限的目的来进行优化（156）。

10.根据权利要求1至9中任一项所述的方法（100），其中依据所述相关性评估功能（4）和/或依据所述相关性评估功能（4）的质量量度（4a）和/或依据利用所述相关性评估功能（4）所确定的相关性评估（2a），分析（160）所述KNN（1）的输出的合理性（6）。

11.根据权利要求10所述的方法（100），其中将所述合理性（6）通过显示器输出给所述KNN（1）的用户。

12.一种用于对被用作分类器的人工神经网络KNN（1）的输出进行合理性检查的方法（200），所述方法具有如下步骤：

• 提供（210）至少一个图像（2）以及由所述KNN（1）所确定的分配（3），针对所述图像，所述KNN（1）已确定到预先给定的分类的一个或多个类别（3a-3c）的分配（3）；

• 针对图像（2）和分配（3）的组合，通过应用相关性评估功能（4）来确定（220）所述图像（2）的位置分辨的相关性评估（2a），其中所述相关性评估（2a）说明了所述图像（2）的哪些部分对所述分配（3）做出了何种程度的贡献；

• 一方面所述相关性评估（2a）与另一方面所述图像（2）的语义分割（2b）和/或所述图像（2）中的边缘探测（2c）之间的相关（7）被确定（230）；

• 所述相关（7）被评价（240）为对所述KNN（1）的输出的合理性（6）的量度。

13.根据权利要求12所述的方法（200），其中所述相关性评估功能（4）在根据权利要求6、8或9中任一项所述的方法（100）的过程中被选择和/或被形成。

14.根据权利要求12至13中任一项所述的方法（200），其中作为对所述相关（7）低于预先给定的阈值（7a）的响应，依据由所述KNN（1）确定的分配至少部分自动化地起作用的技术系统被如下操控（250）：减少错误分配的不利后果。

15. 根据权利要求12至14中任一项所述的方法（200），其中选择通过观察车辆的周围环境所形成的图像（2），而且其中作为对所述相关低于预先给定的阈值的响应，所述车辆被如下操控（250）：

• 至少一个附加的物理传感器被激活（251）用于观察所述车辆的周围环境；和/或

• 至少部分自动化驾驶的车辆的行驶速度被降低（252）；和/或

• 驾驶辅助系统和/或用于至少部分自动化地驾驶车辆的系统完全或者部分地被停用（253）；和/或

• 至少部分自动化驾驶的车辆在预先计划的紧急停车轨迹上被停下（254）。

16.根据权利要求1至15中任一项所述的方法（100、200），其中所述KNN（1）是卷积KNN，而且其中所述相关性评估功能（4）包含多个卷积核的激活图的加权和，所述卷积核在所述KNN（1）的一个层中被应用于所述图像（2）或者被应用于所述图像（2）的处理产物。

17.一种计算机程序，所述计算机程序包含机器可读指令，当所述机器可读指令在一个或多个计算机上被实施时，所述机器可读指令促使所述一个或多个计算机实施根据权利要求1至16中任一项所述的方法（100、200）。

18.一种机器可读数据载体，其具有根据权利要求17所述的计算机程序。

19.一种计算机，所述计算机装备有根据权利要求17所述的计算机程序和/或装备有根据权利要求18所述的机器可读数据载体。

Images