CN113435239A - 对神经分类器网络的输出的合理性检查 - Google Patents

对神经分类器网络的输出的合理性检查 Download PDF

Info

Publication number
CN113435239A
CN113435239A CN202110301496.6A CN202110301496A CN113435239A CN 113435239 A CN113435239 A CN 113435239A CN 202110301496 A CN202110301496 A CN 202110301496A CN 113435239 A CN113435239 A CN 113435239A
Authority
CN
China
Prior art keywords
image
knn
relevance
assignment
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110301496.6A
Other languages
English (en)
Inventor
K·格罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113435239A publication Critical patent/CN113435239A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

对神经分类器网络的输出的合理性检查。用于对被用作分类器的人工神经网络KNN的输出进行合理性检查的方法，具有如下步骤：提供大量图像以及分别由所述KNN所确定的分配，针对所述图像，所述KNN已确定到预先给定的分类的一个或多个类别的分配；针对图像和分配的每个组合，通过应用相关性评估功能来确定所述图像的位置分辨的相关性评估，其中所述相关性评估说明了所述图像的哪些部分对所述分配做出了何种程度的贡献；另一分类器被训练为根据图像和针对所述图像所确定的相关性评估来确定对所述相关性评估所涉及的那个分配的重构；依据所述重构与实际分配之间的一致性，确定所述相关性评估功能的质量量度。

Description

对神经分类器网络的输出的合理性检查
技术领域
本发明涉及对神经分类器网络的输出的合理性检查，这些神经分类器网络例如被用于从图像数据中识别对象。
背景技术
人类驾驶员为了在道路交通中驾驶车辆所需的信息的大约90%是视觉信息。因而，为了对车辆的至少部分自动化驾驶，至关重要的是：在内容上准确地分析在监视车辆周围环境时所记录的任何形式的图像。对于驾驶任务来说特别重要的是按如下地对这些图像进行分类：哪些交通相关的对象包含在这些图像中，诸如其他交通成员、车道标线、障碍物和交通标志。
为了应对这种复杂性，使用人工神经网络。这样的神经网络例如可以由多个串联的层组成，在这些串联的层中通过应用卷积核并且通过下采样来显著降低该任务的维度。这样的神经网络的特点还在于：对数据进行大规模并行处理。GB 2 454 857 B给出了如下方法的示例，在该方法中，借助于自学习神经网络对显微图像按照该显微图像包含哪些对象来进行分类。
由于在这种情况下涉及安全相关的功能性，所以要证明对象识别的可靠性以容许进入道路交通并且要在车辆正在运行时监视对象识别的可靠性。
发明内容
在本发明的范围内，开发了一种用于对被用作分类器的人工神经网络KNN的输出进行合理性检查的方法。
在该方法中，提供大量图像，针对这些图像，KNN已分别确定到预先给定的分类的一个或多个类别的分配。这些类别例如可以表示不同的交通成员、交通标志、车道边界或者其它对象。相应的分配同样被提供。即，存在由一方面图像与另一方面到一个或多个类别的分配构成的配对。分配尤其可以是例如向量，在该向量中，针对恰好一个类别的各一个分量说明了图像能以怎样的概率和/或置信度来归属于该类别。在此，该向量例如可以是“独热（one-hot）”向量，在该“独热”向量中只有一个分量等于1，而所有其它分量都等于0。但是，该向量例如也可以是Softmax向量并且包括多个不是零的分量，这些不是零的分量之和为1。
针对图像和分配的每个组合，通过应用相关性评估功能来确定图像的位置分辨的相关性评估。该相关性评估（“显著图（saliency map）”）说明了图像的哪些部分对该分配做出了何种程度的贡献。这种相关性评估可以以多种方式被使用，以便对KNN的输出进行合理性检查。
这样，例如可以针对图像和分配的特定组合在视觉上随机检查将对象例如分配给类别“PKW（载客车）”的决策是否决定性地基于实际显示出PKW的图像区域来被做出的。如果对象已被分类成PKW，但是该决策是基于比如显示出树木的图像区域来被做出的，那么该分配完全无法理解。即使图像在其它位置实际显示出PKW，但要点仍是显示出树木的图像区域被错误地分类成PKW。因而，在具有多个对象的复杂场景的情况下，要担心的是：在该场景的图像中总共识别出的对象集合最终与在该场景中实际存在的对象集合不一致。
替选地也或者与之相结合地，相关性评估也可以利用任意的自动化方法来被机器分析，这于是能够实现为了100%监控所有由KNN确定的分配而进行随机检查的步骤。在下文说明了这种机器分析的示例性的设计方案。
不管相关性评估是被视觉分析还是被机器分析，该评估的可信度都取决于相关性评估功能适合于相应的应用。在文献中已知大量这种相关性评估功能，这些相关性评估功能是分别针对特定应用来被开发的。对具体的相关性评估功能适合于具体应用的数学保证没有先验。
因而，另一分类器被训练为根据图像和针对该图像所确定的相关性评估来确定对该相关性评估所涉及的那个分配的重构。依据重构与实际分配之间的在这种情况下所取得的一致性，确定相关性评估功能的品质量度（Gütemaß）。该一致性可以根据任意的度量（Metrik）、比如通过对混合矩阵的定量分析来被确定。例如，该一致性可以被确定为正确预测的数目与预测总数之比（“Accuracy（准确性）”）。
如果例如显示出车辆的多个图像被分配给了类别“车辆”并且按照相关性评估实际显示出车辆的图像区域分别对该决策做出了贡献，则另一分类器在其训练完成状态下将由图像和在该图像中将具有一个或多个车辆的区域评估为特别相关的区域的相关性评估构成的组合进而分配给类别“车辆”。即，由相关性评估功能所确定的用于由KNN划分类别的图像部分的相关性与由KNN提供的划分类别是一致的。因而，相关性评估功能在这种情况下以良好的品质量度来被评估。
而如果针对类别“车辆”的决策有一半情况基于显示出一个或多个车辆的图像区域而另一半情况基于显示出一棵或多棵树木的图像区域，则这并不会改变该另一分类器将由图像和在该图像中将一棵或多棵树木评估为特别相关的相关性评估构成的组合主要分配给类别“树木”。即，重构“树木”与KNN做出了的实际分配“车辆”有偏差。即，由相关性评估功能所确定的用于由KNN划分类别的图像部分的相关性与由KNN提供的划分类别并不一致。因而，针对相关性评估功能的品质量度在这种情况下更差。
该另一分类器尤其例如可以是线性分类器。该线性分类器例如可以构造为KNN。但是，也可以考虑任何其它类型的具有理想地大的泛化力的机器学习模型。
在一个特别有利的设计方案中，由图像、分配和相关性评估构成的可用组合的集合被划分成用于该另一分类器的训练数据的第一子集和用于该另一分类器的测试数据的第二子集。该另一分类器依据训练数据来被训练。重构与实际分配之间的一致性依据测试数据来被确定。以这种方式，该另一分类器的或多或少“花费高地学习”包含在训练数据中的知识而不是泛化包含在训练数据中的知识的称为“Overfitting（过度拟合）”的趋势被抑制。
在一个特别有利的设计方案中，对多个候选相关性评估功能的选择的品质量度被确定。选择具有品质量度的最佳值的候选相关性评估功能作为相关性评估功能。那么，明显更加可信的是：正是该相关性评估功能在具体应用中正确地测量图像区域的相关性来用于KNN的决策。
在另一特别有利的设计方案中，附加地针对作为位置分辨的比较相关性评估的
• 图像的相同成像，和/或
• 填充有随机值的区域，和/或
• 填充有恒定值的区域，和/或
• 图像的语义分割，和/或
• 图像中的边缘探测
来确定品质量度。这些比较相关性评估对应于丝毫没有包含关于所使用的KNN的架构的知识并且因此体现相关性评估的“猜测”的相关性评估功能。
通过关于KNN的架构和/或关于具体应用的知识来说明动机的每个相关性评估功能都比完全没有这种知识的相关性评估功能应该实现更高的品质量度。这大致类似于：管理用于投资基金的股票投资组合的每个投资基金经理都期待投资组合收益在相同时间段内至少好于通过随机发生器编制的平均投资组合。如果基金经理没有做到这一点，那么会认为他的工作模式存在根本缺陷。
因而，尤其例如可以将其品质量度与比较相关性评估功能的品质量度相比更差的相关性评估功能或候选相关性评估功能作为不合理而丢弃。
在另一特别有利的设计方案中，针对相关性评估功能可以制定具有自由参数的参数化方案。接着，该方案的参数可以被优化，其目标是相关性评估功能的品质量度达到极限。即，该品质量度在一定程度上是优化的准绳。
所寻找的KNN的输出的合理性可以依据相关性评估功能和/或依据相关性评估功能的品质量度和/或依据利用该相关性评估功能所确定的相关性评估来被分析。与以这种方式来进行该分析无关地，该分析都基于定量动机。
在这种情况下，该合理性例如可以明确取决于品质量度。即，例如仅存在任一具有特别有利的品质量度的相关性评估功能就已经可以表明：KNN的输出总体上本身有说服力且合理：不管矛盾本身是什么，无论其设计方式如何，都不能有说服力地用相关性评估功能来解释。
但是，品质量度例如也可以间接加入到对合理性的确定，其方式是通过优化该品质量度来找出与相应的应用最适合的相关性评估功能并且接着进而将该相关性评估功能用于分析KNN的输出的合理性。
在另一特别有利的设计方案中，将所确定的合理性通过显示器输出给KNN的用户。经此，能够使用户及时识别出被用作分类器的KNN的功能失灵并且引入应对措施。经此，从KNN中取得“黑匣子（black box）”特征。作为替代，该KNN的行为能被解释。经此，进而能更安全地操作技术系统，该技术系统基于利用分类器所确定的到类别的分配来触发。
如上所述，该分析尤其可以机器实现。为了该目的，本发明提供了用于对被用作分类器的KNN的输出进行合理性检查的另一方法。
在该方法的范围内，提供至少一个图像，针对该图像，KNN已确定到预先给定的分类的一个或多个类别的分配。此外，由KNN所确定的该分配也被提供。
针对图像和分配的组合，通过应用相关性评估功能来确定图像的位置分辨的相关性评估，其中该相关性评估说明了图像的哪些部分对该分配做出了何种程度的贡献。该相关性评估功能例如可以在之前阐述的方法的过程中已被选择和/或已形成，使得该相关性评估功能在一定程度上被定量激励。然而，相关性评估功能也可能来自任意其它来源。
一方面相关性评估与另一方面图像的语义分割和/或图像中的边缘探测之间的相关被确定。如果相关性评估、语义分割或边缘探测例如分别作为二维图像存在，则该相关例如可以被确定为二维离散互相关。该相关被评价为对KNN的输出的合理性的量度。
在此，图像的语义分割可使用经检查的KNN或者还有任意其它KNN已提供的从图像区域到类别的分配。但是，语义分割也可以来自任意其它来源。同样可以在使用KNN的情况下或者不使用KNN的情况下确定边缘探测。
该相关的绝对值将取决于语义分割或边缘探测以何种方式被确定。然而，在利用KNN的类别分配正确发挥作用的情况下，该绝对值在KNN正在运行时不应该显著发生变化或者只应该在特定范围内发生变化。因此，在KNN正在运行且该KNN馈给图像的图像记录时，可以监视该类别分配仍可靠地发挥作用的程度。
例如，在行驶期间，由于车辆在驶入雾堤或者由于位置低的太阳突然完全照到摄像机传感器上并且使该摄像机传感器饱和，所以由摄像机系统所提供的图像质量可能突然明显变差。于是，边缘比在记录条件良好的情况下明显更差地被识别。即，在位置分辨的相关性评估保持不变的情况下，该相关降低，使得KNN的输出被评价为不太合理。
但是，例如立法者新引入的交通标志也可能被还未有关该交通标志予以训练的KNN错误地分类。这样，例如交通标志“环境区域”与交通标志“速度30区域”在很大程度上相似；仅仅数字“30”被换成了词语“环境”。因而，不认识交通标志“环境区域”的KNN可能会把该交通标志的图像分配给类别“速度30区域”。然而，针对带有词语“环境”的图像的区域的位置分辨的相关性评估将低于该图像的与交通标志“速度30区域”的图像没有区别的其余部分。即，位置分辨的相关性评估在具有词语“环境”的区域内与在图像中可见的边缘相关得比在图像的其余部分中的情况更差。因而，KNN的输出被评价为不太合理。
此外，例如可以有针对性地尝试通过恶意篡改图像来引起KNN的错误分类。这样，例如可以通过贴上看上去不起眼的贴纸来更改交通标志，使得该交通标志被KNN识别为具有完全不同含义的交通标志（比如“速度70”而不是“停止”）。在这种情况下，贴纸被KNN认为比例如在边缘探测中能明确识别出的停车指示牌的八边形更为相关。即，相关性评估与边缘探测的相关是差的。
在一个特别有利的设计方案中，作为对相关低于预先给定的阈值的响应，依据由KNN确定的分配至少部分自动化地起作用的技术系统被操控为使得减少错误分配的不利后果。
这样，例如至少部分自动化车辆可以更缓慢和/或更谨慎地行驶，以便避免概率更高的碰撞或者至少减轻这些碰撞的后果。检查所呈现的访问介质（比如证件或生物特征）的门禁系统可以在相关差的情况下拒绝进入或者要求附加的验证（比如PIN）。用于批量生产产品的质量监控系统可以将产品置于更耗时的、但是更彻底的检查方法下。用于分析医学图像数据的系统可以标记其中相关差的图像或图像区域，用于由专家来检查。
在另一特别有利的设计方案中，选择通过观察机器人和/或车辆的周围环境所形成的图像。机器人和/或车辆尤其例如可以是部分自主的。作为对该相关低于预先给定的阈值的响应，机器人和/或车辆被操控为使得
• 至少一个附加的物理传感器被激活用于观察机器人和/或车辆的周围环境；和/或
• 至少部分自动化驾驶的机器人和/或车辆的行驶速度被降低；和/或
• 驾驶辅助系统和/或用于至少部分自动化地引导机器人和/或车辆的系统完全或者部分地被停用；和/或
• 机器人或至少部分自动化驾驶的车辆在预先计划的紧急停车轨迹上被停下。
这样，例如作为对在摄像机图像的位置分辨的相关性评估与在该摄像机图像中能看到的边缘之间的相关变差的响应，可以接通雷达传感器或激光雷达传感器，以便解决在识别对象时的矛盾和/或不清楚。在所提到的其中位置低的太阳照到摄像机上的示例中，雷达传感器可以不受此干扰。
尤其是，例如可针对该相关规定不同的阈值，在低于这些阈值的情况下触发不同的行动。这样，车辆例如可以在低于第一阈值时在高速公路上加入右侧行车道上的较慢的交通流，以便在低于第二阈值时停在紧急车道上。
KNN尤其可以是卷积KNN。那么，相关性评估功能例如可以包含多个卷积核的激活图的加权和，这些卷积核在KNN的一个层中被应用于图像或者被应用于该图像的处理产物。
这些方法尤其可以完全或部分地计算机实现。因而，本发明也涉及一种计算机程序，该计算机程序具有机器可读指令，当这些机器可读指令在一个或多个计算机上被实施时，这些机器可读指令促使所述一个或多个计算机实施所描述的方法之一。就此而言，同样能够实施机器可读指令的用于车辆的控制设备以及用于技术设备的嵌入式系统也应被视为计算机。
同样，本发明也涉及一种具有该计算机程序的机器可读数据载体和/或下载产品。下载产品是能通过数据网络来传输的、也就是说能由该数据网络的用户来下载的数字产品，该数字产品例如可以在网上商店被出售以立即下载。
此外，计算机可以装备有该计算机程序、该机器可读数据载体或该下载产品。
附图说明
在下文，其它改善本发明的措施共同利用依据附图对本发明的优选实施例的描述进一步予以呈现。
图1示出了用来确定相关性评估功能4的品质量度4a的方法100的实施例；
图2示出了用来依据具体的相关性评估功能4来评价KNN 1的输出的合理性6的方法200的实施例；
图3示出了通过方法200对利用“对抗样本（adversarial example）”进行的攻击的示例性识别。
具体实施方式
图1示出了方法100的实施例的示意性流程图。利用该方法主要确定相关性评估功能4的品质量度4a。这进而能够分析KNN 1的输出的合理性6。
在步骤110中，提供图像2以及这些图像2到预先给定的分类的类别3a-3c的分配3。在步骤120中，分别一个图像2和一个分配3的组合借助于相关性评估功能4被处理成图像2的相关性评估2a。该相关性评估2a说明了图像2的哪些部分对分配3做出了何种程度的贡献。
在步骤130中，另一分类器5被训练为根据图像2和针对该图像所确定的相关性评估2a来确定对该相关性评估2a所涉及的那个分配3的重构3'。在这种训练的情况下，例如分类器5的参数、比如权重可以被优化为使得对于在训练时使用的图像2来说重构3'尽可能好地对应于由KNN 1实际确定的分配3。在步骤140中，依据在重构3'与可通过该训练来实现的实际分配3之间的一致性，确定相关性评估功能4的品质量度4a。
按照方框131，由图像2、分配3和相关性评估2a构成的可用组合的集合例如可以被划分成用于另一分类器5的训练数据的第一子集和用于另一分类器5的测试数据的第二子集。接着，按照方框132，另一分类器5可以依据训练数据来被训练。接着，重构3'与实际分配3之间的一致性可以依据测试数据来被确定。如上所述，另一分类器5于是不能通过对训练数据的过度拟合来“假装”学习成功。但是，原则上也可以使用图像2、分配3和相关性评估2a的所有组合作为训练数据，并且接着例如可以测量重构3'与实际分配3之间的一致性平均有多好。
在框140之内，说明了如何借助于品质量度4a也可以同时找出对于相应的应用来说特别适合的相关性评估功能4的不同的示例性的设计方案。
按照方框141，可以确定对多个候选相关性评估功能4*的选择的品质量度4a。接着，按照方框142，可以选择具有品质量度的最佳值的候选相关性评估功能4*作为相关性评估功能4。
按照方框143，可以附加地针对作为位置分辨的比较相关性评估2a*的
• 图像2的相同成像，和/或
• 填充有随机值的区域，和/或
• 填充有恒定值的区域，和/或
• 图像2的语义分割2b，和/或
• 图像2中的边缘探测2c
来确定品质量度4a。接着，按照方框144可以将其品质量度4a与针对比较相关性评估功能2a*所确定的品质量度4a相比更差的相关性评估功能4或候选相关性评估功能4*作为不合理而丢弃。
按照方框145，针对相关性评估功能4可以制定具有自由参数的参数化方案4'。接着，按照方框146，该方案4'的参数可以被优化，其目标是使相关性评估功能4的品质量度4a达到极限。
相关性评估功能4和/或该相关性评估功能的品质量度4a和/或利用该相关性评估功能4所确定的相关性评估2a可以在步骤150中被使用，以便分析KNN 1的输出的合理性6。然而，这是可选的。方法100例如也可以仅被以如下目标来应用：找出最佳的相关性评估功能4。
图2是方法200的实施例的示意性流程图。该方法200的出发点是：已经实现了适合的相关性评估功能4。
类似于方法100的步骤110，在方法200的步骤210中，提供至少一个图像2以及由KNN 1所确定的分配3，针对该图像，KNN 1已确定到预先给定的分类的一个或多个类别3a-3c的分配3。
类似于方法100的步骤120，在方法200的步骤220中，针对图像2和分配3的组合，通过应用相关性评估功能4来确定图像2的位置分辨的相关性评估2a。该相关性评估2a再次说明了图像2的哪些部分对分配3做出了何种程度的贡献。
在步骤230，一方面相关性评估2a与另一方面图像2的语义分割2b和/或图像2中的边缘探测2c之间的相关7被确定。在步骤240中，该相关7被评价为对KNN 1的输出的合理性6的量度。
接着，在步骤250中可以将该合理性6或者也可以直接将相关7与阈值7a进行比较，并且至少部分自动化地起作用的系统可以被操控为使得减少错误分配的不利后果。
在框250之内，说明了该操控可以如何专门针对车辆来被设计的不同示例。
按照框251，可以激活至少一个附加的物理传感器，用于观察车辆的周围环境。
按照框252，可以降低至少部分自动化驾驶的车辆的行驶速度。例如，车辆可以在高速公路上有准备地被操控来加入右侧行车道的较慢的交通中。
按照方框253，驾驶辅助系统和/或用于至少部分自动化地驾驶车辆的系统可以完全或者部分被停用。
按照方框253，至少部分自动化驾驶的车辆可以在预先计划的紧急停车轨迹上被停下。在每个用于至少部分自动化驾驶的系统中，都针对系统失灵的情况符合标准地提供这种紧急停车轨迹。
图3示出了通过方法200可以如何识别出利用“对抗样本”、即被篡改的图像2对被用作分类器的KNN 1的攻击的示例。在该示例中，图像2示出了停车指示牌21，该停车指示牌恶意地被配备了贴纸22。该贴纸22故意被设计为使得KNN 1应该不将停车指示牌21分类成停车指示牌，而是例如分类成速度70指示牌。
如果应该会成功“欺骗”KNN 1，则这暗示带有贴纸22的区域具有对由KNN 1确定的分配3的特别强的影响。这意味着：与图像2的其余部分相比，该区域在位置分辨的相关性评估2a中具有特别高的权重。这在图3中通过如下方式来阐明：只有具有贴纸22的区域被标记并且被配备附图标记2a。
另一方面，图像2中的边缘探测2c特别突出了停车指示牌21的特征，而贴纸22（如果有的话）只能还很微弱地被识别出。恶意贴到指示牌上的贴纸22应该恰好在视觉上尽可能不显眼，以便没人发现并移除这些贴纸。
即停车指示牌21的在边缘探测2c中特别突出的特征恰好在位置分辨的相关性评估2a中实际上完全不起作用。同样，对于相关性评估2a来说非常重要的贴纸22在边缘探测2c中实际上完全不起作用。即，相关性评估2a与边缘探测2c之间的相关7是差的，这可以利用方法200来被识别。

Claims (16)

1.一种用于对被用作分类器的人工神经网络KNN（1）的输出进行合理性检查的方法（100），所述方法具有如下步骤：
• 提供大量图像（2）以及分别由所述KNN（1）所确定的分配（3）（110），其中针对所述图像，所述KNN（1）已确定到预先给定的分类的一个或多个类别（3a-3c）的分配（3）；
• 针对图像（2）和分配（3）的每个组合通过应用相关性评估功能（4）来确定所述图像（2）的位置分辨的相关性评估（2a）（120），其中所述相关性评估（2a）说明了所述图像（2）的哪些部分对所述分配（3）做出了何种程度的贡献；
• 另一分类器（5）被训练为（130），根据图像（2）和针对所述图像所确定的相关性评估（2a）来确定对所述相关性评估（2a）所涉及的那个分配（3）的重构（3'）；
• 依据所述重构（3'）与实际分配（3）之间的一致性，确定所述相关性评估功能（4）的品质量度（4a）（140）。
2.根据权利要求1所述的方法（100），其中
• 由图像（2）、分配（3）和相关性评估（2a）构成的可用组合的集合被划分成用于所述另一分类器（5）的训练数据的第一子集和用于所述另一分类器（5）的测试数据的第二子集（131）；
• 所述另一分类器（5）依据所述训练数据来被训练（132）；并且
• 所述重构（3'）与所述实际分配（3）之间的一致性依据所述测试数据来被确定（133）。
3.根据权利要求1至2中任一项所述的方法（100），其中确定对多个候选相关性评估功能（4*）的选择的品质量度（4a）（141），并且其中选择具有所述品质量度（4a）的最佳值的候选相关性评估功能（4*）作为相关性评估功能（4）（142）。
4.根据权利要求1至3中任一项所述的方法（100），其中附加地针对作为位置分辨的比较相关性评估（2a*）的
• 所述图像（2）的相同成像，和/或
• 填充有随机值的区域，和/或
• 填充有恒定值的区域，和/或
• 所述图像（2）的语义分割（2b），和/或
• 所述图像（2）中的边缘探测（2c）
来确定所述品质量度（4a）（143）。
5.根据权利要求4所述的方法（100），其中将其品质量度（4a）与针对所述比较相关性评估功能（2a*）所确定的品质量度（4a）相比更差的相关性评估功能（4）或候选相关性评估功能（4*）作为不合理而丢弃（144）。
6.根据权利要求1至5中任一项所述的方法（100），其中针对所述相关性评估功能（4）制定具有自由参数的参数化方案（4'）（145），并且其中所述方案（4'）的参数被优化（146），其目标是使所述相关性评估功能（4）的品质量度（4a）达到极限。
7.根据权利要求1至6中任一项所述的方法（100），其中依据所述相关性评估功能（4）和/或依据所述相关性评估功能（4）的品质量度（4a）和/或依据利用所述相关性评估功能（4）所确定的相关性评估（2a）来分析所述KNN（1）的输出的合理性（6）（150）。
8.根据权利要求7所述的方法，其中将所述合理性（6）通过显示器输出给所述KNN（1）的用户。
9.一种用于对被用作分类器的人工神经网络KNN（1）的输出进行合理性检查的方法（200），所述方法具有如下步骤：
• 提供至少一个图像（2）以及由所述KNN（1）所确定的分配（3）（210），其中针对所述图像，所述KNN（1）已确定到预先给定的分类的一个或多个类别（3a-3c）的分配（3）；
• 针对图像（2）和分配（3）的组合通过应用相关性评估功能（4）来确定所述图像（2）的位置分辨的相关性评估（2a）（220），其中所述相关性评估（2a）说明了所述图像（2）的哪些部分对所述分配（3）做出了何种程度的贡献；
• 一方面所述相关性评估（2a）与另一方面所述图像（2）的语义分割（2b）和/或所述图像（2）中的边缘探测（2c）之间的相关（7）被确定（230）；
• 所述相关（7）被评价为对所述KNN（1）的输出的合理性（6）的量度（240）。
10.根据权利要求9所述的方法（200），其中所述相关性评估功能（4）在根据权利要求3、5或6中任一项所述的方法（100）的过程中被选择和/或被形成。
11.根据权利要求9至10中任一项所述的方法（200），其中作为对所述相关（7）低于预先给定的阈值（7a）的响应，依据由所述KNN（1）确定的分配至少部分自动化地起作用的技术系统被操控为（250）使得减少错误分配的不利后果。
12.根据权利要求9至11中任一项所述的方法（200），其中选择通过观察机器人和/或车辆的周围环境所形成的图像（2），并且其中作为对所述相关低于预先给定的阈值的响应，机器人和/或车辆被操控为（250）使得
• 至少一个附加的物理传感器被激活用于观察机器人和/或车辆的周围环境（251）；和/或
• 至少部分自动化驾驶的机器人和/或车辆的行驶速度被降低（252）；和/或
• 驾驶辅助系统和/或用于至少部分自动化地引导机器人和/或车辆的系统完全或者部分地被停用（253）；和/或
• 机器人或至少部分自动化驾驶的车辆在预先计划的紧急停车轨迹上被停下（254）。
13.根据权利要求1至12中任一项所述的方法（100、200），其中所述KNN（1）是卷积KNN，并且其中所述相关性评估功能（4）包含多个卷积核的激活图的加权和，所述卷积核在所述KNN（1）的一个层中被应用于所述图像（2）或者被应用于所述图像（2）的处理产物。
14.一种计算机程序，所述计算机程序包含机器可读指令，当所述机器可读指令在一个或多个计算机上被实施时，所述机器可读指令促使所述一个或多个计算机实施根据权利要求1至13中任一项所述的方法（100、200）。
15.一种机器可读数据载体，其具有根据权利要求14所述的计算机程序。
16.一种计算机，所述计算机装备有根据权利要求14所述的计算机程序和/或装备有根据权利要求15所述的机器可读数据载体。
CN202110301496.6A 2020-03-23 2021-03-22 对神经分类器网络的输出的合理性检查 Pending CN113435239A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203707.8A DE102020203707A1 (de) 2020-03-23 2020-03-23 Plausibilisierung der Ausgabe neuronaler Klassifikatornetzwerke
DE102020203707.8 2020-03-23

Publications (1)

Publication Number Publication Date
CN113435239A true CN113435239A (zh) 2021-09-24

Family

ID=77552423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110301496.6A Pending CN113435239A (zh) 2020-03-23 2021-03-22 对神经分类器网络的输出的合理性检查

Country Status (3)

Country Link
US (1) US20210295154A1 (zh)
CN (1) CN113435239A (zh)
DE (1) DE102020203707A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220114255A1 (en) * 2021-12-23 2022-04-14 Intel Corporation Machine learning fraud resiliency using perceptual descriptors
DE102022212153A1 (de) 2022-11-15 2024-05-16 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfung eines Bildklassifikators mit Abwandlungen im latenten Raum der Zwischenprodukte

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006043684A1 (de) 2006-09-18 2008-03-27 Robert Bosch Gmbh Verfahren zum Bearbeiten eines Intensitätsbildes eines Mikroskopes
US9183712B2 (en) * 2013-10-10 2015-11-10 Time Warner Cable Enterprises Llc Security system and alarm activation control
US10810491B1 (en) * 2016-03-18 2020-10-20 Amazon Technologies, Inc. Real-time visualization of machine learning models
US10747999B2 (en) * 2017-10-18 2020-08-18 The Trustees Of Columbia University In The City Of New York Methods and systems for pattern characteristic detection
US10509410B2 (en) * 2017-12-06 2019-12-17 Zoox, Inc. External control of an autonomous vehicle
US10473788B2 (en) * 2017-12-13 2019-11-12 Luminar Technologies, Inc. Adjusting area of focus of vehicle sensors by controlling spatial distributions of scan lines
CN110414541B (zh) * 2018-04-26 2022-09-09 京东方科技集团股份有限公司 用于识别物体的方法、设备和计算机可读存储介质
US11301728B2 (en) * 2018-06-18 2022-04-12 Apical Ltd. Image processing using a neural network system
US11704791B2 (en) * 2018-08-30 2023-07-18 Topcon Corporation Multivariate and multi-resolution retinal image anomaly detection system
CN111581414B (zh) * 2019-02-18 2024-01-16 北京京东尚科信息技术有限公司 服饰识别、分类及检索的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20210295154A1 (en) 2021-09-23
DE102020203707A1 (de) 2021-09-23

Similar Documents

Publication Publication Date Title
Völz et al. A data-driven approach for pedestrian intention estimation
CN102076531B (zh) 车辆畅通路径检测
Klingelschmitt et al. Combining behavior and situation information for reliably estimating multiple intentions
CN112115761B (zh) 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法
CN113435239A (zh) 对神经分类器网络的输出的合理性检查
CN111259920A (zh) Ki模块对欺骗尝试的敏感性的测量
US12014280B2 (en) Measuring the sensitivity of neural network image classifiers against adversarial attacks
CN112529208A (zh) 在观察模态之间转化训练数据
CN116034345A (zh) 用于测试驾驶员辅助系统的方法和系统
US20220324470A1 (en) Monitoring of an ai module of a vehicle driving function
CN113095351A (zh) 借助于初始标记的改善生成经标记的数据的方法
CN113935362A (zh) 用于安全相关分类任务的图像分类和所属训练
Harkous et al. Application of hidden Markov model on car sensors for detecting drunk drivers
DE102018004125A1 (de) Verfahren zum Analysieren eines Objekts in einer Umgebung eines Kraftfahrzeugs
Klingelschmitt et al. Probabilistic, discriminative maneuver estimation in generic traffic scenes using pairwise probability coupling
EP3786845A1 (en) Difficulty-adaptive training for machine learning modules
CN112435466A (zh) 混合交通流环境下cacc车辆退变为传统车的接管时间预测方法及系统
US20220383617A1 (en) Data augmentation for the training of image classifiers
Dia et al. Artificial intelligence tests for certification of autonomous vehicles
US20230237323A1 (en) Regularised Training of Neural Networks
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
CN115131399A (zh) 通过多个神经网络的协作对多个对象的跟踪
Heinemann Predicting cut-ins in traffic using a neural network
Rehder et al. Influence of different ground truth hypotheses on the quality of Bayesian networks for maneuver detection and prediction of driving behavior
CN113435238A (zh) 依据关于特征的附加信息对神经分类器网络的输出的合理性检查

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination