CN112149491A - 用于确定探测到的对象的信任值的方法 - Google Patents

用于确定探测到的对象的信任值的方法 Download PDF

Info

Publication number
CN112149491A
CN112149491A CN202010606527.4A CN202010606527A CN112149491A CN 112149491 A CN112149491 A CN 112149491A CN 202010606527 A CN202010606527 A CN 202010606527A CN 112149491 A CN112149491 A CN 112149491A
Authority
CN
China
Prior art keywords
activation signature
class
detected
activation
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010606527.4A
Other languages
English (en)
Inventor
O·维勒斯
S·祖德霍尔特
S·拉法特尼亚
S·阿布雷希特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112149491A publication Critical patent/CN112149491A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

说明一种用于确定借助经训练的神经元网络在输入图像中探测到的一个类别的对象的信任值的方法，该方法具有以下步骤：借助神经元网络的一个层的多个输出图像为探测到的对象的类别创建激活签名(S1)，其中，将输入图像提供给神经元网络的输入端；将激活签名缩放(S2)到输入图像的大小；将缩放后的激活签名的对象部分与神经元网络的训练数据组的相同类别的所有对象的激活签名分布进行比较(S3)，以确定信任值。本发明还涉及一种用于确定在训练数据组的多个输入图像中所探测到的对象的类别的激活签名分布的方法以及一种相应的设备、计算机程序和计算机可读的存储介质。

Description

用于确定探测到的对象的信任值的方法
技术领域
本发明涉及一种用于确定输入图像中的借助神经元网络探测到的一个类别的对象的信任值的方法。
背景技术
为了控制至少部分自动化的系统，例如以自行驶的车辆或机器人作为移动平台的例子，深度学习方法被测试并进一步开发。这种至少部分自动化的系统的基本组成部分是其感知其周围环境的复杂情况的能力。这种至少部分自动化的系统的安全且有效运行的前提是对周围环境的解释和对该周围环境的状态的评估，例如用于诸如轨迹规划和轨迹控制的决策过程，其中，深度学习方法，即对专门训练的深度神经元网络的使用，保证了解决这种任务的巨大潜力。
发明内容
这种例如使用深度神经元网络的至少部分自动化系统在安全性方面的基本问题是，神经元网络在训练之后解决特定任务的能力仅当在应用情况中输入数据来自于与用以对该网络进行测试和训练的训练数据组相同的分布时才能被估计。因此，在对象识别任务中使用的深度神经元网络(DNN，英：deep neural network)仅能说出它们看到什么，而不能说出它们对此多有把握。
但是，例如对于对象识别，关于对象识别模型的可靠性的了解对于至少部分自动化的安全驾驶是非常有意义的。
当前，在至少部分自动化驾驶的范畴内，当今的可信度测试通常限于多个传感器系统的比较或基于专家知识的输入数据分析，例如用于识别困难的环境条件，例如对于光学传感器来说的雾或降低的数据质量，例如单个图像或图像序列中的运动模糊。
因此，例如，如果周围环境的代表
Figure BDA0002559343960000021
借助深度神经元网络来进行，则在应用情况中应借助数据组来识别在确定周围环境的代表时的异常和在其中所探测到的对象。
根据本发明的一个方面，提出用于确定信任值的方法、设备和计算机程序产品以及计算机可读的存储介质，它们至少部分地具有所提及的作用。有利的构型是扩展技术方案和后面的说明书的主题。
本发明基于以下知识：可以通过以下方式辨识出在应用情况中在探测分配给一个类别的对象时的偏差：将在探测时出现的识别图案与已经借助深度神经元网络的多个训练数据求取的平均识别图案进行比较。可能存在的偏差可以被量化，以便获得在应用情况中的对象探测的信任值。
根据一个方面，提出一种用于确定输入图像中的借助经训练的神经元网络探测到的一个类别的对象的信任值的方法。
在此，在该方法的一个步骤中，借助神经元网络的隐藏层的多个输出图像为探测到的对象的类别创建激活签名，其中，将输入图像提供给神经元网络的输入端。
在另一步骤中，将激活签名缩放到输入图像的大小。在另一步骤中，将缩放后的激活签名的对象部分与神经元网络的训练数据组的同一类别的所有对象的激活签名分布进行比较，以便确定信任值。
因此，通过将来自应用情况的输入图像的激活签名与来自同一对象类别的训练数据的平均激活签名分布进行比较，可以检查经训练的深度神经元网络(DNN：英文deepneural network，深度神经元网络)在对象识别任务中所进行的预测的可信度。由此识别出训练数据与在应用情况期间的输入数据之间的偏差。
在此，信任值可以说明一种质量数，该质量数将在对对象进行探测和/或分类时的异常量化并且因此支持借助神经元网络进行对象识别，其方式是，除了对象的探测和/或分类之外还说明关于对象识别的可信赖性的附加信息。即使对象已被正确地探测到并且也被正确地分类，这种信任值也可以说明所使用的方法的可靠性。
在此，以经训练的神经元网络来说明一种神经元网络，这种神经元网络已经被适当训练以便解决具有新的输入数据的规定任务。神经元网络为例如用于机器学习、协作的许多不同算法并且为处理复杂输入数据提供框架。这种神经元网络学习根据例子来执行任务，通常无需以根据任务特定的规则进行编程。
这种神经元网络基于相连接的、被称为人工神经元的单元或节点的集合。每个连接都可以将信号从一个人工神经元传输到另一人工神经元。接收信号的人工神经元可以对信号进行处理，并且然后激活与此相关的其他人工神经元。
在常规实现神经元网络时，人工神经元连接处的信号是实数，并且人工神经元的输出通过其输入的总和的非线性函数来计算。人工神经元的连接典型地具有权重，该权重随着不断进展的学习而匹配。该权重增加或减少连接处的信号的强度。人工神经元可以具有阈值，从而仅当总信号超过此阈值时才输出信号。通常将多个人工神经元层式地组合。不同的层可能对其输入执行不同类型的转换。信号从第一层、即输入层移动到最后一层、即输出层，可能在多次穿过这些层之后。
除了实施神经元网络外，补充地，人工神经元卷积网络(Convolutional NeuralNetwork)的结构由一个或多个卷积层(convolutional layer)组成，必要时还跟随有池化层。层序列可以在带有或不带有归一化层(例如批量归一化)、零填充层、退出层和激活函数(例如，整流线性单元ReLU，sigmoid函数，tanh函数或softmax函数)的情况下使用。
原则上，这些单元可以任意频度地重复，在足够重复的情况下则称为深度卷积神经元网络。这种神经元卷积网络可以具有层序列，所述层将输入网格向下扫描到较低的分辨率，以便获得期望的信息并且存储冗余的信息。
如果借助坐标数据和特征数据来描述这种神经元网络的数据，其中，给坐标数据分配了特征数据，则通常在卷积操作中坐标数据的数量变小，而分配给坐标数据的特征数据的数量增加。在此，通常将特征数据合并在神经元网络的层内的所谓的特征地图中。
最后的卷积层提取最复杂的特征，这些特征布置在多个特征地图(特征地图
Figure BDA0002559343960000031
)中并且当在神经元网络的输入端上施加输入图像时生成输出图像。此外，最后的卷积层保留空间信息，所述空间信息在可能跟随的完全连接层中丢失，其中，完全连接层被用于分类。
如果在这种神经元网络的输入端上施加输入图像，则在不同的隐藏层和相应的特征地图中引起特征地图的输出图像，所述输出图像分别可以表征当前输入图像的一定特征。在神经元卷积网络中，在例如为了借助完全连接层进行分类而将坐标维变为一维之前，最后的卷积层中的特征地图的数量最大，使得优选地可以选择神经元网络的最后的卷积层用于创建激活签名。特别地，层的选择是自由的，并且可以针对特殊的给定条件进行匹配或优化。
在卷积层彼此相继的情况下，特征地图在该地图的大小(在像素数量的意义上)方面变得越来越小。为了将基于卷积层的这种较小的特征地图而创建的激活签名与输入图像和在那里探测到的一个类别的对象进行比较，将激活签名缩放到输入图像的大小。根据多个输出图像(特征地图的输出数据)的这种缩放后的激活签名，将已经在其中探测到的所分类的对象的对象部分与训练数据组的相同类别的所有对象的激活签名分布进行比较，以便确定信任值。为了该比较，尤其可以执行对象部分的进一步缩放，因为探测到的对象在输入图像中可以具有不同的大小。
所描述的缩放也可以分别涉及所定义的大小或者涉及边界框(bounding box)。
这种缩放是必要的，因为在可以应用该方法之前通常必须将预测对象的大小改变并归一化。
在此，对象部分的缩放可以在预测对象的边界框方面进行。
该方法可以在每个预先训练的神经元卷积网络上使用，而无需改变或重新训练它。
根据一个方面提出，缩放后的激活签名的对象部分包括输入图像的一部分，在该部分中至少已经探测到同一类别的对象的部分。
特别地，对象部分可以包括整个探测到的对象部分。
根据一个方面提出，缩放后的输出图像的对象部分包括缩放后的输出图像的矩形部分，该矩形部分围绕探测到的一个类别的对象构造出。
借助这种矩形部分(英文：bounding box，边界框)能够更容易地实现进一步的图像处理步骤或数据处理步骤。
根据一个方面提出，借助以下步骤来确定所探测到的一个类别的对象的激活签名。
在该方法的一个步骤中，借助梯度法计算神经元网络的层的多个输出图像中的每个单个输出图像对探测到的对象的分类的重要性。
在另一步骤中，将每个输出图像中以其各自的重要性加权。
在另一步骤中，将多个加权后的输出图像组合。
在另一步骤中，将激活函数应用在组合的多个加权输出图像上，以便放大对分类有积极影响的特征，以便确定激活签名。
通过求取每个单个输出图像的重要性实现：在以后的加权中，在多个加权输出图像的组合中突出一个层的对探测到的对象的分类有最大影响的输出图像。因此可以反映出，对象部分内的哪些区域导致相应的分类。在此，如果已经将对象部分外的区域用于分类，则这是异常。
多个加权输出图像的组合可以例如通过位置对应的像素的逐像素相加来实施。
尤其可以以唯一一个值来描述单个输出图像对探测到的对象的分类的重要性，其方式是，将借助梯度法确定的重要性关于输出图像的所有像素求平均。
根据另一方面提出，借助以下步骤来确定探测到的一个类别的对象的激活签名。
在一个步骤中，计算神经元网络的一个层的多个输出图像中的每个单个输出图像对探测到的对象的分类的重要性，其方式是，确定神经元网络的类别输出值的梯度，该梯度涉及所述多个输出图像的输出图像。
在另一步骤中，对类别输出值的梯度关于对应的输出图像的所有像素求平均，以确定神经元网络的该层的所述多个输出图像的每个单个输出图像的重要性。
在另一步骤中，对每个输出图像中以其各自的重要性加权。在另一步骤中，对加权后的输出图像的在加权后的输出图像中布置在相应位置上的所有像素值求和；在另一步骤中，通过将求和后的像素值的所有负值置零，将求和后的对分类有积极影响的像素值放大，以便确定激活签名。
通过梯度法确定一个层的单个输出图像的重要性极大程度上相当于梯度加权的类激活映射(Grad-CAM)。并且也可以借助Grad-Cam方法来执行。在此，Grad-CAM是一种用于在输入图像中定位和可视化类区别特征的技术，该技术使对每个卷积神经元网络的预测更加透明。
可以借助公式1来计算神经元网络的层的多个、k个输出图像中的每个单个输出图像的重要性
Figure BDA0002559343960000061
Figure BDA0002559343960000062
在此，角标c代表探测到的对象的类别；i和j是输出图像的像素的角标，借助双重求和与归一化因子Z关于这些角标求平均；并且将类别输出值yc对输出图像
Figure BDA0002559343960000063
的偏导数求和。
换句话说，在类别c的输入图像及其类别输出值yc的情况下，计算关于特征地图(Feature Maps)的输出的类别输出值的梯度(分数)，其中，所有其他类别的分数置为零，并且关于对应的特征地图上的像素全局地求平均，以便获得该对象类别的每个特征地图的重要性
Figure BDA0002559343960000064
激活签名可以通过以下公式2来描述：
Figure BDA0002559343960000065
其中
Figure BDA0002559343960000066
是类别c的激活签名，具有像素角标i、j。
在此，关于具有其像素角标i、j的数量k个输出图像
Figure BDA0002559343960000067
与重要性
Figure BDA0002559343960000068
相乘地求和。
换句话说，将输出图像(特征地图的输出)以其各自的重要性进行加权、组合，并且后随整流线性单元(ReLU)，以增强对类别确定具有积极影响的特征。结果是粗略的激活签名(Heatmap，热地图)，该激活签名可以被叠加以输入图像，以便突出重要的图像部分。
根据一个方面，提出一种用于确定在训练数据组的多个输入图像中探测到的对象的类别的激活签名分布的方法，该训练数据组在相应输入图像中具有所属的类别的对象，该方法具有以下步骤：
在一个步骤中，如上所述，针对多个输入图像中的探测到的一个类别的所有对象计算多个激活签名。
在另一步骤中，将每个激活签名中缩放到输入图像的大小。
在另一步骤中，将在缩放后的激活签名中探测到的对象的每个对象部分缩放到统一的大小。
在另一步骤中，借助训练数据组的同一类别的所有探测到的对象，计算缩放后的激活签名的缩放后的对象部分的每个像素的概率分布，其中，为缩放后的激活签名的每个像素确定平均值和方差，以确定激活签名分布。
根据一个方面提出，将缩放后的激活签名的对象部分的每个像素与激活签名分布的每个相应的像素进行比较，以便确定该对象部分的像素来自该激活签名分布的同一像素的分布的概率，并且计算该对象部分的所有像素的概率的平均值，以确定信任值。
借助此简单方法可以确定信任值。
根据一个方面提出，借助缩放后的激活签名的对象部分与探测到的对象的类别的激活签名分布相比较的对数似然函数来确定用于确定信任值的比较。
借助用对数似然函数进行计算，可以执行信任值的另一种不同的确定。
根据一个方面提出，借助下面的关系来执行分类对象的缩放后的激活签名与激活签名分布的比较，以便确定信任值，该关系可以通过公式3来描述：
Figure BDA0002559343960000071
公式3计算对数似然函数，其中，x是缩放后的激活签名的对象部分的矢量表示，并且k具有缩放后的激活签名的对象部分的许多像素元素；μ是具有k个多个元素的激活签名分布的像素平均值的向量表示；以及Σ是激活签名分布的k x k大的协方差矩阵。这意味着，借助训练数据组来计算μ和Σ。
在此，k是像素的总体数量，即对于例如特征地图的空间分量的x和y方向，n乘m。
根据一个方面提出，当信任值小于信任值的阈值时，则生成信号，其中，该阈值借助训练数据或测试数据已经求得。借助这种阈值可以实现，例如根据当前的情况和当前的信任值发生警报信号。基于在训练数据组和测试数据组情况下求取的信任值，可以确定阈值。
如果例如可以借助ln p确定的信任值对于新的考察来说处于阈值之下，则这可能表明异常。低的信任值显示系统处于没有针对其进行过训练的情况中。
此外，所描述的方法也可以用作开发工具，以便例如在训练神经元网络时已经辨识出对于进一步的分析而言不可信的结果。
根据一个方面提出，将信任值作为加权因子来提供给情况分析方法。因此，一种参数可用于具有信任值的情况分析方法，借助该参数可以对借助神经元网络进行对象探测和/或分类的结果进行评估，并且可以将该结果与借助另外的传感器得到的关于周围环境的其他信息进行比较。
在此，例如，跟其他传感器数据相比，可以将借助神经元网络探测到的对象在所述确定与高的信任值相关联的情况下比在低信任值情况下更多地被加权。
根据一个方面提出，根据信任值的大小来发出用于操控至少部分自动化的车辆的操控信号和/或用于警告车辆乘员的警报信号。
上面已经讨论了关于正确分类为行人的对象的相应示例，但是在该示例中行人的位置具有低的信任值。
说明一种设备，该设备设置为用于执行如上所述的方法。借助这种设备可以将该方法容易地集成到不同的系统中。
说明一种计算机程序，该计算机程序包括指令，该指令在通过计算机运行该计算机程序时，安排计算机实施上述方法中的一个。这种计算机程序使得能够在不同的系统中使用所描述的方法。
说明一种计算机可读的存储介质，在该存储介质上存储有上述计算机程序。
附图说明
本发明的实施例在图1至3中示出并且在下面进一步阐述。附图示出：
图1：该方法的数据流的流程图；
图2：具有设置为用于确定信任值的设备的系统；
图3：用于确定信任值的方法的步骤。
具体实施方式
图1描绘用于确定信任值的部件之间的数据流。
神经元网络140位于数据流程图100的上部分支中，该分支描绘应用情况。在此，将来自不同来源、例如来自传感器的数据借助存储器120作为输入图像提供给经训练的神经元网络140，从而神经元网络140可以针对每个输入图像将隐藏层的针对探测到的对象的类别的多个输出图像传送给分析评价单元160。分析评价单元160借助神经元网络140的多个输出图像来创建激活签名，并且将激活签名缩放到输入图像的大小。分析评价单元160将缩放后的激活签名传送给比较单元180。
在数据流程图100的下部分支中，借助经训练的神经元网络142生成激活签名。在此，神经元网络140、142已被训练用于对对象进行探测和分类。借助数据存储器122将训练数据组提供给经训练的神经元网络142，从而该神经元网络可以针对多个输入图像中的每个输入图像生成该神经元网络的一个层的多个输出图像。
分布分析评价单元170针对多个输入图像中的探测到的一个类别的对象确定激活签名；将每个激活签名缩放到输入图像的大小；将探测到的对象的缩放后的激活签名中的每个对象部分缩放到统一的大小；并且借助该训练数据组的探测到的同一类别的所有对象针对缩放后的激活签名的缩放后的对象部分的每个像素计算概率分布，以确定激活签名分布。
比较单元180将缩放后的激活签名的对象部分与来自训练数据组的激活签名分布进行比较，以确定信任值190。
图2描绘具有设备210的系统200，该设备设置为用于执行用于确定信任值的方法，例如在应用情况下。传感器230将输入图像提供给设备210，并且，在存储单元240中存储有激活签名分布，从而设备210借助上述方法提供信任值220。
图3描绘用于确定信任值的方法，其中，在步骤S1中，借助神经元网络的隐藏层的多个输出图像来为探测到的对象的类别提供激活签名。
在另一步骤S2中，将激活签名缩放到输入图像的大小。
在另一步骤S3中，将缩放后的激活签名的对象部分与该神经元网络的训练数据组的同一类别的所有对象的激活签名分布进行比较，以便确定信任值。

Claims (14)

1.一种用于确定借助经训练的神经元网络在输入图像中探测到的一个类别的对象的信任值的方法，所述方法具有以下步骤：
借助所述神经元网络的一个层的多个输出图像为所探测到的对象的所述类别创建(S1)激活签名，其中，将所述输入图像提供给所述神经元网络的输入端；
将所述激活签名缩放(S2)到所述输入图像的大小；
将缩放后的激活签名的对象部分与所述神经元网络的训练数据组的相同类别的所有对象的激活签名分布进行比较(S3)，以确定所述信任值。
2.根据权利要求1所述的方法，其中，缩放后的激活签名的所述对象部分包括所述输入图像的一部分，在该部分中至少探测到同一类别的对象的部分。
3.根据以上权利要求中任一项所述的方法，其中，缩放后的激活签名的所述对象部分包括所述输入图像的矩形部分，所述矩形部分围绕一个类别的探测到的对象构造出。
4.根据以上权利要求中任一项所述的方法，其中，借助以下步骤来确定所探测到的一个类别的对象的激活签名：
借助梯度法来计算所述神经元网络的所述层的所述多个输出图像中的每个单个输出图像对于所探测到的对象的分类的重要性；
将每个输出图像以其各自的重要性加权；
将加权后的所述多个输出图像组合；
将激活函数应用到组合的多个加权输出图像上，以放大对所述分类有积极影响的特征，以便确定所述激活签名。
5.根据以上权利要求中任一项所述的方法，其中，借助以下步骤来确定所探测到的一个类别的对象的所述激活签名：
通过确定所述神经元网络的类别输出值在所述多个输出图像的输出图像上的梯度，计算所述神经元网络的一个层的所述多个输出图像中的每个单个输出图像对于所探测到的对象的分类的重要性；
关于各个输出图像的所有像素对所述类别输出值的所述梯度求平均，以确定所述神经元网络的所述层的所述多个输出图像中的每个单个输出图像的重要性；
对每个输出图像以其各自的重要性加权；
对加权后输出图像的在所述加权后的输出图像中布置在相应位置上的所有像素值求和；和
通过将求和后的像素值的所有负值置零，将对所述分类有积极影响的求和后的像素值放大，以便确定激活签名。
6.一种用于确定在训练数据组的多个输入图像中所探测到的对象的类别的激活签名分布的方法，所述训练数据组具有各个输入图像中的对象的所属的类别，所述方法具有以下步骤：
根据权利要求4或5针对所述多个输入图像中的探测到的一个类别的所有对象计算多个激活签名；
将每个激活签名缩放到所述输入图像的大小；
将在所述缩放后的激活签名中探测到的对象的每个对象部分缩放到统一的大小；
借助所述训练数据组的探测到的同一类别的所有对象，针对缩放后的激活签名的缩放后的对象部分的每个像素计算概率分布，其中，为缩放后的激活签名的每个像素确定平均值和方差，以确定所述激活签名分布。
7.根据以上权利要求中任一项所述的方法，其中，将缩放后的激活签名的所述对象部分的每个像素与所述激活签名分布的每个相应的像素进行比较，以便确定所述对象部分的像素来自于所述激活签名分布的同一像素的分布的概率；并且针对所述对象部分的所有像素计算所述概率的平均值，以确定所述信任值。
8.根据以上权利要求中任一项所述的方法，其中，借助缩放后的激活签名的所述对象部分与探测到的对象的类别的所述激活签名分布相比的对数似然函数，确定用于确定所述信任值的所述比较。
9.根据以上权利要求中任一项所述的方法，其中，如果所述信任值小于所述信任值的阈值，则生成信号，其中，所述阈值已借助训练数据或测试数据求取。
10.根据以上权利要求中任一项所述的方法，其中，将所述信任值作为加权因子提供给情况分析方法。
11.根据以上权利要求中任一项所述的方法，其中，根据所述信任值的所述大小，发出用于操控至少部分自动化的车辆的操控信号和/或用于警告车辆乘员的警报信号。
12.一种设备(210)，所述设备设置为用于执行根据权利要求1至11中任一项所述的方法。
13.一种计算机程序，所述计算机程序包括指令，所述指令在通过计算机运行所述计算机程序时安排所述计算机实施根据权利要求1至11中任一项所述的方法。
14.一种计算机可读的存储介质，在所述存储介质上存储有根据权利要求13所述的计算机程序。
CN202010606527.4A 2019-06-27 2020-06-29 用于确定探测到的对象的信任值的方法 Pending CN112149491A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102019209372.8 2019-06-27
DE102019209372 2019-06-27
DE102019209462.7A DE102019209462A1 (de) 2019-06-27 2019-06-28 Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
DE102019209462.7 2019-06-28

Publications (1)

Publication Number Publication Date
CN112149491A true CN112149491A (zh) 2020-12-29

Family

ID=73747204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010606527.4A Pending CN112149491A (zh) 2019-06-27 2020-06-29 用于确定探测到的对象的信任值的方法

Country Status (3)

Country Link
US (1) US11586855B2 (zh)
CN (1) CN112149491A (zh)
DE (1) DE102019209462A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3837666A4 (en) * 2018-08-17 2022-05-11 Dauntless.io, Inc. SYSTEMS AND METHODS FOR MODELING AND CONTROLLING DYNAMIC PHYSICAL SYSTEMS USING ARTIFICIAL INTELLIGENCE
US11494616B2 (en) * 2019-05-09 2022-11-08 Shenzhen Malong Technologies Co., Ltd. Decoupling category-wise independence and relevance with self-attention for multi-label image classification
DE102019209463A1 (de) * 2019-06-27 2020-12-31 Robert Bosch Gmbh Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
US11716338B2 (en) * 2019-11-26 2023-08-01 Tweenznet Ltd. System and method for determining a file-access pattern and detecting ransomware attacks in at least one computer network
US11592828B2 (en) * 2020-01-16 2023-02-28 Nvidia Corporation Using neural networks to perform fault detection in autonomous driving applications
CN115829005B (zh) * 2022-12-09 2023-06-27 之江实验室 面向卷积神经分类网络的缺陷自动诊断与修复方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores

Also Published As

Publication number Publication date
US11586855B2 (en) 2023-02-21
US20200410297A1 (en) 2020-12-31
DE102019209462A1 (de) 2020-12-31

Similar Documents

Publication Publication Date Title
CN112149491A (zh) 用于确定探测到的对象的信任值的方法
EP3488387B1 (en) Method for detecting object in image and objection detection system
US20210089895A1 (en) Device and method for generating a counterfactual data sample for a neural network
US11386307B2 (en) Machine vision system
US20210125061A1 (en) Device and method for the generation of synthetic data in generative networks
US20220327676A1 (en) Method and system for detecting change to structure by using drone
US20200311481A1 (en) Adversarial attack on black box object detection algorithm
CN112989328A (zh) 用于检测对抗性攻击的系统和方法
CN112150344A (zh) 用于确定一类别的对象的置信值的方法
CN114595738A (zh) 为识别模型生成训练数据的方法和生成识别模型的方法
US20200394460A1 (en) Image analysis device, image analysis method, and image analysis program
US20230260259A1 (en) Method and device for training a neural network
US20230031755A1 (en) Generative adversarial network for processing and generating images and label maps
US20220343158A1 (en) Method, device, and computer program for creating training data in a vehicle
US20220309771A1 (en) Method, device, and computer program for an uncertainty assessment of an image classification
Pereira et al. Detecting docking-based structures for persistent ASVs using a volumetric neural network
Hashemi et al. Runtime monitoring for out-of-distribution detection in object detection neural networks
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
Dos Santos et al. Performance comparison of convolutional neural network models for object detection in tethered balloon imagery
JP2021170332A (ja) 分類器をトレーニングするための装置及び方法並びに分類器の堅牢性を評価するための装置及び方法
Pereira A machine learning approach for predicting docking-based structures
CN111291624B (zh) 一种挖掘机目标识别方法及系统
Kalirajan et al. Deep Learning for Moving Object Detection and Tracking
Krucinski et al. Machine Learning for Missile Streak Detection and Localization
Dechemi et al. An approach of data fusion for FuzzyART based visual recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination