CN117688970A - 检查神经网络对预测任务的执行的方法 - Google Patents
检查神经网络对预测任务的执行的方法 Download PDFInfo
- Publication number
- CN117688970A CN117688970A CN202311162415.4A CN202311162415A CN117688970A CN 117688970 A CN117688970 A CN 117688970A CN 202311162415 A CN202311162415 A CN 202311162415A CN 117688970 A CN117688970 A CN 117688970A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- result
- task
- image data
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 79
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000001537 neural effect Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
根据各种实施方式描述了一种用于检查神经网络对预测任务的执行的方法，具有：将图像数据输送给特征提取网络，所述特征提取网络被训练为针对输送给所述特征提取网络的图像数据确定用于执行所述预测任务的图像数据的表示；将由所述特征提取网络确定的表示输送给被训练为执行所述预测任务的预测网络；第一次确定所述表示中的所述图像数据与另外的图像数据之间的光流；第二次确定在其他计算路径上的图像数据中的所述图像数据与另外的图像数据之间的光流；以及将第一次确定光流的结果与第二次确定光流的结果进行比较，如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内一致，则将所述预测任务的结果接受为正确的。
Description
技术领域
本公开涉及用于检查神经网络对预测任务的执行的方法。
背景技术
由神经网络执行的预测任务可以用于许多控制应用。例如，对于自主车辆，由神经网络(即深度学习组件)执行诸如行人检测的预测任务。所述神经网络针对该预测任务加以训练，但难以预测对于哪些输入数据(例如图像)该预测(例如检测)效果良好以及对于哪些输入数据该预测效果不佳，即存在不确定性。
由于希望检测到不确定性，使得例如自主车辆的控制能够考虑所述不确定性，因此期望有效的措施使得可以检测到这种不确定性(以及因此检测到预测时的问题或异常)。
发明内容
根据各种实施方式，提供了一种用于检查神经网络对预测任务的执行的方法，具有：将图像数据输送给特征提取网络，所述特征提取网络被训练为针对输送给所述特征提取网络的图像数据确定用于执行预测任务的图像数据的表示，将由所述特征提取网络确定的表示输送给被训练为执行所述预测任务的预测网络，第一次确定所述表示中的所述图像数据与另外的图像数据之间的光流，第二次确定在与通过计算所述表示和根据所述表示确定光流不同的计算路径上的图像数据中的所述图像数据与另外的图像数据之间的光流，以及将第一次确定光流的结果与第二次确定光流的结果进行比较，并且如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内一致，则将所述预测任务的结果接受为正确的。
通过共享(即共同使用)预测任务与监视任务(即光流的第一次确定，其结果与第二次确定的结果进行比较)之间的表示，上述方法使得可以对预测任务的执行进行有效的监视，因为图像数据的不良表示不仅反映在预测任务的结果中，而且反映在光流的(第一次)确定中。
确定光流的结果可以涉及图像的子区域或整个图像。因此，确定光流的结果可以是(关于图像)光流的局部结果或全局结果。类似地，预测任务的结果可以是(关于图像的)局部结果或全局结果。
下面说明各种实施例。
实施例1是如上所述的一种用于检查神经网络对预测任务的执行的方法。
实施例2是根据实施例1的方法，其中所述预测任务是用于控制机器人设备的预测任务，并且如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内一致，则基于所述预测任务的结果来控制所述机器人设备(否则不使用并例如被丢弃)。针对图像的子区域的结果一致性对于与该子区域有关的预测结果的使用可以是决定性的，例如当机器人设备想要在由该子区域显示的环境区域中移动时。因此，预测任务的结果的使用可以取决于与预测任务(以及例如要由机器人设备执行的任务)有关的图像区域的光流结果有多一致。
因此，通过监视预测任务的执行，改进对机器人设备的控制(特别是其安全性)。
实施例3是根据实施例2的方法，其中如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内不一致，则在控制所述机器人设备时采取安全措施。
从而可以避免由于预测结果中的错误而导致的事故。
实施例4是根据实施例1至3中任一项的方法，其中如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内不一致，则进一步训练所述神经网络。
从而可以如下改进神经网络，即针对该神经网络训练不佳的输入数据类型重新训练该神经网络，然后为这些输入数据类型提供更好的结果。
实施例5是根据实施例1至4中任一项的方法，其中所述表示中的所述图像数据与另外的图像数据之间的光流的第一次确定借助于神经任务头网络进行，并且基于借助于其他计算路径确定的标签来训练所述神经任务头网络。
从而确保了对于用于训练神经网络(和任务头网络)的训练输入数据而言，任务头网络的结果提供与其他计算路径相似的结果并且反之则可以识别出异常，因为对于所述异常而言任务头网络的结果很有可能与其他计算路径的结果存在偏差。
实施例6是根据实施例1至5中任一项的方法，其中所述图像数据是第一数字图像并且所述另外的图像数据是至少一个第二数字图像，以及其中所述预测任务是在所述第一数字图像中显示的至少一个对象的对象分类或所述第一数字图像的语义分割。
在这种情况下，监视任务(第一次确定光流)和预测任务——对象分类或语义分割——密切相关，从而相应结果的质量相关性很好，并且因此在基于所述表示计算光流时存在错误就表明在基于表示执行预测任务时存在错误。
实施例7是根据实施例1至6中任一项的方法，其中将第一次确定光流的结果和第二次确定光流的结果针对所述第一数字图像的多个区域(以及所述第二数字图像的对应区域)逐图像区域地进行比较，所述预测任务针对所述区域中的至少一个区域提供预测结果，并且对于所述预测任务提供预测结果的每个区域，如果第一次确定光流的结果与第二次确定光流的结果在针对区域的预给定容差的范围内一致，则将所述预测任务针对该区域的结果接受为正确的。
换句话说，可以局部检查(第一次)确定光流的正确性，并且可以对应地接受或拒绝局部预测结果。特别地，由此可以忽略不相关图像区域中的错误(例如，在确定树的位于车道上方的树叶的光流时的错误；该区域中的正确表示典型地是不相关的)。
实施例8是一种监视装置，其被设置为执行根据实施例1至7中任一项的方法。
实施例9是一种具有指令的计算机程序，所述指令当其由处理器执行时使得所述处理器执行根据实施例1至7中任一项的方法。
实施例10是一种存储指令的计算机可读介质，所述指令当其由处理器执行时使得所述处理器执行根据实施例1至7中任一项的方法。
附图说明
在附图中，相似的附图标记通常指代完全不同的视图中相同的部件。附图不一定按比例绘制，而是通常将重点放在显示本发明的原理上。在下面的描述中，参照附图描述各个方面。
图1示出了(例如自主)车辆。
图2示出了用于监视预测任务的执行的架构。
图3示出了表示根据一种实施方式的用于检查神经网络对预测任务的执行的方法的流程图。
具体实施方式
以下详细描述涉及附图，附图为了进行解释示出了可以用于执行本发明的本公开的具体细节和方面。在不脱离本发明的范围的情况下，可以使用其他方面并且可以进行结构、逻辑和电气改变。本公开的各个方面不一定是相互排斥的，因为本公开的一些方面可以与本公开的一个或多个其他方面组合以形成新的方面。
下面更详细地描述各种示例。
图1示出了(例如自主)车辆101。
在图1的示例中，车辆101(例如乘用车或卡车)配备有车辆控制装置102。
车辆控制装置102具有数据处理组件，例如处理器(例如CPU(中央单元))103和存储器104，存储器104用于存储车辆控制装置102根据其工作的控制软件和由处理器103处理的数据。
例如，所存储的控制软件(计算机程序)具有指令，所述指令当其由处理器执行时使得处理器103实现一个或多个神经网络107。
存储在存储器104中的数据可以包括例如由一个或多个相机105采集的图像数据。一个或多个相机105可以拍摄车辆101的环境的一张或多张灰度或彩色照片。应当注意，在下文中，图像或图像数据通常被理解为显示一个或多个对象或图案的数据的集合。图像数据可以由测量可见光或不可见光、例如红外或紫外光、超声波或雷达波、或者其他电磁信号或声信号的传感器提供。
车辆控制装置102可以基于图像数据来确定在车辆101的环境中是否存在以及存在哪些对象，例如，诸如交通标志或道路标记的固定对象或诸如行人、动物和其他车辆的移动对象。
然后车辆控制装置102可以根据对象确定的结果来控制车辆101。从而车辆控制装置102例如可以控制致动器106(例如制动器)以控制车辆的速度，例如为了制动车辆。
对象确定例如通过由神经网络107执行的图像分类或语义分割来进行。下面还将一般性地讲述由神经网络(对应地称为神经预测网络)执行的预测任务。
在神经网络中可能出现以下情况，即将该神经网络应用于来自该神经网络尚未针对其训练或充分训练的区域的输入数据。在这种情况下，该神经网络的预测是不可靠的。可以将自动编码器或类似方案用于检测神经网络针对其不确定的输入数据(例如图像)。然而，这些方案使用输入空间的单独表示，并且因此无法考虑具体神经网络的不确定性。此外，在这种方案中进行的重建(例如输入图像的重建)的问题与要由神经网络执行的预测任务(目标任务)非常不同(并且典型地更困难)，并且因此所获得的知识的可转移性值得怀疑。
因此根据各种实施方式，经过学习的表示不仅用于实际的预测任务，而且用于进一步的任务，具体是光流的确定。此外，所述进一步的任务还以第二种方式解决，即通过独立的(必要时基于非深度学习的)算法计算光流。将光流的两次计算的结果(一次基于表示，一次基于非深度学习算法)进行比较，以检测实际预测任务的结果的不确定性，即以这种方式监视预测任务的结果。在此，在计算光流作为监视任务的情况下，可以确定密集的不确定性，即不确定性与整个输入值(以整个图像的值的形式)无关，而是与图像的部分相关，因为可以逐像素地确定光流的计算结果之间的偏差。然后可以考虑这些局部不确定性，例如在控制机器人设备时。例如，在检测(图像)局部不确定性时，可以根据应绕过不确定区域并且可以忽略不相关区域中的不确定性的偏好来设置控制策略。
图2示出了用于监视预测任务的执行的架构200。该架构例如由车辆控制装置102实现，并且预测任务是驾驶任务上下文中的任务，例如对象检测。
该架构包括多任务神经网络，该网络(至少)执行预测任务(目标任务)以及并行计算从第一输入图像201到第二输入图像202的光流的预测。
预测任务可以基于各个图像，并且光流的计算基于两个(或更多)彼此相继的图像。
神经特征提取网络203针对每个图像201、202确定相应表示204、205(例如，潜在空间中的特征图或向量)。用于预测任务的第一任务头(用于预测的神经子网络)206从一个图像的表示204、205中(或者，根据预测任务，还从两个或更多个图像的表示中)确定预测任务(例如，分割该图像)的结果210。
为了监视预测任务的执行，第二任务头(用于确定光流的神经子网络)使用由第一任务头206使用的至少一个表示和至少一个另外的图像的表示(例如，采用两个表示204，205，其中第一任务头206已使用了第一图像的表示204)并从这些表示中确定光流。
此外，图像——第二任务头207使用所述图像的表示，例如两个图像201、202，由另外的(例如不基于神经网络的)单独实现的算法208处理，使得除了光流的由第二任务头207确定的(第一)结果之外还存在光流的第二结果。对于第二算法208，例如可以使用运动估计算法，该运动估计算法也在视频压缩中使用，或者可以使用用于确定光流的任何其他“经典”算法。然而，该第二算法也可以通过为该任务单独训练的神经网络来实现。在任何情况下，该第二算法实现了两个或更多个输入图像向光流的与通过特征提取网络203和第二任务头207的先后执行不同的、独立的映射(函数)。因此，特别是算法208针对异常(即，特征提取网络203针对其训练不佳的输入图像)输出与特征提取网络203和第二任务头207的先后执行不同的光流。
比较器209比较这两个结果并且由此可以计算局部不确定性(时空)或全局偏差(或不确定性)度量的值211。因此，第二结果在监视预测任务时用作参考，以检测与第一结果的(局部)不同。
第二结果还可以(在用于监视预测任务之前)用作用于训练第一任务头的标签。还可以基于所述比较来检测困难图像，然后在训练特征提取网络203时对所述困难图像进行更重的加权。
比较器209可以被设置为，该比较器209补偿光流的计算方式之间的差异。为此可以在开发时例如适当地一起训练该比较器。
总之，根据各个实施方式提供了一种方法，如图3中所示。
图3示出了表示根据一种实施方式的用于检查神经网络对预测任务的执行的方法的流程图300。
在301中，将图像数据输送给特征提取网络，所述特征提取网络被训练为针对输送给所述特征提取网络的图像数据确定用于执行预测任务的图像数据的表示。
在302中，将由所述特征提取网络(针对所述图像数据)确定的表示输送给被训练为(针对所述图像数据)执行所述预测任务的预测网络。
被检查对预测任务的执行的神经网络具有所述特征提取网络和所述预测网络。
在303中，确定所述表示中的所述图像数据与另外的图像数据之间的光流。
在304中，再次确定在与通过计算所述表示和从所述表示中确定光流不同的计算路径上的图像数据中的所述图像数据和另外的图像数据之间的光流(例如通过另外的神经网络或通过“经典的”，即基于非深度学习的算法)。因此，光流是通过两个计算路径从图像数据中确定的，其中第二计算路径不使用所述表示，即换句话说，与所述表示无关地工作(即，其结果不是由所述表示给出的，或者计算绕过了所述表示)或者可以与这种表示无关地来计算光流。因此，这两个计算路径实现了图像数据与光流之间的不同映射规则。
在305中，将第一次确定光流的结果(来自303)和第二确定光流的结果(来自304)相互比较，并且如果第一次确定光流的结果与第二确定光流的结果在预给定容差的范围内一致，则将预测任务的结果接受为正确的。换句话说，根据两个结果是否一致(在考虑容差的情况下)来进一步处理(来自302)预测任务的结果。
应当注意，上述处理步骤301至305不必一定按照所示的顺序执行。此外，也可以并行进行训练(例如301的特征提取网络的训练与302的预测网络的训练并行)。
图3的方法可以由具有一个或多个数据处理单元的一个或多个计算机来执行。术语“数据处理单元”可以理解为使得能够处理数据或信号的任何类型的实体。所述数据或信号例如可以根据由所述数据处理单元执行的至少一个(即，一个或多于一个)特殊功能来处理。数据处理单元可以包括模拟电路、数字电路、逻辑电路、微处理器、微控制器、中央单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、可编程门阵列集成电路(FPGA)或者它们的任意组合或由模拟电路、数字电路、逻辑电路、微处理器、微控制器、中央单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、可编程门阵列集成电路(FPGA)或者它们的任意组合形成。实现本文更详细描述的相应功能的任何其他方式也可以理解为数据处理单元或逻辑电路装置。这里详细描述的一个或多个方法步骤可以由数据处理单元通过由所述数据处理单元执行的一个或多个特殊功能来执行(例如实现)。
因此根据各种实施，该方法特别是计算机实现的。
预测任务可以用于产生机器人设备的控制信号。术语“机器人设备”可以理解为任何技术系统(具有运动受控的机械部件)，例如由计算机控制的机器、车辆、家用电器、电动工具、制造机器、个人助理或访问控制系统。
借助于监视任务来监视预测任务，从而可以检测到异常。例如，所述比较提供了不确定性度量，并且如果该不确定性度量超过阈值，则报告异常，并且作为响应，例如将相应的技术系统转换到安全模式(例如，对于车辆而言降低速度，停止机器人手臂等)。
各种实施方式可以使用来自各种传感器的传感器信号作为输入数据，传感器例如视频、雷达、LiDAR、超声、运动、热成像等。特别地，“图像数据”可以理解为图像形式(即分配给像素的值)的任何类型的数据，而不一定仅理解为彩色图像数据。因此，光流必要时可以是分配给像素的非彩色图像数据的传感器数据之间的光流。传感器任务可以包括对传感器数据进行分类或对传感器数据执行语义分割，以例如检测对象的存在(在获得传感器数据的环境中)。特别地，实施方式可以应用于控制和监视操纵任务的执行，例如在装配线上。
实施方式还可以用于训练(包括确认和测试)机器学习系统，其方式是选择合适的训练数据。例如，选择在执行预测任务方面具有高度不确定性(局部或全局)的数据，传送到计算机(由此减少了数据流量，因为仅传输所选择的数据)，并随后将所述数据用于训练、确认或测试。因此，实施方式可以用于训练(包括学习控制策略)、产生训练数据以及测试、验证或确认，以检查经过训练的机器学习系统是否可以安全运行。以这种方式训练的机器学习系统然后可以用于预测任务(其中然后可以继续借助于监视任务来监视该系统)。
尽管这里已经示出和描述了具体实施方式，但是本领域技术人员认识到，在不脱离本发明的范围的情况下，示出和描述的具体实施方式可以替换为各种替代和/或等效实现。本申请应当涵盖这里所讨论的具体实施方式的适配或变化。因此，本发明旨在仅由权利要求及其等同物限制。
Claims (10)
1.一种用于检查神经网络对预测任务的执行的方法，具有：
将图像数据输送给特征提取网络，所述特征提取网络被训练为针对输送给所述特征提取网络的图像数据确定用于执行所述预测任务的所述图像数据的表示；
将由所述特征提取网络确定的表示输送给被训练为执行所述预测任务的预测网络；
第一次确定所述表示中的所述图像数据与另外的图像数据之间的光流；
第二次确定在与通过计算所述表示和根据所述表示确定光流不同的计算路径上的图像数据中的所述图像数据与另外的图像数据之间的光流；以及
将第一次确定光流的结果与第二次确定光流的结果进行比较，并且如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内一致，则将所述预测任务的结果接受为正确的。
2.根据权利要求1所述的方法，其中，所述预测任务是用于控制机器人设备的预测任务，并且如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内一致，则基于所述预测任务的结果来控制所述机器人设备。
3.根据权利要求2所述的方法，其中，如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内不一致，则在控制所述机器人设备时采取安全措施。
4.根据权利要求1至3中任一项所述的方法，其中，如果第一次确定光流的结果与第二次确定光流的结果在预给定容差的范围内不一致，则进一步训练所述神经网络。
5.根据权利要求1至4中任一项所述的方法，其中，所述表示中的所述图像数据与另外的图像数据之间的光流的第一次确定借助于神经任务头网络进行，并且基于借助于其他计算路径确定的标签来训练所述神经任务头网络。
6.根据权利要求1至5中任一项所述的方法，其中，所述图像数据是第一数字图像并且所述另外的图像数据是至少一个第二数字图像，以及其中所述预测任务是在所述第一数字图像中显示的至少一个对象的对象分类或所述第一数字图像的语义分割。
7.根据权利要求1至6中任一项所述的方法，其中，将第一次确定光流的结果和第二次确定光流的结果针对所述第一数字图像的多个区域逐图像区域地进行比较，所述预测任务针对所述区域中的至少一个区域提供预测结果，并且对于所述预测任务提供预测结果的每个区域，如果第一次确定光流的结果与第二次确定光流的结果在针对区域的预给定容差的范围内一致，则将所述预测任务针对该区域的结果接受为正确的。
8.一种监视装置，其被设置为执行根据权利要求1至7中任一项所述的方法。
9.一种具有指令的计算机程序，所述指令当其由处理器执行时使得所述处理器执行根据权利要求1至7中任一项所述的方法。
10.一种存储指令的计算机可读介质，所述指令当其由处理器执行时使得所述处理器执行根据权利要求1至7中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022209403.4A DE102022209403A1 (de) | 2022-09-09 | 2022-09-09 | Verfahren zum Überprüfen der Durchführung einer Prädiktionsaufgabe durch ein neuronales Netzwerk |
| DE102022209403.4 | 2022-09-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117688970A true CN117688970A (zh) | 2024-03-12 |
Family
ID=90054598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311162415.4A Pending CN117688970A (zh) | 2022-09-09 | 2023-09-08 | 检查神经网络对预测任务的执行的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117688970A (zh) |
| DE (1) | DE102022209403A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102023201830A1 (de) | 2023-02-28 | 2024-08-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zur Durchführung einer Validation einer Prädiktion eines Objektes |
-
2022
- 2022-09-09 DE DE102022209403.4A patent/DE102022209403A1/de active Pending
-
2023
- 2023-09-08 CN CN202311162415.4A patent/CN117688970A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE102022209403A1 (de) | 2024-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7140922B2 (ja) | マルチセンサデータ融合方法、及び装置 | |
| Breitenstein et al. | Systematization of corner cases for visual perception in automated driving | |
| US20190276041A1 (en) | Apparatus and method for fault diagnosis and back-up of advanced driver assistance system sensors based on deep learning | |
| US11308717B2 (en) | Object detection device and object detection method | |
| KR102108953B1 (ko) | 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템 | |
| JP2019517701A (ja) | 画像内の物体を検出する方法及び物体検出システム | |
| US20180173232A1 (en) | System and method for sensing the driving environment of a motor vehicle | |
| JP7135665B2 (ja) | 車両制御システム、車両の制御方法及びコンピュータプログラム | |
| KR20210002018A (ko) | 뉴럴 네트워크의 글로벌 불확실성을 추정하기 위한 방법 | |
| JP2007523427A (ja) | 通過車両をダイナミックなバックグランドから頑強な情報フュージョンを使用して検出するための装置および方法 | |
| CN109766867B (zh) | 车辆运行状态确定方法、装置、计算机设备和存储介质 | |
| KR20130118116A (ko) | 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법 | |
| CN108960083B (zh) | 基于多传感器信息融合的自动驾驶目标分类方法及系统 | |
| CN112149491A (zh) | 用于确定探测到的对象的信任值的方法 | |
| KR20160075135A (ko) | 자동차 물체인식 시스템 및 그 동작방법 | |
| CN117688970A (zh) | 检查神经网络对预测任务的执行的方法 | |
| CN113175935A (zh) | 用于识别车辆环境中的对象的方法 | |
| CN112166434A (zh) | 运行辅助方法、控制单元、运行辅助系统和工作设备 | |
| Rajendar et al. | Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection | |
| US20240046614A1 (en) | Computer-implemented method for generating reliability indications for computer vision | |
| US11899750B2 (en) | Quantile neural network | |
| US20230366981A1 (en) | Method for Determining a Sensor Degradation Status | |
| JP3562278B2 (ja) | 環境認識装置 | |
| US10810448B2 (en) | Image-capturing device | |
| Munz et al. | Probabilistic modeling of sensor properties in generic fusion systems for modern driver assistance systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |