CN113474790A - 用于在存在不利扰动的情况下处理神经网络预测的方法和系统 - Google Patents
用于在存在不利扰动的情况下处理神经网络预测的方法和系统 Download PDFInfo
- Publication number
- CN113474790A CN113474790A CN202080012508.7A CN202080012508A CN113474790A CN 113474790 A CN113474790 A CN 113474790A CN 202080012508 A CN202080012508 A CN 202080012508A CN 113474790 A CN113474790 A CN 113474790A
- Authority
- CN
- China
- Prior art keywords
- processor
- input
- measurement quantity
- neural network
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 53
- 230000002411 adverse Effects 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 title claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims abstract description 15
- 230000000246 remedial effect Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000009471 action Effects 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
- G05B13/024—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a parameter or coefficient is automatically adjusted to optimise the performance
- G05B13/025—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a parameter or coefficient is automatically adjusted to optimise the performance using a perturbation signal
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
一种在包括处理器和与处理器耦合的存储器的感测系统中在存在不利扰动的情况下对预测进行处理的方法。所述处理器可以被配置为：连接到一个或多个传感器以用于从其接收输入(x)。所述处理器可以被配置为：运行所述存储器中的模块以用于实现神经网络。所述神经网络可以具有网络函数fθ，其中，θ是网络参数。所述方法可以由所述处理器执行并且包括：根据至少包括给定输入(x0)的所述输入(x)生成相应的输出，所述输出是对所述神经网络的预测，并且包括与所述给定输入(x0)相对应的给定输出y0，其中，y0＝fθ(x0)。所述方法还可以包括：根据包括所述给定输出y的多个输出生成测量量(m)。所述测量量m在给定输入(x0)处或其附近可以是(i)与给定输出y的梯度相对应的第一测量量M1，(ii)与从用于所述神经网络的训练过程得出的预定目标函数的梯度相对应的第二测量量M2，或者(iii)从M1和M2的组合得出的第三测量量M3。所述方法还可以包括：确定所述测量量(m)是否等于或大于阈值。所述方法还可以包括：如果确定所述测量量(m)等于或大于阈值，则执行一个或多个补救动作以校正扰动。还公开了一种基于所述方法进行的分类方法。还公开了相对应的感测和/或分类系统，以及包含所述感测和/或分类系统的车辆。
Description
技术领域
概括地说，本发明涉及基于神经网络的感测系统中的检测。更具体地说，本发明涉及用于在存在不利扰动的情况下对预测和/或分类进行处理的感测和/或分类方法和系统。
背景技术
本发明可应用于任何感测系统，例如用于汽车领域，其采用神经网络(NN)用于分类/预测目的。
众所周知，神经网络模型可以被视为定义函数f:X→Y的数学模型。本领域已知，除了(深度)神经网络的巨大潜力外，这些功能还容易受到不利扰动的影响(参见Szegedy,C.,Zaremba,W.,Sutskever,I.,Bruna,J.,Erhan,D.,Goodfellow,I.,&Fergus,R.(2013).Intriguing properties of neural networks.arXiv预印本arXiv:1312.6199)。也就是说，正确分类的样本可能会受到轻微的扰动，从而使分类发生巨大变化并变得错误。这种扰动可能是不利攻击的结果，但它们也可能是偶然发生的。因此，特别是对于安全关键应用，有必要具有用于检测此类扰动的输入的机制，以便相应地解释相应的分类。
已经在下列文献中讨论了网络函数的导数关于输入的作用：(i)Hein,M.,&Andriushchenko,M.(2017).Formal guarantees on the robustness of a classifieragainst adversarial manipulation.在Advances in Neural Information ProcessingSystems(pp.2266-2276)中,以及(ii)Simon-Gabriel,C.J.,Ollivier,Y.,
B.,Bottou,L.,&Lopez-Paz,D.(2018).Adversarial Vulnerability of Neural NetworksIncreases With Input Dimension.arXiv预印本arXiv:1802.01421。
发明目的
本发明解决的问题是如何提供减少或消除不利扰动的存在对预测和/或分类的影响的、有效的基于神经网络的感测和/或分类方法和系统。
发明内容
为了克服上述问题，在一个方面，提供了一种方法：在包括处理器和与处理器耦合的存储器的感测系统中在存在不利扰动的情况下对预测进行处理。应当注意，在本发明的上下文中，表述“处理器”和“存储器”不限于处理环境的特定实现。处理器和存储器可以例如是计算机或普通计算设备中使用的标准处理器。另一方面，本领域技术人员将意识到，神经网络可以在可能专用于神经网络的一些其他硬件设备中实现(具有烧录到其电路中的网络结构的设备预计将在未来可用)。“处理器”和“存储器”设备的这些以及其他可能的实现方式也被这些表述所涵盖。
所述处理器可以被配置为：连接到一个或多个传感器以用于从其接收输入(x)。处理器可以被配置为：在所述存储器中运行模块以用于实现神经网络。所述神经网络可以具有网络函数fθ，其中，θ是网络参数。所述方法可以由所述处理器执行并且包括：根据至少包括给定输入(x0)的所述输入(x)生成相应的输出，所述输出是对所述神经网络的预测，并且包括与所述给定输入(x0)相对应的给定输出y，其中，y＝fθ(x0)。所述方法还可以包括：根据包括所述给定输出y的多个输出生成测量量(m)。所述测量量m在给定输入(x0)处或其附近可以是(i)与给定输出y的梯度相对应的第一测量量M1，(ii)与从用于所述神经网络的训练过程得出的预定目标函数的梯度相对应的第二测量量M2，或者(iii)从M1和M2的组合得出的第三测量量M3。所述方法还可以包括：确定所述测量量(m)是否等于或大于阈值。所述方法还可以包括：如果确定所述测量量(m)等于或大于阈值，则执行一个或多个补救动作以校正扰动。
优选地，所述方法还包括：如果确定所述测量量(m)小于所述阈值，则执行由y引起的预定通常动作。
在实施例中，生成所述第一测量量M1包括：计算所述网络函数fθ关于所述输入(x)的梯度Dxfθ；以及将所述第一测量量M1得出为与所述给定输入(x0)相对应的梯度Dxfθ的值。优选地，得出所述第一测量量M1包括：确定与所述给定输入(x0)相对应的欧几里得范数Dxfθ。
在实施例中，生成所述第二测量量M2包括：计算所述目标函数J(X,Y,fθ)关于所述网络参数θ的梯度DθJ(X,Y,fθ)，从而J(X,Y,fθ)先前已经通过基于给定的训练数据在离线训练过程中校准所述网络函数fθ而获得；以及将所述第二测量量M2得出为与所述给定输入(x0)相对应的梯度DθJ(X,Y,fθ)的值。优选地，得出所述第二测量量M2包括：确定与所述给定输入(x0)相对应的欧几里得范数DθJ(X,Y,fθ)。
在实施例中，所述第三测量量M3被计算为所述第一测量量M1与所述第二测量量M2的加权和。
所述第一测量量M1、所述第二测量量M2和/或所述第三测量量M3可以是基于包括所述给定输入(x0)的输入(x)的预定邻域生成的。优选地，输入的预定邻域包括在所述给定输入(x0)之前的第一多个输入和/或在所述给定输入(x0)之后的第二多个输入。优选地，所述第一多个和/或所述第二多个的数量为2-10个，更优选地2-5个，更优选地2-3个。
在实施例中，所述一个或多个补救动作包括保存所述fθ(x0)的值，并等待下一个输出fθ(x1)以验证fθ(x0)或确定它是错误输出。
在实施例中，所述感测系统包括一个或多个输出设备，并且所述一个或多个补救动作包括：停止所述感测系统并经由输出设备发出相应的警告通知。
在实施例中，所述一个或多个补救动作包括：拒绝所述预测fθ(x0)，并停止会由该预测产生的任何预定的进一步动作。
根据另一方面，提供了一种使用神经网络对感测系统的输出进行分类的方法，所述方法包括：如果确定所述测量量(m)小于所述阈值，则执行由y引起的预定的通常动作，其中，所述预定的通常动作或预定的进一步动作包括：基于预测y来确定分类或回归。
优选地，所述感测系统包括一个或多个输出设备和一个或多个输入设备，并且其中，所述方法还包括：经由输出设备输出针对用户的用于批准或不批准所确定的分类的请求，以及经由输入设备接收用户输入，所述用户输入指示所确定的分类被批准还是不被批准。
根据另一方面，提供了一种感测和/或分类系统，用于在存在不利扰动的情况下对预测和/或分类进行处理，所述感测和/或分类系统包括：处理器，以及耦合至所述处理器的存储器，其中，所述处理器被配置为：连接到一个或多个传感器以用于从其接收输入(x)，其中，所述处理器被配置为：运行所述存储器中的模块以用于实现神经网络，所述神经网络具有网络函数fθ，其中，θ是网络参数，并且其中，所述处理器被配置为执行上述方法的一个或多个实施例。
根据本发明的另一方面，提供了一种包括如上所述的感测和/或分类系统的车辆。
至少在实施例中，本发明提供了支持系统的鲁棒性和安全性的方法，所述系统实现用于分类目的的神经网络。为此，制定了一种方法来测量手头的样本(x0)是否可能位于输入空间中的神经网络无法以可靠方式执行的区域中。有利地，所公开的技术利用了神经网络的分析属性。更准确地说，所公开的技术实现了神经网络的梯度，这些梯度然后传递关于给定样本处的决策的灵敏度信息。
至少在实施例中，本发明的优点是减少或消除不利扰动的存在对预测和/或分类的影响。
本发明的另一个优点是，至少在实施例中，通过从神经网络得出分析特性，能够确定神经网络在执行可靠预测方面是否可能存在困难。
本发明的另外优点，至少在实施例中，包括下列各项：(i)神经网络函数的分析属性可用于测量可靠性；(ii)使用基于神经网络的梯度和在训练期间使用的潜在目标函数的两个测量，并且可以将其结合为通用的针对可靠性的准则；(iii)鲁棒性测量是针对实际神经网络定制的(直接基于实际神经网络)；以及(iv)该技术适用于使用神经网络的任何领域。
附图说明
本发明的进一步细节和优点将从下文参考附图的非限制性实施例的详细描述中显而易见，其中：
图1是根据本发明实施例的基于神经网络的感测和/或分类系统的示意框图；以及
图2示意性地表示图1的基于神经网络的感测和/或分类系统的操作。
优选实施例得描述
在附图中，相同的附图标记用于表示相同的元件。除非下文另有说明，否则一个实施例的任何特征、组件、操作、步骤或其他元素可以与本文公开的任何其他实施例的特征、组件、操作、步骤或其他元素结合使用。
图1是根据本发明实施例的基于神经网络的感测和/或分类系统1(下文中也被成为“系统”)的示意框图。
系统1包括处理器2和与其耦合的一个或多个存储器，包括非易失性存储器(NVM)3。在NVM 3中可以存储各种软件4，包括操作系统软件5和/或一个或多个软件模块6-1至6-n(统称为模块6)。模块6可以包括实现神经网络的神经网络模块6-1，如下文进一步讨论的。
在实施例中，为了与用户交互的目的，系统1可以包括一个或多个输入设备7和一个或多个输出设备8。输入设备7可以包括键盘或小键盘7-1、导航拨盘或旋钮/按钮7-2和/或触摸屏7-3。输出设备8可以包括显示器(例如LCD)8-1、一个或多个可发光指示器(例如LED)8-2和/或音频输出设备(例如扬声器)8-3。
在神经网络模块6-1的操作期间，处理器2可以接收来自一个或多个传感器9-1、9-2、…、9-m(统称为传感器9)的输入，例如经由相应的接口10-1、10-2、…、10-m(统称为接口10)，如下文更详细讨论的那样对这些输入进行进一步处理。
可选地，系统1包括短范围(例如蓝牙、ZigBee)通信子系统11和/或长范围(例如蜂窝，例如4G、5G)通信子系统12，每个接口用于接收和/或发送传感器或其他数据、控制参数、训练数据或其他系统相关数据，或用于传输神经网络预测和/或分类。
图2示意性地表示图1的基于神经网络的感测和/或分类系统的操作。
在神经网络模块6-1处接收到的是连续输入或样本x，其是经由接口10从传感器9接收的。在实施例中，神经网络模块6-1可以通过适当的预处理技术(例如放大、滤波或其他信号调节)接收输入x作为原始数据或作为经预处理的传感器数据。虽然简单地表示为x，但应当意识到，输入x可以是以与传感器9的配置相对应的阵列或矩阵形式设置的信号的形式。
下面将讨论所公开技术的基本原理。
出于说明的目的，正在考虑从一个或多个传感器9接收数据的通用感测系统。该系统采用神经网络(NN)模块6-1关于环境或某些物理量进行预测或分类。
举例来说，设想了以下汽车场景和其他场景：
内部雷达系统(用于生命体征)；
用于外部对象检测的激光雷达、摄像头和雷达；
基于摄像头的手势识别；
驾驶员监控系统；以及
基于超声波的系统。
进一步假设系统(NN模块6-1)使用由fθ表示的NN(其中，θ是网络参数)，其接收原始或经预处理的传感器数据(来自一个或几个传感器9)，由x表示，在此基础上其执行预测或分类。
回到上述示例场景，分类/预测可能如下：
内部雷达系统(用于生命体征)->车内有小婴儿；
用于外部对象检测的激光雷达、摄像头和雷达->检测到骑自行车的人；
基于摄像头的手势识别->检测到意图开始拨打电话的手势；
驾驶员监控系统->驾驶员受药物影响；和/或
基于超声波的系统->环境识别。
假设已经在离线训练过程中校准了fθ(基于给定的训练数据)。这个训练过程是通过解决优化问题(将训练数据拟合到期望的输出)来执行的(通常是这样完成的)，优化问题是通过由J(X,Y,fθ)表示的某个目标函数来制定的。这里，X表示训练数据集，并且Y是相对应的标签(期望输出)。
在使用中，NN模块6-1可针对每个输入x操作以生成或确定相应的输出，因此对于给定的输入x0，给定的输出y被确定为y＝fθ(x0)。
返回到图2，根据实施例，基于给定的输出y并利用一个或多个测量量，由预测处理模块6-a(来自图1中的模块6)执行进一步处理和/或规避/补救动作，如下文进一步讨论的。如图2所示，取决于基于给定输出y和一个或多个测量量的进一步确定/操作，分类阶段6-b(例如，来自图1中的模块6)可操作以基于来自NN模块6-1的输出来执行分类。下面讨论各种实施例和动作。
在本发明的实施例中，定义并采用了可以并行或单独使用的fθ和J(X,Y,fθ)的两个特性。
在第一实施例中，使用网络函数fθ关于输入x的梯度，其由Dxfθ表示。
在这里，要注意，给定(系统1的操作的)生命周期期间的实际输入x0，梯度Dxfθ(x0)中条目的大小与样本x0的邻域中分类的灵敏度成比例。换句话说，条目Dxfθ(x0)越高，对于某些扰动δ，输出fθ(x0+δ)的变化就将越大。这进而提供了允许确定样本x0周围的输入区域是否构成分类中高波动区域的信息。这提供了关于输出fθ(x0)的可靠性的信息。
因此，在该第一实施例中，从由M1(Dxfθ(x0))表示的合适的Dxfθ(x0)得出合适的量(例如，使用欧几里得范数，M1)。如果该量超过预定义的阈值，则系统可以相应地做出反应(具体反应如下)。
在第二实施例中，使用了DθJ(X,Y,fθ)，目标函数关于网络参数θ的梯度。
在这里，给定生命周期期间的实际输入x0和相应的输出fθ(x0)＝y0，梯度DθJ(x0,y0,fθ)中条目的大小提供了关于当该对(x0,y0)是训练数据的一部分时，系统是否会学到一些东西的信息。也就是说，条目在DθJ(x0,y0,fθ)中越高，系统可以从(x0,y0)中学到的就越多。这进而又可以得出结论，在该输入区域中是否有足够的训练数据，以及系统是否应该能够以足够高的置信度对后者进行分类。基本假设是不利扰动会向训练过程提供信息(在DθJ(x0,y0,fθ)中的高条目)。
因此，在该第二实施例中，(从DθJ(x0,y0,fθ)得出的)量M2(DθJ(x0,y0,fθ))用于量化人们可以信任输出fθ(x0)的程度。例如，这样的量M2可以是欧几里得范数或到大小或长度的任何其他数学映射。如果该量超过预定义的阈值，系统可以相应地做出反应。
也可以在样本x0周围的合理邻域内评估这两种测量M1,M2。例如，可以使用针对输入x0之前和/或之后的样本(输入)获得的预定数量的值。
如果提出的措施M1,M2中的一个或两个指示预测fθ(x0)不可靠，则在实施例中，以下各项是可以执行的补救/规避动作：
拒绝预测fθ(x0)并停止由此产生的任何进一步动作(例如分类)；
保存fθ(x0)的值并等待下一次输出fθ(x1)以证伪或验证fθ(x0)；
停止整个系统并发出相应的警告通知；和/或
请潜在用户批准分类。
为了说明起见，假设M(x,fθ)是下列各项之一：引入的量M1(Dxfθ(x0))、M2(DθJ(x0,y0,fθ))，后者的组合(如加权和)或任何其他有用的映射。
虽然已经通过参考在其各自的实施方式中具有各种组件的调查设备的实施例描述了实施例，但是应当意识到，其他实施例利用这些和其他组件的其他组合和排列。
贯穿本说明提及的“一个实施例”或“实施例”意指在本发明的至少一个实施例中包括结合该实施例描述的特定的特征、结构或特性。因此，在贯穿本说明的各个地方出现短语“在一个实施例中”或“在实施例中”并不一定全部指的是相同的实施例，但是可以指相同的实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式组合，如本领域普通技术人员从本公开内容中显而易见的。
因此，虽然已经描述了被认为是本发明的优选实施例的内容，但本领域技术人员将认识到，在不脱离由权利要求书定义的本发明范围的情况下，可以对其进行其他和进一步的修改，并且意图要求保护落入本发明范围内的所有此类变化和修改。例如，上文给出的任何公式仅仅是可以使用的程序的代表。可以从框图中添加或删除功能，并且可以在功能块之间互换操作。在本发明范围内描述的方法中可以添加或删除步骤。
Claims (17)
1.一种在感测系统中存在不利扰动的情况下对预测进行处理的方法，所述感测系统包括处理器以及与所述处理器耦合的存储器，所述处理器被配置为：连接到一个或多个传感器以用于从其接收输入(x)，所述处理器被配置为：运行所述存储器中的模块以用于实现神经网络，所述神经网络具有网络函数fθ，其中，θ是网络参数，所述方法由所述处理器执行，并且包括：
根据至少包括给定输入(x0)的所述输入(x)来生成相应的输出，所述输出是对所述神经网络的预测，并且包括与所述给定输入(x0)相对应的给定输出y0，其中，y0＝fθ(x0)；
根据包括所述给定输出y0的多个输出来生成测量量(m)，其中，m在所述给定输入(x0)处或其附近是(i)与所述给定输出y的梯度相对应的第一测量量M1，(ii)与从用于所述神经网络的训练过程得出的预定目标函数的梯度相对应的第二测量量M2，或者(iii)从M1和M2的组合得出的第三测量量M3；
确定所述测量量(m)是否等于或者大于阈值，以及
如果确定所述测量量(m)等于或者大于所述阈值，则执行一个或多个补救动作以校正扰动。
2.根据权利要求1所述的方法，还包括：如果确定所述测量量(m)小于所述阈值，则执行由y引起的预定通常动作。
3.根据权利要求1或2所述的方法，其中，生成所述第一测量量M1包括：
计算所述网络函数fθ关于所述输入(x)的梯度Dxfθ，
将所述第一测量量M1得出为与所述给定输入(x0)相对应的梯度Dxfθ的值。
4.根据权利要求3所述的方法，其中，得出所述第一测量量M1包括：确定与所述给定输入(x0)相对应的欧几里得范数Dxfθ。
5.根据权利要求1或2所述的方法，其中，生成所述第二测量量M2包括：
计算所述目标函数J(X,Y,fθ)关于所述网络参数θ的梯度DθJ(X,Y,fθ)，从而J(X,Y,fθ)先前已经通过基于给定训练数据在离线训练过程中校准所述网络函数fθ而被获得；以及
将所述第二测量量M2得出为与所述给定输入(x0)相对应的梯度DθJ(X,Y,fθ)的值。
6.根据权利要求5所述的方法，其中，得出所述第二测量量M2包括：确定与所述给定输入(x0)相对应的欧几里得范数DθJ(X,Y,fθ)。
7.根据前述权利要求中任意一项权利要求所述的方法，其中，所述第三测量量M3被计算为所述第一测量量M1与所述第二测量量M2的加权和。
8.根据前述权利要求中任意一项权利要求所述的方法，其中，所述第一测量量M1、所述第二测量量M2和/或所述第三测量量M3是基于包括所述给定输入(x0)的输入(x)的预定邻域生成的。
9.根据权利要求8所述的方法，其中，所述输入的预定邻域包括在所述给定输入(x0)之前的第一多个输入和/或在所述给定输入(x0)之后的第二多个输入。
10.根据权利要求9所述的方法，其中，所述第一多个和/或所述第二多个的数量为2-10个，更优选地2-5个，更优选地2-3个。
11.根据前述权利要求中任意一项权利要求所述的方法，其中，所述一个或多个补救动作包括保存所述fθ(x0)的值，并且等待下一个输出fθ(x1)以验证fθ(x0)或确定它是错误输出。
12.根据前述权利要求中任意一项权利要求所述的方法，其中，所述感测系统包括一个或多个输出设备，并且所述一个或多个补救动作包括：停止所述感测系统并且经由输出设备发出相对应的警告通知。
13.根据前述权利要求中任意一项权利要求所述的方法，其中，所述一个或多个补救动作包括：拒绝所述预测fθ(x0)，并且停止会由所述预测产生的任何预定的进一步动作。
14.一种对采用神经网络的感测系统的输出进行分类的方法，所述方法包括根据权利要求2所述的方法或根据从属于其的任何权利要求所述的方法；其中，所述预定的通常动作或所述预定的进一步动作包括：基于所述预测y来确定分类或回归。
15.根据权利要求14所述的方法，其中，所述感测系统包括一个或多个输出设备和一个或多个输入设备，并且其中，所述方法还包括：
经由输出设备输出针对用户的用于批准或不批准所确定的分类的请求，以及
经由输入设备接收用户输入，所述用户输入指示所确定的分类是被批准还是不被批准。
16.一种用于在存在不利扰动的情况下对预测和/或分类进行处理的感测和/或分类系统，所述感测和/或分类系统包括：
处理器，以及，
存储器，其耦合至所述处理器，
其中，所述处理器被配置为：连接到一个或多个传感器以用于从其接收输入(x)，
其中，所述处理器被配置为：运行所述存储器中的模块以用于实现神经网络，所述神经网络具有网络函数fθ，其中，θ是网络参数，并且
其中，所述处理器被配置为：执行前述权利要求中任一项所述的方法。
17.一种载具，其包括根据权利要求16所述的感测和/或分类系统。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| LULU101088 | 2019-01-04 | ||
| LU101088A LU101088B1 (en) | 2019-01-04 | 2019-01-04 | Method and System for Processing Neural Network Predictions in the Presence of Adverse Perturbations |
| PCT/EP2020/050083 WO2020141217A1 (en) | 2019-01-04 | 2020-01-03 | Method and system for processing neural network predictions in the presence of adverse perturbations |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113474790A true CN113474790A (zh) | 2021-10-01 |
| CN113474790B CN113474790B (zh) | 2024-02-20 |
Family
ID=65269019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080012508.7A Active CN113474790B (zh) | 2019-01-04 | 2020-01-03 | 在存在对抗扰动的情况下处理神经网络预测的方法和系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220114445A1 (zh) |
| CN (1) | CN113474790B (zh) |
| DE (1) | DE112020000317T5 (zh) |
| LU (1) | LU101088B1 (zh) |
| WO (1) | WO2020141217A1 (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040249480A1 (en) * | 2003-06-05 | 2004-12-09 | Lefebvre W. Curt | Method for implementing indirect controller |
| CN107636693A (zh) * | 2015-03-20 | 2018-01-26 | 弗劳恩霍夫应用研究促进协会 | 针对人工神经网络的相关性分数指派 |
| US10013773B1 (en) * | 2016-12-16 | 2018-07-03 | Waymo Llc | Neural networks for object detection |
| CN108475346A (zh) * | 2015-11-12 | 2018-08-31 | 谷歌有限责任公司 | 神经随机访问机器 |
-
2019
- 2019-01-04 LU LU101088A patent/LU101088B1/en active IP Right Grant
-
2020
- 2020-01-03 CN CN202080012508.7A patent/CN113474790B/zh active Active
- 2020-01-03 WO PCT/EP2020/050083 patent/WO2020141217A1/en active Application Filing
- 2020-01-03 US US17/420,776 patent/US20220114445A1/en active Pending
- 2020-01-03 DE DE112020000317.5T patent/DE112020000317T5/de active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040249480A1 (en) * | 2003-06-05 | 2004-12-09 | Lefebvre W. Curt | Method for implementing indirect controller |
| CN107636693A (zh) * | 2015-03-20 | 2018-01-26 | 弗劳恩霍夫应用研究促进协会 | 针对人工神经网络的相关性分数指派 |
| CN108475346A (zh) * | 2015-11-12 | 2018-08-31 | 谷歌有限责任公司 | 神经随机访问机器 |
| US10013773B1 (en) * | 2016-12-16 | 2018-07-03 | Waymo Llc | Neural networks for object detection |
Also Published As
| Publication number | Publication date |
|---|---|
| LU101088B1 (en) | 2020-07-07 |
| US20220114445A1 (en) | 2022-04-14 |
| WO2020141217A1 (en) | 2020-07-09 |
| CN113474790B (zh) | 2024-02-20 |
| DE112020000317T5 (de) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3620995B1 (en) | Method and apparatus for determining static state of obstacle | |
| Mohseni et al. | Practical solutions for machine learning safety in autonomous vehicles | |
| Aeberhard et al. | Object existence probability fusion using dempster-shafer theory in a high-level sensor data fusion architecture | |
| US11501001B2 (en) | Techniques to detect perturbation attacks with an actor-critic framework | |
| US11188428B2 (en) | Method, apparatus, and computer-readable storage medium having instructions for cancelling a redundancy of two or more redundant modules | |
| US20210295090A1 (en) | Electronic device for camera and radar sensor fusion-based three-dimensional object detection and operating method thereof | |
| US8687063B2 (en) | Method for predicting lane line and lane departure warning system using the same | |
| CN110494866A (zh) | 用于对象识别的多个传感器的数据的融合 | |
| US20130271607A1 (en) | Positioning apparatus and positioning method | |
| US11195412B2 (en) | Predicting short-term traffic flow congestion on urban motorway networks | |
| CN112904359B (zh) | 基于远程激光探测与测量的速度估计 | |
| Stocco et al. | Confidence‐driven weighted retraining for predicting safety‐critical failures in autonomous driving systems | |
| WO2023142813A1 (zh) | 基于多传感器的数据融合方法、装置、设备及介质 | |
| CN109684944B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| KR102492858B1 (ko) | 자율 주행 시스템의 페일 세이프 기능 보장 장치 및 방법 | |
| CN110034968A (zh) | 基于边缘计算的多传感器融合车辆安全异常检测方法 | |
| WO2022053147A1 (en) | Mobile device and system for identifying and/or classifying occupants of a vehicle and corresponding method thereof | |
| US20230221923A1 (en) | Method and Device for Processing Sensor Data | |
| US10354524B2 (en) | Method for providing height information for an object in a surrounding area of a motor vehicle on a communication interface sensor device, processing device and motor vehicle | |
| US20140156661A1 (en) | Apparatus and method for detecting vehicle | |
| CN113474790B (zh) | 在存在对抗扰动的情况下处理神经网络预测的方法和系统 | |
| US10901413B2 (en) | System and method for controlling operation of an autonomous vehicle | |
| CN111027679A (zh) | 异常数据检测方法及系统 | |
| CN115510958A (zh) | 一种分类模型训练方法、装置、电子设备及存储介质 | |
| US20200282996A1 (en) | Driving assistance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |