CN114358104A

CN114358104A - 用于利用对抗性示例检测进行可能鲁棒分类的方法和系统

Info

Publication number: CN114358104A
Application number: CN202111143249.4A
Authority: CN
Inventors: F·谢科霍勒斯拉米; J·柯尔特; 雷扎巴德 A·洛菲
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-09-28
Filing date: 2021-09-28
Publication date: 2022-04-15
Also published as: US20220101116A1

Abstract

提供了用于利用对抗性示例检测进行可能鲁棒分类的方法和系统。一种用于训练机器学习网络的计算机实现的方法，包括：从传感器接收输入数据，其中所述输入数据包括扰动，其中所述输入数据指示图像、雷达、声纳或声音信息；利用对一个或多个隐藏层值的至少界定，获得所述输入数据的扰动版本的分类误差和损失的最坏情况界限；响应于输入数据，训练分类器，其中分类器包括多个类，所述多个类包括附加放弃类，其中放弃类是响应于至少界定输入数据而确定的；响应于输入数据而输出分类；以及输出经训练分类器，其被配置为响应于具有包括附加放弃类的多个类的输入数据分类器而检测附加放弃类。

Description

用于利用对抗性示例检测进行可能鲁棒分类的方法和系统

技术领域

本公开涉及利用机器学习的图像扩充和图像处理。

背景技术

机器学习网络可以具有用于分类的神经网络的对抗性训练。分类器性能可以针对这种扰动而被鲁棒化，但是这种系统可能缺乏可证明的性能保证。这种网络已经越来越示出缺乏鲁棒性。

发明内容

根据一个实施例，一种用于训练机器学习网络的计算机实现的方法包括：从传感器接收输入数据，其中输入数据集包括扰动，其中所述输入数据指示图像、雷达、声纳或声音信息；利用对一个或多个隐藏层值的至少界定，获得所述输入数据的扰动版本的分类误差和损失的最坏情况界限；响应于输入数据，训练分类器，其中分类器包括多个类，所述多个类包括附加放弃类（abstain class），其中放弃类是响应于至少界定输入数据而确定的；响应于输入数据而输出分类；以及输出经训练分类器，其被配置为响应于具有包括附加放弃类的多个类的输入数据分类器而检测附加放弃类。

根据第二实施例，一种包括机器学习网络的系统包括：被配置为从传感器接收输入数据的输入接口，其中传感器包括与输入接口通信的相机、雷达、声纳或麦克风和处理器。处理器被编程为：从传感器接收输入数据，其中输入数据指示图像、雷达、声纳或声音信息；训练分类器，其中分类器包括多个类，所述多个类包括附加放弃类，其中放弃类是响应于对包括一个或多个扰动的输入数据的至少界定而确定的；以及输出经训练分类器，其被配置为响应于输入数据而检测附加放弃类。

根据第三实施例，一种存储指令的计算机程序产品，当由计算机执行时，所述指令引起计算机：从传感器接收输入数据，其中传感器包括相机、雷达、声纳或麦克风，其中输入数据指示图像、雷达、声纳或声音信息；利用对一个或多个隐藏层值的至少界定来获得与输入数据的扰动版本相关联的分类误差和损失的最坏情况界限；响应于输入数据，训练机器学习网络的分类器，其中分类器包括多个类，所述多个类包括附加放弃类，其中放弃类是响应于对包括一个或多个扰动的输入数据的至少界定而确定的；以及输出经训练分类器，其被配置为响应于输入数据而检测附加放弃类。

附图说明

图1示出了用于训练神经网络的系统100。

图2示出了用于训练神经网络的计算机实现的方法200。

图3描绘了实现用于注释数据的系统的数据注释系统300。

图4是利用对抗性示例的鲁棒分类来训练神经网络的系统的示例性流程图。

图5描绘了计算机控制的机器10和控制系统12之间的交互的示意图。

图6描绘了图1的控制系统的示意图，该控制系统被配置为控制可以是部分自主载具或部分自主机器人之类的载具。

图7描绘了图1的控制系统的示意图，该控制系统被配置为控制制造系统（诸如生产线的一部分）的制造机器，诸如冲压切割机、切割机或枪钻。

图8描绘了图1的控制系统的示意图，该控制系统被配置为控制具有至少部分自主模式的电动工具，诸如电动钻或驱动器。

图9描绘了图1的控制系统的示意图，该控制系统被配置为控制自动化个人助理。

图10描绘了图1的控制系统的示意图，该控制系统被配置为控制监视系统，诸如控制访问系统或监督系统。

图11描绘了图1的控制系统的示意图，该控制系统被配置为控制成像系统，例如MRI装置、x射线成像装置或超声装置。

具体实施方式

本文中描述了本公开的实施例。然而，应理解的是，所公开的实施例仅仅是示例，并且其他实施例可以采取各种和替换的形式。各图不一定是按比例的；一些特征可以被放大或缩小以示出特定组件的细节。因此，本文中公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为用于教导本领域技术人员以各种方式来采用实施例的代表性基础。如本领域普通技术人员将理解的，参考任一图所图示和描述的各种特征可以与一个或多个其他图中图示的特征相组合，以产生未被明确图示或描述的实施例。所图示的特征的组合提供了典型应用的代表性实施例。然而，对于特定的应用或实现方式，可能期望与本公开的教导一致的特征的各种组合和修改。

本公开涉及一种用于以可证明的鲁棒（最坏情况/对抗性）性能训练具有放弃（拒绝）选项的神经网络分类系统的方法。对我们称为C的分类器的对抗性攻击的典型设置如下：给定具有被C正确分类的真实标签y的输入x（意味着，

），攻击者旨在找到小的（理想情况下是人类不可察觉的）扰动

，使得

被C错误分类（即，

）。所提出的分类器具有附加类，称为放弃类（或拒绝/检测类），并且防御机制被设计成使得它将（1）将对抗性扰动输入分类为放弃/拒绝/检测类，或者（2）它将正确地将其分类为y类，并且因此防止误分类和系统的欺骗。

在用于分类的神经网络（没有拒绝/放弃）的对抗性训练中存在大量的工作，其中分类器性能对于这种扰动是鲁棒的——这些工作缺乏可证明的性能保证。

许多先前的系统已经提出了训练过程，在该训练过程下，所得到的鲁棒化分类器具有可证明的性能，例如，受制于对扰动的范数约束的对抗性扰动图像的错误率（误分类概率）的上界。

此外，在实践中，检测对抗性扰动的示例是感兴趣的。然而，文献中所有可用的检测方法都缺乏可证明的性能，并且已经示出，如果攻击者设计精心制作的“自适应扰动”来同时逃避检测并引起误分类，则检测失败。

对可用检测器进行适当测试的提升的挑战已经使得迫切需要具有可证明性能的检测器。最近的工作提出训练具有额外类的分类器，例如，K+1个类用于K类分类任务，其中额外类被称为“放弃类”。通过在这个类中对图像进行分类，分类器实际上放弃将输入声明为任何其他K类，并且因此可以认为是放弃（或检测或拒绝）对抗性输入。然而，该工作没有可证明的性能保证，并且其训练过程不同于本发明中提出的训练过程。

不存在用于在最坏情况（或对抗性）设置中以可证明的鲁棒性能训练具有检测/放弃选项的分类器的方法。然而，在本公开中，该系统可以利用界限传播，并将其应用于训练具有放弃/拒绝/检测选项的分类器。

下面的公开内容为具有拒绝类的用于分类的神经网络制定了可证明鲁棒的训练过程，其中模型被训练为对扰动可证明鲁棒。为此，用额外类扩充分类器，从而结果得到用于（K）类分类任务的（K+1）类分类器，并且对抗性扰动输入将被分类在该额外类——称为放弃类、检测类或拒绝类中。因此，网络的欺骗和误分类通过对抗性输入的检测得以减轻。

该分类器的训练过程被设计成使得该分类器可以提供关于检测（放弃）或正确分类的保证，从而对于受制于扰动族（诸如范数约束扰动）的给定输入，一起导致攻击者的目标失败。

为了训练上述分类器，不是最小化分类器的交叉熵损失或者最优地为鲁棒交叉熵项，而是首先用促进检测（放弃）类中对抗性输入的分类的项来扩充目标，并且然后本发明最小化扰动训练样本（在扰动模型内）的最坏情况损失的上界以及（干净）输入的传统（鲁棒）交叉熵损失。因此，扰动样本（攻击与否）的交叉熵的增加是被界定的，并且攻击的影响被减轻。

本发明的核心是鲁棒性认证，其为给定扰动族内的任何扰动样本的正确类以及放弃类的分类器输出提供了下界，从而提供了“检测或正确分类”的保证。

本公开通过将对抗性输入分类到拒绝类中来实现对它们的检测。此外，它通过给出认证来提供对分类器性能的可证明的保证，该认证即扰动族中所有可能的扰动将被检测到或者扰动图像将被正确分类，从而保证对手的攻击不成功。这在没有检测能力的其他技术实现的性能保证中提供了附加的提升。

这也可以用于检测对抗性环境，并且因此用于通过将对手的检测解释为不安全/对抗性环境来要求对安全关键任务的手动控制。

此外，放弃分类有时被解释为分类器声明其在分类任务的成果中缺乏确定性，并且因此可以用于声明高度不确定性。

图1示出了用于训练神经网络的系统100。系统100可以包括用于访问神经网络的训练数据192的输入接口。例如，如图1中所图示，输入接口可以由数据存储接口180构成，数据存储接口180可以从数据存储装置190访问训练数据192。例如，数据存储接口180可以是存储器接口或永久存储接口，例如硬盘或SSD接口，但也可以是个人、局域网或广域网接口，诸如蓝牙、Zigbee或Wi-Fi接口或以太网或光纤接口。数据存储装置190可以是系统100的内部数据存储装置、诸如硬盘驱动器或SSD，但也可以是外部数据存储装置、例如网络可访问的数据存储装置。

在一些实施例中，数据存储装置190可以进一步包括神经网络的未训练版本的数据表示194，其可以由系统100从数据存储装置190访问。然而，将领会，未训练神经网络的训练数据192和数据表示194也可以各自例如经由数据存储接口180的不同子系统从不同的数据存储装置访问。每个子系统可以具有如上面针对数据存储接口180所述的类型。在其他实施例中，未训练神经网络的数据表示194可以由系统100在神经网络的设计参数的基础上内部生成，并且因此可以不显式地存储在数据存储装置190上。系统100可以进一步包括处理器子系统160，该处理器子系统160可以被配置为在系统100的操作期间，提供迭代函数作为待训练的神经网络的叠层的替代。在一个实施例中，被替代的叠层的各个层可以具有相互共享的权重，并且可以接收前一层的输出作为输入，或者对于叠层的第一层，接收初始激活和叠层的输入的一部分。该系统还可以包括多层。处理器子系统160可以进一步被配置为使用训练数据192迭代训练神经网络。这里，处理器子系统160的训练迭代可以包括前向传播部分和后向传播部分。处理器子系统160可以被配置为除了可以执行的限定前向传播部分的其他操作之外通过如下操作来执行前向传播部分：确定迭代函数在其处收敛到固定点的迭代函数平衡点，其中确定平衡点包括使用数值寻根算法来找到迭代函数减去其输入的根解，并且通过提供平衡点作为神经网络中的叠层的输出的替代物。系统100可以进一步包括输出接口，用于输出经训练神经网络的数据表示196，该数据也可以被称为经训练模型数据196。例如，也如图1中所图示，输出接口可以由数据存储接口180构成，其中在这些实施例中，所述接口是输入/输出（“IO”）接口，经由该输入/输出（“IO”）接口，经训练模型数据196可以存储在数据存储装置190中。例如，限定“未训练”神经网络的数据表示194可以在训练期间或之后至少部分地被经训练神经网络的数据表示196代替，这是因为神经网络的参数（诸如权重、超参数和神经网络的其他类型的参数）可以适于反映训练数据192上的训练。这也在图1中由参考数字194、196图示，参考数字194、196指代数据存储装置190上的相同数据记录。在其他实施例中，数据表示196可以与限定“未训练”神经网络的数据表示194分离存储。在一些实施例中，输出接口可以与数据存储接口180分离，但是一般可以具有如上针对数据存储接口180所述的类型。

图2示出了用于训练神经网络的计算机实现的方法200。方法200可以对应于图1的系统100的操作，但是不需要，这是因为它也可以对应于另一种类型的系统、装置或设备的操作，或者因为它可以对应于计算机程序。

方法200被示出为包括，在题为“提供神经网络的数据表示”的步骤中，提供210神经网络，其中神经网络的提供包括提供迭代函数作为神经网络的叠层的替代，其中被替代的叠层的各个层可以具有相互共享的权重，并且接收前一层的输出作为输入，或者对于叠层的第一层，接收初始激活和叠层的输入的一部分。方法200进一步被示出为包括在题为“访问训练数据”的步骤中，访问220神经网络的训练数据。方法200进一步被示为包括，在题为“使用训练数据迭代训练神经网络”的步骤中，使用训练数据迭代训练230神经网络，该训练230可以包括前向传播部分和后向传播部分。通过方法200执行前向传播部分可以包括，在题为“使用寻根算法确定平衡点”的步骤中，确定240迭代函数在其处收敛到固定点的迭代函数平衡点，其中确定平衡点包括使用数值寻根算法为迭代函数减去其输入找到根解，以及在题为“提供平衡点作为叠层的输出的替代”的步骤中，提供250平衡点作为神经网络中叠层的输出的替代。方法200可以进一步包括，在训练之后并且在题为“输出经训练神经网络”的步骤中，输出260经训练神经网络。深度平衡（DEQ）神经网络可以在2020年8月5日提交的具有申请号16/985,852的题为“DEEP NEURAL NETWORK WITH EQUILIBRIUM SOLVER”的专利申请中进一步描述，该专利申请通过引用以其整体并入本文。

图3描绘了实现用于注释数据的系统的数据注释系统300。数据注释系统300可以包括至少一个计算系统302。计算系统302可以包括操作性地连接到存储器单元308的至少一个处理器304。处理器304可以包括实现中央处理单元（CPU）306的功能性的一个或多个集成电路。CPU 306可以是商业上可获得的处理单元，其实现诸如x86、ARM、Power或MIPS指令集族之一的指令集。在操作期间，CPU 306可以执行从存储器单元308检索的存储程序指令。存储程序指令可以包括控制CPU 306的操作以执行本文描述的操作的软件。在一些示例中，处理器304可以是将CPU 306、存储器单元308、网络接口和输入/输出接口的功能性集成到单个集成设备中的片上系统（SoC）。计算系统302可以实现用于管理操作的各个方面的操作系统。

存储器单元308可以包括用于存储指令和数据的易失性存储器和非易失性存储器。非易失性存储器可以包括固态存储器，诸如NAND闪速存储器、磁性和光学存储介质，或者当计算系统302被去激活或者断电时保留数据的任何其他合适的数据存储设备。易失性存储器可以包括存储程序指令和数据的静态和动态随机存取存储器（RAM）。例如，存储器单元308可以存储机器学习模型310或算法、机器学习模型310的训练数据集312、原始源数据集315。

计算系统302可以包括网络接口设备322，其被配置为提供与外部系统和设备的通信。例如，网络接口设备322可以包括由电气和电子工程师协会（IEEE） 802.11标准族所限定的有线和/或无线以太网接口。网络接口设备322可以包括用于与蜂窝网络（例如，3G、4G、5G）通信的蜂窝通信接口。网络接口设备322可以进一步被配置为向外部网络324或云提供通信接口。

外部网络324可以被称为万维网或互联网。外部网络324可以在计算设备之间建立标准通信协议。外部网络324可以允许信息和数据在计算设备和网络之间容易地交换。一个或多个服务器330可以与外部网络324通信。

计算系统302可以包括输入/输出（I/O）接口320，其可以被配置为提供数字和/或模拟输入和输出。I/O接口320可以包括用于与外部设备通信的附加串行接口（例如，通用串行总线（USB）接口）。

计算系统302可以包括人机接口（HMI）设备318，人机接口设备318可以包括使得系统300能够接收控制输入的任何设备。输入设备的示例可以包括诸如键盘、鼠标、触摸屏、语音输入设备和其他类似设备的人机接口输入。计算系统302可以包括显示设备332。计算系统302可以包括用于向显示设备332输出图形和文本信息的硬件和软件。显示设备332可以包括电子显示屏、投影仪、打印机或用于向用户或操作者显示信息的其他合适的设备。计算系统302可以进一步被配置为允许经由网络接口设备322与远程HMI和远程显示设备进行交互。

系统300可以使用一个或多个计算系统来实现。虽然示例描绘了实现所有所描述特征的单个计算系统302，但是意图的是各种特征和功能可以由彼此通信的多个计算单元来分离和实现。所选择的特定系统架构可以取决于多种因素。

系统300可以实现被配置为分析原始源数据集315的机器学习算法310。原始源数据集315可以包括原始的或未处理的传感器数据，其可以代表机器学习系统的输入数据集。原始源数据集315可以包括视频、视频片段、图像、基于文本的信息以及原始或部分处理的传感器数据（例如，对象的雷达图）。在一些示例中，机器学习算法310可以是被设计成执行预定功能的神经网络算法。例如，神经网络算法可以被配置在汽车应用中以标识视频图像中的行人。

计算机系统300可以存储机器学习算法310的训练数据集312。训练数据集312可以表示用于训练机器学习算法310的先前构造的数据集合。机器学习算法310可以使用训练数据集312来学习与神经网络算法相关联的加权因子。训练数据集312可以包括具有机器学习算法310试图经由学习过程复制的对应成果或结果的源数据集合。在该示例中，训练数据集312可以包括具有和没有行人的源视频以及对应的存在和位置信息。源视频可以包括其中标识行人的各种场景。

机器学习算法310可以使用训练数据集312作为输入在学习模式下操作。机器学习算法310可以使用来自训练数据集312的数据在多次迭代内执行。随着每次迭代，机器学习算法310可以基于实现的结果更新内部加权因子。例如，机器学习算法310可以将输出结果（例如，注释）与训练数据集312中包括的结果进行比较。由于训练数据集312包括预期结果，因此机器学习算法310可以确定何时性能是可接受的。在机器学习算法310实现预定性能水平（例如，与同训练数据集312相关联的成果100%一致）之后，可以使用不在训练数据集312中的数据来执行机器学习算法310。经训练机器学习算法310可以应用于新的数据集，以生成带注释的数据。

机器学习算法310可以被配置为标识原始源数据315中的特定特征。原始源数据315可以包括针对其期望注释结果的多个实例或输入数据集。例如，机器学习算法310可以被配置为标识视频图像中行人的存在并注释这些出现。机器学习算法310可以被编程为处理原始源数据315以标识特定特征的存在。机器学习算法310可以被配置为将原始源数据315中的特征标识为预定特征（例如，行人）。原始源数据315可以从各种源中导出。例如，原始源数据315可以是由机器学习系统收集的实际输入数据。原始源数据315可以是机器生成的，用于测试系统。作为示例，原始源数据315可以包括来自相机的原始视频图像。

在示例中，机器学习算法310可以处理原始源数据315并输出图像表示的指示。输出还可以包括图像的扩充表示。机器学习算法310可以为每个生成的输出生成置信度水平或因子。例如，超过预定高置信度阈值的置信度值可以指示机器学习算法310确信所标识的特征对应于特定特征。小于低置信度阈值的置信度值可以指示机器学习算法310具有特定特征存在的某些不确定性。

图4是利用对抗性示例的鲁棒分类来训练神经网络的系统的示例性流程图。在一个示例中，θ可以标示分类器模型的参数，并且

标示用于训练模型的数据。在传统的分类器目标下，即没有放弃类和鲁棒性保证的情况下，通过最小化交叉熵目标来训练模型

为了保证对受制于范数约束的扰动类的鲁棒性，例如

（对于

），文献中常用的方法是求解以下认证问题：

其中对于

，

是大小K的规范向量（等于类的总数），其中第i个位置为条目1且其他位置为零，并且对于

类似地，其中y标示正确的类。此外，

标示神经网络最后一层的隐藏层值的可行集。可行集的上界和下界是通过传播由对抗性范数约束

界定的扰动输入的上界和下界来获得的，这是经由诸如区间界限传播（IBP）和CROWN的各种技术来完成的。

如果对于给定的测试数据

，上述问题具有最优解

（对于

），则保证

类内没有扰动可能引起输入图像

被误分类。

为了收紧界限，对于具有L层的网络，该系统可以使用层

上的界限，并使用最后一层的显式变换以用于将

映射到

，从而呈现认证子问题：

其中

标示神经网络最后一层的仿射变换。

为了使上述问题为大量输入图像提供鲁棒性认证，相应地更改训练过程，使得经训练网络是鲁棒的。

这可以通过经由区间界限传播技术由训练目标（例如，训练目标函数）的最坏情况上界将该训练目标界定为如下来适应：

或者更一般地，

其中

提供了向量

和

作为交叉熵损失的输入的凸组合，并且向量

和

的第i条目由

（对于

）给出，分别用于由IBM或CROWN方法提供的界限给出的认证子问题。

为了具有更稳定的训练，该系统可以使用常规损失函数和鲁棒损失函数的组合进行训练，即

因此，系数

可以用干净图像上的性能来换取对抗性扰动图像上的鲁棒性。

所描述的系统、鲁棒分类器可以用放弃类、检测类或拒绝类（其可以被用来单独地或全部共同地描述特殊类）来扩充。放弃类中分类的示例将被解释为对抗性的。因此，该系统可以检测对抗性图像，并且分类器拒绝将这些输入进一步分配到任何常规类中。

上界和下界可以限定可以用来预测对象位置的界定框。因此，对象检测系统可以围绕图像或输入数据中的每个感兴趣的对象绘制界定框，并为每个界定框分配类标签。图像或输入的每个扰动可以被界定（限制）到某个失真功率。该系统可以对要被最大扰动大小改变的输入图像中的每个像素的界定建模。

在步骤401，该系统可以接收输入数据。输入数据可以是图像、声音、视频、声纳/雷达/Lidar数据等。输入数据可以从一个或多个传感器中检索，所述传感器诸如相机、麦克风、Lidar传感器、雷达传感器、声纳传感器或任何其他输入传感器。这种系统中的认证可能相当于保证对于测试数据

，

类内输入

的所有可能扰动将被正确分类或检测到。因此，如果以下问题的解决方案是肯定的，例如

（对于

），

其中

其中对于

，

是大小K+1的规范向量（等于类的总数（K）加上放弃/检测类），其中第i个位置为条目1且其他位置为零，并且类似地

，其中

索引放弃类。

该优化可以经由对应的对偶优化定下界为

。

优化中可行集

的上界和下界可以由该系统利用IBP或CROWN或任何其他类似的技术来确定，以建立上界和下界。

因此，训练过程可以适应认证优化目标，从而使得网络的训练成为损失函数的最小化：

并且

其中

并且

其中

其中

通过在（P1；例如定下界对偶优化）中对优化求解来获得。

总的来说，本公开中描述的系统训练分类器并提供认证，如下面所解释的。该系统可以接收用于训练的输入数据。该系统可以在超过收敛阈值时训练分类器。

因此，输入可以包括：

训练数据

和

（对于

），训练鲁棒性值

在步骤403，该系统可以传播界限来计算鲁棒性认证。该系统可以考虑用网络参数θ和（K+1）个输出来参数化的分类器，其中所述（K+1）个输出中的K个对应于数据中的原始类，并且一个对应于放弃/拒绝/检测类：

对输入x计算上界

和下界

在步骤405，该系统可以计算网络的隐藏值的上界和下界。该系统可以在L-1层处计算网络隐藏值的上界和下界，如下面公式中所示：

在步骤407，该系统可以确定或者操作鲁棒性认证。该系统可以计算各种参数以确保鲁棒性。该系统可以计算

（对于

）。

如果对于所有

，

，那么针对样本

的分类器的鲁棒性可以得到保证。

在步骤409，该系统可以计算训练目标的上界。该系统可以利用以下各项计算训练目标的上界：

其中

其中对于

条目

并且

并且

对于

，

其中

其中

通过在（P1）中求解优化而获得。

最终获得

。

该系统还可以优化鲁棒性认证和分类器。例如，更新网络参数以改进鲁棒性及其认证：

。

该系统然后可以输出这种信息。该系统可以接收用于训练的输入数据。该系统可以在超过收敛阈值时训练分类器。在判定411处，该系统可以确定网络是否满足收敛阈值。如果该系统还没有满足收敛阈值，则它将继续训练网络。然而，如果满足收敛，则该系统将输出经训练网络。在步骤413，输出可以是经训练网络。因此，鲁棒训练的（K+1）类分类器可以被配置为实现具有参数θ的检测/拒绝/放弃类。

该系统也可以在鲁棒性认证上工作。在测试阶段期间，对于测试对

问题（P1）被求解，并且如果

，那么在保证误分类将不会发生方面，鲁棒性被保证，这是因为对于

类内的所有扰动

，保证了正确分类或成功检测。

在另一个实施例中，该系统可以利用区间界限传播（IBP）来计算输出界限，并且可以使用任何方法，诸如CROWN或任何其他IBP方法（例如张量流）和CROWN。

参数

可以通过单独求解这些技术中的每种技术的认证子问题来获得，并且

（阿尔法是凸组合系数）的任何选择都可以给出有效的界限。在训练阶段的初始步骤期间，可以更好地近似CROWN界限，并且在训练的后期阶段中，IBP界限是更紧的界限，因此，在其间具有线性（或非线性）插值的

和

是实际的选择。但是该系统可以确定一般地

的所有选择都是有效的。

的所有选择可以被认为是有效的。利用

可以将认证过程减少到分类器没有放弃（或检测或拒绝）能力的情况，例如IBP和CROWN的先前工作。对于具有拒绝的分类器来说，

的选择可能是更严格的选择，并且可以经由每个样本对应的对偶优化（等式P1）来应用于降低求解定下界的复杂性。然而，它可能降低复杂性。因此

可以在训练过程期间用于更快和不太复杂的训练过程，并且对于更严格的认证或更准确的认证，可以在测试阶段期间确定认证子问题的最优值

。在又一个实施例中，为了更好地概括，系统的一个实施例可以在训练过程期间将可行集

限制为

。

图5描绘了计算机控制的机器10和控制系统12之间的交互的示意图。计算机控制的机器10可以包括如图1-4中所描述的神经网络。计算机控制的机器10包括致动器14和传感器16。致动器14可以包括一个或多个致动器，并且传感器16可以包括一个或多个传感器。传感器16被配置为感测计算机控制的机器10的条件。传感器16可以被配置为将感测到的条件编码成传感器信号18，并将传感器信号18传输到控制系统12。传感器16的非限制性示例包括视频、雷达、Lidar、超声和运动传感器。在一个实施例中，传感器16是被配置为感测接近计算机控制的机器10的环境的光学图像的光学传感器。

控制系统12被配置为从计算机控制的机器10接收传感器信号18。如下面所阐述的，控制系统12可以进一步被配置为取决于传感器信号计算致动器控制命令20，并将致动器控制命令20传输到计算机控制的机器10的致动器14。

如图5中所示，控制系统12包括接收单元22。接收单元22可以被配置为从传感器16接收传感器信号18，并将传感器信号18变换成输入信号x。在替换实施例中，在没有接收单元22的情况下，传感器信号18被直接接收作为输入信号x。每个输入信号x可以是每个传感器信号18的一部分。接收单元22可以被配置为处理每个传感器信号18以产生每个输入信号x。输入信号x可以包括对应于由传感器16记录的图像的数据。

控制系统12包括分类器24。分类器24可以被配置为使用机器学习（ML）算法、诸如上述神经网络，将输入信号x分类成一个或多个标签。分类器24被配置为通过诸如上面描述的那些参数（例如，参数θ）来参数化。参数θ可以存储在非易失性存储装置26中并由非易失性存储装置26提供。分类器24被配置为根据输入信号x确定输出信号y。每个输出信号y包括为每个输入信号x分配一个或多个标签的信息。分类器24可以将输出信号y传输到转换单元28。转换单元28被配置为将输出信号y转换成致动器控制命令20。控制系统12被配置为向致动器14传输致动器控制命令20，致动器14被配置为响应于致动器控制命令20来致动计算机控制的机器10。在另一个实施例中，致动器14被配置为直接基于输出信号y来致动计算机控制的机器10。

当致动器14接收到致动器控制命令20时，致动器14被配置为执行对应于相关致动器控制命令20的动作。致动器14可以包括控制逻辑，该控制逻辑被配置为将致动器控制命令20变换成用于控制致动器14的第二致动器控制命令。在一个或多个实施例中，替代于或附加于致动器，致动器控制命令20还可以用于控制显示器。

在另一个实施例中，代替于或附加于包括传感器16的计算机控制的机器10，控制系统12包括传感器16。代替于或附加于包括致动器14的计算机控制的机器10，控制系统12还可以包括致动器14。

如图5中所示，控制系统12还包括处理器30和存储器32。处理器30可以包括一个或多个处理器。存储器32可以包括一个或多个存储器设备。一个或多个实施例的分类器24（例如，ML算法）可以由控制系统12实现，控制系统12包括非易失性存储装置26、处理器30和存储器32。

非易失性存储装置26可以包括一个或多个持久数据存储设备，诸如硬盘驱动器、光驱、磁带驱动器、非易失性固态设备、云存储装置或能够持久存储信息的任何其他设备。处理器30可以包括从高性能计算（HPC）系统中选择的一个或多个设备，包括高性能核心、微处理器、微控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑设备、状态机、逻辑电路、模拟电路、数字电路或基于驻留在存储器32中的计算机可执行指令操纵信号（模拟或数字）的任何其他设备。存储器32可以包括单个存储器设备或多个存储器设备，包括但不限于随机存取存储器（RAM）、易失性存储器、非易失性存储器、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、闪速存储器、高速缓冲存储器或能够存储信息的任何其他设备。

处理器30可以被配置为读入存储器32并执行驻留在非易失性存储装置26中并体现一个或多个实施例的一个或多个ML算法和/或方法技术的计算机可执行指令。非易失性存储装置26可以包括一个或多个操作系统和应用。非易失性存储装置26可以存储从使用各种编程语言和/或技术创建的计算机程序编译和/或解释的数据，所述编程语言和/或技术没有限制地并且单独或组合地包括Java、C、C++、C#、Objective C、Fortran、Pascal、JavaScript、Python、Perl和PL/SQL。

在由处理器30执行时，非易失性存储装置26的计算机可执行指令可以引起控制系统12实现如本文公开的ML算法和/或方法技术中的一个或多个。非易失性存储装置26还可以包括支持本文描述的一个或多个实施例的功能、特征和过程的ML数据（包括数据参数）。

体现本文描述的算法和/或方法技术的程序代码能够以各种不同的形式作为程序产品单独或共同分发。程序代码可以使用其上具有计算机可读程序指令的计算机可读存储介质来分发，用于引起处理器实行一个或多个实施例的方面。固有地非暂时性的计算机可读存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性以及可移动和不可移动的有形介质，诸如计算机可读指令、数据结构、程序模块或其他数据。计算机可读存储介质可以进一步包括RAM、ROM、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、闪速存储器或其他固态存储器技术、便携式致密盘只读存储器（CD-ROM）或其他光学存储装置、盒式磁带、磁带、磁盘存储装置或其他磁性存储设备，或者可以用于存储所期望信息并且可以由计算机读取的任何其他介质。计算机可读程序指令可以从计算机可读存储介质下载到计算机、另一种类型的可编程数据处理装置或另一设备，或者经由网络下载到外部计算机或外部存储设备。

存储在计算机可读介质中的计算机可读程序指令可以用于引导计算机、其他类型的可编程数据处理装置或其他设备以特定方式运作，使得存储在计算机可读介质中的指令产生包括实现流程图或图表中指定的功能、动作和/或操作的指令的制品。在某些替换实施例中，流程图和图表中指定的功能、动作和/或操作可以与一个或多个实施例相一致地被重新排序、串行处理和/或并发处理。此外，流程图和/或图表中的任何一个可以包括比与一个或多个实施例一致图示的那些节点或块更多或更少的节点或块。可以使用合适的硬件组件，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、状态机、控制器或其他硬件组件或设备，或者硬件、软件和固件组件的组合，来整体或部分地体现过程、方法或算法。

图6描绘了控制系统12的示意图，该控制系统12被配置为控制可以是至少部分自主载具或至少部分自主机器人之类的载具50。如图5中所示的，载具50包括致动器14和传感器16。传感器16可以包括一个或多个视频传感器、雷达传感器、超声传感器、Lidar传感器和/或位置传感器（例如GPS）。一个或多个特定传感器中的一个或多个可以集成到载具50中。替换地，或者附加于上面标识的一个或多个特定传感器，传感器16可以包括软件模块，该软件模块被配置为在执行时确定致动器14的状态。软件模块的一个非限制性示例包括天气信息软件模块，其被配置为确定接近载具50或其他位置的天气的当前或未来状态。

载具50的控制系统12的分类器24可以被配置为取决于输入信号x检测载具50附近的对象。在这样的实施例中，输出信号y可以包括表征对象到载具50邻近度的信息。致动器控制命令20可以根据该信息来确定。致动器控制命令20可以用于避免与检测到的对象碰撞。

在载具50是至少部分自主载具的实施例中，致动器14可以体现在载具50的制动器、推进系统、发动机、传动系或转向中。可以确定致动器控制命令20，从而控制致动器14，使得载具50避免与检测到的对象碰撞。检测到的对象也可以根据分类器24认为它们最有可能是什么（诸如行人或树木）来分类。致动器控制命令20可以取决于分类来确定。控制系统12可以利用联合对抗性训练来诸如在载具环境的恶劣照明条件或恶劣天气条件期间帮助针对对抗性条件训练分类器和发生器。

在载具50是至少部分自主的机器人的其他实施例中，载具50可以是移动机器人，其被配置为实行一个或多个功能，诸如飞行、游泳、潜水和踩踏。移动机器人可以是至少部分自主的割草机或至少部分自主的清洁机器人。在这样的实施例中，可以确定致动器控制命令20，使得可以控制移动机器人的推进单元、转向单元和/或制动单元，使得移动机器人可以避免与标识的对象碰撞。

在另一个实施例中，载具50是以园艺机器人形式的至少部分自主的机器人。在这样的实施例中，载具50可以使用光学传感器作为传感器16来确定接近载具50的环境中植物的状态。致动器14可以是被配置为喷洒化学品的喷嘴。取决于植物的标识物种和/或标识状态，可以确定致动器控制命令20，以引起致动器14向植物喷洒合适量的合适化学品。

载具50可以是以家用电器形式的至少部分自主的机器人。家用电器的非限制性示例包括洗衣机、炉子、烤箱、微波炉或洗碗机。在这样的载具50中，传感器16可以是光学传感器，其被配置为检测将由家用电器进行处理的对象的状态。例如，在家用电器是洗衣机的情况下，传感器16可以检测洗衣机内衣物的状态。致动器控制命令20可以基于检测到的衣物状态来确定。

图7描绘了控制系统12的示意图，控制系统12被配置为控制制造系统102（诸如生产线的一部分）的系统100（例如，制造机器），诸如冲压刀具、刀具或枪钻。控制系统12可以被配置为控制致动器14，致动器14被配置为控制系统100（例如，制造机器）。

系统100（例如，制造机器）的传感器16可以是被配置为捕获制造产品104的一个或多个属性的光学传感器。分类器24可以被配置为根据一个或多个捕获的属性来确定制造产品104的状态。致动器14可以被配置为取决于制造产品104的确定状态来控制系统100（例如，制造机器），以用于制造产品104的后续制造步骤。致动器14可以被配置为取决于制造产品104的确定状态来控制系统100（例如，制造机器）在系统100（例如，制造机器）的后续制造产品106上的功能。控制系统12可以利用联合对抗性训练来诸如在恶劣照明条件或传感器难以标识条件（例如大量灰尘）的工作条件期间，帮助针对对抗性条件训练分类器和发生器。

图8描绘了控制系统12的示意图，控制系统12被配置为控制具有至少部分自主模式的电动工具150，诸如电动钻或驱动器。控制系统12可以被配置为控制致动器14，致动器14被配置为控制电动工具150。

电动工具150的传感器16可以是光学传感器，该光学传感器被配置为捕获被驱动到工作表面152中的工作表面152和/或紧固件154的一个或多个属性。分类器24可以被配置为根据一个或多个捕获的属性来确定工作表面152和/或紧固件154相对于工作表面152的状态。该状态可以是紧固件154与工作表面152齐平。替换地，该状态可以是工作表面152的硬度。致动器14可以被配置为控制电动工具150，使得电动工具150的驱动功能取决于紧固件154相对于工作表面152的确定状态或工作表面152的一个或多个捕获属性来调整。例如，如果紧固件154的状态相对于工作表面152齐平，则致动器14可以中断驱动功能。作为另一个非限制性示例，致动器14可以取决于工作表面152的硬度施加附加的或更少的扭矩。控制系统12可以利用联合对抗性训练来诸如在恶劣的照明条件或恶劣的天气条件期间帮助针对对抗性条件训练分类器和发生器。因此，控制系统12可以能够标识电动工具150的环境条件。

图9描绘了被配置为控制自动化个人助理900的控制系统12的示意图。控制系统12可以被配置为控制致动器14，致动器14被配置为控制自动化个人助理900。自动化个人助理900可以被配置为控制家用电器，诸如洗衣机、炉子、烤箱、微波炉或洗碗机。

传感器16可以是光学传感器和/或音频传感器。光学传感器可以被配置为接收用户902的手势904的视频图像。音频传感器可以被配置为接收用户902的语音命令。

自动化个人助理900的控制系统12可以被配置为确定被配置为控制系统12的致动器控制命令20。控制系统12可以被配置为根据传感器16的传感器信号18来确定致动器控制命令20。自动化个人助理900被配置为将传感器信号18传输到控制系统12。控制系统12的分类器24可以被配置为执行手势识别算法，以标识用户902做出的手势904，从而确定致动器控制命令20，并将致动器控制命令20传输到致动器14。分类器24可以被配置为响应于手势904从非易失性存储器中检索信息，并且以适合用户902接收的形式输出检索到的信息。控制系统12可以利用联合对抗性训练来诸如在恶劣的照明条件或恶劣的天气条件期间帮助针对对抗性条件训练分类器和发生器。因此，控制系统12可以能够在这种条件期间标识手势。

图10描绘了被配置为控制监视系统250的控制系统12的示意图。监视系统250可以被配置为物理地控制通过门252的访问。传感器16可以被配置为检测与决定是否准许访问相关的场景。传感器16可以是被配置为生成和传输图像和/或视频数据的光学传感器。控制系统12可以使用这样的数据来检测人的面部。控制系统12可以利用联合对抗性训练来在恶劣的照明条件期间或者在控制监视系统250的环境的入侵者的情况下帮助针对对抗性条件训练分类器和发生器。

监视系统250的控制系统12的分类器24可以被配置为通过匹配存储在非易失性存储装置26中的已知人的身份来解释图像和/或视频数据，从而确定人的身份。分类器24可以被配置为响应于图像和/或视频数据的解释而生成致动器控制命令20。控制系统12被配置为将致动器控制命令20传输到致动器14。在该实施例中，致动器14可以被配置为响应于致动器控制命令20来锁定或解锁门252。在其他实施例中，非物理的逻辑访问控制也是可能的。

监视系统250也可以是监督系统。在这样的实施例中，传感器16可以是被配置为检测被监督的场景的光学传感器，并且控制系统12被配置为控制显示器254。分类器24被配置为确定场景的分类，例如由传感器16检测到的场景是否可疑。控制系统12被配置为响应于分类而向显示器254传输致动器控制命令20。显示器254可以被配置为响应于致动器控制命令20来调整所显示的内容。例如，显示器254可以突出显示被分类器24认为可疑的对象。

图11描绘了控制系统12的示意图，控制系统12被配置为控制成像系统1100，例如MRI装置、x射线成像设备或超声装置。传感器16例如可以是成像传感器。分类器24可以被配置为确定感测图像的全部或部分的分类。分类器24可以被配置为响应于由经训练神经网络获得的分类来确定或选择致动器控制命令20。例如，分类器24可以将感测图像的区域解释为潜在异常。在该情况下，可以确定或选择致动器控制命令20，以引起显示器302显示成像并突出显示潜在异常区域。控制系统12可以利用联合对抗性训练来在x射线期间针对对抗性条件（诸如恶劣照明）帮助训练分类器和发生器。

本文公开的过程、方法或算法可以被可递送到处理设备、控制器或计算机/由处理设备、控制器或计算机实现，处理设备、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以以多种形式存储为可由控制器或计算机执行的数据和指令，包括但不限于永久存储在诸如ROM设备的不可写存储介质上的信息和可变更地存储在诸如软盘、磁带、CD、RAM设备以及其他磁性和光学介质之类的可写存储介质上的信息。过程、方法或算法也可以在软件可执行对象中实现。替换地，可以使用合适的硬件组件（诸如，专用集成电路（ASIC）、现场可编程门阵列（FPGA）、状态机、控制器）或其他硬件组件或设备，或者硬件、软件和固件组件的组合，来整体或部分地体现过程、方法或算法。

虽然上面描述了示例性实施例，但是不意图这些实施例描述权利要求所涵盖的所有可能的形式。说明书中使用的词语是描述性而不是限制性的词语，并且应理解，在不脱离本公开的精神和范围的情况下，可以进行各种改变。如先前所述，各种实施例的特征可以被组合以形成可能没有被显式描述或图示的本发明的另外实施例。虽然各种实施例可能已经被描述为在一个或多个期望的特性方面提供了优于其他实施例或现有技术实现方式的优点或比其他实施例或现有技术实现方式优选，但是本领域的普通技术人员认识到，一个或多个特征或特性可以被折衷以实现期望的总体系统属性，这取决于具体的应用和实现方式。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、适销性、外观、包装、尺寸、适用性、重量、可制造性、组装容易性等。照此，在任何实施例被描述为在一个或多个特性方面不如其他实施例或现有技术实现方式合期望的程度上，这些实施例不在本公开的范围之外，并且对于特定应用可以是合期望的。

Claims

1.一种用于训练机器学习网络的计算机实现的方法，包括：

从传感器接收输入数据，其中所述输入数据包括扰动，其中所述输入数据指示图像、雷达、声纳或声音信息；

利用对一个或多个隐藏层值的至少界定，获得所述输入数据的扰动版本的分类误差和损失的最坏情况界限；

训练分类器，其中分类器包括多个类，所述多个类包括附加放弃类，其中放弃类是响应于至少界定输入数据而确定的；

响应于指示所述多个类之一的输入数据而输出分类；以及

响应于超过收敛阈值而输出经训练分类器，其中经训练分类器被配置为响应于获得最坏情况界限而检测附加放弃类。

2.根据权利要求1所述的计算机实现的方法，其中所述方法包括响应于包括扰动或对抗性信息的输入数据，将输入数据分类为放弃类。

3.根据权利要求1所述的计算机实现的方法，其中所述多个类包括对应于所述输入数据的原始类。

4.根据权利要求1所述的计算机实现的方法，其中所述方法进一步包括确定与机器学习网络的网络层的隐藏值相关联的隐藏值上界和隐藏值下界。

5.根据权利要求1所述的计算机实现的方法，其中所述一个或多个隐藏层值与机器学习网络的最后一层相关联。

6.根据权利要求1所述的计算机实现的方法，其中所述多个类包括对应于所述输入数据的原始类，其中当所述输入数据包括扰动时，分类器不将所述输入数据分类为原始类。

7.根据权利要求1所述的计算机实现的方法，其中所述方法包括利用区间界限传播（IBP）技术，通过最坏情况上界来界定训练目标函数。

8.一种包括机器学习网络的系统，包括：

输入接口，被配置为从传感器接收输入数据，其中传感器包括视频、雷达、LiDAR、声音、声纳、超声、运动或热成像传感器；

与输入接口通信的处理器，其中处理器被编程为：

从传感器接收输入数据，其中所述输入数据指示图像、雷达、声纳或声音信息；

训练分类器，其中分类器包括多个类，所述多个类包括附加放弃类，其中放弃类是响应于对包括一个或多个扰动的输入数据的至少界定而确定的；以及

输出经训练分类器，其被配置为响应于超过收敛阈值而检测附加放弃类。

9.根据权利要求8所述的系统，其中分类器进一步被配置为响应于包括一个或多个扰动的输入数据来检测附加放弃类。

10.根据权利要求8所述的系统，其中处理器进一步被配置为利用区间界限传播来计算与输入数据的扰动版本相关联的分类误差和分类损失的最坏情况界限。

11.根据权利要求10所述的系统，其中处理器进一步被配置为计算与机器学习网络的训练相关联的上界。

12.根据权利要求8所述的系统，其中处理器进一步被配置为计算所述输入数据的上界和下界。

13.根据权利要求12所述的系统，其中处理器进一步被配置为计算与网络层的隐藏值相关联的隐藏值上界和隐藏值下界。

14.一种存储指令的计算机程序产品，所述指令当由计算机执行时，引起计算机：

从传感器接收输入数据，其中传感器包括视频、雷达、LiDAR、声音、声纳、超声、运动或热成像传感器，其中所述输入数据指示图像；

利用对一个或多个隐藏层值的至少界定，获得与输入数据的扰动版本相关联的分类误差和损失的最坏情况界限；

训练机器学习网络的分类器，其中分类器包括多个类，所述多个类包括附加放弃类，其中放弃类是响应于对包括一个或多个扰动的输入数据的至少界定而确定的；以及

15.根据权利要求14所述的计算机程序产品，其中指令进一步包括基于输出数据操作物理系统，其中物理系统是计算机控制的机器、机器人、载具、家用电器、电动工具、制造机器、个人助理或访问控制系统。

16.根据权利要求14所述的计算机程序产品，其中，计算机包括另外的构造，所述构造引起计算机响应于包括扰动或对抗性信息的输入数据，将输入数据分类为放弃类。

17.根据权利要求14所述的计算机程序产品，其中，所述多个类包括对应于与所述输入数据相关联的非扰动分类的原始类。

18.根据权利要求14所述的计算机程序产品，其中，计算机包括用以计算与机器学习网络的训练相关联的上界的指令。

19.根据权利要求14所述的计算机程序产品，其中，除了附加放弃类之外的所述多个类被用于对非扰动类进行分类。

20.根据权利要求14所述的计算机程序产品，其中，机器学习网络是神经网络。