CN114586046A - 具有鲁棒深度生成模型的系统和方法 - Google Patents

具有鲁棒深度生成模型的系统和方法 Download PDF

Info

Publication number
CN114586046A
CN114586046A CN202080075163.XA CN202080075163A CN114586046A CN 114586046 A CN114586046 A CN 114586046A CN 202080075163 A CN202080075163 A CN 202080075163A CN 114586046 A CN114586046 A CN 114586046A
Authority
CN
China
Prior art keywords
data
boundary
boundary data
network
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080075163.XA
Other languages
English (en)
Inventor
J·Z·柯尔特
F·C·孔德萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114586046A publication Critical patent/CN114586046A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种机器学习系统包括编码器和解码器网络。所述机器学习系统被配置成获得输入数据，所述输入数据包括传感器数据和可容许扰动的ℓ p 范数球的半径。基于输入数据来生成输入边界数据。通过在编码器网络的第一和第二输出上分别传播所述输入边界数据来生成第一边界数据和第二边界数据。基于第一边界数据和第二边界数据、与隐变量相关联地生成第三边界数据。通过在解码器网络的输出上传播第三边界数据来生成第四边界数据。通过基于第一、第二、第三和第四边界数据来生成证据下边界的下边界从而关于所述输入数据来建立鲁棒性凭证。基于所述鲁棒性凭证来更新编码器和解码器网络，以在针对可容许扰动进行防御方面向机器学习系统提供鲁棒性。

Description

具有鲁棒深度生成模型的系统和方法
技术领域
本公开总体上涉及机器学习系统，并且更具体地，涉及对对抗式攻击鲁棒的深度生成模型。
背景技术
一般来说，机器学习系统（诸如，深度神经网络）容易受到对抗式攻击。例如，机器学习系统可能会经由其输入而被攻击。这种对抗式攻击包括对输入的扰动，这种扰动引起机器学习系统的输出中的改变。例如，当对抗式攻击涉及传感器数据时，对该传感器数据的扰动可能例如通过提供不正确的输出数据而引起机器学习系统以非期望的方式做出行为，从而导致负面后果和影响。虽然在分类设置中、并且在较小程度上在诸如对象检测或图像分割之类的其他监督设置中有一些与对抗式攻击相关的工作，但是在向生成模型提供对对抗式攻击的防御解决方案方面，似乎没有太多的工作。
发明内容
以下内容是下面详细描述的某些实施例的概述。呈现所描述的方面仅仅是为了向读者提供这某些实施例的简要概述，并且对这些方面的描述并不意图限制本公开的范围。实际上，本公开可以涵盖下面可能没有明确阐述的各种方面。
根据至少一个方面，一种计算机实现方法包括：获得输入数据。输入数据包括传感器数据和可容许扰动的ℓ p 范数球的半径。该方法包括：基于输入数据来生成输入边界数据（bounding data）。该方法包括：通过在编码器网络的第一和第二输出上传播输入边界数据来生成第一边界数据和第二边界数据。该方法包括：生成第三边界数据，第三边界数据与隐变量相关联并且基于编码器网络的输出。该方法包括：通过在解码器网络的输出上传播第三边界数据来生成第四边界数据。该方法包括：通过基于第一边界数据、第二边界数据、第三边界数据和第四边界数据来生成证据下边界（ELBO）的下边界从而关于输入数据来建立鲁棒性凭证。该方法包括：基于鲁棒性凭证来更新编码器网络和解码器网络，使得包括编码器网络和解码器网络的机器学习系统在针对可容许扰动进行防御方面是鲁棒的。
根据至少一个方面，一种系统包括：致动器、传感器系统、非暂时性计算机可读介质和控制系统。传感器系统包括至少一个传感器。非暂时性计算机可读介质存储机器学习系统，该机器学习系统具有编码器网络和解码器网络，该编码器网络和解码器网络是基于形成该机器学习系统的损失函数的下边界的鲁棒性凭证来训练的。控制系统可操作以基于与传感器系统和机器学习系统的通信来控制致动器。控制系统包括至少一个电子处理器，该电子处理器可操作以获得输入数据，输入数据包括来自传感器系统的传感器数据和来自干扰的扰动数据，其中传感器数据被扰动数据所扰动。经由该机器学习系统来处理输入数据。经由该机器学习系统来生成输出数据。输出数据是传感器数据的重建。输出数据与未被扰动数据所扰动的似然性相关联。似然性对应于ELBO。传感器数据和输出数据是分布内数据，该分布内数据对应于与该机器学习系统相关联的模型分布。即使扰动数据被构造成使该机器学习系统将输入数据标识和处理为在模型分布之外的分布外数据，该机器学习系统也将输入数据标识和处理为在分布内数据的范围内。
根据至少一个方面，一种非暂时性计算机可读介质包括至少计算机可读数据，当由电子处理器执行时，该计算机可读数据可操作以实现用于将机器学习系统训练成对扰动鲁棒的方法。该方法包括：获得输入数据，输入数据包括传感器数据和可容许扰动的ℓ p 范数球的半径。该方法包括：基于输入数据来生成输入边界数据。该方法包括：通过在编码器网络的第一和第二输出上传播输入边界数据来生成第一边界数据和第二边界数据。该方法包括：生成第三边界数据，第三边界数据与隐变量相关联并且基于编码器网络的输出。该方法包括：通过在解码器网络的输出上传播第三边界数据来生成第四边界数据。该方法包括：通过基于第一边界数据、第二边界数据、第三边界数据和第四边界数据来生成证据下边界（ELBO）的下边界从而关于输入数据来建立鲁棒性凭证。该方法包括：基于鲁棒性凭证来更新编码器网络和解码器网络，使得包括编码器网络和解码器网络的机器学习系统在针对可容许扰动进行防御方面是鲁棒的。
本发明的这些和其他特征、方面和优点在根据附图的以下详细描述中讨论，遍及这些附图，相同的字符表示类似或相似的部分。
附图说明
图1A是包括根据本公开的示例实施例的机器学习系统的系统的示图。
图1B是根据本公开的示例实施例的关于移动机器技术的图1A的系统的示例的示图。
图1C是根据本公开的示例实施例的关于制造技术的图1A的系统的示例的示图。
图2A是根据本公开的示例实施例的与训练可证明鲁棒的深度生成模型相关联的流程图。
图2B是根据本公开的示例实施例的与操作图2A的经训练的可证明鲁棒的深度生成模型相关联的流程图。
图3A是根据本公开的示例实施例的与训练可证明鲁棒的深度生成模型相关联的框图
图3B是根据本公开的示例实施例的训练包括变分自编码器的可证明鲁棒的深度生成模型的概念图。
图4是根据本公开的示例实施例的训练可证明鲁棒的深度生成模型的方法的流程图。
图5A、5B、5C和5D图示了根据本公开的示例实施例的输入数据的非限制性示例。
图6A图示了根据示例实施例的具有与不同生成模型相关联的对第一数据集的对抗式攻击的效果的表示的图解。
图6B图示了根据示例实施例的具有与不同生成模型相关联的对第二数据集的对抗式攻击的效果的表示的图解。
具体实施方式
已经通过示例的方式示出和描述的本文中描述的实施例以及它们的许多优点将通过前述描述而被理解，并且将明显的是，在不脱离所公开的主题的情况下或者在不牺牲其一个或多个优点的情况下，可以在组件的形式、构造和布置中进行各种改变。实际上，这些实施例的所描述形式仅仅是解释性的。这些实施例容许各种修改和替代形式，并且以下权利要求意图涵盖和包括这种改变，并且不限于所公开的特定形式，而是覆盖落入本公开的精神和范围内的所有修改、等同物和替代方案。
如本文中所描述，实施例涉及在生成模型的情境中可证明鲁棒的训练的应用。更具体地，这些实施例在无监督生成模型而不是监督分类任务的情境中构造与损失函数相关的可证明边界。例如，在示例实施例中，可证明鲁棒的训练涉及至少一个生成模型，诸如变分自编码器（VAE）。在这点上，可证实地，在似然性的变分下边界上定义了鲁棒下边界，并且然后在训练期间优化该下边界以生成可证明鲁棒的VAE（“proVAE”）。而且，与生成模型的控制组相比，这些可证明鲁棒的生成模型被评估为显著地对对抗式攻击（例如，敌对方尝试扰动输入，以便大幅度降低它们在生成模型下的可能性）更鲁棒。
图1A图示了根据示例实施例的系统100的框图。系统100包括具有一个或多个传感器的传感器系统110。例如，传感器系统110包括图像传感器、相机、雷达传感器、光检测和测距（LIDAR）传感器、热传感器、超声传感器、红外传感器、运动传感器、基于卫星的导航传感器（例如，全球定位系统（GPS）传感器）、任何合适的传感器或其任何组合。传感器系统110可操作以与控制系统120进行通信。
控制系统120被配置成直接地或间接地从传感器系统110的一个或多个传感器获得传感器数据。在接收到输入数据（例如，传感器数据和/或基于传感器数据的图像数据）后，控制系统120被配置成与机器学习系统200相结合地经由处理系统140来处理该输入数据。在这点上，处理系统140包括至少一个处理器。例如，处理系统140包括电子处理器、中央处理单元（CPU）、图形处理单元（GPU）、微处理器、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、任何合适的处理技术或其任何组合。在处理该输入数据后，处理系统140可操作以经由机器学习系统200来生成输出数据。附加地或替代地，处理系统140可操作以生成分类数据，所述分类数据对机器学习系统200的输出数据进行分类。此外，处理系统140可操作以基于机器学习系统200的分类数据和/或输出数据向致动器系统170提供控制数据。
在示例实施例中，机器学习系统200被存储在存储器系统160中。在示例实施例中，存储器系统160是计算机或电子存储系统，其被配置成存储各种数据并提供对各种数据的访问，以至少实现如本文中公开的操作和功能。在示例实施例中，存储器系统160包括单个设备或多个设备。在示例实施例中，存储器系统160可以包括电气、电子、磁性、光学、半导体、电磁或任何合适的技术。例如，在示例实施例中，存储器系统160可以包括随机存取存储器（RAM）、只读存储器（ROM）、闪速存储器、盘驱动器、存储卡、光学存储设备、磁性存储设备、存储器模块、任何合适类型的存储器设备或其任何组合。在示例实施例中，关于控制系统120和/或处理系统140，存储器系统160是本地的、远程的或者其组合（例如，部分本地和部分远程）。例如，存储器系统160可以至少包括基于云的存储系统（例如，基于云的数据库系统），所述基于云的存储系统远离处理系统140和/或控制系统120的其他组件。
在示例实施例中，机器学习系统200包括至少一个深度神经网络。更具体地，该深度神经网络包括至少一个经训练的、可证明鲁棒的生成模型（“PROVAE”）。响应于输入数据，处理系统140（与机器学习系统200结合）可操作以生成输出数据，该输出数据是输入数据的重建。例如，当输入数据是传感器数据（和/或基于传感器数据的图像数据）时，处理系统140可操作以经由机器学习系统200来生成输出数据，其中输出数据是该传感器数据的重建。作为另一示例，当输入数据包括被扰动数据所扰动的传感器数据（和/或基于传感器数据的图像数据）时，处理系统140可操作以经由机器学习系统200来生成输出数据，其中输出数据是该传感器数据的重建，由此似然性效应（likelihood effect）不会被扰动数据所破坏。机器学习系统200的该特征在提供对对抗式攻击的防御解决方案方面是有利的，因为这种扰动数据不会引起机器学习系统200的似然性效应和/或输出数据中的剧烈改变。
此外，系统100包括有助于控制系统120与传感器系统110和致动器系统170相关的操作的其他组件。例如，如图1中所示，存储器系统160还被配置成存储其他相关数据，这些其他相关数据涉及系统100与其一个或多个组件（例如，传感器系统110、机器学习系统200、致动器系统170等）相关的操作。此外，控制系统120包括输入/输出（I/O）系统130，输入/输出（I/O）系统130包括去往涉及系统100的一个或多个I/O设备的一个或多个接口。而且，控制系统120被配置成提供辅助或有助于系统100的运作的其他功能模块150，诸如任何适当的硬件、软件或其组合。例如，其他功能模块150包括操作系统和通信技术，该操作系统和通信技术使得系统100的组件能够如本文中所描述的那样彼此通信。在至少图1A的示例中讨论的配置的情况下，系统100适用于各种技术中。
图1B图示了关于移动机器技术（例如，机器人等）的系统100的第一应用的示例。在图1B中，系统100由车辆10采用，其中控制系统120根据来自传感器系统110的传感器数据来控制车辆10的至少一个致动器系统170。更具体地，作为非限制性示例，控制系统120被配置成使用来自传感器系统110的传感器数据来标识实体（例如，对象）。例如，系统100被配置成：在从图像传感器获得图像数据后标识标志（例如，停止标志）。作为另一示例，系统100被配置成：从图像数据——该数据是基于从图像传感器和LIDAR传感器获得的传感器数据而生成的——来检测行人。在这点上，传感器数据是从传感器系统110的一个或多个传感器生成和/或获得的。在该示例中，在至少接收到传感器数据和/或图像数据后，处理系统140经由机器学习系统200被配置成：在以高似然性值估计出传感器数据（和/或图像数据）是基于与实体相关联的分布而生成的和/或处于分布内后，从该传感器数据（和/或图像数据）来标识实体。有利地，PROVAE 200A被配置成：即使当输入数据（例如，传感器数据和/或图像数据）被扰动（例如，噪声）所扰动时也以高似然性值估计，从而关于分布外攻击是鲁棒的。例如，作为非限制性示例，如果处理系统140经由机器学习系统200在从传感器系统110接收到包括传感器数据的未被扰动/被扰动的输入数据后将另一个车辆标识为实体（在其模型分布内），则控制系统120被配置成控制致动器系统170（例如，转向系统、制动系统或任何合适的致动器系统）以避免与该标识的车辆碰撞。在该示例中，致动器系统170被配置成控制或辅助车辆的驾驶功能，车辆的驾驶功能是自主的、高度自主的、部分自主的、条件自主的或驾驶员辅助的。
图1C图示了关于制造技术的系统100的第二应用的示例。在图1C中，系统100由制造系统20采用，其中控制系统120根据来自传感器系统110的传感器数据来控制制造机器22的至少一个致动器系统170。更具体地，作为非限制性示例，控制系统120被配置成通过对产品24的有缺陷组件的图像分布进行建模来标识产品24中的故障。在这种情况下，PROVAE200A被配置成：即使在其中传感器数据被相对小的（和/或不可察觉的）扰动所扰动的情况下也标识产品24的组件中的缺陷或故障。例如，如果被扰动的输入数据包括产品24的有缺陷组件的图像，则处理系统140经由机器学习系统200被配置成将产品24标识为有缺陷的，并且不会将产品24标识为如该扰动数据所预期的那样无缺陷的。在这种情况下，响应于对该被扰动的输入数据的处理，控制系统120被配置成将有缺陷产品分类为属于有缺陷产品的分布，并且被配置成基于机器学习系统200的输出和/或将产品24分类为在有缺陷的产品24的分布内来控制致动器系统170。在该非限制性示例中，例如，致动器系统170被配置成基于产品24被标识为有缺陷来控制机器人或制造机器的动作。
附加于或替代于第一应用（图1B）和第二应用（图1C），系统100（和/或控制系统120）也可在其他应用中操作。例如，控制系统120被配置成生成用于训练这些类型的机器学习系统200的训练数据。此外，系统100（和/或控制系统120）也适用于各种领域中，诸如计算机控制的机器、机器人、家用电器、电动工具、电子个人助理、医疗/医学系统、移动机器、安全性系统、仿真系统等。此外，系统100（和/或控制系统120和/或机器学习系统200）不限于上面提到的应用，而是可以被应用于受益于具有至少一个经训练的生成模型的机器学习系统200的任何合适的应用，该生成模型对扰动是可证明鲁棒的。
图2A图示了根据示例实施例的与用于机器学习系统200生成至少一个可证明鲁棒的生成模型（例如，PROVAE 200A）的训练过程204相关的流程图。如图2A中所示，经由训练过程204（图4）利用分布内数据202来训练生成模型（例如，VAE）。作为示例，分布内数据202指代从与生成模型相关联的x∈D的分布中选择或取得的输入数据。该特征是有利的，这是因为在训练过程204期间，可证明鲁棒的生成模型不需要其他类型的训练数据（例如，分布外数据、扰动数据、对抗式示例等）。在利用分布内数据202完成训练过程204后，经训练的可证明鲁棒的生成模型（例如，PROVAE 200A）被生成并且准备好操作。
图2B图示了根据示例实施例的与机器学习系统200的操作相关联的流程图，该机器学习系统200包括至少一个经训练的可证明鲁棒的生成模型（例如，PROVAE 200A）。该流程图突出显示了可证明鲁棒的生成模型的优点。例如，作为优点，在接收到包括被扰动数据208所扰动的分布内数据202的输入数据后，则PROVAE 200A可操作以将该输入数据标识为分布内数据，并且还生成作为分布内数据202的输出数据。替代地，尽管未示出，但是在接收到包括未被扰动数据所扰动的分布内数据202的输入数据后，则PROVAE 200A被配置成生成作为分布内数据202的输出数据。
图3A是根据示例实施例的与训练可证明鲁棒的深度生成模型相关联的框图。如图3A中所示，训练过程204至少涉及存储器系统300和处理系统310。在示例实施例中，存储器系统300是计算机或电子存储系统，其被配置成存储各种数据并提供对各种数据的访问，以至少实现如本文中公开的操作和功能。在示例实施例中，存储器系统300包括单个设备或多个设备。在示例实施例中，存储器系统300包括电气、电子、磁性、光学、半导体、电磁或任何合适的技术。例如，存储器系统300包括RAM、ROM、闪速存储器、盘驱动器、存储卡、光学存储设备、磁性存储设备、存储器模块、任何合适类型的存储器设备或其任何组合。在示例实施例中，关于处理系统310，存储器系统300是本地的、远程的或其组合（例如，部分本地和部分远程）。例如，存储器系统300被配置成至少包括远离处理系统310的基于云的存储系统（例如，基于云的数据库系统）。
在示例实施例中，如图3A中所示，存储器系统300至少包括训练数据302、机器学习数据304和可证明鲁棒的生成模型（“PROVAE”）200A。训练数据302至少包括传感器数据（和/或基于传感器数据的图像数据）。有利地，训练过程204可操作以针对可容许扰动进行训练，而不需要扰动作为输入数据。而且，机器学习数据304包括与用于训练和生成PROVAE 200A的方法400（图4）相关联的机器学习算法、以及其他相关数据304A（图3B），诸如各种边界数据（例如，向量数据）、鲁棒性凭证等。PROVAE 200A包括与其训练和/或操作相关联的神经网络数据（例如，各层、参数数据、ϵ train 数据等）。在完成训练过程204后，PROVAE 200A可由图1A的系统100或任何合适的应用来部署和/或采用。
在接收到训练数据302（例如，传感器数据和/或基于传感器数据的图像数据）后，处理系统310被配置成与机器学习数据304结合来训练生成模型。在这点上，处理系统310包括至少一个处理器。例如，处理系统310包括电子处理器、CPU、GPU、微处理器、FPGA、ASIC、任何合适的处理技术或其任何组合。在示例实施例中，处理系统310与存储器系统300进行通信，以基于训练数据302和机器学习数据304来生成经训练的可证明鲁棒的生成模型（“PROVAE”）200A。
图3B图示了根据示例实施例的训练生成模型（例如，VAE）以生成可证明鲁棒的生成模型（例如，PROVAE 200A）的概念图。一般来说，VAE至少包括具有编码器网络的编码器和具有解码器网络的解码器。在这点上，分别地，编码器包括识别模型，而解码器包括生成模型。在示例实施例中，至少如图3B中所示，编码器和解码器使用区间边界传播（IBP）技术来传播对输入的扰动的影响。扰动的影响遍及VAE而传播。而且，为了方便，图3B图示了VAE的一些组件（例如，μ(x)、σ(x)、g(z)等）的映射、以及与VAE相关的其他相关数据304A的一些表示，以帮助与图4一起说明可证明鲁棒的训练过程。而且，图3B图示了传感器数据x的示例（例如，具有手写数字‘4’的输入图像304B）和输出数据
Figure 984997DEST_PATH_IMAGE001
的示例，输出数据
Figure 807197DEST_PATH_IMAGE001
是该传感器数据的重建（例如，具有重建的手写数字‘4’的输出图像304C）。输入图像304B和输出图像304C两者被标识为分布内数据（或在“手写数字”的分布内）。
一般来说，基于对数似然性上的边界来训练VAE，处理系统310被配置成在对抗式设置中进一步形成该对数似然性的边界。VAE是基于所谓的证据下边界（ELBO）L(x)来训练的，L(x)依据隐变量z∈R k 来表达概率p(x)，并且然后形成该似然性的边界如下：
Figure 118093DEST_PATH_IMAGE003
其中q(z|x)是所谓的变分分布，其试图近似后验p(z|x)（针对这种情况，该边界是紧的），但其是经由更易处理的分布类来这么做的。在VAE设置中，处理系统310选择：
Figure 778881DEST_PATH_IMAGE005
其中
Figure 999778DEST_PATH_IMAGE006
和
Figure 87820DEST_PATH_IMAGE007
是预测来自输入x的正态分布q的均值和方差的编码器网络，并且g θ (z)是在给定隐向量z的情况下在输入空间中生成样本的解码器网络。
在这些假设下，ELBO具有以下显式形式：
Figure 761378DEST_PATH_IMAGE009
其中c是常数。一般来说，编码器和解码器网络使用例如随机梯度下降而被联合地训练以最大化该下边界，如以下等式所表示的那样：
Figure 225857DEST_PATH_IMAGE011
其中处理系统310用等效过程
Figure 566840DEST_PATH_IMAGE013
Figure 825783DEST_PATH_IMAGE015
来代替采样过程
Figure 547489DEST_PATH_IMAGE017
以抽取样本，并且确保均值和方差项可以经由所谓的重新参数化技术被反向传播通过。
图4图示了根据示例实施例的用于生成可证明鲁棒的生成模型（例如，PROVAE200A）的训练过程204的方法400的流程图。该方法400提供了对如下技术问题的解决方案：即，制订针对对于深度生成模型的分布外攻击的鲁棒防御。方法400通过获得可证明鲁棒的深度生成模型（例如，PROVAE 200A）来实现这种防御，该模型针对可容许扰动形成ELBO的下边界。更具体地，方法400将
Figure 691025DEST_PATH_IMAGE018
标识为可容许扰动的集合，并且将
Figure 745569DEST_PATH_IMAGE019
标识为以x为中心的半径为ϵ train 的球。在本公开中，为了符号的简洁，这些项
Figure 581938DEST_PATH_IMAGE018
和Δ(x)可互换地使用。
处理系统310被配置成：针对所有可能的扰动
Figure 354722DEST_PATH_IMAGE020
来获得ELBO的下边界，作为
Figure 36370DEST_PATH_IMAGE021
。该下边界提供了ELBO的鲁棒性的凭证。Δ(x)中的任何可能的扰动对ELBO的影响将是以 L 的下边界。下边界 L 的优化有效地将该网络训练成对Δ(x)（围绕x的半径为ϵ train 的
Figure 211000DEST_PATH_IMAGE022
球）内最强的可能分布外攻击是鲁棒的。
为了形成ELBO的下边界，处理系统310遍及μ θ 、σ θ 和g θ 的层执行IBP，使得处理系统310获得关于ELBO对输入空间的可容许扰动的传播的边界。处理系统310因此被配置成形成被扰动的输入
Figure 474663DEST_PATH_IMAGE024
的kulback-Leibler（KL）散度和被扰动的条件对数似然性
Figure 734743DEST_PATH_IMAGE026
的期望值两者的边界。为此，处理系统310在编码器网络μ θ 和σ θ 上执行IBP，并且在解码器网络g θ 上执行IBP。
作为对方法400的预备措施，处理系统310在编码器和解码器网络的构建块上传播下边界和上边界。一般来说，构建块至少包括线性和卷积层、以及单调逐元素激活函数。这些特征使得处理系统310能够从深度神经网络（例如，VAE）的输入到输出顺序地连接不同的区间边界。在本公开中，为了符号的方便和简洁，μ的上边界被标示为
Figure 954503DEST_PATH_IMAGE027
，并且下边界被标示为
Figure 983639DEST_PATH_IMAGE028
，这在寻址多维实体时被认为是逐元素的。
关于线性算子，处理系统310认为Wv是应用于v的线性算子W，并且
Figure 161811DEST_PATH_IMAGE029
是v的逐元素上边界和下边界。处理系统310将线性算子W分解成正算子和负算子W = W + + W −，使得W + =max(W,0)和W −=min(W,0)，其中max和min对应于逐元素的最大值和最小值。处理系统310然后将线性算子的上边界和下边界应用于v。更具体地，处理系统310应用上边界（等式7）和下边界（等式8），由于它们的线性性质，它们对卷积层和线性层成立。
Figure 643608DEST_PATH_IMAGE031
关于单调函数，处理系统310被配置成将v t = h(v t−1)标示为在v t−1上逐元素应用的单调（非递减或非递增）函数。处理系统310表达关于h的v t 的上边界和下边界以及v t−1的上边界和下边界如下，
Figure 932638DEST_PATH_IMAGE033
这些边界对于单调激活函数、诸如ReLU和sigmoid成立。
关于ℓ 2范数平方，处理系统310被配置成通过认识到存在对v的下边界和上边界的逐元素依赖性来获得v的ℓ 2范数平方的下边界和上边界。由于
Figure 816280DEST_PATH_IMAGE034
，其中v i 标示v的第i个组件，处理系统310获得作为
Figure 663888DEST_PATH_IMAGE035
和
Figure DEST_PATH_IMAGE036
的函数的相应上边界和下边界如下，
Figure DEST_PATH_IMAGE038
在执行预备措施之后，处理系统310实现方法400以例如依据至少一个对数似然函数来优化从最坏情况扰动获得的鲁棒性凭证。方法400包括一个或多个迭代（或时期）。在这种情况下，每个迭代（或时期）包括通过边界传播来计算鲁棒性凭证（例如，步骤402-412）以及优化鲁棒性凭证（例如，步骤414），从而提供鲁棒地训练的编码器和解码器网络（例如，步骤416）。参考图4，方法400至少包括以下实现方式，如下所描述。
在步骤402处，处理系统310被配置成获得输入x，并且生成输入x上的至少一个边界。例如，输入x包括训练数据，诸如X = {x 1…x n }，并且其中
Figure 305085DEST_PATH_IMAGE039
。对于x∈X，处理系统310被配置成生成输入x i 上的输入边界数据。输入边界数据包括输入x i 上的上边界数据和输入x i 上的下边界数据。
此外，在给定第一编码组件μ θ (x)和第二编码组件σ θ (x)的情况下，处理系统310将编码器网络构造为具有ReLU激活的卷积层的接续，其中至少一个最后层是至少一个全连接线性层。此外，在不需要扰动作为输入x的情况下，处理系统310可操作，以通过将扰动数据定义为
Figure 256860DEST_PATH_IMAGE041
并且通过如下那样表示可容许的被扰动输入的下边界和上边界来考虑任何可容许的被扰动输入x i +δ：
Figure 135955DEST_PATH_IMAGE043
在步骤404处，处理系统310被配置成生成针对编码器网络的输出的边界。这些边界包括VAE的第一边界数据和第二边界数据。第一和第二边界数据涉及编码器的第一和第二编码组件的相应输出。更具体地，处理系统310被配置成生成针对第一编码组件μ θ (x)的输出的第一上边界数据和第一下边界数据。此外，处理系统310被配置成生成第二编码组件σ θ (x)的输出的第二上边界数据和第二下边界数据。处理系统310被配置成独立于第二编码组件σ θ (x)的第二边界数据来生成第一编码组件μ θ (x)的第一边界数据。在这点上，处理系统310被配置成在同一时间或在不同时间处生成第一边界数据和第二边界数据。
在等式7-8中针对线性层和卷积层以及等式9-10中针对激活函数的区间边界的传播的情况下，处理系统310被配置成基于
Figure DEST_PATH_IMAGE044
和
Figure 187087DEST_PATH_IMAGE045
的IBP遍及编码器网络的组件经由下式来形成编码器网络的输出的边界：
Figure 377897DEST_PATH_IMAGE047
其中
Figure 772844DEST_PATH_IMAGE048
和
Figure 365500DEST_PATH_IMAGE049
是编码器的输出，
Figure 790796DEST_PATH_IMAGE050
和
Figure 734481DEST_PATH_IMAGE051
以及
Figure 169005DEST_PATH_IMAGE052
和
Figure 881746DEST_PATH_IMAGE053
分别对应于编码器网络的下边界和上边界的传播。这得到了编码组件μ i 和σ i 的输出的边界、以及logσ i （因为对数和指数是单调非递减的）作为扰动Δ(x i )的量值ϵ train 的函数。
在给定编码器网络的输出上的边界的情况下，处理系统310被配置成经由下式来形成
Figure 477943DEST_PATH_IMAGE054
和
Figure 908925DEST_PATH_IMAGE055
之间的KL散度的边界：
Figure 740614DEST_PATH_IMAGE057
其中
Figure 947343DEST_PATH_IMAGE058
和
Figure 980021DEST_PATH_IMAGE059
标示如由编码器输出的第i个样本的均方（squared mean）和协方差的第j个组件。此外，处理系统310被配置成从编码器网络的末端部分处的μ i 和σ i 上的边界继续，以使得能够经由解码器网络来执行IBP。
在步骤406处，处理系统310被配置成抽取被标示为“ε”的至少一个样本，并且计算被标示为“z”的隐变量上的边界。例如，处理系统310被配置成经由重新参数化技术来获得隐变量上的边界（或VAE的第三边界数据）。更具体地，在重新参数化技术的情况下，由于重新参数化是线性算子，因此隐变量上的边界遵循等式7-8中针对线性算子的边界。
例如，处理系统310被配置成处理样本，如由
Figure 898298DEST_PATH_IMAGE060
、
Figure 674624DEST_PATH_IMAGE061
和
Figure 830799DEST_PATH_IMAGE062
所标示，使得
Figure 159012DEST_PATH_IMAGE063
，其中0表示均值，并且I表示协方差的标识向量。这种重新参数化技术通过将隐变量表达为
Figure 174373DEST_PATH_IMAGE064
从而将随机性与编码器解耦。在使用重新参数化技术之后，处理系统310被配置成形成隐变量z i 的边界（例如，生成第三边界数据），这被表达为：
Figure 879024DEST_PATH_IMAGE066
在步骤408处，处理系统310被配置成生成针对解码器网络g θ (x)的输出的边界。在这点上，处理系统310被配置成生成VAE的第四边界数据，其包括解码器网络g θ (x)的第四上边界数据和第四下边界数据。例如，在步骤408之后，隐变量（即，z）上的边界然后通过解码器网络g θ 而传播，该解码器网络g θ 包括线性和卷积层（例如，线性算子，其中边界可以利用等式7-8来传播），其具有ReLU和sigmoid激活（例如，单调激活函数，其中边界可以利用等式9-10来传播）。因此，与编码器网络一样，处理系统310提供了作为隐向量z i 上的边界的函数的解码器网络的输出上的边界。
此外，处理系统310解决了形成条件对数似然性log p(x i |z i )的边界的问题。为此，处理系统310将对角协方差
Figure 794765DEST_PATH_IMAGE067
固定在
Figure 293879DEST_PATH_IMAGE068
中。处理系统310因此将形成条件对数似然性的边界的问题简化为形成
Figure 530957DEST_PATH_IMAGE069
的边界的问题。在求解等式11-12后，处理系统310被配置成经由下式来形成该函数的边界：
Figure 773719DEST_PATH_IMAGE071
其中处理系统310被配置成采用跨x的元素的逐元素max和min以及j中的总和。
在步骤410处，处理系统310被配置成通过生成用作损失函数的ELBO L的至少一个边界来生成鲁棒性凭证。更具体地，处理系统310被配置成生成ELBO上的下边界数据。例如，处理系统310将针对编码器网络和解码器网络的上边界和下边界、以及条件对数似然性上的相关联下边界和KL散度上的上边界（由于ELBO考虑了KL散度的负值）进行组合，从而从以下下边界来获得下边界数据：
Figure 45432DEST_PATH_IMAGE073
其中针对编码器网络的上边界和下边界被传播，并且重新参数化技术为：
Figure 715447DEST_PATH_IMAGE075
ELBO上的所得到的下边界形成被扰动样本的对数似然性log p(x i +δ)的下边界，其作为针对扰动的鲁棒性凭证而工作。这意味着，如果在馈送到编码器中的输入区间边界是x i −ϵ train 1和x i +ϵ train 1（半径为ϵ train 的以x i 为中心的ℓ ∞ 球）的情况下L≥α，则这保证了对于所有
Figure DEST_PATH_IMAGE076
Figure 970979DEST_PATH_IMAGE077
而言，
Figure DEST_PATH_IMAGE078
。
方法400包括通过优化下边界来训练VAE。例如，处理系统310通过优化ELBO L 的下边界来训练可证明鲁棒的深度生成模型，这对应于优化鲁棒性凭证，而不是直接优化ELBOL。
在步骤414处，处理系统310被配置成更新编码器网络和解码器网络以优化ELBO的下边界。例如，处理系统310可操作以更新VAE的参数并且直接最大化ELBO L的下边界。在这种情况下，参数（即，θ）至少包括与VAE的编码器和解码器网络相关联的内部权重。
在步骤416处，处理系统310被配置成输出鲁棒地训练的网络，该网络至少包括第一编码器网络μ θ (x)、第二编码器网络σ θ (x)和解码器网络g θ (x)。一旦处理系统310输出了鲁棒地训练的网络，处理系统310就被配置成部署或传输PROVAE 200A以供使用。例如，一旦被鲁棒地训练，PROVAE 202就可在图1A的系统100或任何合适的应用中部署和/或可由它们采用。
此外，方法400不限于图4中所示的步骤，而是可以包括各种修改，只要方法400提供了相似或基本相似的功能、效果和/或结果。在这点上，作为修改的示例，代替于IBP，方法400被配置成在步骤404、406和410中包括其他边界传播技术。这些其他边界传播技术可以提供更紧的边界，但是以比IBP所提供的复杂性更高的复杂性为代价。作为修改的另一示例，方法400包括执行步骤408、410和412多于一次（例如，一组次数）并且对该组的结果求平均。附加地或替代地，方法400包括实现蒙特卡罗积分以求解
Figure 656913DEST_PATH_IMAGE079
。作为修改的又一示例，方法400进一步包括经由分类器对生成模型的输出进行分类，使得新的鲁棒性凭证涵盖对误分类的样本的惩罚，该惩罚迫使不仅形成对数似然性中的降低的边界，而且还确保了分类输出将不会被噪声或对抗式攻击所更改。
图5A、5B、5C和5D图示了根据示例实施例的输入数据的非限制性示例。这些输入数据的示例包括从经修改的国家标准与技术研究所数据库（“MNIST数据库”）取得的样本图像（例如，手写数字图像）。更具体地，图5A图示了输入数据的未被扰动的样本，其包括未被扰动的图像数据500且不包括扰动数据。相比之下，图5B-5D图示了输入数据的对抗式示例，其包括已经被扰动数据所扰动的该相同图像数据500。例如，图5B图示了对抗式示例502，其包括图像数据500（图5A）连同对PROVAE的投影梯度下降（PGD）攻击。同时，图5C图示了对抗式示例504，其包括具有对PROVAE 200A的ϵ train = 0.01的PGD攻击的图像数据500（图5A）。图5D图示了对抗式示例506，其包括具有对PROVAE 200A的ϵ train = 0.1的PGD攻击的图像数据500（图5A）。
在示例评测中，基于图像数据500的未被扰动的样本来评估VAE和PROVAE 200A。当图像数据500的该未被扰动的样本作为输入数据被呈现给VAE时，则损失被表示为L = −28.28。作为比较，例如，当图像数据500的未被扰动的样本作为输入数据被呈现给具有ϵtrain= 0.01的PROVAE 200A时，则损失被表示为L = −31.10。作为另一个比较，例如，当图像数据500的未被扰动的样本作为输入数据被呈现给具有ϵtrain = 0.1的PROVAE 200A时，则损失被表示为L = −41.31。如这些评测所表明的，VAE与PROVAE 200A之间在性能方面没有显著差异。此外，如损失值所表明的，VAE和PROVAE 200A可操作以将图像数据500正确地标识和处理为分布内数据并且在手写数字的范围内。
在其他示例评测中，基于其中图像数据500（图5A）被扰动数据所扰动的输入数据的被扰动的样本来评估VAE和PROVAE 200A。在这点上，当关于攻击数据的这些对抗式示例将VAE与PROVAE 200A进行比较时，则突出显示了PROVAE 200A与VAE相比时的优点。更具体地，当对抗式示例502作为输入数据被呈现给VAE时，则损失被表示为L = −113.97。也就是说，在这种情况下，因为L = −113.97，因此VAE由于扰动数据的攻击而错误地将该对抗式示例502解释为分布外数据（例如，不在手写数字的范围内），即使该对抗式示例502确实包括手写数字的图像数据500。相比之下，当对抗式示例504作为输入数据被呈现给具有ϵtrain =0.01的PROVAE 200A时，则损失被表示为L = −59.08，由此PROVAE 200A正确地将该对抗式示例504标识并处理为分布内数据（例如，在手写数字的范围内），从而与VAE相比展现出鲁棒性。作为另一个比较，当对抗式示例506作为输入数据被呈现给具有ϵtrain = 0.1的PROVAE时，则损失被表示为L = −50.06，由此PROVAE 200A正确地将该对抗式示例504标识并处理为分布内数据（例如，在手写数字的范围内），从而与VAE相比展现出鲁棒性。此外，图6A和图6B中也图示了PROVAE 200A的益处，其包括VAE与PROVAE 200A的比较。
图6A和6B图示了具有对抗式攻击（例如，对于
Figure DEST_PATH_IMAGE080
，半径为ϵattack的ℓ ∞ 球中的PGD攻击）对损失的影响的图形表示的图解，如针对利用ϵtrain的不同值训练的分类器、由ELBO L所表示的那样。图6A图示了基于第一数据集（例如，来自MNIST数据库的样本图像）的图解600，而图6B图示了基于第二数据集（例如，来自加拿大高级研究所（CIFAR10）数据库的样本图像）的图解610。在图6A中，VAE表示602对应于基于第一数据集的ϵtrain = 0。在图6B中，VAE表示612对应于基于第二数据集的ϵtrain = 0。VAE表示602和612中的每一个清楚地图示了针对非鲁棒分类器的损失L的快速衰减、以及训练可证明鲁棒的分类器如何以在未被干扰的数据（其中ϵattack = 0）上的L的较低值为代价来减轻这种衰减。此外，为了比较，图6A和6B分别图示了基于第一数据集和第二数据集的proVAE（ϵtrain = 0.01）表示604和614。而且，为了比较，图6A和6B分别图示了基于第一数据集和第二数据集的proVAE（ϵtrain =0.10）表示606和616。因此，如图6A和6B中所示，与VAE表示602和612相比，proVAE表示604、606、614和616中的每一个对于增加的ϵattack而言表现得更好。
如本文中所描述，实施例包括许多有利的特征和益处。例如，这些实施例涉及训练和生成可证明鲁棒的生成模型，该模型基于定义对似然性的变分下边界（即，ELBO）的鲁棒下边界，并且优化这些下边界来训练可证明鲁棒的生成模型。这些实施例在生成模型的域中引入了针对对抗式攻击（即，分布外攻击）的可证明的防御，其中，该模型的分布内的样本被扰动以降低其似然性。
此外，图6A-6B证实了这种可证明的防御的有效性，并且引入了与模型鲁棒性相关联的其他权衡。例如，图6A-6B示出了：与尚未经由图4的训练过程被鲁棒地训练的VAE相比，PROVAE 200a提供了针对对抗式攻击的更好的防御（例如，通过随着ϵ train 增加在更高的ϵ attack 值下展现出更高的对数似然性）。此外，本公开中的教导可扩展到涉及创建针对进入分布攻击（into-distribution attack）的防御的改进方向，其中对抗式攻击可以扰动分布外的样本（
Figure 579870DEST_PATH_IMAGE081
），以使其看起来好像它来自于分布（x∈D）。
而且，实施例在提供对与机器学习系统（例如，深度生成模型）对对抗式攻击的易受性相关联的技术问题的技术解决方案方面是有利的。已经已知这些对抗式攻击会引起对输入数据的难以察觉的改变，这可能会导致似然函数中的剧烈改变，从而提供不正确的输出数据。在解决该技术问题时，如本文中所公开的实施例提供了可证明鲁棒的生成模型，其中对机器学习系统的输入的这些小改变（例如，扰动）不会引起机器学习系统的似然函数中的剧烈改变。因此，如上所讨论，本文中描述的实施例在向生成模型提供对对抗式攻击的防御解决方案方面是有利的。
也就是说，以上描述意图是说明性的，而不是限制性的，并且是在特定应用及其要求的情境中提供的。本领域技术人员可以从前述描述中领会到，本发明可以以各种形式来实现，并且各种实施例可以单独或组合地实现。因此，虽然已经结合本发明的特定示例描述了本发明的实施例，但是在不脱离所描述的实施例的精神和范围的情况下，本文中定义的一般原理可以应用于其他实施例和应用，并且本发明的实施例和/或方法的真实范围不限于所示出和描述的实施例，这是因为在研究附图、说明书和以下权利要求之后，各种修改对于本领域技术人员将变得明显。例如，组件和功能可以以与各种所描述的实施例的方式不同的方式被分离或组合，并且可以使用不同的术语来描述。这些和其他变型、修改、添加和改进可以落在如以下权利要求中限定的本公开的范围内。

Claims (20)

1.一种用于将机器学习系统训练成对扰动鲁棒的计算机实现方法，所述方法包括：
获得输入数据，所述输入数据包括传感器数据和可容许扰动的ℓ p 范数球的半径；
基于所述输入数据来生成输入边界数据；
通过在编码器网络的第一输出上传播所述输入边界数据来生成第一边界数据；
通过在编码器网络的第二输出上传播所述输入边界数据来生成第二边界数据；
基于第一和第二边界数据来生成与隐变量相关联的第三边界数据；
通过在解码器网络的输出上传播第三边界数据来生成第四边界数据；
通过基于第一边界数据、第二边界数据、第三边界数据和第四边界数据来生成证据下边界（ELBO）的下边界从而关于所述输入数据来建立鲁棒性凭证；以及
基于所述鲁棒性凭证来更新所述编码器网络和所述解码器网络，使得包括所述编码器网络和所述解码器网络的所述机器学习系统在针对可容许扰动进行防御方面是鲁棒的。
2.根据权利要求1所述的计算机实现方法，其中：
所述ELBO包括条件对数似然函数；以及
更新所述编码器网络和所述解码器网络的步骤包括优化所述ELBO的下边界。
3.根据权利要求1所述的计算机实现方法，其中更新所述编码器网络和所述解码器网络的步骤包括：
基于所述ELBO的下边界来更新所述编码器网络和所述解码器网络的参数，以使所述ELBO的下边界最大化。
4.根据权利要求1所述的计算机实现方法，其中：
所述机器学习系统包括变分自编码器，所述变分自编码器包括所述编码器网络和所述解码器网络；以及
隐变量与所述变分自编码器相关联。
5.根据权利要求1所述的计算机实现方法，其中：
所述编码器网络包括用于产生所述编码器网络的第一输出的第一编码组件和用于产生所述编码器网络的第二输出的第二编码组件；
生成第一边界数据的步骤包括生成第一编码组件的第一上边界数据和第一下边界数据；以及
生成第二边界数据的步骤包括生成第二编码组件的第二上边界数据和第二下边界数据。
6.根据权利要求1所述的计算机实现方法，其中所述鲁棒性凭证生成所述ELBO的下边界，以确保对于满足
Figure 351620DEST_PATH_IMAGE002
的所有δ，
Figure 862236DEST_PATH_IMAGE004
，其中
x表示传感器数据，
δ表示扰动数据，
L(x+δ)表示基于被扰动数据所扰动的传感器数据的ELBO，
Figure DEST_PATH_IMAGE005
表示所述ELBO的下边界，以及
ϵ train 表示可容许扰动的ℓ p 范数球的半径。
7.根据权利要求1所述的计算机实现方法，其中：
所述输入边界数据包括所述输入数据的上边界数据和下边界数据；
第一边界数据包括所述编码器网络的第一编码组件的第一输出的第一上边界数据和第一下边界数据；
第二边界数据包括所述编码器网络的第二编码组件的第二输出的第二上边界数据和第二下边界数据；
第三边界数据包括与隐变量相关联的第三上边界数据和第三下边界数据；以及
第四边界数据包括所述解码器网络的输出的第四上边界数据和第四下边界数据。
8.一种系统，包括：
致动器；
传感器系统，其包括至少一个传感器；
非暂时性计算机可读介质，其存储具有编码器网络和解码器网络的机器学习系统，所述编码器网络和解码器网络是基于形成所述机器学习系统的损失函数的下边界的鲁棒性凭证来训练的；以及
控制系统，其基于与所述传感器系统和所述机器学习系统的通信来控制所述致动器，所述控制系统包括至少一个电子处理器，所述电子处理器可操作以：
获得输入数据，所述输入数据包括来自所述传感器系统的传感器数据和来自干扰的扰动数据，其中所述传感器数据被所述扰动数据所扰动；
经由所述机器学习系统来处理所述输入数据；以及
经由所述机器学习系统来生成输出数据，其中所述输出数据是所述传感器数据的重建，所述输出数据与未被所述扰动数据所扰动的似然性相关联；
其中：
所述传感器数据和所述输出数据是分布内数据，所述分布内数据对应于与所述机器学习系统相关联的模型分布；以及
即使所述扰动数据被构造成使所述机器学习系统将所述输入数据标识和处理为在模型分布之外的分布外数据，所述机器学习系统也将所述输入数据标识和处理为在分布内数据的范围内。
9.根据权利要求8所述的系统，其中：
所述控制系统可操作以在对所述输出数据进行分类后生成分类数据；
所述控制系统可操作以基于所述分类数据来生成对所述致动器的控制数据；以及
所述致动器响应于所述控制数据来执行动作。
10.根据权利要求8所述的系统，其中所述机器学习系统包括变分自编码器，所述变分自编码器被训练成对扰动是鲁棒的，并且包括所述编码器网络和所述解码器网络。
11.根据权利要求10所述的系统，其中，在与所述控制系统的通信之前，通过训练过程来训练所述变分自编码器，所述训练过程包括：
基于训练数据来生成输入边界数据，所述训练数据包括其他传感器数据和可容许扰动的ℓ p 范数球的半径；
通过在编码器网络的第一输出上传播所述输入边界数据来生成第一边界数据；
通过在编码器网络的第二输出上传播所述输入边界数据来生成第二边界数据；
基于第一和第二边界数据来生成与隐变量相关联的第三边界数据；
通过在解码器网络的输出上传播第三边界数据来生成第四边界数据；
通过基于第一边界数据、第二边界数据、第三边界数据和第四边界数据来生成证据下边界（ELBO）的下边界从而关于所述训练数据来建立所述鲁棒性凭证；以及
基于所述鲁棒性凭证来更新所述编码器网络和所述解码器网络，使得所述机器学习系统在针对可容许扰动进行防御方面是鲁棒的。
12.根据权利要求11所述的系统，其中所述机器学习系统被训练成使得更新所述编码器网络和所述解码器网络的步骤包括：
基于所述ELBO的下边界来更新所述编码器网络和所述解码器网络的参数，以使所述ELBO的下边界最大化。
13.根据权利要求11所述的系统，其中所述机器学习系统被训练成使得所述鲁棒性凭证生成所述ELBO的下边界，以确保对于满足
Figure 438711DEST_PATH_IMAGE002
的所有δ，
Figure 302761DEST_PATH_IMAGE006
，
其中
x表示传感器数据，
δ表示扰动数据，
L(x+δ)表示基于被扰动数据所扰动的传感器数据的ELBO，
Figure 710609DEST_PATH_IMAGE005
表示所述ELBO的下边界，以及
ϵ train 表示可容许扰动的ℓ p 范数球的半径。
14.根据权利要求11所述的系统，其中：
所述输入边界数据包括所述训练数据的上边界数据和下边界数据；
第一边界数据包括所述编码器网络的第一编码组件的输出的第一上边界数据和第一下边界数据；
第二边界数据包括所述编码器网络的第二编码组件的输出的第二上边界数据和第二下边界数据；
第三边界数据包括与隐变量相关联的第三上边界数据和第三下边界数据；以及
第四边界数据包括所述解码器网络的输出的第四上边界数据和第四下边界数据。
15.一种至少包括计算机可读数据的非暂时性计算机可读介质，当由电子处理器执行时，所述计算机可读数据可操作以实现用于将机器学习系统训练成对扰动鲁棒的方法，所述方法包括：
获得输入数据，所述输入数据包括传感器数据和可容许扰动的ℓ p 范数球的半径；
基于所述输入数据来生成输入边界数据；
通过在编码器网络的第一输出上传播所述输入边界数据来生成第一边界数据；
通过在编码器网络的第二输出上传播所述输入边界数据来生成第二边界数据；
基于第一和第二边界数据来生成与隐变量相关联的第三边界数据；
通过在解码器网络的输出上传播第三边界数据来生成第四边界数据；
通过基于第一边界数据、第二边界数据、第三边界数据和第四边界数据来生成证据下边界（ELBO）的下边界从而关于所述输入数据来建立鲁棒性凭证；以及
基于所述鲁棒性凭证来更新所述编码器网络和所述解码器网络，使得包括所述编码器网络和所述解码器网络的所述机器学习系统在针对可容许扰动进行防御方面是鲁棒的。
16.根据权利要求15所述的非暂时性计算机可读介质，其中：
所述ELBO包括条件对数似然函数；以及
更新所述编码器网络和所述解码器网络的步骤包括优化所述ELBO的下边界。
17.根据权利要求15所述的非暂时性计算机可读介质，其中更新所述编码器网络和所述解码器网络的步骤包括：
基于所述ELBO的下边界来更新所述编码器网络和所述解码器网络的参数，以使所述ELBO的下边界最大化。
18.根据权利要求15所述的非暂时性计算机可读介质，其中：
所述机器学习系统包括变分自编码器，所述变分自编码器包括所述编码器网络和所述解码器网络；以及
隐变量与所述变分自编码器相关联。
19.根据权利要求15所述的非暂时性计算机可读介质，其中：
编码器网络包括第一编码组件和第二编码组件；
生成第一边界数据的步骤包括生成第一编码组件的第一输出的第一上边界数据和第一下边界数据；以及
生成第二边界数据的步骤包括生成第二编码组件的第二输出的第二上边界数据和第二下边界数据。
20.根据权利要求15所述的非暂时性计算机可读介质，其中所述鲁棒性凭证生成所述ELBO的下边界，以确保对于满足
Figure 1913DEST_PATH_IMAGE002
的所有δ，
Figure 862422DEST_PATH_IMAGE006
，
其中
x表示传感器数据，
δ表示扰动数据，
L(x+δ)表示基于被扰动数据所扰动的传感器数据的ELBO，
Figure 530163DEST_PATH_IMAGE005
表示所述ELBO的下边界，以及
ϵ train 表示可容许扰动的ℓ p 范数球的半径。
CN202080075163.XA 2019-10-28 2020-10-20 具有鲁棒深度生成模型的系统和方法 Pending CN114586046A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/665,110 US11657290B2 (en) 2019-10-28 2019-10-28 System and method with a robust deep generative model
US16/665110 2019-10-28
PCT/EP2020/079457 WO2021083731A1 (en) 2019-10-28 2020-10-20 System and method with a robust deep generative model

Publications (1)

Publication Number Publication Date
CN114586046A true CN114586046A (zh) 2022-06-03

Family

ID=73020178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080075163.XA Pending CN114586046A (zh) 2019-10-28 2020-10-20 具有鲁棒深度生成模型的系统和方法

Country Status (6)

Country Link
US (1) US11657290B2 (zh)
JP (1) JP7295338B2 (zh)
KR (1) KR20220083833A (zh)
CN (1) CN114586046A (zh)
DE (1) DE112020003343T5 (zh)
WO (1) WO2021083731A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201718756D0 (en) * 2017-11-13 2017-12-27 Cambridge Bio-Augmentation Systems Ltd Neural interface
US10846407B1 (en) * 2020-02-11 2020-11-24 Calypso Ai Corp Machine learning model robustness characterization
US11978258B2 (en) 2021-04-06 2024-05-07 Nvidia Corporation Techniques for identification of out-of-distribution input data in neural networks

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150096057A1 (en) * 2013-09-30 2015-04-02 Sonic Ip, Inc. Device Robustness Framework
US11422546B2 (en) * 2014-12-19 2022-08-23 Raytheon Technologies Corporation Multi-modal sensor data fusion for perception systems
US20160364553A1 (en) * 2015-06-09 2016-12-15 Intel Corporation System, Apparatus And Method For Providing Protected Content In An Internet Of Things (IOT) Network
US10270591B2 (en) * 2015-06-30 2019-04-23 Activevideo Networks, Inc. Remotely managed trusted execution environment for digital-rights management in a distributed network with thin clients
US20200004933A1 (en) * 2015-07-10 2020-01-02 Inside Secure Method and apparatus for a blackbox programming system permitting downloadable applications and multiple security profiles providing hardware separation of services in hardware constrained devices
US10410113B2 (en) * 2016-01-14 2019-09-10 Preferred Networks, Inc. Time series data adaptation and sensor fusion systems, methods, and apparatus
US10169486B2 (en) * 2017-02-10 2019-01-01 Johnson Controls Technology Company Building management system with timeseries processing
WO2019082166A1 (en) * 2017-10-26 2019-05-02 Uber Technologies, Inc. PROPAGATION AND UNCERTAIN UNCERTAINTY
US10324467B1 (en) * 2017-12-29 2019-06-18 Apex Artificial Intelligence Industries, Inc. Controller systems and methods of limiting the operation of neural networks to be within one or more conditions
US10906536B2 (en) * 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US11204921B2 (en) * 2018-06-01 2021-12-21 Sap Se Robustness metrics for optimization of query execution plans
WO2020140049A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11625487B2 (en) * 2019-01-24 2023-04-11 International Business Machines Corporation Framework for certifying a lower bound on a robustness level of convolutional neural networks
US11164085B2 (en) * 2019-04-25 2021-11-02 Booz Allen Hamilton Inc. System and method for training a neural network system
US11499812B2 (en) * 2019-07-01 2022-11-15 Pony Ai Inc. Systems and methods for using piezoelectric sensors to detect alignment anomaly
US11605028B2 (en) * 2019-08-26 2023-03-14 International Business Machines Corporation Methods and systems for sequential model inference
US11374952B1 (en) * 2019-09-27 2022-06-28 Amazon Technologies, Inc. Detecting anomalous events using autoencoders

Also Published As

Publication number Publication date
US11657290B2 (en) 2023-05-23
JP2023501198A (ja) 2023-01-18
DE112020003343T5 (de) 2022-04-14
KR20220083833A (ko) 2022-06-20
WO2021083731A1 (en) 2021-05-06
JP7295338B2 (ja) 2023-06-20
US20210125107A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
CN110222831B (zh) 深度学习模型的鲁棒性评估方法、装置及存储介质
Yinka-Banjo et al. A review of generative adversarial networks and its application in cybersecurity
US11676025B2 (en) Method, apparatus and computer program for generating robust automatic learning systems and testing trained automatic learning systems
CN114586046A (zh) 具有鲁棒深度生成模型的系统和方法
US11995155B2 (en) Adversarial image generation method, computer device, and computer-readable storage medium
CN112541520A (zh) 用于为神经网络生成反事实数据样本的设备和方法
CN112733875A (zh) 用于在生成网络中生成合成数据的设备和方法
Zeng et al. Pixel modeling using histograms based on fuzzy partitions for dynamic background subtraction
Arora et al. An enhanced spatial intuitionistic fuzzy c-means clustering for image segmentation
DE102021207269A1 (de) Verfahren und system zum erlernen von perturbationsmengen beim maschinenlernen
Kwon et al. Restricted evasion attack: Generation of restricted-area adversarial example
CN113742723A (zh) 利用深度生成模型检测恶意软件
CN112673384A (zh) 用于训练扩增鉴别器的设备和方法
Lu et al. Dance: Enhancing saliency maps using decoys
TW202105261A (zh) 用於訓練神經網路的方法
CN113569611A (zh) 图像处理方法、装置、计算机设备和存储介质
JP2023118101A (ja) 機械学習システムに対する敵対的パッチを特定するための装置及び方法
CN115880530A (zh) 对抗攻击的检测方法和系统
US20220101116A1 (en) Method and system for probably robust classification with detection of adversarial examples
Alfadly et al. Analytical moment regularizer for gaussian robust networks
CN113302630A (zh) 改进针对“对抗示例”的鲁棒性的设备和方法
Hollósi et al. Capsule Network based 3D Object Orientation Estimation
Anderson et al. An overview and prospective outlook on robust training and certification of machine learning models
US20220230416A1 (en) Training of machine learning systems for image processing
Qiu et al. Image Restoration Based on Improved Patch Clustering in Gaussian Mixture Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination