CN117425902A - 减轻对于模型的同时预测和优化的对抗性攻击 - Google Patents
减轻对于模型的同时预测和优化的对抗性攻击 Download PDFInfo
- Publication number
- CN117425902A CN117425902A CN202280039346.5A CN202280039346A CN117425902A CN 117425902 A CN117425902 A CN 117425902A CN 202280039346 A CN202280039346 A CN 202280039346A CN 117425902 A CN117425902 A CN 117425902A
- Authority
- CN
- China
- Prior art keywords
- training
- program instructions
- computer
- distance
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 64
- 230000000116 mitigating effect Effects 0.000 title description 7
- 238000012549 training Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000010801 machine learning Methods 0.000 claims abstract description 43
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 119
- 230000009471 action Effects 0.000 claims description 110
- 238000012360 testing method Methods 0.000 claims description 53
- 238000003860 storage Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 28
- 238000004458 analytical method Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000002085 persistent effect Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 231100000572 poisoning Toxicity 0.000 description 3
- 230000000607 poisoning effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008407 joint function Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
公开了一种用于提供对抗性机器学习模型的预测和优化的方法。所述方法可以包括用于确定最优量的对抗性训练的防卫者的训练方法，所述最优量的对抗性训练将防止任务优化模型采取由来自到同时预测和优化框架中的模型的输入的对抗性攻击引起的错误决策。本质上，该方法将经由对抗性训练来训练鲁棒模型。基于鲁棒训练模型，用户可以通过(基于任务的优化模型中的对抗性噪声)基于来自由输入产生的机器学习预测的给定输入来减轻潜在威胁。
Description
背景技术
本发明总体上涉及机器学习，并且更具体地涉及利用对抗性训练来进行任务优化。
现今，许多机器学习模型被集成在更大系统的环境中，作为用于决策制定的关键组件的一部分。在许多应用中，存在一些不确定的参数，这些参数需要经由一些机器学习(ML)模型来预测。这些预测随后被馈送到一些任务优化模型中，该任务优化模型推荐需要采取的最优动作，以便使一些效用最大化/使一些成本最小化。具体地，模型的结果被用作向优化过程的输入，以使一些定义的成本函数最小化。
最近，网络攻击已经增加，其中一种这样的攻击是对手通过修改ML旨在被应用到的样本来规避ML模型。例如，图像分类器可以在它们经受由于对输入数据或模型的一些对抗性攻击而引起的一些扰动时错误分类图像。
发明内容
本发明的各方面公开了用于提供对抗性机器学习模型的预测和优化的计算机实现的方法、计算机系统和计算机程序产品。计算机实现的方法可以由一个或多个计算机处理器实现并且可以包括：接收与训练模型相关联的输入数据的集合，其中，输入数据包括训练数据集、测试数据集、任务定义的成本函数、可能的动作范围、历史数据集和预训练模型权重；基于威胁假设和所述可能的动作范围，从所述测试数据集中确定测试最优动作值；基于所述训练数据集的输出特征和所述可能的动作范围，从所述训练数据集中确定训练最优动作值；计算所述测试最优动作值与所述训练最优动作值之间的第一距离；基于所述历史数据集计算预测损失函数；计算所述可能的动作范围与所述训练最优动作值之间的第二距离；基于所述可能的动作范围和来自所述测试数据集的所述输出预测计算所述任务定义的成本函数；基于所述第一距离、所述预测损失函数、所述第二距离和所述任务定义的成本函数计算总损失；计算所述总损失函数的梯度；对与所述训练模型相关联的一个或多个参数执行反向传播；确定是否收敛已经发生；以及响应于所述收敛已经发生，输出所述最优动作、最优学习模型参数和最优任务定义的目标函数。
根据本发明的另一实施例，提供了一种计算机系统。该计算机系统包括处理单元；以及耦合到该处理单元并在其上存储指令的存储器。当该指令被处理单元执行时，执行根据本发明的实施例的方法的动作。
根据本发明的又一实施例，提供了一种有形地存储在非瞬态机器可读介质上并包括机器可执行指令的计算机程序产品。当在设备上执行时，该指令使得该设备执行根据本发明的实施例的方法的动作。
附图说明
现在将参考以下附图仅通过示例的方式来描述本发明的优选实施例，在附图中：
图1是示出了根据本发明的实施例的指定为100的对抗性训练环境的功能框图；
图2A、图2B、图2C和图2D包括指定为200的流程图，该流程图示出了根据本发明的实施例的机器学习中的现有的当前技术的附加组件，尤其是与减轻对抗性攻击相关联的优化和预测模型；
图3是示出了根据本发明的实施例的指定为300的对抗性组件111的操作的高级流程图；以及
图4描绘了根据本发明的实施例的能够在图1的对抗性训练环境中执行对抗性组件111的服务器计算机的组件的指定为400的框图。
具体实施方式
对抗性机器学习是一种试图通过向学习模型提供“欺骗性”(例如，伪装等)输入来欺骗学习模型的机器学习技术。最常见的原因是引起ML(机器学习)模型中的故障。示出了网络攻击(利用对抗性机器学习)的一个示例包括机场安全应用，其中，该系统通过ML模型来预测哪些行李更可能需要进行进一步检查，并且然后经由一些优化模型根据该预测来分配受约束的检查资源。对手可以向一些行李打印对抗性补丁，以使ML模型错误分类这些行李，然后引导优化模型对要更彻底地检查哪些行李(例如，检查或根本不检查、检查一些等)以及为该检查分配多少资源(例如，要派多少员工或者警犬等)做出错误决策。
本发明的实施例认识到在当前技术水平下的缺陷，并提供用于解决这些缺陷的方法。一种方法可以包括用于防卫者的训练方法，该方法确定最优量的对抗性训练，该最优量的对抗性训练将防止任务优化模型采取由来自同时预测和优化框架中的到模型中的输入的对抗性攻击引起的错误决策。本质上，该方法将经由对抗性训练来训练鲁棒模型。基于鲁棒训练模型，用户可以通过(基于任务的优化模型中的对抗性噪声)基于来自机器学习预测的由输入产生的给定输入来减轻潜在威胁。
该方法可以通过以下一般步骤来概述：(i)由计算设备使用训练数据集来预训练机器学习模型；(ii)由计算设备发现用于可能中毒的机器学习模型的对抗性训练的一个或多个对抗性训练示例；(iii)由计算设备发现用于机器学习模型的一个或多个非中毒训练示例；(iv)由计算设备计算所发现的一个或多个对抗性训练示例与所发现的一个或多个非中毒训练示例之间的差异向量；以及(v)由计算设备提供差异向量中的进一步训练数据以用于机器学习模型的进一步训练。
许多机器学习模型被集成在更大系统的环境中，作为用于决策制定的关键组件的一部分。因此，模型的结果被用作向优化过程的输入，以最小化一些定义的成本函数。传统上讲，在用户首先构建预测模型、然后使用模型的输出来单独地基于预测生成决策值的情况下，这样的任务被独立地完成。实施例考虑了端到端过程中的预测模型和优化函数的联合优化，而不是两个独立的组件。
将描述问题陈述，因为其属于当前技术水平。问题陈述：考虑机器学习模型，其具有以下符号：F(X)＝Pr(Y|X；θ)＝Y。在针对一些定义的动作的更大的任务优化过程中使用该机器学习模型。该过程基于机器学习模型的预测做出决策Z(所采取的动作)，并且进一步引起由G(Y，Z)定义的一些成本。
问题是，“如何学习适当的模型(即，预测)，以便该过程可以做出引起最小成本的决策？(即，优化)”形式上，这可以定义如下： 传统上讲，主要的焦点只集中在预测上，并且希望预测足够好，使得优化可以识别最优任务动作(即，这将假定准确的预测将导致最优任务优化动作)。换言之，用户单独地和顺序地解决预测和优化这两个问题。然而，在同时预测和优化框架中，本发明的实施例可以联合地执行这两个优化。
另一示例，示出了涉及由卫星对图像识别的优化的对抗性攻击。考虑其中卫星被部署来执行监视和对潜在威胁起作用的场景。由于手边的任务的大规模，通常使用对在地面上看到的事物进行分类的机器学习模型。在该分类器之上，执行对部署力和作用于潜在威胁的优化。对手可以向设施、车辆或物体的屋顶添加对抗性补丁，以避免从卫星图像检测，从而对不会意识到威胁的防卫者导致不期望的结果。
在又一示例中，示出了涉及预报供应链逻辑场中的需求和优化的对抗性攻击。在关键产品(即，武器、飞机零件、医疗设备)的库存运输和储备的供应链优化中，用户建立用于预测给定关键产品的需求的预测模型，并且任务优化优化各种物流优化决策，诸如要运输什么部分、要运输的每个产品的最优数量和购买这些产品中的一些的价格。在此，对抗性可以想要通过使该模型不正确地预报产品需求来中断供应链操作的物流操作，从而使得将做出最不优化的决策。对手可以拦截错误噪声且将错误噪声注入到预测模型可以用来生成预报的数据流中，这导致不正确预报且因此导致次优决策。这种次优或不正确决策的结果可以导致企业损失数十亿美元，并影响依赖于该关键产品的其他主要行业。
本发明的其他实施例可以认识到以下事实、潜在问题、潜在场景和/或潜在领域中一个或多个，以用于针对当前技术水平的改进：i)引入经由针对同时预测和优化模型的对抗性训练来联合地训练鲁棒模型的方法，以及(ii)在给定来自机器学习预测的由潜在受对手干扰的输入产生的输入的情况下，提供关于如何减轻在基于任务的优化模型中由对抗性噪声造成的潜在威胁的计划。
说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表示所描述的实施例可以包括指定的特征、结构或特性，但是每个实施例可能不一定包括指定的特征、结构或特性。此外，这样的短语不一定指相同的实施例。进一步，当结合实施例描述指定特征、结构或特性时，认为结合其他实施例影响这样的特征、结构或特性在本领域技术人员的知识范围中，无论是否明确描述。
应当理解，附图仅是示意性的并且不是按比例绘制的。还应当理解，在整个附图中使用相同的附图标记来表示相同或相似的组件。
图1是示出了根据本发明的实施例的指定为100的对抗性训练环境的功能框图。图1仅提供对一个实现方式的说明并且不暗示对关于其中可以实现不同实施例的环境的任何限制。在不脱离权利要求所述的本发明的范围的情况下，本领域技术人员可以对所描绘的环境做出许多修改。
对抗性训练环境100包括产品网络101、客户端计算设备102、目标对象104和服务器110。
网络101可以是例如电信网络、局域网(LAN)、广域网(WAN)(诸如因特网)或三者的组合，并且可以包括有线、无线或光纤连接。网络101可以包括能够接收和发送数据、语音和/或视频信号(包括包含语音、数据和视频信息的多媒体信号)的一个或多个有线和/或无线网络。一般而言，网络101可以是能够支持服务器110与对抗性训练环境100中的其他计算设备(未示出)之间的通信的连接和协议的任何组合。应当注意，其他计算设备可以包含但不限于能够执行一系列计算指令的任何机电设备。
客户端计算设备102是可以是机器学习服务器或向机器学习服务器提供GUI(图形用户界面)(即，接受来自用户的命令/指令)的计算设备。
服务器110和客户端计算设备102可以是独立的计算设备、管理服务器、web服务器、移动计算设备、或能够接收、传送、和处理数据的任何其他电子设备或计算系统。在其他实施例中，服务器110和客户端计算设备102可以表示诸如在云计算环境中利用多个计算机作为服务器系统的服务器计算系统。在另一实施例中，服务器110和客户端计算设备102可以是膝上型计算机、平板计算机、上网本计算机、个人计算机(PC)、桌上型计算机、个人数字助理(PDA)、智能电话、或能够经由网络101在对抗性训练环境100中与其他计算设备(未示出)通信的任何其他可编程电子设备。在另一实施例中，服务器110和客户端计算设备102表示当在对抗性训练环境100中被访问时利用充当单个无缝资源池的集群计算机和组件(例如，数据库服务器计算机、应用服务器计算机等)的计算系统。
本发明的实施例可以驻留在服务器110上或客户端计算设备102上。服务器110包括对抗性组件111和数据库116。
对抗性组件111提供为防卫者提供训练方法的能力，该训练方法确定将防止任务优化模型采取错误决策(即，由来自到同时预测和优化框架中的模型中的输入的对抗性攻击引起的错误决策)的最优量的对抗性训练对抗性组件111包含子组件：输入和输出组件121、假设组件122、威胁模型组件123和分析组件124。
数据库116是用于对抗性组件111所使用的数据的储存库。数据库116可以用能够存储可以由服务器110访问和利用的数据和配置文件的任何类型的存储设备来实现，诸如数据库服务器、硬盘驱动器或闪存。数据库116使用本领域已知的多种技术中的一种或多种来存储多种信息。在所描绘的实施例中，数据库116驻留在服务器110上。在另一实施例中，数据库116可以驻留在对抗性训练环境100中的其他地方，只要对抗性组件111具有对数据库116的访问权。数据库116可以存储与以下各项但不限于以下相关联的信息：收敛/终止标准、(防卫者和/或对手的)威胁模型假设、训练数据集、测试数据集、任务定义的成本函数、动作范围、最优动作、最优任务定义的目标函数、最优学习模型参数、与机器学习模型相关联的变量、预训练模型和模型预测相关联的信息。
如下文进一步描述的，本发明的输入和输出组件121提供了在模型涉及预测和任务优化时管理与训练模型相关联的输入(数据)和输出(数据)的能力。
输入可以与引入的数据相关。数据相关的输入(来自训练集)可以被指定为训练数据集。训练数据集具有以下公式， 其中，X＝输入特征，Y＝输出特征，Z＝动作值，并且n＝训练数据集中的样本的总数。与数学函数和/或数据集相关的其他命名法列出如下：测试数据集：/>任务定义的成本函数＝g(z,y)；以及可能的动作范围/>应当注意，任务定义的成本函数不被设置为永久的并且其取决于用户的目标。
与输出相关的数据列出如下：最优动作＝Z*；最优任务定义的目标函数＝g*(Z*,Y)；以及最优学习模型参数＝θ*。
如下文进一步描述的，本发明的假设组件122提供管理(一个或多个)目标假设和(一个或多个)目标函数的能力。目标假设可以被定义为为优化目标函数而做出的假设。当其涉及机器学习模型时，做出以下假设：(i)机器学习模型，y～Pr(y|x,z；θ),可微分，(ii)联合加权成本函数相对于输入是可微分的，(iii)假设任务优化函数是相对于输入x和动作值z的线性函数。只要x和z是连续的，函数就是可微分的，并且(iv)任务优化约束相对于x和z也是线性的。给定上述假设，用户可以使用随机梯度下降或任何其他数学运算来优化目标函数。
目标函数是用户希望最小化或最大化的函数，因为其涉及优化任务和预测损失。例如，给定输入Xtest，该输入可以或可以不被对手使用一些噪声δA来干扰，用户可以从机器学习模型生成预测以产生用于找到最优动作z*，z*将最小化任务约束目标成本函数g(z,y)。最小化或最大化函数，用户可以利用任何现有的数学运算。对于这个示例，“argmin”用于最小化以上关于特定动作z的目标函数：
为了训练联合考虑机器学习预测损失函数和任务约束优化函数两者的模型，用户可以定义以下联合加权成本函数，像这样的：
其中，是预测损失函数，/>是预测损失函数的权重，以及/>是为任务定义的成本函数定义的权重函数，/>是相对于/>与/>之间的距离的递增函数，以及/>是相对于/>与之间的距离的递减函数。用户随后可以使用上述成本函数作为对预测损失和任务约束损失函数两者进行优化(即，减轻在基于任务的优化模型中由对抗性噪声造成的威胁)的目标。
如下文进一步描述的，本发明的威胁模型组件123提供管理威胁模型假设和目标的能力。威胁模型假设和目标可以与(i)对手和(ii)防卫者相关。
在对抗性情形中，用户可以考虑针对性的攻击场景，其中对手想要在给定特定输入的情况下触发某些动作。对手的目标被定义为：其中zA是针对性的动作并且zA≠z*。
对手的目标是在尽可能使用最小量的扰动噪声时，使基于针对性的对抗性输入和真实值计算的加权成本函数的差值最大化。训练数据集是干净的并且在任何点都不会改变。对手具有以下的白盒访问(即，全知识)：(i)模型参数(θ)，(ii)任务优化函数[g(z,y)]，(iii)联合加权成本函数以及(iv)训练数据集。然而，对手可以仅通过由一些δA(即，对抗性噪声)干扰输入来改变Xtest。
在防卫者情形中，用户可以考虑有针对性的防卫场景，其中防卫者针对特定对抗性输入进行过滤。例如，防卫者的目标被定义为：
防卫者的目标是训练鲁棒模型，使得加权成本函数与寻找最佳动作值有关，同时减轻来自在推断时间期间引入的扰动噪声的潜在对抗性攻击。用户可以在这里假设y不取决于z，并且还知道y将向用户提供到最优动作z*的映射。换言之，知道预测模型的结果将为用户提供最优动作。
当防卫者从数据的真实分布采样时，用户将知道预测y的真实标记，用户可以使用该真实标记来找到针对到任务约束成本函数中的那个输入的最优动作。
用户可以查看不会导致z*的所有可能的标签值。用户将基于标签使可能的损失最大化。给定z*，用户可以找到δD并且重新训练模型以找到新的theta(θ)，并且利用新的引入的输入来重复过程。
如下文进一步描述的，本发明的分析组件124提供确定/分析/计算以下内容但不限于以下内容的能力：(a)损失函数，(b)数据集之间的距离，(c)任务定义的成本函数，(d)总损失，(e)梯度，(f)反向传播，以及(g)重复直到收敛。
分析组件124的其他功能可以包括但不限于：(i)确定最优z*test，(ii)使用ytrain确定最优z*test，(iii)计算来自步骤(i)与步骤(ii)的输出之间的距离，(iv)确定可能的动作范围，(v)计算关于历史数据的预测损失，(vi)计算与/>之间的距离，(vii)计算任务定义的成本函数/>(viii)针对每个不同的动作范围执行前馈推断，(ix)求解动作的最优集，(x)计算针对/>和/或/>的标量值的输出之间的差，(xi)计算/>与/>之间的和/或/>与/>(针对基于分布的值)之间的Wasserstein距离，(xii)利用与预测损失相对应的权重以及(xiii)利用与任务优化成本相对应的权重。
关于项(i)和(ii)，(参考分析组件124的其他功能的先前列表)，“确定最佳……”可以进一步被定义为最小化或最大化功能。例如，可以利用“argmin”或“argmax”。最优动作(由z*表示)是通过找到使任务成本函数g(z，y)相对于由Pr(y|x+δ_A)(即，用户的机器学习模型采取来自对抗性模型的输入)定义的y和选择动作值z(基于用户在该模型中尝试的某个动作范围)最小化的z值来定义的。
关于项(iii)、(x)和(xi)(参考分析组件124的其他功能的先前列表)，“计算……的距离”可以进一步被定义为利用任何已知的距离计算，诸如使用简单差、Wasserstein度量、Euclidean距离和余弦相似性。另一种计算方法如果用于基于标量的值，则要计算如下定义的输出之间的差：否则，如果计算用于基于分布的值，则使用要在与/>之间计算的Wasserstein距离。
关于项(v)(参考分析组件124的其他功能的先前列表)，“计算……的预测损失”可以进一步被定义为使用任何已知的方法来计算数学元素之间的简单差，诸如，使用均方误差和均方根误差。重要的是，应当注意，损失可以取决于正在执行的机器学习任务而变化。例如，关于分类，这可以是交叉熵损失，或者对于回归，这可以是先前已经定义的损失函数(即，
另一种计算方法如果用于基于标量的值，则要计算如下定义的输出之间的差：否则，如果计算用于基于分布的值，则使用要在/>与/>之间计算的Wasserstein距离。
关于项(vii)(参考分析组件124的其他功能的先前列表)，“计算任务定义的成本函数……”可以进一步被定义为用已知的计算方法计算给定的任务函数(即，g(z,y))。任务函数g(z,y)是用户定义的函数，其实是用户需要为该算法提供的输入的一部分。任务函数测量用户想要基于所提供的动作z的输入和来自机器学习模型输出的输入观察y来优化什么。
关于“计算总损失....”(参考分析组件124的功能的先前列表)，其可以进一步被定义为使用任何已知的方法来导出机器学习模型中的任何损失函数。例如，损失函数是加权的联合函数， 这是该模型用来优化以上模型以找到最佳的theta，θ，(即，该模型的参数)。
关于“计算梯度…”(参考分析组件124的功能的先前列表)，其可以进一步被定义为执行微分数学运算，该微分数学运算可以是梯度下降优化算法的一部分。该过程利用自动微分函数的使用，其基本上允许用户在不具有闭合形式函数的情况下近似一些任意函数的梯度。用于计算梯度的另一方法可以利用随机优化方法、一阶迭代优化算法(梯度下降)或梯度上升。
关于“重复直到收敛…”(参考分析组件124的功能的先前列表)，其可以进一步被定义为重复(即，循环)所有步骤直到已经满足允许该过程终止的终止标准。收敛/终止标准可以包括但不限于：(i)其中前一感兴趣度量与当前迭代中的相同感兴趣度量之间的差没有改变达由用户定义的一些阈值(或在其他情况下可以在值的窗口上对此进行评估)的过程，(ii)已经达到的轮次(epoch)(迭代)的数量(即，轮次阈值可以由用户定义和调整)，以及(iii)收敛分数达到一些用户定义的值。
图2A、图2B、图2C和图2D包括流程图，该流程图示出了根据本发明的实施例的用于机器学习中的现有当前技术的附加组件，尤其是与减轻对抗性攻击相关联的优化和预测模型。
在所描绘的实施例中，存在附加过程/框，包括：201、202、203、204、205、206、207、208、209、210、211和212。
框201是检索与针对最优动作概率(Ztrain)、特征输入(Xtrain)和特征输出(Ytrain)的预训练模型相关的数据集的过程。
框202是初始化动作值(z)的过程。框203是与使用测试分布的预测模型上的推断相关联的过程。框204是与估计最优动作概率(Z*test)相关联的过程。框205是与使用训练分布的预测模型上的推断相关联的过程。框206是与估计最优动作概率(Z*train)相关联的过程。框207是与计算任务约束函数权重)相关联的过程。框208是与计算预测损失函数/>相关联的过程。框209是与计算预测模型权重相关联的过程。框210是与计算任务定义的约束成本函数/>相关联的过程。框211是与基于任务优化计算加权模型预测损失相关联的过程。框212是与(经由SGD)更新预测模型参数相关联的过程。
本发明的实施例的高级步骤/过程(用于减轻对于同时优化和预测模型的对抗性攻击的系统)包括以下步骤：(i)在训练数据集上预训练模型，(ii)确定相对于测试集(x+δA)(假设输入可能潜在地中毒)以及可能的动作范围的最佳z*test，(iii)使用ytrain以及可能的动作范围确定最佳z*train，(iv)计算步骤(ii)与步骤(iii)的输出之间的距离——测量清洁动作与对抗性动作之间的比较的距离，(v)将ytrain与之间的损失进行比较来计算相对于历史数据的预测损失——该预测损失函数被训练成经由由δD添加的噪声来确保模型的鲁棒性，(vi)计算/>与/>之间的距离——该距离用于相对于任务优化成本来考虑相关历史训练样本，(vii)计算任务定义的成本函数/>——被用于最小化任务定义的成本函数，(viii)从通过步骤(iv)-(vii)计算的值导出总损失，(ix)计算梯度并执行反向传播以更新模型参数，(x)重复步骤(ii)至(ix)直到模型收敛或一些终止标准。
终止/收敛标准被先前定义并且将被重复如下。收敛可以被定义为其中前一感兴趣度量与当前迭代中的相同感兴趣度量之间的差没有改变达由用户定义的一些阈值(或在其他情况下可以在值的窗口上对此进行评估)的过程。收敛标准可以包括但不限于，(i)已经达到的轮次(迭代)的数量(即，轮次阈值可以由用户定义)，(iii)收敛分数达到一些用户定义的值。
关于步骤(ii)，以下各项可以被用作附加的和/或替代的步骤：(a)在给定输入测试集以导出预测集合的情况下，对不同动作范围中的每一个执行前馈推断，和/或(b)一旦给定任务定义的优化函数g(z,y)、可能的动作范围以及从(a)中导出的输出预测，就求解最优动作集/>
关于步骤(iii)，以下各项可以被用作附加的步骤：(a)给定任务定义的优化函数g(z,y)、各种历史动作ztrain和历史输入值ytraon，人们可以求解最优动作
关于步骤(iv)，用户想要测量干净动作与对抗性动作之间的比较的距离，以下各项可以被用作附加的步骤：(a)其一个实施例是计算被定义为 (即，用于基于标量的值)的输出之间的差，以及(b)其另一实施例是计算/>与/>(即，用于基于分布的值)之间的Wasserstein距离。
关于步骤(vi)，用于相对于任务优化成本来考虑相关历史训练样本的距离，以下各项可以被用作附加的和/或替代的步骤：(a)其一个实施例是利用计算被定义为(即，用于基于标量的值)的输出之间的差和/或(b)其另一实施例是利用计算/>与/>(即，用于基于分布的值)之间的Wasserstein距离。
关于步骤(viii)，以下细节可以被用作(一个或多个)替代的步骤：(a)导出总损失可以被定义为步骤(v)和步骤(vii)的加权和，该加权和的权重取决于步骤(iv)和步骤(vi)，(b)其一个实施例是利用与预测损失相对应的权重(由定义)或任何增加/>和/>的距离的函数，或(c)其另一实施例是利用与任务优化成本相对应的权重(由/>定义)或任何减小/>和/>距离的函数。
图3是示出了根据本发明的另一实施例的指定为300的对抗性组件111的操作的高级流程图。
对抗性组件111接收子样本(步骤302)。在实施例中，对抗性组件111通过输入和输出组件121从训练集和/或测试数据集接收子样本数据集。对抗性组件111开始预训练模型权重。应当注意，假设组件122和威胁模型组件123被利用，以随着接收测试和训练数据集一起检索与输入和输出假设以及威胁模型假设(例如，对抗性和防卫者等)相关的数据。
对抗性组件111确定测试最优动作值(步骤304)。在实施例中，对抗性组件111通过分析组件124来确定相对于测试集(x+δA)(具有来自输入可能潜在地中毒的假设中的假设(即，威胁模型假设))以及可能的动作范围(即，Z)的最佳(即，最优)z*test。回想训练数据集被定义为 其中x是输入特征，y是输出特征，并且z是动作值。应当注意，“最佳”和“最优”是用户定义的并且可以与学习模型的用户和/或目标不同。
在替代实施例中，“确定最佳z*test”可以包括以下步骤：(a)在给定输入测试集以导出预测集合的情况下，对不同动作范围中的每一个执行前馈推断；和/或(b)给定任务定义的优化函数g(z,y)、可能的动作范围以及从(a)导出的输出预测，用户可以求解最优动作集/>
对抗性组件111确定训练最优动作值(步骤306)。在实施例中，对抗性组件111通过分析组件124使用历史ytrain和可能的动作范围来确定最佳z*train。
在替代实施例中，“确定最佳z*train”可以包括：如果给定任务定义的优化函数g(z,y)、各种历史动作以及历史输入值ytrain，则求解最优动作
对抗性组件111计算第一距离(步骤308)。在实施例中，对抗性组件111通过分析组件124计算z*test与z*train之间的距离(即，第一距离)(即，用户想要测量干净动作与对抗性动作之间的比较的距离)。
在替代实施例中，“计算第一距离”(即，用户想要测量干净动作与对抗性动作之间的比较的距离)，以下各项可以被用作附加的步骤，计算被定义为：的输出之间的差(即，用于基于标量的值)。在另一实施例中，是利用使用/>与/>之间的Wasserstein距离的计算(即，用于基于分布的值)。
对抗性组件111确定预测损失函数(步骤310)。在实施例中，对抗性组件111通过分析组件124计算将ytrain与之间的损失进行比较来计算相对于历史数据的预测损失(即，预测损失函数被训练成经由由δD添加的噪声来确保模型的鲁棒性)。
对抗性组件111计算第二距离(步骤312)。在实施例中，对抗性组件111通过分析组件124来计算与/>之间的距离(即，第二距离)(即，用于相对于任务优化成本来考虑相关历史训练样本的距离)。
在替代实施例中，“计算第二距离”(即，用于相对于任务优化成本来考虑相关历史训练样本的距离)，以下各项可以被用作附加的和/或替代的步骤：(a)计算被定义为的输出之间的差(即，用于基于标量的值)；或(b)计算/>与/>之间的Wasserstein距离(即，用于基于分布的值)。
对抗性组件111计算任务定义的成本函数(步骤314)。在实施例中，对抗性组件111通过分析组件124计算任务定义的成本函数(即，用于最小化任务定义的成本函数)。
对抗性组件111计算损失函数(步骤316)。在实施例中，对抗性组件111通过分析组件124根据从步骤308、310、312和314中计算的值来计算总损失。
在替代实施例中，计算损失函数可以包括：(a)导出/计算总损失，该总损失可以被定义为步骤(310)和步骤(314)的加权和，该加权和的权重取决于步骤(308)和步骤(312)，(b)利用与预测损失相对应的权重(由定义)或任何增加/>和/>的距离的函数，或(c)另一实施例是利用与任务优化成本相对应的权重(由/>定义)或任何减小/>和/>的距离的函数。
对抗性组件111计算梯度(步骤318)。在实施例中，对抗性组件111通过分析组件124计算损失函数的梯度(从步骤316计算)。
对抗性组件111执行反向传播(步骤320)。在实施例中，对抗性组件111通过分析组件124执行反向传播。反向传播可以被定义为更新预测模型参数和/或与任务定义的成本函数相关的其他值。
对抗性组件111确定是否收敛已经发生(决策框322)。回想收敛先前被定义为：(i)其中前一感兴趣度量与当前迭代中的相同感兴趣度量之间的差没有改变达由用户定义的一些阈值(或在其他情况下可以在值的窗口上对此进行评估)的过程，(ii)已经达到轮次(迭代)的数量(即，轮次阈值可以由用户定义和调整)，或(iii)收敛分数达到一些用户定义的值。计数器是作为实现收敛(或满足终止标准)的一种方法。例如，如果用户想要在10次迭代之后退出计算，则终止标准为迭代10次。在实施例中，对抗性组件111通过将计数器中的值与终止阈值进行比较来确定是否收敛已经发生。例如，对抗性组件111将计数一添加到计数器中的先前存储的值(其中终止阈值是10，由用户设置)。如果对抗性组件111通过分析组件124确定计数器的值是11，则它可以继续到下一步骤(即，步骤324)。然而，如果对抗性组件111确定计数器的值小于阈值10，则对抗性组件111返回步骤304并且再次重复该过程直到达到退出标准(即，终止阈值)。
在替代实施例中，对抗性组件111基于其他用户定义的参数(诸如轮次)来利用另一类型的终止标准。
对抗性组件111输出值(步骤324)。在实施例中，对抗性组件111输出计算的值。该值包括但不限于以下各项：(i)最优学习模型参数和(ii)最优任务定义的目标函数(例如，Z*、g*和θ*)。基于输出值，用户(作为防卫者)可以做出经训练的模型是否足够鲁棒以承受对抗性攻击的确定(参见威胁模型组件123章节下的“防卫者”)。
图4描绘了根据本发明的说明性实施例的对抗性组件111应用的组件的指定为400的框图。应当理解，图4仅提供对一个实现方式的说明并且不暗示对关于其中可以实现不同实施例的环境的任何限制。可以对所描述的环境做出许多修改。
图4包括(一个或多个)处理器401、高速缓存403、存储器402、永久存储器405、通信单元407、(一个或多个)输入/输出(I/O)接口406和通信结构404。通信结构404提供高速缓存403、存储器402、永久存储器405、通信单元407和(一个或多个)输入/输出(I/O)接口406之间的通信。通信结构404可以用被设计用于在处理器(诸如微处理器、通信和网络处理器等)、系统存储器、外围设备和系统中的任何其他硬件组件之间传递数据和/或控制信息的任何架构来实现。例如，通信结构404可以用一个或多个总线或纵横开关来实现。
存储器402和永久存储器405是计算机可读存储介质。在该实施例中，存储器402包括随机存取存储器(RAM)。通常，存储器402可以包括任何合适的易失性或非易失性计算机可读存储介质。高速缓存403是快速存储器，其通过保存来自存储器402的最近访问的数据和最近访问的数据附近的数据来增强(一个或多个)处理器401的性能。
用于实践本发明的实施例的程序指令和数据(例如，软件和数据x10)可以存储在永久存储器405和存储器402中，以用于经由高速缓存403由相应的(一个或多个)处理器401中的一个或多个执行。在实施例中，永久存储器405包括磁性硬盘驱动器。作为磁硬盘驱动器的替代或附加，永久存储器405可以包括固态硬盘驱动器、半导体存储设备、只读存储器(ROM)、可擦可编程只读存储器(EPROM)、闪存、或能够存储程序指令或数字信息的任何其他计算机可读存储介质。
由永久存储器405使用的介质也可以是可移动的。例如，可移动硬盘驱动器可以用于永久存储器405。其他示例包括光盘和磁盘、拇指驱动器和智能卡，它们被插入到驱动器中以便转移到也是永久存储器405的一部分的另一计算机可读存储介质上。对抗性组件111可以存储在永久存储器405中，以用于经由高速缓存403由相应的(一个或多个)处理器401中的一个或多个访问和/或执行。
在这些示例中，通信单元407提供与其他数据处理系统或设备的通信。在这些示例中，通信单元407包括一个或多个网络接口卡。通信单元407可以通过使用物理和/或无线通信链路提供通信。用于实施本发明的实施例的程序指令和数据(例如，对抗性组件111)可以通过通信单元407下载到永久存储器405。
(一个或多个)I/O接口406允许与可以连接到每个计算机系统的其他设备进行数据的输入和输出。例如，(一个或多个)I/O接口406可以提供到(一个或多个)外部设备408(诸如键盘、小键盘、触摸屏和/或一些其他合适的输入设备)的连接。(一个或多个)外部设备408还可以包括便携式计算机可读存储介质，诸如例如拇指驱动器、便携式光盘或磁盘、以及存储卡。用于实践本发明的实施例的程序指令和数据(例如，对抗性组件111)可以存储在这种便携式计算机可读存储介质上并且可以经由(一个或多个)I/O接口406加载到永久存储器405上。(一个或多个)I/O接口406还连接到显示器409。
显示器409提供向用户显示数据的机制，并且可以是例如计算机监视器。
本文中所描述的程序是基于在本发明的具体实施例中实现的应用来识别的。然而，应当理解，本文中的任何指定的程序术语仅为了方便而使用，并且因此本发明不应限于仅在由这样的术语标识和/或暗示的任何特定应用中使用。
本发明可以是任何可能的集成的技术细节等级的系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的(一个或多个)计算机可读存储介质。
计算机可读存储介质可以为可以保留和存储由指令执行设备使用的指令的有形装置。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述各项的任何合适的组合。计算机可读存储介质的更特定的示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。
本文中所描述的计算机可读程序指令可以经由网络(例如，因特网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传送电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应的计算/处理设备中的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码，该程序设计语言包括面向对象的程序设计语言(诸如Smalltalk、C++等)和过程程序设计语言(诸如“C”程序设计语言或类似的程序设计语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上并且部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在最后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机，或者可以连接至外部计算机(例如，通过使用因特网服务提供商的因特网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息个性化电子电路来执行计算机可读程序指令，以便执行本发明的各方面。
下文将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或框图描述本发明的各方面。应当理解，流程图说明和/或框图的每个框以及流程图说明和/或框图中框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中特定的功能/动作的部件。这些计算机可读程序指令也可以被存储在计算机可读存储介质中，这些指令可以指示计算机、可编程数据处理装置、和/或其他设备以指定的方式工作，使得其中存储有指令的计算机可读存储介质包括包含实现在流程图和/或框图的一个或多个框中特定的功能/动作的指令的制造品。
计算机可读程序指令也可以被加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个方框中特定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能的实现方式的架构、功能和操作。对此，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现特定的(一个或多个)逻辑功能的一个或多个可执行指令。在一些替代实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。也应当注意，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合，可以用执行特定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。
已经出于说明的目的但并不旨在是详尽的或者限于所公开的实施例呈现了本发明的各种实施例的描述。在不背离本发明的范围的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。本文所使用的术语被选择来最佳地解释实施例的原理、实际应用、或优于市场中所发现的技术的技术改进、或使得其他本领域普通技术人员能够理解本文所公开的实施例。
Claims (20)
1.一种用于提供对抗性机器学习模型的预测和优化的计算机实现的方法，所述计算机方法包括：
接收与训练模型相关联的输入数据的集合，其中，所述输入数据包括训练数据集、测试数据集、任务定义的成本函数、可能的动作范围、历史数据集和预训练模型权重；
基于威胁假设和所述可能的动作范围，从所述测试数据集中确定测试最优动作值；
基于所述训练数据集的输出特征和所述可能的动作范围，从所述训练数据集中确定训练最优动作值；
计算所述测试最优动作值与所述训练最优动作值之间的第一距离；
基于所述历史数据集计算预测损失函数；
计算所述可能的动作范围与所述训练最优动作值之间的第二距离；
基于所述可能的动作范围和来自所述测试数据集的输出预测计算所述任务定义的成本函数；
基于所述第一距离、所述预测损失函数、所述第二距离和所述任务定义的成本函数计算总损失；
计算总损失函数的梯度；
对与所述训练模型相关联的一个或多个参数执行反向传播；
确定是否收敛已经发生；以及
响应于所述收敛已经发生，输出所述最优动作、最优学习模型参数和最优任务定义的目标函数。
2.根据权利要求1所述的计算机实现的方法，其中：
所述训练数据集包括一个或多个输入特征、一个或多个输出特征以及一个或多个动作值。
3.根据权利要求1所述的计算机实现的方法，其中，确定测试最优动作值进一步包括：
在给定输入测试集以导出预测集合的情况下，对所述可能的动作范围中的每一个执行前馈推断。
4.根据权利要求1所述的计算机实现的方法，确定测试最优动作值进一步包括：
基于所述任务定义的优化函数、各种历史动作和历史输入值求解所述最优动作。
5.根据权利要求1所述的计算机实现的方法，其中，通过使用所述测试最优动作值与所述训练最优动作值之间的差的绝对值计算所述第一距离。
6.根据权利要求1所述的计算机实现的方法，其中，基于所述测试最优动作值与所述训练最优动作值之间的Wasserstein距离计算所述第一距离。
7.根据权利要求1所述的计算机实现的方法，其中，使用所述测试最优动作值与所述训练最优动作值之间的差的绝对值计算所述第二距离。
8.根据权利要求1所述的计算机实现的方法，其中，基于所述测试最优动作值与所述训练最优动作值之间的Wasserstein距离计算所述第二距离。
9.根据权利要求1所述的计算机实现的方法，其中，利用对应于由定义的所述预测损失函数的权重计算所述总损失。
10.根据权利要求1所述的计算机实现的方法，其中，利用对应于所述任务定义的成本函数的权重计算所述总损失，所述任务定义的成本函数由定义。
11.根据权利要求1所述的计算机实现的方法，其中，确定是否收敛已经发生进一步包括：使用递增计数器对迭代次数进行计数，并且将来自所述递增计数器的值与终止阈值进行比较。
12.一种用于提供对抗性机器学习模型的预测和优化的计算机程序产品，所述计算机程序产品包括：
一个或多个计算机可读存储介质和存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令包括：
用于接收与训练模型相关联的输入数据的集合的程序指令，其中，所述输入数据包括训练数据集、测试数据集、任务定义的成本函数、可能的动作范围、历史数据集和预训练模型权重；
用于基于威胁假设和所述可能的动作范围，从所述测试数据集中确定测试最优动作值的程序指令；
用于基于所述训练数据集的输出特征和所述可能的动作范围，从所述训练数据集中确定训练最优动作值的程序指令；
用于计算所述测试最优动作值与所述训练最优动作值之间的第一距离的程序指令；
用于基于所述历史数据集计算预测损失函数的程序指令；
用于计算所述可能的动作范围与所述训练最优动作值之间的第二距离的程序指令；
用于基于所述可能的动作范围和来自所述测试数据集的输出预测计算所述任务定义的成本函数的程序指令；
用于基于所述第一距离、所述预测损失函数、所述第二距离和所述任务定义的成本函数计算总损失的程序指令；
用于计算总损失函数的梯度的程序指令；
用于对与所述训练模型相关联的一个或多个参数执行反向传播的程序指令；
用于确定是否收敛已经发生的程序指令；以及
响应于所述收敛已经发生，用于输出所述最优动作、最优学习模型参数和最优任务定义的目标函数的程序指令。
13.根据权利要求12所述的计算机程序产品，其中：
所述训练数据集包括一个或多个输入特征、一个或多个输出特征以及一个或多个动作值。
14.根据权利要求12所述的计算机程序产品，其中，用于确定测试最优动作值的程序指令进一步包括：
在给定输入测试集以导出预测集合的情况下，用于对所述可能的动作范围中的每一个执行前馈推断的程序指令。
15.根据权利要求12所述的计算机程序产品，其中，用于计算所述第一距离的程序指令是基于所述测试最优动作值与所述训练最优动作值之间的Wasserstein距离。
16.根据权利要求12所述的计算机程序产品，其中，用于计算所述第二距离的程序指令是基于所述测试最优动作值与所述训练最优动作值之间的Wasserstein距离。
17.一种用于提供对抗性机器学习模型的预测和优化的计算机系统，所述计算机系统包括：
一个或多个计算机处理器；
一个或多个计算机可读存储介质；以及
存储在所述一个或多个计算机可读存储介质上的程序指令，用于由所述一个或多个计算机处理器中的至少一个执行，所述程序指令包括：
用于接收与训练模型相关联的输入数据的集合的程序指令，其中，所述输入数据包括训练数据集、测试数据集、任务定义的成本函数、可能的动作范围、历史数据集和预训练模型权重；
用于基于威胁假设和所述可能的动作范围，从所述测试数据集中确定测试最优动作值的程序指令；
用于基于所述训练数据集的输出特征和所述可能的动作范围，从所述训练数据集中确定训练最优动作值的程序指令；
用于计算所述测试最优动作值与所述训练最优动作值之间的第一距离的程序指令；
用于基于所述历史数据集计算预测损失函数的程序指令；
用于计算所述可能的动作范围与所述训练最优动作值之间的第二距离的程序指令；
用于基于所述可能的动作范围和来自所述测试数据集的输出预测计算所述任务定义的成本函数的程序指令；
用于基于所述第一距离、所述预测损失函数、所述第二距离和所述任务定义的成本函数计算总损失的程序指令；
用于计算总损失函数的梯度的程序指令；
用于对与所述训练模型相关联的一个或多个参数执行反向传播的程序指令；
用于确定是否收敛已经发生的程序指令；以及
响应于所述收敛已经发生，用于输出所述最优动作、最优学习模型参数和最优任务定义的目标函数的程序指令。
18.根据权利要求17所述的计算机系统，其中，用于确定测试最优动作值的程序指令进一步包括：
在给定输入测试集以导出预测集合的情况下，用于对所述可能的动作范围中的每一个执行前馈推断的程序指令。
19.根据权利要求17所述的计算机系统，其中，用于计算所述第一距离的程序指令是基于所述测试最优动作值与所述训练最优动作值之间的Wasserstein距离。
20.根据权利要求17所述的计算机系统，其中，用于计算所述第二距离的程序指令是基于所述测试最优动作值与所述训练最优动作值之间的Wasserstein距离。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/358,804 | 2021-06-25 | ||
| US17/358,804 US20220414531A1 (en) | 2021-06-25 | 2021-06-25 | Mitigating adversarial attacks for simultaneous prediction and optimization of models |
| PCT/CN2022/100045 WO2022268058A1 (en) | 2021-06-25 | 2022-06-21 | Mitigating adversarial attacks for simultaneous prediction and optimization of models |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117425902A true CN117425902A (zh) | 2024-01-19 |
Family
ID=84541129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280039346.5A Pending CN117425902A (zh) | 2021-06-25 | 2022-06-21 | 减轻对于模型的同时预测和优化的对抗性攻击 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220414531A1 (zh) |
| CN (1) | CN117425902A (zh) |
| DE (1) | DE112022002622T5 (zh) |
| GB (1) | GB2623224A (zh) |
| WO (1) | WO2022268058A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230045107A1 (en) * | 2021-07-14 | 2023-02-09 | Rakuten Group, Inc. | Reducing sample selection bias in a machine learning-based recommender system |
| CN115797731A (zh) * | 2023-02-02 | 2023-03-14 | 国能大渡河大数据服务有限公司 | 目标检测模型训练方法、检测方法、终端设备及存储介质 |
| CN117019883B (zh) * | 2023-08-25 | 2024-02-13 | 华北电力大学（保定） | 一种基于深度学习的带材轧制过程板形预测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875161B (zh) * | 2018-05-31 | 2022-11-29 | 长江勘测规划设计研究有限责任公司 | 基于卷积神经网络深度学习的流量等级预测方法 |
| CN109799533B (zh) * | 2018-12-28 | 2021-07-27 | 中国石油化工股份有限公司 | 一种基于双向循环神经网络的储层预测方法 |
| JP6994489B2 (ja) * | 2019-10-02 | 2022-01-14 | 東京エレクトロン株式会社 | 塗布、現像装置及び塗布、現像方法 |
| US11650551B2 (en) * | 2019-10-04 | 2023-05-16 | Mitsubishi Electric Research Laboratories, Inc. | System and method for policy optimization using quasi-Newton trust region method |
| US11775877B2 (en) * | 2019-10-23 | 2023-10-03 | Genpact Luxembourg S.à r.l. II | System and method for artificial intelligence base prediction of delays in pipeline processing |
| CN111881027A (zh) * | 2020-07-23 | 2020-11-03 | 深圳慕智科技有限公司 | 一种基于数据防御的深度学习模型优化方法 |
-
2021
- 2021-06-25 US US17/358,804 patent/US20220414531A1/en active Pending
-
2022
- 2022-06-21 CN CN202280039346.5A patent/CN117425902A/zh active Pending
- 2022-06-21 GB GB2319682.7A patent/GB2623224A/en not_active Withdrawn
- 2022-06-21 WO PCT/CN2022/100045 patent/WO2022268058A1/en active Application Filing
- 2022-06-21 DE DE112022002622.7T patent/DE112022002622T5/de active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| GB202319682D0 (en) | 2024-01-31 |
| US20220414531A1 (en) | 2022-12-29 |
| DE112022002622T5 (de) | 2024-03-14 |
| GB2623224A (en) | 2024-04-10 |
| WO2022268058A1 (en) | 2022-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11514297B2 (en) | Post-training detection and identification of human-imperceptible backdoor-poisoning attacks | |
| US11562244B2 (en) | Robust pruned neural networks via adversarial training | |
| EP3542322B1 (en) | Management and evaluation of machine-learned models based on locally logged data | |
| CN117425902A (zh) | 减轻对于模型的同时预测和优化的对抗性攻击 | |
| Kim et al. | LSTM-based system-call language modeling and robust ensemble method for designing host-based intrusion detection systems | |
| Behzadan et al. | Whatever does not kill deep reinforcement learning, makes it stronger | |
| US11609990B2 (en) | Post-training detection and identification of human-imperceptible backdoor-poisoning attacks | |
| US20210256125A1 (en) | Post-Training Detection and Identification of Backdoor-Poisoning Attacks | |
| US11475130B2 (en) | Detection of test-time evasion attacks | |
| US10977562B2 (en) | Filter for harmful training samples in active learning systems | |
| Shi et al. | Active deep learning attacks under strict rate limitations for online API calls | |
| US11397891B2 (en) | Interpretability-aware adversarial attack and defense method for deep learnings | |
| US11461703B2 (en) | Determinantal reinforced learning in artificial intelligence | |
| WO2021012263A1 (en) | Systems and methods for end-to-end deep reinforcement learning based coreference resolution | |
| Nadella et al. | Adversarial Attacks on Deep Neural Network: Developing Robust Models Against Evasion Technique | |
| Awad et al. | An improved long short term memory network for intrusion detection | |
| CN110889493A (zh) | 针对关系网络添加扰动的方法及装置 | |
| CN112486784A (zh) | 诊断和优化数据分析系统的方法、设备和介质 | |
| CN113191434A (zh) | 训练风险识别模型的方法和装置 | |
| Liao et al. | Server-based manipulation attacks against machine learning models | |
| JP2022537977A (ja) | 格子点列挙のための装置及び方法 | |
| CN116362894A (zh) | 多目标学习方法、装置、电子设备及计算机可读存储介质 | |
| Narengbam et al. | Harris hawk optimization trained artificial neural network for anomaly based intrusion detection system | |
| Bojarajulu et al. | Parametric and non-parametric analysis on MAOA-based intelligent IoT-BOTNET attack detection model | |
| Qu et al. | A Certified Radius-Guided Attack Framework to Image Segmentation Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |