CN114270349A - 用于加固机器学习模型的学习输入预处理 - Google Patents

用于加固机器学习模型的学习输入预处理 Download PDF

Info

Publication number
CN114270349A
CN114270349A CN202080058926.XA CN202080058926A CN114270349A CN 114270349 A CN114270349 A CN 114270349A CN 202080058926 A CN202080058926 A CN 202080058926A CN 114270349 A CN114270349 A CN 114270349A
Authority
CN
China
Prior art keywords
machine learning
learning models
combinations
data
learners
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058926.XA
Other languages
English (en)
Inventor
N·M·谭
M·辛
M-I·尼古拉
M·威斯托巴
A·雷瓦特
B·比塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN114270349A publication Critical patent/CN114270349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/033—Test or assess software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了用于由一个或多个处理器在计算系统中保护机器学习模型的各种实施例。通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固所述一个或多个机器学习模型的数据集、一列预处理器以及选定数目的学习器，提供了针对对抗攻击而被保护的一个或多个加固的机器学习模型。

Description

用于加固机器学习模型的学习输入预处理
技术领域
本发明总体涉及计算系统，更具体地涉及用于在计算系统中使用计算处理器学习输入预处理以针对对手而加固机器学习模型的各种实施例。
背景技术
计算系统可以在工作场所、家庭或学校中找到。由于信息技术的最进进展和互联网的日益普及，在机器学习中已经使用了各种各样的计算机系统。机器学习是一种人工智能形式，其被采用以允许计算机基于经验数据来进化行为。机器学习可以利用训练示例来捕获其未知的概率分布底层的感兴趣的特性。训练数据可以被视为示出观察到的变量之间的关系的示例。机器学习研究的主要焦点是自动学习以识别复杂模式以及基于数据做出智能决策。
发明内容
提供了用于在计算系统中由一个或多个处理器学习输入预处理以针对对手加固机器学习模型的各种实施例。在一个实施例中，仅作为示例，提供了一种用于在计算系统中再次由处理器学习输入预处理以针对对手加固机器学习模型的方法。通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固该一个或多个机器学习模型的数据集、一列预处理器、以及选定数目的学习器，针对对抗系统而被保护的一个或多个加固的机器学习模型被提供。
根据一个方面，提供了一种用于由一个或多个处理器在计算环境中保护机器学习模型的方法，包括：通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固该一个或多个机器学习模型的数据集、一列预处理器、以及选定数目的学习器，来提供针对对抗攻击而被保护的一个或多个加固的机器学习模型。
根据另一方面，提供了一种用于在计算环境中保护机器学习模型的系统，包括：具有可执行指令的一个或多个计算机，该可执行指令在被执行时使该系统：通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固该一个或多个机器学习模型的数据集、一列预处理器、以及选定数目的学习器，来提供针对对抗攻击而被保护的一个或多个加固的机器学习模型。
根据另一方面，提供了一种用于由处理器在计算环境中保护机器学习模型的计算机程序产品，该计算机程序产品包括具有被存储在其中的计算机可读程序代码部分的非瞬态计算机可读存储介质，该计算机可读程序代码部分包括：可执行部分，该可执行部分通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固所述一个或多个机器学习模型的数据集、一列预处理器、以及选定数目的学习器，来提供针对对抗攻击而被保护的一个或多个加固的机器学习模型。
附图说明
现在将仅通过示例的方式并参考以下附图来描述本发明的优选实施例：
图1是描绘根据本发明的实施例的示例性云计算节点的框图；
图2是示出根据本发明实施例的示例性云计算环境的附加框图；
图3是示出根据本发明实施例的抽象模型层的附加框图；
图4A-4D是描绘根据本发明的另一实施例的用于学习输入预处理以针对对手系统加固机器学习模型的示例性操作的框图；
图5是描绘了其中可以实现本发明的各实施例的在计算环境中由处理器学习输入预处理以针对对手/对手系统加固机器学习模型的示例性方法的流程图；以及
图6是描绘了用于在计算环境中由处理器学习输入预处理以针对对手/对手系统加固机器学习模型的示例性方法的流程图，其中可实现本发明的实施例。
具体实施方式
本发明总体涉及人工智能(“AI”)领域，诸如例如机器学习和/或深度学习。深度学习是指基于对数据集的多个级别的特征或表示的学习的一类机器学习算法。当前的深度学习方法包括使用级联的多层非线性处理单元来进行特征提取和变换。特征提取是指接收测量数据的初始集并且构建导的出值(或特征)以便于后续的学习和泛化步骤的过程。在许多情况下，从较低级别特征导出较高级别特征以生成测量的数据和导出的特征的分层表示。
此外，深度学习算法基于分布式表示。分布式表示在以下假设下操作：观测(或测量)的数据是被组织成一个或多个层的一个或多个因素的交互的结果。概念上，深度学习引入了附加假设，即交互以提供测量数据的因素层表示抽象或组成的级别。在这种假设下，多个层和层大小与不同量的抽象对应。
总之，深度学习已经引起在优化决策制定和从诸如例如图像、音频、视频和文本的非结构化数据提取商业价值方面的重大进步。然而，虽然深度学习达成对各种各样的数据类型和任务的提高的计算性能，但是存在深度神经网络(DNN)的一些挑战、弱点和/或安全问题。例如，DNN易受对抗攻击，其中，对手可以通过对其输入进行不可察觉的改变来完全地更改DNN的行为。此外，对手/对抗系统(例如，其可以实现对抗攻击)也可以安装在物理世界中，从而对AI和深度学习的部署造成真实威胁，特别是在诸如生物测定、网络安全、自主车辆、机器人等安全关键应用中。因此，针对对抗样本防护(protect)和保护(secure)机器学习/深度学习是确保AI和DL在现实世界的安全关键应用中的安全部署以及更广泛地维持对AI系统的信任所必需的。
因此，本文提供了用于在计算系统中学习输入预处理以针对对手/敌对系统加固机器学习模型的各种实施例。通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固一个或多个机器学习模型的数据集、一列预处理器以及选定数目的学习器，提供了针对对手/对抗系统(例如，对抗攻击)而被保护的一个或多个加固的机器学习模型。在一个实施例中，对手/对抗系统可以是挑战或损害ML系统的完整性或处理意图、或者在没有授权或批准的情况下有意或无意操纵ML系统的任何系统、应用、过程、操作或其他I/O。简单地说，对手/对抗系统可能由机器学习系统不可检测到，并且可能有意或无意地使机器学习犯差错或错误。
在一个实施例中，机器学习模型加固操作可以包括：通过增强训练数据、预处理输入数据、以及对机器学习模型架构或训练算法做出改变、或者前述项的组合，来使机器学习模型变得针对对抗扰动更加鲁棒。在一个实施例中，预处理输入数据提供与给定机器学习模型的直接集成，以便加固机器学习模型以及提供最快的对抗防御操作(例如，在训练/推理期间几乎没有或没有开销)。在一个实施例中，预处理输入数据可以有效地与其他对抗防御操作组合，诸如，例如，对抗训练或运行时检测。因此，本发明优选地提供了以优化方式组合预处理操作，以便提高机器学习模型的防御对手/对抗系统(例如，对抗攻击)的能力。因此，本发明的优选实施例提供了系统地和编程地学习预处理技术的最优组合，以便达成整体的对抗鲁棒性。以这种方式，本发明优选地针对对抗挑战而加固机器学习模型，并且使得能够部署安全的机器学习模型，尤其是在安全关键应用(例如，保健、保险、金融等)中。
在附加实施例中，机器学习模型可以针对由计算机、CPU、GPU、服务器、预处理器、学习器和神经网络组成的对手/对抗系统而被加固。本发明可以优选地执行以下步骤中的一个或多个步骤。在步骤1)中，要被加固的一个或多个模型、要用于加固(加固机器学习模型)的数据集、一列预处理器以及要被使用的多个学习器可以全部作为输入数据被接收。在步骤2)中，一个或多个预处理器可从数据集接收一个或多个数据实例作为输入，通过应用一个或多个变换来变换数据实例，并且提供经变换的数据实例作为输出。在步骤3)中，防御加固的机器学习模型的一个或多个经训练的学习器可以预处理机器学习模型输入。在步骤4)中，可以基于所学习的预处理器的组合来提供/生成加固的机器学习模型作为输出。在步骤5)中，描述机器学习模型加固的性能的威胁得分可以被确定、被计算和/被或报告。应当注意，机器学习模型的加固也可以在基于云的环境中作为服务被提供。
而且，应当注意，可以使用各种数学运算或可以涉及一个或多个数学运算的函数来执行一个或多个计算(例如，执行变化率/微积分运算，解析地或计算地求解微分方程或偏微分方程，使用加法、减法、除法、乘法、标准偏差、均值、平均值、百分比，使用统计分布的统计建模，通过找到组合变量的最小值、最大值或类似阈值等)。
通常，如本文所使用的，“优化”可以指和/或定义为“最大化”、“最小化”或达到一个或多个特定目的、目标(objective)、目标(goal)或意图。优化还可以指最大化对用户的益处(例如，最大化机器学习模型益处)。优化还可以指对情况、机会或资源进行最有效或功能的使用。
另外，“优化”不需要指最佳解决方案或结果，而可以指例如对于特定应用“足够好”的解决方案或结果。在一些实现中，目标是建议预处理操作(“预处理器”)和/或机器学习模型的“最佳”组合，但是可能存在多种因素，这些因素可能导致对预处理操作(“预处理器”)和/或机器学习模型的组合的产生更好的结果的备选建议。本文中，术语“优化”可以指基于最小值(或最大值，取决于在优化问题中考虑什么参数)的这样的结果。在附加的实施例中，术语“优化(optimize)”和/或“优化(optimizing)”可以指为了达成诸如减少执行成本或增加资源利用率的改进结果而执行的操作，而不管是否实际达成了最优结果。类似地，术语“优化”可以指用于执行这样的改进操作的组件，并且术语“优化”可以用于描述这样的改进操作的结果。
提前理解的是，虽然本公开包括关于云计算的详细描述，但是本文所引用的教导的实现不限于云计算环境。而是，本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。
云计算是一种服务递送模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池的方便、按需的网络访问，该可配置计算资源可以用最小的管理努力或与服务提供方的交互来快速供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
特性如下：
按需自助服务：云消耗方可按需自动地单方面供应计算能力，诸如服务器时间和网络存储，而无需与服务的提供方的人类交互。
广泛的网络接入：能力通过网络上可用并且通过标准机制被访问，该标准机制促进由异构的薄或厚客户端平台(例如，移动电话、膝上型计算机和PDA)使用。
资源池化：提供方的计算资源被池化以使用多租户模型服务于多个消耗方，其中不同的物理和虚拟资源根据需要被动态地指派和重新指派。存在位置独立性的意义，因为消耗方通常对所提供资源的确切位置不具有控制或知识，但是可以能够在较高抽象层级(例如，国家、州或数据中心)处指定位置。
快速弹性：可以快速且弹性地、在一些情况下自动地供应能力以快速缩小、并且快速释放以快速放大。对于消耗方，可用于供应的能力通常显得不受限制，并且可以在任何时间以任何数量购买。
测量的服务：云系统通过利用适于服务类型(例如，存储、处理、带宽和活动用户账户)的某个抽象水平的计量能力来自动控制和优化资源使用。可监视、控制和报告资源使用，从而为所利用的服务的提供方和消耗方两者提供透明度。
服务模型如下：
软件即服务(SaaS)：提供给消耗方的能力是使用在云基础设施上运行的提供方的应用。应用通过诸如web浏览器(例如，基于web的电子邮件)的瘦客户端接口从不同客户端设备可访问。消耗方不管理或控制包括网络、服务器、操作系统、存储装置或甚至个体应用能力的底层云基础设施，可能的例外是有限的用户特定的应用配置设置。
平台即服务(PaaS)：提供给消耗方的能力是将消耗方创建或获取的应用部署到云基础设施上，该应用是使用提供方所支持的编程语言和工具来创建的。消耗方不管理或控制包括网络、服务器、操作系统或存储装置的底层云基础设施，但是具有对所部署的应用以及可能的应用托管环境配置的控制。
基础设施即服务(IaaS)：提供给消耗方的能力是供应消耗方能够部署和运行可以包括操作系统和应用的任意软件的处理、存储、网络和其他基本计算资源。消耗方不管理或控制底层云基础设施，但是具有对操作系统、存储装置、所部署的应用的控制，以及可能地对选择联网组件(例如，主机防火墙)的有限的控制。
部署模型如下：
私有云：云基础设施仅为组织而被操作。它可以由组织或第三方管理，并且可以存在于场所内或场所外。
社区云：云基础设施由若干组织共享并且支持具有共享的关注(例如，任务、安全性要求、策略和合规性考虑)的特定社区。它可由组织或第三方管理，并且可以存在于现场或场外。
公共云：使云基础设施对公众或大型产业组可用并且由销售云服务的组织拥有。
混合云：云基础架构是两个或更多个云(私有、社区或公共的)的组合，这些云保持独特的实体但是通过标准化或专有技术被绑定在一起，这些技术实现数据和应用可移植性(例如，用于云之间的负载平衡的云爆发)。
云计算环境是面向服务的，关注于无状态性、低耦合性、模块性和语义互操作性。云计算的核心是包括互连节点网络的基础设施。
现在参考图1，示出了云计算节点的示例的示意图。云计算节点10仅是合适的云计算节点的一个示例，并且不旨在对本文描述的本发明的实施例的使用范围或功能提出任何限制。无论如何，云计算节点10能够被实现和/或执行上文阐述的任何功能。
在云计算节点10中，存在计算机系统/服务器12，其可与许多其他通用或专用计算系统环境或配置一起操作。适合与计算机系统/服务器12一起使用的公知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、薄客户端、厚客户端、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、网络PC、小型计算机系统、大型计算机系统、以及包括任何上述系统或设备的分布式云计算环境等。
计算机系统/服务器12可以在计算机系统可执行指令的一般上下文中描述，诸如由计算机系统执行的程序模块。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统/服务器12可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。
如图1所示，云计算节点10中的计算机系统/服务器12以通用计算设备的形式示出。计算机系统/服务器12的组件可以包括但不限于一个或多个处理器或处理单元16、系统存储器28以及将包括系统存储器28的各种系统组件耦合到处理器16的总线18。
总线18表示若干类型的总线结构中的任何类型的一个或多个从总线结构，包括存储器总线或存储器控制器、外围总线、加速图形端口、以及使用各种总线架构中的任何总线架构的处理器或本地总线。作为示例而非限制，这样的架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线和外围组件互连(PCI)总线。
计算机系统/服务器12通常包括各种计算机系统可读介质。这样的介质可以是由计算机系统/服务器12可访问的任何可用介质，并且其包括易失性和非易失性介质、可移除和不可移除介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，诸如随机存取存储器(RAM)30和/或高速缓冲存储器32。计算机系统/服务器12还可以包括其他可移除/不可移除、易失性/非易失性计算机系统存储介质。仅作为示例，存储系统34可被提供用于从不可移除、非易失性磁介质(未示出，并且通常被称为“硬盘驱动器”)读取和向其写入。尽管未示出，但是可以提供用于从可移除、非易失性磁盘(例如，“软盘”)读取和向其写入的磁盘驱动器，以及用于从诸如CD-ROM、DVD-ROM或其它光学介质等可移除、非易失性光盘读取或向其写入的光盘驱动器。在这样的情况下，每个驱动器都可以通过一个或多个数据介质接口连接到总线18。如下面将进一步描绘和描述的，系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如，至少一个)程序模块，该程序模块被配置成执行本发明的实施例的功能。
作为示例而非限制，具有一组(至少一个)程序模块42的程序/实用程序40，以及操作系统、一个或多个应用程序、其它程序模块和程序数据可以被存储在系统存储器28中。操作系统、一个或多个应用程序、其它程序模块和、程序数据或其某种组合中的每一项可包括联网环境的实现。程序模块42通常执行本文描述的本发明实施例的功能和/或方法。
计算机系统/服务器12还可以与以下项通信：一个或多个外部设备14，诸如键盘、指点设备、显示器24等；一个或多个设备，其使得用户能够与计算机系统/服务器12交互；和/或使计算机系统/服务器12能够与一个或多个其它计算设备通信的任何设备(例如网卡、调制解调器等)。这样的通信可以经由输入/输出(I/O)接口22发生，然而，计算机系统/服务器12可以经由网络适配器20与一个或多个网络通信，该网络诸如是局域网(LAN)、通用广域网(WAN)和/或公共网络(例如，互联网)。如图所示，网络适配器20经由总线18与计算机系统/服务器12的其它组件通信，应当理解，尽管未示出，但是其它硬件和/或软件组件可以与计算机系统/服务器12结合使用，示例包括但不限于：微码、设备驱动、冗余处理单元、外部磁盘驱动器阵列、RAID系统、磁带驱动器和数据存档存储系统等。
现在参考图2，描绘了说明性云计算环境50。如图所示，云计算环境50包括一个或多个云计算节点10，由云消耗方使用的本地计算设备(诸如例如个人数字助理(PDA)或移动电话54A、台式计算机54B、膝上型计算机54C和/或汽车计算机系统54N)可以与云计算节点10通信。节点10可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中，诸如上文描述的私有云、社区云、公共云或混合云或其组合。这允许云计算环境50提供云消耗方不需要在本地计算设备上维护资源的基础设施、平台和/或软件即服务。应当理解，图2中所示的计算设备54A-N的类型仅旨在是说明性的，并且计算节点10和云计算环境50可以通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化设备通信。
现在参考图3，示出了由云计算环境50(图2)提供的一组功能抽象层。应预先理解，图3中所示的组件、层和功能旨在仅是说明性的，并且本发明的实施例不限于此。如所描绘的，提供了以下层和对应的功能：
设备层55包括物理和/或虚拟设备，嵌入有和/或独立的电子器件、传感器、致动器和其他对象以在云计算环境50中执行各种任务。设备层55中的设备中的每个设备将联网能力结合到其他功能抽象层，使得从设备获取的信息可以被提供给该设备，和/或来自其他抽象层的信息可以被提供给设备。在一个实施例中，包括设备层55在内的各种设备可以并入统称为“物联网”(IoT)的实体的网络。如本领域普通技术人员将理解的，这样的实体网络允许数据的相互通信、收集和传播以实现各种目的。
如图所示，设备层55包括传感器52、致动器53、具有集成处理、传感器和联网电子设备的“学习”恒温器56、相机57、可控家用插座/插口58以及可控电开关59，如图所示。其它可能的设备可以包括但不限于各种附加传感器设备、联网设备、电子设备(诸如远程控制设备)、附加致动器设备、所谓的“智能”电器(诸如冰箱或洗衣机/干衣机)以及各种各样的其它可能的互连对象。
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：大型机61；基于RISC(精简指令集计算机)架构的服务器62；服务器63；刀片服务器64；存储设备65；以及网络和联网组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。
虚拟化层70提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器71；虚拟存储装置72；虚拟网络73，包括虚拟专用网络；虚拟应用和操作系统74；以及虚拟客户端75。
在一个示例中，管理层80可以提供下文所描述的功能。资源供应81提供用于执行云计算环境内的任务的计算资源和其他资源的动态采购。计量和定价82在云计算环境内利用资源时提供成本跟踪，并且针对这些资源的消耗开账单或开发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消耗方和任务提供身份验证，以及对数据和其他资源的防护。用户门户83为消耗方和系统管理员提供对云计算环境的访问。服务水平管理84提供云计算资源分配和管理，使得所要求的服务水平被满足。服务水平协议(SLA)计划和履行85提供云计算资源的预安排和采购，根据SLA预期该云计算资源的未来要求。
工作负载层90提供可以针对其利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括：地图和导航91；软件开发和生命周期管理92；虚拟教室教育交付93；数据分析处理94；交易处理95；并且，在本发明的所示实施例的上下文中，用于在云计算环境中学习输入预处理以针对对手/敌对者系统而加固机器学习模型的各种工作负载和功能96。此外，用于在云计算环境中学习输入预处理以针对对手/对抗系统而加固机器学习模型的工作负载和功能96可以包括诸如分析、深度学习以及如将进一步描述的用户和设备管理功能的操作。本领域的普通技术人员将理解，用于在云计算环境中学习输入预处理以针对对手/对抗系统而加固机器学习模型的工作负载和功能96也可以结合各种抽象层的其他部分(诸如硬件和软件60、虚拟化70、管理80和其他工作负载90(例如，诸如数据分析处理94)中的那些)来工作，以实现本发明的所示实施例的各种目的。
如前所述，根据优选实施例，本发明提供了用于提供加固的机器学习模型的新颖的解决方案，该模型在计算系统中针对对手/对抗系统而被保护。通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固所述一个或多个机器学习模型的数据集、一列预处理器以及选定数目的学习器，提供了针对对抗挑战而被保护的一个或多个加固的机器学习模型。
在一个实施例中，数据集可以作为输入数据被接收。需要被加固的机器学习模型可以被标识。预定义变换器/预处理器中的每个预定义变换器/预处理器可以预处理数据集的数据实例而不改变数据实例的形状。然后使用机器学习模型，数据集的经变换的数据实例可以被分类，由于学习了要使用的预定义变换器/预处理器的最优组合以使用需要被加固的机器学习模型形成要被分类的经变换的数据实例，现在该机器学习模型针对对手/对抗系统而被加固。
例如，假设图像分类器(例如，机器学习模型)是在能够容易被攻击(通过扰动其输入图像)的图像数据集上被训练的，并且因此，最优的、经学习的预处理操作集被用于加固机器学习模型。每个预处理器(例如，预处理操作)可以是将图像作为输入(例如，可能被扰动的图像)并且产生另一图像(例如，可能部分被净化的图像)作为输出的函数。如果输入图像将由图像分类器(例如，机器学习模型)分类，则输入图像在被分类之前应当由一个或多个数据变换器在最优的、经学习的一组预处理操作中预处理。因此，该最优的、经学习的一组预处理操作的一个或多个变换器的输出提供新图像以供机器学习模型进行分类。
在附加实施例中，输入数据可以被接收。输入数据可以包括指示要被加固的机器学习模型的用户规范、训练数据集、一组预处理器和/或一个或多个学习器，该一组预处理器中的每个预处理器变换数据集的输入实例而不改变实例形状。加固操作(例如，用于针对对手/对抗系统而加固机器学习模型的操作)利用该组输入预处理器对输入数据集进行预处理。在训练时段期间，一个或多个参数W1j和神经网络参数(例如，光纤信道“FC”层)可以用于针对所有学习器的训练。在测试的时间点，所有学习器的输出被组合以加固机器学习模型。
现在转到图4A-图4D，图4A-图4D是描绘根据本发明的一些实施例的用于学习输入预处理以针对对抗攻击而加固机器学习模型的示例性操作的加固机器学习模型系统400的功能框图。在一个实施例中，图1-图3中描述的组件、模块、服务、应用程序和/或功能中的一个或多个组件、模块、服务、应用程序和/或功能可以在图4中使用。如所描绘的，加固的机器学习模型系统400包括加固的图像分类器404(例如，机器学习模型)，其可以被包括在图1的云计算节点10和/或计算系统12中和/或外部。
加固图像分类器404可以包括一个或多个预处理器和/或与一个或多个预处理器通信，诸如例如预处理器1-N、一个或多个学习器(例如，学习器1-m)、图像分类器420和/或一个或多个神经网络430。图像分类器420可以包括一个或多个机器学习模型，诸如例如卷积神经网络(“CNN”)。一个或多个神经网络430可以包括一个或多个FC层和Logit，例如Logit 1-m。
通常，要被加固的机器学习模型可以是任何类型的机器学习模型，诸如，例如CNN、自动编码器、支持向量机(“SVM”)、线性回归等。数据集可以包括非结构化数据(诸如，例如图像、文本等)或者结构化数据(诸如，例如向量、数组等)。预处理器(诸如，例如预处理器1-N)可以将一个或多个变换应用于实例(诸如，例如数据集的图像(“I”)410)。在一个实施例中，变化可以包括一个或多个数学函数、信号处理函数、机器学习模型等。学习器(诸如，例如学习器1-m)可以通过例如迭代地提升学习器的性能(例如，使用梯度提升)来被训练，并且在运行时通过预处理模型输入来防御机器学习模型(例如，CNN)。
因此，考虑图4A-图4D中所示的用于学习输入预处理以针对对抗攻击而加固机器学习模型的以下操作415、425和435。如所描绘的，在图4A-图4B中，步骤1)预处理输入数据，诸如例如图像(“I”)410。即，诸如例如图像410等数据集的数据实例可作为输入被接收。使用预处理功能，可以将图像提供给(例如，传递通过)一组预处理器(诸如，例如预处理器1-N)以净化图像410。预处理器(诸如，例如预处理器1-N)可以各自输出/提供一组经预处理的图像(诸如，例如图像I1、I2和In)。
在步骤2)中，如图4A和4C所示，一个或多个学习器(例如，学习器1、2、3和M)可以被训练。学习器的数目确定经学习的数据预处理器的准确度。更大数目的学习器可以指示最优的或提高的/更高的准确度，但是也可以指示用于学习过程的更大的计算资源。
例如，使用图像(例如，来自步骤1的经预处理的一组图像)，诸如例如图像I1、I2和In，作为输入，学习函数可以被执行以按如下顺序训练针对学习器中的一个或多个学习器的参数W1j。首先，利用I′1和Logit 1训练针对学习器1的参数W1j和神经网络(NN)参数，如等式1所示：
I′1＝W11I1+W12I2+...+W1nIn (1)；以及
Logit 1＝NN的最后层
第二，利用I′2和Logit 2训练针对学习器2的参数W2j和神经网络(NN)参数：
I′2＝W21I1+W22I2+…+W2nIn (2)；以及
Logit 2＝Logit 1+NN的最后层
第三，如等式3所示，利用I′3和Logit 3训练针对学习器3的参数W3j和神经网络(NN)参数：
I′3＝W31I1+W32I2+…+W3nIn (3)；以及
Logit 2＝Logit 2+NN的最后层
该模式可以重复，直到结束该组所有经预处理图像，诸如例如图像I1、I2和In，以及，直到最后的学习器。结束后，得到一组经训练的学习器，诸如例如学习器1-m。
在步骤3)中，如图4D所示，一个或多个机器学习模型可以被加固。要被分类的图像410可以用作输入。加固功能可以使用预处理器和从步骤2训练的经雪莲的学习器来加固一个或多个机器学习模型并且对图像进行分类。因此，一个或多个机器学习模型可以提供预测的标签440作为输出。用于预测标签的logit可以在任何学习器处获得，诸如例如从Logit1到Logit M。
此外，如图4C所示，可以执行确定操作来标识/确定经分类图像的任何数据是否损失，如在框450中。此外，在框450中可以应用和使用真实标签460。
现在转向图5，描绘了用于使用处理器来学习输入预处理以针对对手加固机器学习模型的方法500，其中可以实现各种所示实施例。功能500可以被实现为作为机器上的指令被执行的方法，其中指令被包括在至少一个计算机可读介质或一个非瞬态机器可读存储介质上。功能500可以在框502中开始。
如在框504中，要被加固的一个或多个模型、要被用于加固的数据集、一列预处理器和要被使用的多个学习器可以被接收。如在框506中，一个或多个数据实例可以由一个或多个预处理器从数据集接收作为输入，数据实例可以通过应用一个或多个变换来被变换，并且经变换的数据实例可以被提供作为输出。如在框508中，通过预处理模型输入来防御加固的模型(例如，加固的机器学习模型)的一个或多个学习器可以被训练。如在框510中，一个或多个加固的模型可以基于经学习的预处理器的组合而被提供。功能500可以如在框512中结束。
现在转向图6，描绘了用于使用处理器来学习输入预处理以针对对手加固机器学习模型的方法600，其中可以实现各种所示实施例。功能600可以被实现为作为机器上的指令被执行的方法，其中指令被包括在至少一个计算机可读介质或一个非瞬态机器可读存储介质上。功能600可以在框602中开始。
如在框604中，通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固一个或多个机器学习模型的数据集、一列预处理器、以及选定数目的学习器，针对对抗攻击而被保护的一个或多个加固的机器学习模型被提供。功能600可以如在框606中结束。
在一个实施例中，结合图5或6的至少一个框和/或作为其一部分，500和/或600的操作可包括以下各项中的每项。500和/或600的操作可以接收一个或多个机器学习模型、用于加固一个或多个机器学习模型的数据集、一列预处理器和选定数目的学习器。500和/或600的操作可以学习选定预处理操作的多个组合中的每个组合的对抗鲁棒性的程度。
500和/或600的操作可以从数据集接收一个或多个数据实例，和/或通过由选定预处理操作的多个组合中的一个或更多个组合应用一个或多个变换操作来变换一个或多个数据实例。
500和/或600的操作可以在传入数据由一个或多个机器学习模型消耗之前使用选定预处理操作的多个组合中的一个或多个来预处理传入数据。500和/或600的操作可以确定一个或多个加固的机器学习模型的安全性得分，该安全性得分指示针对对抗性攻击的安全性级别。
500和/或600的操作可以学习针对选定学习器中的每个学习器的一个或多个参数，和/或学习加固一个或多个机器学习模型的选定预处理操作的多个组合中的每一个组合。
本发明可以是系统、方法和/或计算机程序产品。该计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多种介质)，该计算机可读程序指令用于使处理器执行本发明的方面。
计算机可读存储介质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机盘，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)，静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)，数字通用盘(DVD)、记忆棒、软盘、机械编码的设备(诸如穿孔卡片或者具有记录在其上的指令的凹槽中的凸起结构)，以及前述各项的任何合适的组合。如本文中所使用的，计算机可读存储介质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所述的计算机可读程序指令可以从计算机可读存储介质被下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)被下载到外部计算机或者外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令，指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任何组合编写的源代码或目标代码，包括诸如Smalltalk、C++等面向对象的编程语言，以及常规的过程式编程语言，诸如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供方的互联网)。在一些实施例中，包括例如可编程逻辑电路装置、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路装置个性化，以便执行本发明的方面。
本文中参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或框图描述本发明的方面。应当理解，流程图和/或框图的每个框以及流程图和/或框图中各个框的组合，都可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机的处理器，专用计算机或者其他可编程数据处理装置以产生机器，使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以被存储在可以引导计算机、可编程数据处理装置，和/或以特定方式起作用的其他设备的计算机可读存储介质中，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图中的一个或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置、或者其他设备上，以使一系列操作步骤在计算机、其他可编程装置或者其他设备产生计算机实现的过程，使得在计算机、其他可编程装置或者其他设备上执行的指令实现流程图和/或框图中的一个或多个框中指定的功能/动作。
附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。对此，流程图或框图中的每个框可以标识模块、段或指令的一部分，其包括用于实现(多个)指定的逻辑功能的一个或多个可执行指令。在一些备选实现中，框中所标注的功能可以不以图中所标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本同时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，该基于专用硬件的系统执行指定的功能或动作或者执行专用硬件与计算机指令的组合。

Claims (21)

1.一种用于由一个或多个处理器在计算环境中保护机器学习模型的方法，包括：
通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固所述一个或多个机器学习模型的数据集、一列预处理器以及选定数目的学习器，来提供针对对抗攻击而被保护的一个或多个加固的机器学习模型。
2.根据权利要求1所述的方法，还包括接收所述一个或多个机器学习模型、用于加固所述一个或多个机器学习模型的所述数据集、所述一列预处理器和所述选定数目的学习器。
3.根据权利要求1所述的方法，还包括学习选定预处理操作的所述多个组合中的每个组合的对抗鲁棒性的程度。
4.根据权利要求1所述的方法，还包括：
从所述数据集接收一个或多个数据实例；以及
通过由选定预处理操作的所述多个组合中的一个或更多个组合应用一个或多个变换操作来变换所述一个或多个数据实例。
5.根据权利要求1所述的方法，还包括在传入数据被所述一个或多个机器学习模型消耗之前，使用选定预处理操作的所述多个组合中的一个或更多个组合对所述传入数据进行预处理。
6.根据权利要求1所述的方法，还包括确定针对所述一个或多个加固的机器学习模型的安全性得分，所述安全性得分指示针对所述对抗攻击的安全性级别。
7.根据权利要求1所述的方法，还包括：
学习针对所述选定数目的学习器中的每个学习器的一个或多个参数；以及
学习加固所述一个或多个机器学习模型的选定预处理操作的所述多个组合中的每个组合。
8.一种用于在计算环境中保护机器学习模型的系统，包括：
具有可执行指令的一个或多个计算机，所述可执行指令在被执行时使所述系统：
通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固所述一个或多个机器学习模型的数据集、一列预处理器以及选定数目的学习器，来提供针对对抗攻击而被保护的一个或多个加固的机器学习模型。
9.根据权利要求8所述的系统，其中，所述可执行指令还接收所述一个或多个机器学习模型、用于加固所述一个或多个机器学习模型的所述数据集、所述一列预处理器和所述选定数目的学习器。
10.根据权利要求8所述的系统，其中所述可执行指令还学习选定预处理操作的所述多个组合中的每个组合的对抗鲁棒性的程度。
11.根据权利要求8所述的系统，其中所述可执行指令还：
从所述数据集接收一个或多个数据实例；以及
通过由选定预处理操作的所述多个组合中的一个或更多个组合应用一个或多个变换操作来变换所述一个或多个数据实例。
12.根据权利要求8所述的系统，其中所述可执行指令还：在传入数据被所述一个或多个机器学习模型消耗之前，使用选定预处理操作的所述多个组合中的一个或更多个组合对所述传入数据进行预处理。
13.根据权利要求8所述的系统，其中所述可执行指令还确定针对所述一个或多个加固的机器学习模型的安全性得分，所述安全性得分指示针对所述对抗攻击的安全性级别。
14.根据权利要求8所述的系统，其中所述可执行指令还：
学习针对所述选定数目的学习器中的每个学习器的一个或多个参数；以及
学习加固所述一个或多个机器学习模型的选定预处理操作的所述多个组合中的每个组合。
15.一种用于由处理器在计算环境中保护机器学习模型的计算机程序产品，所述计算机程序产品包括具有存储在其中的计算机可读程序代码部分的非瞬态计算机可读存储介质，所述计算机可读程序代码部分包括：
可执行部分，所述可执行部分通过应用来自一个或多个机器学习模型的选定预处理操作的多个组合中的一个或更多个组合、用于加固所述一个或多个机器学习模型的数据集、一列预处理器以及选定数目的学习器，来提供针对对抗攻击而被保护的一个或多个加固的机器学习模型。
16.根据权利要求15所述的计算机程序产品，还包括以下可执行部分：所述可执行部分接收所述一个或多个机器学习模型、用于加固所述一个或多个机器学习模型的所述数据集、所述一列预处理器和所述选定数目的学习器。
17.根据权利要求15所述的计算机程序产品，还包括以下可执行部分：所述可执行部分
学习选定预处理操作的所述多个组合中的每个组合的对抗鲁棒性的程度；以及
确定针对所述一个或多个加固的机器学习模型的安全性得分，所述安全性得分指示针对所述对抗攻击的安全性级别。
18.根据权利要求15所述的计算机程序产品，还包括以下可执行部分：所述可执行部分
从所述数据集接收一个或多个数据实例；以及
通过由选定预处理操作的所述多个组合中的一个或更多个组合应用一个或多个变换操作来变换所述一个或多个数据实例。
19.根据权利要求15所述的计算机程序产品，还包括以下可执行部分：所述可执行部分在传入数据被所述一个或多个机器学习模型消耗之前，使用选定预处理操作的所述多个组合中的一个或更多个组合对所述传入数据进行预处理。
20.根据权利要求15所述的计算机程序产品，还包括以下可执行部分：所述可执行部分
学习针对所述选定数目的学习器中的每个学习器的一个或多个参数；以及
学习加固所述一个或多个机器学习模型的选定预处理操作的所述多个组合中的每个组合。
21.一种计算机程序，包括程序代码装置，当所述程序在计算机上运行时，所述程序代码装置适于执行根据权利要求1至7中任一项所述的方法。
CN202080058926.XA 2019-09-10 2020-08-18 用于加固机器学习模型的学习输入预处理 Pending CN114270349A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/566,862 US11681796B2 (en) 2019-09-10 2019-09-10 Learning input preprocessing to harden machine learning models
US16/566,862 2019-09-10
PCT/EP2020/073132 WO2021047866A1 (en) 2019-09-10 2020-08-18 Learning input preprocessing to harden machine learning models

Publications (1)

Publication Number Publication Date
CN114270349A true CN114270349A (zh) 2022-04-01

Family

ID=72178515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058926.XA Pending CN114270349A (zh) 2019-09-10 2020-08-18 用于加固机器学习模型的学习输入预处理

Country Status (4)

Country Link
US (1) US11681796B2 (zh)
JP (1) JP2022546756A (zh)
CN (1) CN114270349A (zh)
WO (1) WO2021047866A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3906508B1 (en) * 2018-12-31 2024-03-13 Intel Corporation Securing systems employing artificial intelligence
US20210224696A1 (en) * 2020-01-21 2021-07-22 Accenture Global Solutions Limited Resource-aware and adaptive robustness against concept drift in machine learning models for streaming systems
US11675896B2 (en) * 2020-04-09 2023-06-13 International Business Machines Corporation Using multimodal model consistency to detect adversarial attacks
EP3944159A1 (en) * 2020-07-17 2022-01-26 Tata Consultancy Services Limited Method and system for defending universal adversarial attacks on time-series data
US20220179990A1 (en) * 2020-12-03 2022-06-09 International Business Machines Corporation Federated private adversarial training
US11516311B2 (en) * 2021-01-22 2022-11-29 Avago Technologies International Sales Pte. Limited Distributed machine-learning resource sharing and request routing
WO2023006188A1 (en) * 2021-07-27 2023-02-02 Nokia Technologies Oy Trust related management of artificial intelligence or machine learning pipelines

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248910B2 (en) 2015-10-28 2019-04-02 Fractal Industries, Inc. Detection mitigation and remediation of cyberattacks employing an advanced cyber-decision platform
US10270789B2 (en) 2016-01-29 2019-04-23 Acalvio Technologies, Inc. Multiphase threat analysis and correlation engine
US10657259B2 (en) * 2017-11-01 2020-05-19 International Business Machines Corporation Protecting cognitive systems from gradient based attacks through the use of deceiving gradients
US11132444B2 (en) * 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
US11341277B2 (en) * 2018-04-20 2022-05-24 Nec Corporation Method and system for securing machine learning models
US11100222B2 (en) * 2018-11-05 2021-08-24 Nxp B.V. Method for hardening a machine learning model against extraction

Also Published As

Publication number Publication date
US20210073376A1 (en) 2021-03-11
JP2022546756A (ja) 2022-11-08
US11681796B2 (en) 2023-06-20
WO2021047866A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
AU2020368222B2 (en) Adding adversarial robustness to trained machine learning models
US11681796B2 (en) Learning input preprocessing to harden machine learning models
US11411979B2 (en) Compliance process risk assessment
US11748648B2 (en) Quantum pulse optimization using machine learning
US11048718B2 (en) Methods and systems for feature engineering
US20200159924A1 (en) Protecting a machine learning model
US20200177634A1 (en) Hybrid Network Infrastructure Management
US11397891B2 (en) Interpretability-aware adversarial attack and defense method for deep learnings
US11176508B2 (en) Minimizing compliance risk using machine learning techniques
US11847546B2 (en) Automatic data preprocessing
US20190065284A1 (en) Hybrid acceleration in a processing environment
CN114667507A (zh) 使用基于应用的剖析的机器学习工作负载的弹性执行
US20220092464A1 (en) Accelerated machine learning
US11475297B2 (en) Cross-domain homophily quantification for transfer learning
US11573785B2 (en) Predicting code vulnerabilities using machine learning classifier models trained on internal analysis states
US11526791B2 (en) Methods and systems for diverse instance generation in artificial intelligence planning
US11514340B2 (en) Machine learning for technical tool selection
US20230169176A1 (en) Graph exploration framework for adversarial example generation
WO2021227757A1 (en) Optimal placement of data structures in a hybrid memory based inference computing platform
US11288046B2 (en) Methods and systems for program optimization utilizing intelligent space exploration
US20210398023A1 (en) Migration Risk Assessment, Recommendation, and Implementation
CN115210722A (zh) 使用混合推理进行图计算的方法和系统
US20210216879A1 (en) Methods and systems for improving heuristic searches for artificial intelligence planning
US11551006B2 (en) Removal of personality signatures
US11334716B2 (en) Document anonymization including selective token modification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination