CN112528244A - 用于由数据处理加速器处理数据的方法及数据处理加速器 - Google Patents

用于由数据处理加速器处理数据的方法及数据处理加速器 Download PDF

Info

Publication number
CN112528244A
CN112528244A CN202011255365.0A CN202011255365A CN112528244A CN 112528244 A CN112528244 A CN 112528244A CN 202011255365 A CN202011255365 A CN 202011255365A CN 112528244 A CN112528244 A CN 112528244A
Authority
CN
China
Prior art keywords
model
watermark
accelerator
data processing
signature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011255365.0A
Other languages
English (en)
Other versions
CN112528244B (zh
Inventor
程越强
刘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunlun Core Beijing Technology Co ltd
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN112528244A publication Critical patent/CN112528244A/zh
Application granted granted Critical
Publication of CN112528244B publication Critical patent/CN112528244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1063—Personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • H04L9/3066—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy involving algebraic varieties, e.g. elliptic or hyper-elliptic curves
    • H04L9/3073—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy involving algebraic varieties, e.g. elliptic or hyper-elliptic curves involving pairings, e.g. identity based encryption [IBE], bilinear mappings or bilinear pairings, e.g. Weil or Tate pairing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3242—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving keyed hash functions, e.g. message authentication codes [MACs], CBC-MAC or HMAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Technology Law (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Power Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurology (AREA)
  • Bioethics (AREA)
  • Storage Device Security (AREA)
  • Advance Control (AREA)

Abstract

本公开提供一种用于由数据处理加速器处理数据的方法、数据处理加速器、数据处理系统和机器可读介质。所述方法包括：响应于由数据处理加速器接收到的请求，基于水印算法生成用于人工智能(AI)模型的水印，所述请求由应用发送以将水印应用于所述AI模型；将所述水印嵌入到所述AI模型上；对具有所嵌入的水印的AI模型进行签名以生成签名；以及将所述签名和具有所嵌入的水印的所述AI模型返回到所述应用，其中所述签名用于验证所述水印和/或所述AI模型。

Description

用于由数据处理加速器处理数据的方法及数据处理加速器
技术领域
本公开的实施例一般涉及机器学习模型训练和推断。更具体地，本公开的实施例涉及一种用于由数据处理加速器处理数据的方法、数据处理加速器、数据处理系统和机器可读介质。
背景技术
机器学习模型最近已被广泛使用，因为人工智能(AI)技术已被部署在诸如图像分类或自主驾驶等各种领域中。类似于软件应用的可执行映像或二进制映像，机器学习模型(也称为人工智能(AI)模型)在被训练时可基于特征的集合执行推断以对特征进行分类。结果，机器学习模型可以是“可移植的”并且在未经授权的情况下使用。目前，对于机器学习模型缺乏有效的数字权利保护。另外，对于使用委托给诸如处理(DP)加速器或远程系统等辅助处理系统的AI模型的处理任务，缺乏DP加速器系统产生的结果受“可信根”系统保护的证据。
发明内容
本公开旨在提供一种用于由数据处理加速器处理数据的方法、数据处理加速器、数据处理系统和机器可读介质。
根据本公开的一个方面，提供了一种用于由数据处理加速器处理数据的方法，所述方法包括：响应于由数据处理加速器接收到的请求，基于水印算法生成用于人工智能(AI)模型的水印，所述请求由应用发送以将水印应用于所述AI模型；将所述水印嵌入到所述AI模型上；对具有所嵌入的水印的AI模型进行签名以生成签名；以及将所述签名和具有所嵌入的水印的所述AI模型返回到所述应用，其中所述签名用于验证所述水印和/或所述AI模型。
根据本公开的另一个方面，提供了一种数据处理加速器，包括：水印单元，用于响应于由数据处理加速器接收到的请求，基于水印算法生成用于人工智能(AI)模型的水印，所述请求由应用发送以将水印应用于所述AI模型；安全单元，用于对具有所嵌入的水印的AI模型进行签名以生成签名；以及通信接口单元，用于将所述签名和具有所嵌入的水印的所述AI模型返回到所述应用，其中所述签名用于验证所述水印和/或所述AI模型。
根据本公开的又一个方面，提供了一种用于由数据处理加速器处理数据的方法，所述方法包括：由应用向数据处理加速器发送请求，所述请求用于基于水印算法为人工智能(AI)模型生成水印，将所述水印嵌入到所述AI模型上，以及基于安全密钥对，生成用于具有所述水印的所述AI模型的签名；以及接收所述签名，其中所述签名被用于验证所述水印和/或所述AI模型。
根据本公开的又一个方面，提供了一种数据处理系统，包括：处理器；以及连接到所述处理器以存储指令的存储器，所述指令在由所述处理器执行时致使所述处理器执行如上文或下文所述的用于由数据处理加速器处理数据的方法。
根据本公开的又一个方面，提供了一种非暂时性机器可读介质，具有存储在其中的指令，所述指令在由处理器执行时致使所述处理器执行如上文或下文所述的用于由数据处理加速器处理数据的方法。
附图说明
在附图的各图中通过示例而非限制的方式示出本公开的实施例，在附图中相似的附图标记指示相似的元件。
图1是示出根据一个实施例的用于主机与数据处理(DP)加速器之间的通信的系统配置的示例的框图。
图2是示出根据一个实施例的与数据处理(DP)加速器通信的主机服务器的示例的框图。
图3是示出根据一个实施例的与数据处理加速器通信的主机的框图。
图4是示出根据一个实施例的对嵌入有水印的AI模型签名的过程的流程图。
图5是示出根据一个实施例的由DP加速器执行的方法的流程图。
图6是示出根据一个实施例的由应用执行的方法的流程图。
图7是示出根据一个实施例的具有可配置水印单元的DP加速器的框图。
图8是示出根据一个实施例的使用水印算法配置水印单元的过程的流程图。
图9是示出根据一个实施例的由DP加速器执行的方法的流程图。
图10是示出根据一个实施例的具有水印算法训练器的DP加速器的框图。
图11是示出根据一个实施例的由DP加速器执行的方法的流程图。
图12是示出根据一个实施例的由DP加速器执行的方法的流程图。
图13是示出根据一个实施例的具有水印验证模块的DP加速器的框图。
图14是示出根据一个实施例的验证水印的过程的流程图。
图15是示出根据一个实施例的由DP加速器执行的方法的流程图。
图16是示出根据一个实施例的由主机的应用执行的方法的流程图。
图17是示出根据一个实施例的数据处理系统的框图。
具体实施方式
将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各种实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特别特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
以下实施例涉及使用数据处理(DP)加速器以增加可从主机设备减负(或委托)到DP加速器的某些类型的操作的处理吞吐量。DP加速器可以是图形处理单元(GPU)、人工智能(AI)加速器、数学协处理器、数字信号处理器(DSP)或其它类型的处理器。DP加速器可以是专有设计，诸如
Figure BDA0002772950850000031
AI加速器、
Figure BDA0002772950850000032
GPU等。尽管使用安全地连接到一个或多个DP加速器的主机设备示出和描述实施例，但本文所述的概念可更一般地实现为分布式处理系统。
主机设备和DP加速器可以经由诸如外围组件快速互连(PCIe)的高速总线，或其他高速总线互连。主机设备和DP加速器可以在执行以下描述的本发明的各方面的操作之前交换密钥并在PCIe总线上发起安全信道。所述操作中的一些包括DP加速器使用人工智能(AI)模型(或机器学习模型)，以使用由主机设备提供的数据来执行推断。在AI模型推断被主机设备信任之前，主机设备可使DP加速器执行一个或多个验证，如下所述，包括确定AI模型的水印。在一些实施例和操作中，DP加速器不知道主机设备正在DP加速器处验证AI模型的水印。
AI模型的水印是嵌入在AI模型内、或在AI模型的输出中、或其组合的标识符，用于标识AI模型的来源/制造者。嵌入或植入是指修改AI模型或对AI模型的训练，诸如修改AI模型的层或权重、或AI模型的训练历元(training epoch)(或其他训练参数)。在一些实施例中，水印可以是AI模型内的当从该AI模型中提取时包括水印的权重的子集。在实施例中，主机设备可向DP加速器发送特定的输入，当DP加速器使用该特定的输入执行AI模型时，DP加速器从AI模型提取水印。主机设备可在使用DP加速器和/或AI模型之前查验/验证水印以进行授权。
根据第一方面，响应于由数据处理加速器接收到的请求，由应用(应用可由主机机器托管)发送的将数字版权保护嵌入到人工智能(AI)模型的请求，系统(例如，DP加速器)基于水印算法生成用于AI模型的水印。系统将水印嵌入到AI模型上。系统对具有嵌入的水印的AI模型进行签名以生成签名。系统将签名和具有嵌入的水印的AI模型返回到应用，其中签名用于认证水印和/或AI模型。
在一个实施例中，系统(例如，主机)通过人工智能(AI)应用向数据处理加速器发送请求，请求基于水印算法生成用于AI模型的水印，将水印嵌入到AI模型上，并基于安全密钥对生成具有水印的用于AI模型的签名。系统接收签名，其中签名用于认证水印和/或AI模型。
根据第二方面，响应于由数据处理(DP)加速器接收的请求，由应用发送的请求要由DP加速器向人工智能(AI)模型应用水印算法，系统(例如DP加速器)确定水印算法在DP加速器的水印单元处不可用。系统发送对于水印算法的请求。系统通过DP加速器接收水印算法。系统在运行时间使用水印算法配置水印单元，以便该水印算法被DP加速器使用。
根据第三方面，系统(例如，DP加速器)基于预定的准则集合训练水印算法，其中水印算法被训练以生成水印算法的变体。系统在运行时间使用水印算法的变体配置水印单元，以便该水印算法被DP加速器使用。
根据第四方面，系统(例如，DP加速器)从应用接收推断请求。系统从具有水印的人工智能(AI)模型中提取水印。系统基于策略验证所提取的水印。系统将具有水印的AI模型应用于推断输入的集合，以生成推断结果。系统向应用发送验证证明和推断结果。
在一个实施例中，系统(例如，主机应用)向数据处理(DP)加速器发送推断请求，该请求通过将具有水印的人工智能(AI)模型应用于推断输入来生成推断结果，其中该请求包括通过DP加速器从具有水印的AI模型中提取水印，以及基于策略验证提取到的水印。系统接收验证证明和对应用的推断结果。
上述功能中的任一个都可以作为可执行指令被编程到一个或多个非暂时性计算机可读介质上。当可执行指令由具有至少一个硬件处理器的处理系统执行时，处理系统使得功能被实现。
上述功能中的任一个都可以由具有至少一个硬件处理器的处理系统实现，该硬件处理器耦接到使用可执行指令编程的存储器，当可执行指令被执行时，使得处理系统实现功能。
关于以上方面中的任一个，在一个实施例中，水印可被嵌入AI或机器学习模型的一个或多个层的一个或多个节点中。例如，水印可以被植入一个或多个权重变量或偏差变量中。可替换地，可以创建一个或多个节点(例如，机器学习模型未使用或不太可能使用的假节点)或节点的层，以植入或存储水印。主机处理器可以是中央处理单元(CPU)，DP加速器可以是通过总线或互连连接到CPU的通用处理单元(GPU)。DP加速器可以以专用集成电路(ASIC)、现场可编程门阵列(FPGA)设备或其他形式的集成电路(IC)的形式实现。可替换地，主机处理器可以是主数据处理系统的部分，而DP加速器可以是作为辅助系统的许多分布式系统中的一个，主系统可经由链路或网络(例如，诸如软件即服务或SaaS系统、或平台即服务或PaaS系统的云计算系统)，将其数据处理任务远程地减负。主机处理器和DP加速器之间的链路可以是外围组件快速互连(PCIe)链路或诸如以太网连接的网络连接。
图1是示出根据一个实施例的用于主机与数据处理(DP)加速器之间的通信的系统配置的示例的框图。参考图1，系统配置100包括但不限于经由网络103通信地连接到数据处理服务器104的一个或多个客户端设备101-102。数据处理服务器104可以经由网络103连接到云提供商108。客户端设备101-102可以是任何类型的客户端设备，诸如个人计算机(例如，台式机、膝上型计算机和平板计算机)、“瘦”客户端、个人数字助理(PDA)、具有Web能力的电器、智能手表或移动电话(例如，智能手机)等。可替换地，客户端设备101-102可以是其他服务器。网络103可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)或其组合，有线或无线的。客户端设备101-102、数据处理服务器104和云提供商108之间通过网络103的通信可以例如通过TLS/SSL来保护。
数据处理服务器(例如，主机)104可以是任何种类的服务器或服务器集群，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器104可包括允许诸如客户端设备101-102的客户端访问由服务器104提供的资源或服务的接口。例如，服务器104可以是云服务器或数据中心的服务器，向客户端提供各种云服务，诸如例如云存储、云计算服务、大数据服务、建模服务、机器学习训练服务、数据挖掘服务等。服务器104可被配置为云上的软件即服务(SaaS)或平台即服务(PaaS)系统的部分，云可以是私有云、公共云或混合云。接口可包括Web接口、应用编程接口(API)和/或命令行接口(CLI)。
例如，客户端，在该示例中为客户端设备101的用户应用(例如，web浏览器、应用)可向服务器104发送或发射用于执行的指令(例如，人工智能(AI)训练、推断指令等)，并且该指令由服务器104经由网络103上的接口接收。响应于指令，服务器104与DP加速器105-107通信以完成指令的执行。在另一实施例中，客户端可以从服务器104远程地运行应用(经由web浏览器或web应用)，以及客户端可以远程地请求应用执行指令。在一些实施例中，指令是机器学习类型的指令，其中作为专用机器或处理器的DP加速器可以比服务器104的执行快许多倍地执行指令。因此，服务器104可以以分布式方式控制/管理用于一个或多个DP加速器的执行作业。然后，服务器104将执行结果返回给客户端设备101-102。DP加速器或AI加速器可包括一个或多个专用处理器，诸如可从
Figure BDA0002772950850000061
获得的
Figure BDA0002772950850000062
人工智能(AI)芯片组，或者可替换地，DP加速器可以是来自
Figure BDA0002772950850000063
组或一些其他AI芯片组提供商的AI芯片组。
根据一个实施例，可对访问DP加速器105-107中的任一个、并且由也称为主机的DP服务器104托管的应用中的每一个进行验证：该应用是由可信的源或提供商提供的。应用中的每一个可以在由主机104的中央处理单元(CPU)具体地配置和执行的可信执行环境(TEE)中启动和执行。当应用被配置为访问DP加速器105-107中的任一个时，将在主机104与DP加速器105-107中的对应一个DP加速器之间建立安全连接，从而保护在主机104与DP加速器105-107中的每一个DP加速器之间交换的数据免受恶意软件的攻击。
云提供商108可以向数据处理服务器104提供云操作服务。这样的服务包括云网络的管理、提供和配置，服务器104可以是云网络的部分。虽然被示为单个服务器，但是在一些实施例中，云提供商108可以表示许多服务器，或者可以与数据处理服务器104集成。
图2是示出根据一个实施例的与数据处理(DP)加速器通信的主机的示例的框图。在一个实施例中，系统200提供在对DP加速器进行硬件修改或不进行硬件修改的情况下用于主机与DP加速器之间的安全通信的保护方案。参考图2，主机机器或服务器104可以被描绘为具有一个或多个层以免受入侵的系统，诸如用户应用203、运行时库205、驱动程序209、操作系统211和硬件213(例如，安全模块(可信平台模块(TPM))/中央处理单元(CPU))。主机机器104通常是可以控制和管理主机系统或DP加速器105-107上的执行作业的CPU系统。为了保护DP加速器与主机机器之间的通信信道，可能需要不同的组件来保护主机系统中的易于受到数据入侵或攻击的不同的层。例如，可信执行环境(TEE)可以保护用户应用层和运行时库层免受数据入侵。
参考图2，在一个实施例中，主机系统104包括具有一个或多个CPU、且配备有在主机机器104内的安全模块(诸如可信平台模块(TPM))的硬件213。TPM是端点设备上的专用芯片，用于存储特定于主机系统的用于硬件认证的加密密钥(例如RSA加密密钥)。每个TPM芯片可以包括一个或多个RSA密钥对(例如，公共和私有密钥对)，称为签注密钥(EK)或签注证书(EC)，即，根密钥。密钥对被维护在TPM芯片内部，并且不能被软件访问。然后，固件和软件的关键部分在被执行之前，可通过EK或EC对该关键部分进行散列，以保护系统免受未经授权的固件和软件修改的影响。因此主机机器上的TPM芯片可以用作用于安全引导(boot)的可信根。
TPM芯片还保护工作内核空间中的驱动程序209和操作系统(OS)211以与DP加速器通信。这里，驱动程序209由DP加速器提供商提供，并可用作用于用户应用的一个或多个驱动程序，以控制主机与DP加速器之间的通信信道。因为TPM芯片和安全引导保护它们的内核空间中的OS和驱动程序，所以TPM也有效地保护驱动程序209和操作系统211。
由于用于DP加速器105-107的通信信道可由OS和驱动程序独占，因此，通信信道也通过TPM芯片保护。
在一个实施例中，主机机器104包括被强制为由TPM/CPU213保护的可信执行环境(TEE)201。TEE是安全环境。TEE可以保证加载到TEE内部的代码和数据在保密性和完整性方面受到保护。TEE的示例可以是Intel软件保护扩展(SGX)或AMD安全加密虚拟化(SEV)。Intel SGX和/或AMD SEV可以包括中央处理单元(CPU)指令代码的集合，其允许用户级代码分配CPU的存储器的私有区域，该私有区域被保护以免受在较高特权级别上运行的进程的影响。这里，TEE 201可以保护用户应用203和运行时库205，其中用户应用203和运行时库205可分别由最终用户(end user)和DP加速器提供商提供。这里，运行时库205可将API调用转换为用于DP加速器的执行、配置和/或控制的命令。在一个实施例中，运行时库205提供预定的(例如，预定义的)内核的集合以供用户应用执行。
在另一实施例中，主机机器104包括使用诸如Rust和Golang等使用存储器安全语言实现的存储器安全应用207。这些在诸如MesaLock Linux等存储器安全Linux版本上运行的存储器安全应用可以进一步保护系统200免受数据保密性和完整性攻击。然而，操作系统可以是任何Linux发行版、UNIX、Windows OS或Mac OS。
在一个实施例中，系统可以如下建立：将存储器安全Linux发行版安装到配备有TPM安全引导的系统(诸如图2的主机系统104)上。该安装可以在制造或准备阶段期间离线执行。安装还可以确保使用存储器安全编程语言对主机系统的用户空间的应用进行编程。确保在主机系统104上运行的其它应用是存储器安全应用可进一步减轻对于主机系统104的潜在保密性和完整性攻击。
在安装之后，系统随后可以通过基于TPM的安全引导来启动。TPM安全引导确保仅仅经签名/经认证的操作系统和加速器驱动程序在提供加速器服务的内核空间中启动。在一个实施例中，可以通过虚拟机监视器(hypervisor)加载操作系统。注意，虚拟机监视器或虚拟机管理器是创建和运行虚拟机的计算机软件、固件或硬件。注意，内核空间是在其中识别内核(即，用于执行的(例如，预定义的)功能的预先确定的集合)以向用户应用提供功能和服务的声明性区域(declarative region)或作用域(scope)。在系统完整性被破坏的情况下，TPM安全引导可能无法启动，而是关闭系统。
在安全引导之后，运行时库205运行并创建TEE 201，TEE 201将运行时库205放置在与CPU213相关联的可信存储空间中。接下来，在TEE 201中启动用户应用203。在一个实施例中，用户应用203和运行时库205被静态链接并一起启动。在另一实施例中，首先在TEE中启动运行时库205，然后在TEE 201中动态加载用户应用203。在另一实施例中，首先在TEE中启动用户应用203，然后在TEE 201中动态加载运行时库205。注意，静态链接库是在编译时间链接到应用的库。动态加载可以由动态链接器执行。动态链接器加载并链接共享库，用于在运行时间运行用户应用。这里，TEE 201内的用户应用203和运行时库205在运行时是彼此可见的，例如，所有过程数据都是彼此可见的。然而，对TEE的外部访问被拒绝。
在另一实施例中，用户应用仅可从由运行时库205预先确定的内核的集合中调用内核。在另一实施例中，使用无侧信道算法(side channel free algorithm)对用户应用203和运行时库205进行加固，以防御诸如基于高速缓存的侧信道攻击之类的侧信道攻击。侧信道攻击是基于从计算机系统的实现中获得的信息的任何攻击，而不是基于所实现的算法本身中的弱点(例如，密码分析和软件错误)。侧信道攻击的示例包括高速缓存攻击，高速缓存攻击是基于攻击者对虚拟化环境或云环境中的共享物理系统的高速缓存进行监视的能力的攻击。加固可包括高速缓存的屏蔽、由算法生成的要放置在高速缓存上的输出。接着，当用户应用完成执行时，用户应用终止其执行并从TEE退出。
总之，系统200为DP加速器提供了多层保护(比如，诸如机器学习模型、训练数据和推断输出等数据的通信)，以防止丢失数据保密性和完整性。系统200可包括基于TPM的安全引导保护层、TEE保护层和内核查验/验证层。另外，系统200可以通过确保使用存储器安全编程语言实现主机机器上的其他应用来提供存储器安全用户空间，这可以通过消除潜在的存储器损坏/漏洞(memory corruptions/vulnerabilities)进一步消除攻击。另外，系统200可包括使用无侧信道算法的应用，以防御侧信道攻击，诸如基于高速缓存的侧信道攻击。
图3是示出根据一个实施例的与数据处理加速器通信的主机的框图。系统300可以是用于图2的系统200的部分的详细视图。参考图3，在一个实施例中，主机系统104包括运行时库205，运行时库205包括主机信道管理器(HCM)259。在一个实施例中，HCM259包括认证模块251、终止模块252、密钥管理器253、密钥存储254以及加密引擎255。认证模块251可对主机服务器104上运行的用户应用进行认证，以获得访问或使用DP加速器的资源的许可。终止模块252可以终止连接(例如，与连接相关联的信道将被终止)。密钥管理器253可以对非对称密钥对或对称密钥进行管理(例如，创建或销毁)，所述非对称密钥对或对称密钥用于对用于不同的安全数据交换信道的一个或多个数据分组进行加密/解密。这里，每个用户应用(作为图2的用户应用203的一部分)可以按照一对多的关系，对应于或映射到不同的安全数据交换信道，并且每个数据交换信道可以对应于DP加速器。密钥存储254可以存储加密非对称密钥对或对称密钥。加密引擎255可以对经由安全信道中的任一个交换的数据的数据分组进行加密或解密。
参考图3，在一个实施例中，DP加速器105包括加速器信道管理器(ACM)270和安全单元(SU)275。类似地，DP加速器107包括加速器信道管理器(ACM)290。安全单元275可包括密钥管理器271、密钥存储272、真随机数生成器273、以及加密引擎274。密钥管理器271可以管理(例如，生成、安全保持和/或销毁)非对称密钥对或对称密钥。密钥存储272可以存储加密非对称密钥对或对称密钥。真随机数生成器273可以生成用于加密的真随机数。加密引擎274可以对用于数据交换的密钥信息或数据分组进行加密或解密。安全单元275可以包含一个或多个RSA密钥对(例如，公共和私有密钥对)，称为签注密钥(EK)或签注凭证(EC)，即根密钥。密钥对被维护在安全单元275内部，并且不能被软件访问。然后，安全单元可以使用EK或EC加密数据或生成其它安全密钥(这些安全密钥又进而可以用于加密数据)。基本上，为了加密目的，根证书(EK/EC)被加固到安全单元275上。在一些实施例中，ACM 270和SU 275是集成模块。
在一个实施例中，DP加速器105包括水印单元276。水印单元276可以是基于硬件的模块，其能够从人工智能(AI)模型(也称为“机器学习模型”)中识别或提取水印。在实施例中，水印单元276包括生成/嵌入模块260。生成/嵌入模块260可以生成水印，并将水印嵌入/植入到人工智能(AI)模型上。在一个实施例中，可以在AI模型的训练之前、之后或期间将水印植入到AI模型中。水印单元276还可以在用于AI模型的推断期间将水印植入(或嵌入)到AI模型上。在实施例中，水印单元276的功能性可以可替换地使用从主机104接收的一个或多个代码的内核实施。
DP加速器105可包括存储器/存储设备280。存储器/存储设备280是用于存储数据的非持久性或持久性存储介质。存储数据可包括AI模型277、水印算法278、水印279、签名281或DP加速器105使用的任何数据。
图4是示出根据一个实施例的对嵌入有水印的AI模型签名的过程的流程图。操作400示出在训练AI模型之后将水印嵌入到AI模型中。可由图3的主机服务器104和/或DP加速器105执行。参照图4，在操作401中，主机服务器104向DP加速器105发送用于AI模型训练的训练数据集合，以由DP加速器处理。在操作402中，DP加速器105基于训练数据集合训练AI模型。在操作403中，在训练完成之后，DP加速器105向主机机器104发送训练完成通知。在一些实施例中，主机服务器104可发送将要基于训练数据集合重新训练的AI模型。在一些实施例中，多个训练数据集合之中的该训练数据集合在DP加速器105的存储装置/存储器中，可由DP加速器105检索，其中主机机器104发送对于训练数据集合的选择，而不是基础训练数据集合。
在操作404中，主机机器104选择由AI模型支持的水印算法。在操作405中，DP加速器105基于水印算法生成水印并将其嵌入到AI模型上。在操作406中，DP加速器105选择安全密钥对，并生成用于AI模型/水印对的签名。安全密钥对可基于DP加速器105的根证书来生成。因此，安全密钥对可被验证为来自可信源(例如，DP加速器105)。在一个实施例中，安全密钥对包括公共密钥和私有密钥，例如基于诸如RSA加密算法的非对称密钥算法。签名包括生成用于AI模型/水印二进制文件的散列，并基于安全密钥对的私有密钥加密该散列以生成签名。在一个实施例中，散列是MD5散列或安全散列算法(SHA)散列的变体，或任何其它散列函数。在操作407中，经加密的散列(例如，签名)、安全密钥对的公共密钥、和/或水印/AI模型文件被返回给主机104，其中主机104或任何其他第三方可以使用签名和公共密钥验证水印/AI模型文件，以进行第一验证，并且提取水印以进行第二验证，从而进行于双因素验证。
虽然操作400描述了嵌入到经训练的AI模型中的水印，但是在一些实施例中，水印算法可以在训练之前被预先选择为默认选择，以及在训练之前、期间或之后被应用于AI模型。在另一实施例中，经训练的AI模型由主机机器104提供，以及在推断期间由DP加速器105执行AI模型的水印和签名。在本实施例中，在DP加速器105应用水印和/或生成用于AI模型/水印的签名之前，DP加速器105尝试从AI模型/水印中提取水印以确定AI模型是否已经包括水印。如果提取不成功，则DP加速器105继续应用水印和/或生成用于AI模型/水印的签名。在一些实施例中，AI模型/水印对包括元数据，以指示被应用于生成水印的水印算法的版本和/或类型，使得水印能够基于版本被提取和/或验证。
图5是示出根据一个实施例的由DP加速器执行的方法的流程图。过程500可以由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程500可由诸如图3的DP加速器105等DP加速器执行。参考图5，在框501处，响应于由数据处理加速器接收到的请求，处理逻辑基于水印算法生成用于AI模型的水印，所述请求由应用(应用可由主机机器104托管)发送以将水印应用于人工智能(AI)模型。在框502处，处理逻辑将水印嵌入到AI模型上。在框503处，处理逻辑对具有所嵌入的水印的AI模型进行签名以生成签名。在框504处，处理逻辑将签名和具有所嵌入的水印的AI模型返回到应用，其中所述签名用于验证水印和/或AI模型。
在一个实施例中，处理逻辑还通过基于训练数据集合训练AI模型，生成AI模型。在一个实施例中，处理逻辑还接收预先训练的AI模型，并且通过基于训练数据集合训练AI模型，重新训练AI模型。
在一个实施例中，对具有嵌入的水印的AI模型进行签名包括由DP加速器的安全单元生成安全密钥对，生成用于具有所嵌入的水印的AI模型的散列，以及使用安全密钥对的私有密钥加密散列，以对具有所嵌入的水印的AI模型进行签名。在一个实施例中，使用安全密钥对的公共密钥对散列进行解密，以验证用于水印和/或AI模型的签名。
在另一实施例中，处理逻辑还从AI模型中提取水印，以及验证所提取到的水印和签名两者，以进行双因素验证。在另一实施例中，安全单元包括被加固到安全单元上的根证书，其中安全密钥对是基于安全单元的根证书生成的多个密钥对，以及安全密钥对是由水印算法选择的，用于对具有所嵌入的水印的AI模型进行签名。
图6是示出根据一个实施例的由应用执行的方法的流程图。过程600可以由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程600可以由诸如图3的主机104的主机服务器或任何其他第三方(例如，终端用户、客户等)执行。参考图6，在框601处，处理逻辑向数据处理加速器发送请求，请求基于水印算法生成用于人工智能(AI)模型的水印，将水印嵌入到AI模型上，以及基于安全密钥对生成用于具有水印的AI模型的签名。在框602处，处理逻辑接收签名和/或水印/AI模型文件，其中所述签名被用于验证水印和/或AI模型。例如，处理逻辑使用安全密钥对的公共密钥对签名进行解密以生成第一散列。处理逻辑将散列算法应用于水印/AI模型文件以生成第二散列。比较第一散列和第二散列是否匹配。如果匹配，则签名被成功验证。
在一个实施例中，处理逻辑将训练数据集合发送到数据处理加速器(例如，经由主机机器104)，以基于训练数据集合训练AI模型。在另一实施例中，处理逻辑将预先训练的AI模型发送到数据处理加速器，其中基于训练数据集合重新训练AI模型。在一个实施例中，具有嵌入的水印的AI模型由DP加速器的安全单元签名。安全单元可以基于EK或EC生成安全密钥对。然后，安全单元可以生成用于具有嵌入的水印的AI模型的散列，并且使用安全密钥对的私有密钥对散列进行加密，以对具有嵌入的水印的AI模型进行签名。在另一实施例中，使用安全密钥对的公共密钥，对散列进行解密，以验证用于水印和/或AI模型的签名。
在另一实施例中，所述验证包括从AI模型中提取水印，并进一步验证提取到的水印，以进行双因素验证。在另一实施例中，安全单元包括被加固到安全单元上的根证书，其中安全密钥对是基于安全单元的根证书生成的多个密钥对，以及安全密钥对是由水印算法选择的，用于对具有所嵌入的水印的AI模型进行签名。
在运行时间，用户可以经由主机104的应用选择水印算法，以应用于AI模型的水印。所选择的水印算法可基于在特定的DP加速器处可用或不可用的算法的集合来选择。如果水印算法在DP加速器处可用，则DP加速器可将该算法应用于AI模型。如果水印算法在DP加速器处不可用，则DP加速器可经由主机104向应用发送对于水印算法的请求。应用随后可将所请求的水印算法发送给DP加速器。另外，过期的或未使用的水印算法(在期满时间阈值之后)可被自动地调度，以从DP加速器的存储中去除。
图7是示出根据一个实施例的具有可配置水印单元的DP加速器的框图。参考图7，在一个实施例中，水印单元276包括生成/嵌入模块260、水印算法接收器模块701、水印算法管理器702和配置信道模块703。生成/嵌入模块260可以基于水印算法生成水印并将水印嵌入到AI模型上。水印算法接收器模块701可从第三方源或从主机104的应用接收水印算法。水印算法管理器702可管理用于单元276的一个或多个水印算法。配置信道模块703可以在虚拟机级别经由云提供商配置信道，以用于虚拟机向单元276发送水印算法。
初步来讲，用于AI模型的水印是标识用于AI模型的源的标识符。水印可包括用于AI模型的冗余或非冗余权重、节点和/或节点的层的图案。水印还可包括在受训练期间对权重的修改，以生成对于特定推断输入的具有水印标识符的输出。用于输出图像的AI模型的输出中的水印标识符的示例包括展现出作为AI模型的源的机器和/或人类可读标识符(例如，公司、组织或团队的徽标)的图像。水印算法的类型包括添加虚拟节点、层和/或更改AI模型的权重、偏差和/或激活函数的算法。其它水印算法可以更改训练子例程的一个或多个参数，或者包括用于训练的隐藏训练数据集合，其中该隐藏训练数据集合无法被AI模型的用户/操作员/训练者检索到。因此，经训练的AI模型可基于隐藏训练数据集合的输入或从隐藏训练数据集合导出的输入来推断水印输出。
图8是示出根据一个实施例的使用水印算法配置水印单元的过程的流程图。过程800可由可包括软件、硬件或其组合的处理逻辑执行。例如，过程800可由图1的主机104、DP加速器105或云提供商108、或图7的DP加速器105执行。参考图8，在框801处，应用(经由主机104)向DP加速器105发送请求，请求将特定水印算法应用于AI模型。在框802处，DP加速器105确定该特定水印算法在DP加速器105处不可用。在框803处，DP加速器105向云提供商108通知，使得该云提供商108应用云提供商108的配置设置。在一个实施例中，通知云提供商108对专用信道进行配置，以供DP加速器105(经由主机104)从应用接收该特定水印算法。在另一实施例中，通知云提供商108，并且因此云提供商108能够随后接受配置设置中的特定的请求改变。在一个实施例中，专用信道配置是在虚拟机级别。在框804处，DP加速器105向主机机器104发送对于水印算法的请求。在框805处，如果云提供商108具有水印算法，则云提供商108将请求的水印算法返回给DP加速器105，或者云提供商108配置专用信道。在框806处，主机104通过专用信道发送水印算法。在框807处，DP加速器105使用水印算法配置水印单元，以使水印算法可用于DP加速器105处的任何请求。在一些情况下，水印算法可被配置为如果该算法在预定的时间阈值之后未被使用，则期满。可对过期的水印算法进行调度，以将其去除，从而使用该算法的改进版本代替，或者使存储空间可用于其他算法。
图9是示出根据一个实施例的由DP加速器执行的方法的流程图。过程900可以由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程900可由图7的DP加速器105执行。参考图9，在框901处，响应于由数据处理(DP)加速器接收到的请求，处理逻辑确定水印算法在DP加速器的水印单元处不可用，该请求是由应用(该应用可由主机104托管)发送以由DP加速器将水印算法应用于人工智能(AI)模型。在框902处，处理逻辑发送对于水印算法的请求。在框903处，处理逻辑通过DP加速器接收水印算法。在框904处，处理逻辑在运行时间使用水印算法配置水印单元，以使得该水印算法将由DP加速器使用。
在一个实施例中，处理逻辑还将基于水印算法的水印嵌入AI模型。处理逻辑将具有嵌入水印的AI模型返回给应用，其中水印用于认证AI模型。在另一实施例中，处理逻辑还使用水印对AI模型进行签名以生成签名，其中签名用于认证具有水印的AI以进行双因素认证。
在一个实施例中，水印算法由以下提供：云提供商，或云提供商的用户，或用户设备上的应用，或由云提供商提供的云的主机机器所托管的应用。在一个实施例中，经由专用通信信道接收水印算法，其中所述通信信道由云提供商配置。
在一个实施例中，处理逻辑还通过基于经由主机从应用接收的训练数据集合对AI模型进行训练，来生成AI模型。在一个实施例中，处理逻辑还接收预先训练的AI模型，并且通过基于训练数据集合对AI模型看行训练，来重新训练AI模型。
在前述段落中，讨论了一些类型的水印算法，包括添加虚拟层和/或更改AI模型的权重的“类型1”水印算法，以及更改训练子例程以包括用于训练的隐藏训练数据集合的“类型2”水印算法，其中所述隐藏训练数据集合无法由AI模型的用户/操作员/训练者检索到。下面是用于这些水印算法的伪码。
用于类型1的伪码：(输入：AI模型；输出：加水印的AI模型)
在一些选择性的原始层之后添加虚拟层，以及
对于每一层：
在特定位置处添加虚拟权重，和/或
编辑权重。
用于类型2的伪码：(输入：训练子例程和/或训练输入数据；输出：经修改的训练子例程和/或训练输入数据)插入隐藏训练输入数据，或者调整用于训练子例程或训练输入数据的训练变量。
验证类型1的验证过程可以检查权重和/或层中的特定签名，作为对于水印的验证，例如，特定位置或层处的权重具有通过加上或减去诸如0.000001221或0.0000001221等一些胡椒值(peppercorn values)的相加或相减得到的拖尾十进制值(trailing decimalvalues)的特定模式。用于验证类型2的验证过程可以使用输入数据执行推断，以推断出具有机器可读水印的输出数据。然后，如果存在水印用于验证，则验证过程检查输出数据。由于水印算法和验证过程能够影响推断准确性或水印嵌入AI模型的良好程度，因此该水印算法可以进化/适应于新的AI模型。
图10是示出根据一个实施例的具有水印算法训练器的DP加速器的框图。参考图10，在一个实施例中，DP加速器105包括存储器/存储设备280，存储器/存储设备280包括水印算法训练器1001。算法训练器1001可以训练基线水印算法以生成额外的或导出的水印算法。在一个实施例中，算法训练器1001包括生成模块1003、训练准则确定器1005、推断准确性确定器1007、兼容性确定器1009、验证模块1011和配置模块1013。生成模块1003可以使用先前的水印算法生成新的水印算法。训练准则确定器1005可以确定用于水印算法训练的训练准则集合。推断准确性确定器1007可确定具有或不具有水印的AI模型的推断准确性。兼容性确定器1009可确定兼容性得分并将其分配给水印/AI模型对。例如，用于向多层的深度神经网络添加虚拟层的兼容性可被分配分数0.3，用于通过胡椒值(与实际权重相比非常小的值)更改AI模型的一个或多个权重的兼容性可被分配分数0.7，训练AI模型与额外的隐藏输入数据集合的兼容性可被分配分数1。验证模块1011可以验证AI模型是否包括水印，以及可以确定水印的版本。配置模块1013可在运行时间使用水印算法配置水印单元，使得水印算法可用于DP加速器。
图11是示出根据一个实施例的由DP加速器执行的方法的流程图。过程1100可以由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程1100可由图10的DP加速器105执行。参考图11，在框1101处，处理逻辑通过DP加速器基于预定的准则集合训练水印算法，其中训练水印算法以生成水印算法的变体。训练可以是机器学习型训练或回归型训练，以通过用于基线水印算法(例如，可以导出额外的算法的初始水印算法)的目标函数最大化一些训练准则。目标函数可以是多个准则的加权组合，诸如具有水印的AI模型的推断准确性，和/或指示AI模型和水印的兼容性的兼容性分数标识符等。可以通过诸如梯度下降算法等迭代优化算法，对目标函数进行优化。训练将沿着梯度(采用与梯度成比例的步长)迭代地调整水印算法参数(例如，权重值、要添加的虚拟层的数量、训练历元、训练输入数据集合)以最大化/最小化目标函数，或者直到预定的阈值或多次迭代已经发生。由于存在不同类型或类别的AI模型(例如，单层或多层感知器、深度学习神经网络、卷积神经网络、循环神经网络等)，因此可以训练不同的水印算法以生成不同的AI模型，以最大化水印/AI模型对的推断准确性和兼容性。
在框1102处，处理逻辑在运行时间使用水印算法的变体配置水印单元，以使得该水印算法被DP加速器使用。在一个实施例中，可以对水印算法可进行版本控制，并分配全局唯一标识符(GUID)或任何其他标识符来标识水印算法。在这种情况下，只要提供了用于水印算法的标识符以供验证，就可以对AI模型中的任一个执行用于AI模型的水印的验证。
在一个实施例中，准则集合包括具有待训练的水印的人工智能(AI)模型的推断准确性的变化(退化或提高)，以及水印和AI模型的配对兼容性。
图12是示出根据一个实施例的由DP加速器执行的方法的流程图。过程1200可以由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程1200可由图10的DP加速器105执行。参考图12，在框1201处，处理逻辑进一步将水印嵌入一个或多个AI模型中，以及在框1202处，基于兼容性评分准则，对AI模型和水印进行针对配对兼容性的评分。在框1203处，处理逻辑确定用于没有水印的AI模型的推断准确性。在框1204处，处理逻辑确定用于嵌入水印的AI模型的推断准确性。在框1205处，处理逻辑确定用于配对的推断准确性的变化(降级或改善)。
在一个实施例中，进行训练，直到针对准则集合实现了预定条件，或直到预定数量的训练迭代。在一个实施例中，响应于由数据处理(DP)加速器接收到的请求，由应用发送的请求通过DP加速器将水印算法应用于AI模型，处理逻辑还应用水印算法生成用于AI模型的水印，将水印嵌入到AI模型中，并且将具有水印的AI模型返回到应用，其中水印用于认证AI模型。在一个实施例中，处理逻辑通过基于训练数据集合对AI模型进行训练，来生成AI模型。
图13是示出根据一个实施例的具有水印验证模块的DP加速器的框图。参考图13，在一个实施例中，DP加速器105包括存储器/存储设备280，存储器/存储设备280包括水印验证模块1301。水印验证模块可以验证水印，并且如果满足应用于AI模型的策略，则允许推断。在一个实施例中，水印验证模块1301包括水印提取模块1303、证明发送器模块1305、验证模块1307和策略模块1309。水印提取模块1303可从AI模型/水印对中提取水印。证明发送器模块1305可以基于提取来生成AI模型包含水印的证明。验证模块1307可以读取水印并确定水印来自可信源。策略模块1309可将一个或多个策略应用于AI模型。
图14是示出根据一个实施例的验证水印的过程的流程图。过程1400可以由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程1400可由图13的DP加速器105执行。参考图11，在框1401处，主机104的应用向DP加速器105发送推断请求。推断请求可包括推断输入数据集合。在框1402，DP加速器105基于推断请求从AI模型/水印对中提取水印，以确定在推断之前是否满足AI模型的一个或多个策略。策略是用于评估是否允许AI模型/水印被特定DP加速器应用训练或推断的协议方案。策略的示例可以是：AI模型/水印必须包含通过某些基线水印算法、或从基线水印算法导出的算法的某些版本(例如，最新版本)生成的水印，AI模型/水印必须包含特定类型的水印算法(例如，类型1或类型2)，AI模型必须包含来自特定源的可验证水印(例如，对应于特别的组织、群组、团队等的水印)，和/或如果用于AI模型/水印的签名被验证为来自可信源，例如由DP加速器105、或与主机104通信的其他DP加速器生成。在一个实施例中，一个或多个策略可被应用于一类AI模型或特定的单个AI模型。在另一实施例中，DP加速器可具有与主机104的另一DP加速器不同的策略集合或相同的策略集合。
在框1403处，DP加速器105基于一个或多个策略验证水印。图13的水印验证模块1301可以维护将AI模型和/或AI模型的水印映射到一个或多个策略的映射表。然后，DP加速器105可基于AI模型和/或水印来检索策略，以用于验证。
如果满足，则在框1404处，DP加速器105将AI模型/水印对，应用于推断输入数据以生成推断结果。在框1405处，DP加速器105(经由主机104)向请求应用发送验证证明和/或推断结果。验证证明可以是签名，签名包括验证结果、AI模型/水印和/或推断结果的经加密的散列，该加密基于DP加速器105的安全密钥对的私有密钥。然后，验证证明可以由主机机器104或任何第三方通过安全密钥对的公共密钥解密，以验证该证明。
图15是示出根据一个实施例的由DP加速器执行的方法的流程图。处理1550可以由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程1550可由图13的DP加速器105执行。参考图15，在框1551处，处理逻辑从应用接收推断请求。在框1552处，处理逻辑通过数据处理(DP)加速器从具有水印的人工智能(AI)模型中提取水印。在框1553处，处理逻辑基于策略验证所提取的水印。在框1554处，处理逻辑将具有水印的AI模型应用于推断输入集合，以生成推断结果。在框1555处，处理逻辑将验证证明和推断结果发送给应用。
在一个实施例中，在基于策略成功验证所提取的水印之后，生成推断结果。在一个实施例中，策略包括以下准则：AI模型包含由DP加速器生成的可验证水印，并且该水印包括用于验证的机器可识别水印。
在一个实施例中，策略包括以下准则：用于具有水印的AI模型的签名被成功验证。在一个实施例中，将不同的策略应用于不同类型的水印算法。在一个实施例中，将不同的策略应用于水印算法的不同版本。在一个实施例中，验证证明包括用于推断请求的结果的签名。
图16是示出根据一个实施例的由主机的应用执行的方法的流程图。过程1600可由可包括软件、硬件或其组合的处理逻辑执行。例如，过程1600可以由用户的应用执行，诸如在图3的主机服务器104上托管的应用。参考图16，在框1601处，处理逻辑通过应用向数据处理(DP)加速器发送推断请求，请求通过向推断输入应用具有水印的人工智能(AI)模型生成推断结果，其中所述请求包括由DP加速器从具有水印的AI模型中提取水印、以及基于策略验证所提取的水印的请求。在框1602处，处理逻辑通过应用接收验证证明和/或推断结果。
在一个实施例中，在基于策略成功验证所提取的水印之后，生成推断结果。在一个实施例中，策略包括以下准则：AI模型包含由DP加速器生成的可验证水印，并且所述水印包括用于验证的机器可识别水印。
在一个实施例中，策略包括以下准则：用于具有水印的AI模型的签名被成功验证。在一个实施例中，将不同的策略应用于不同类型的水印算法。在一个实施例中，将不同的策略应用于水印算法的不同的版本。在一个实施例中，验证证明包括用于推断请求结果的签名。
注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由对应的驱动程序和/或来自应用的操作系统访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为软件组件经由一个或多个特定指令可访问的指令集的一部分。
图17是示出可与本发明的一个实施例一起使用的数据处理系统的示例的框图。例如，系统1500可表示执行上述任何过程或方法(诸如例如上述客户端设备、主机或DP加速器，诸如例如上述图1的客户端101-102、主机服务器104或DP加速器105)的上述任何数据处理系统。
系统1500可包括许多不同的组件。这些组件可以被实现为集成电路(IC)、其部分、离散电子设备、或适于诸如计算机系统的主板或内插式卡的电路板的其他模块，或者被实现为以其他方式被并入计算机系统的机箱内的组件。
还应当注意，系统1500旨在示出计算机系统的许多组件的高级视图。然而，应当理解的是，在某些实施方式中可以存在额外的组件，并且此外，在其他实施方式中可以出现所示组件的不同布置。系统1500可以表示台式机、笔记本电脑、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏设备、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，虽然仅示出单个机器或系统，但是术语“机器”或“系统”还应当被认为包括单独地或联合地执行一组(或多组)指令以执行本文所讨论的方法中的任何一个或多个的机器或系统的任何集合。
在一个实施例中，系统1500包括经由总线或互连1510连接的处理器1501、存储器1503和设备1505-1508。处理器1501可以表示单个处理器或其中包括单个处理器核或多个处理器核的多个处理器。处理器1501可表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更特别地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实现其它指令集的处理器、或实现指令集的组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、密码处理器、协处理器、嵌入式处理器或能够处理指令的任何其它类型的逻辑。
处理器1501可以是低功率多核处理器插槽，诸如超低电压处理器，其可以充当主处理单元和中央集线器，用于与系统的各种组件通信。这种处理器可以实现为片上系统(SoC)。处理器1501被配置为执行用于执行本文所讨论的操作和步骤的指令。系统1500可还包括与可选图形子系统1504通信的图形接口，可选图形子系统1504可包括显示控制器、图形处理器和/或显示设备。
处理器1501可与存储器1503通信，在一个实施例中，存储器1503可经由多个存储器设备实现以提供给定量的系统存储器。存储器1503可包括一个或多个易失性存储(或存储器)设备，诸如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或其他类型的存储设备。存储器1503可以存储包括由处理器1501或任何其它设备执行的指令序列的信息。例如，各种操作系统、设备驱动器、固件(例如，输入输出基本系统或BIOS)和/或应用的可执行代码和/或数据可以被加载到存储器1503中，并由处理器1501执行。操作系统可以是任何类型的操作系统诸如，例如来自
Figure BDA0002772950850000201
的
Figure BDA0002772950850000202
操作系统、来自苹果(Apple)的Mac
Figure BDA0002772950850000203
/
Figure BDA0002772950850000204
来自
Figure BDA0002772950850000205
的
Figure BDA0002772950850000206
LINUX、UNIX或其它实时或嵌入式操作系统，诸如VxWorks。
系统1500还可包括IO设备，诸如设备1505-1508，包括(一个或多个)网络接口设备1505、(一个或多个)可选输入设备1506和(一个或多个)其它可选IO设备1507。网络接口设备1505可包括无线收发器和/或网络接口卡(NIC)。无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其它射频(RF)收发器，或其组合。NIC可以是以太网卡。
输入设备1506可包括鼠标、触摸板、触敏屏(其可与显示设备1504集成)、诸如指示笔的指示器设备、和/或键盘(例如，作为触敏屏的一部分显示的物理键盘或虚拟键盘)。例如，输入设备1506可包括连接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器可以例如使用多种触摸灵敏度技术中的任何一种检测接触和移动或其中断，多种触摸灵敏度技术包括但不限于电容性、电阻性、红外和表面声波技术，以及用于确定与触摸屏的一个或多个接触点的其它接近传感器阵列或其它元件。
IO设备1507可包括音频设备。音频设备可包括扬声器和/或麦克风，以促进语音使能功能，诸如语音识别、语音复制、数字记录和/或电话功能。其它IO设备1507还可包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如PCI-PCI桥)、传感器(例如，诸如加速度计、陀螺仪、磁力计、光传感器、罗盘、接近传感器等的运动传感器)或其组合。装置1507可以还包括成像处理子系统(例如，相机)，其可包括光学传感器，诸如电荷连接器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器，用于促进相机功能，诸如记录照片和视频剪辑。某些传感器可以经由传感器集线器(未示出)连接到互连1510，而诸如键盘或热传感器的其它设备可以由嵌入式控制器(未示出)控制，这取决于系统1500的具体配置或设计。
为了提供诸如数据、应用、一个或一个以上操作系统等信息的持久存储，大容量存储设备(未图示)也可连接到处理器1501。在各种实施例中，为了使能更薄和更轻的系统设计以及改进系统响应性，该大容量存储设备可经由固态装置(SSD)实现。然而，在其它实施例中，大容量存储设备可主要使用具有较少量SSD存储充当SSD缓存的硬盘驱动器(HDD)实现，以在断电事件期间启用上下文状态和其它此类信息的非易失性存储，使得在系统活动的重新启动时可发生快速加电。此外，闪存设备可以例如经由串行外围接口(SPI)连接到处理器1501。该闪存设备可以提供系统软件(包括BIOS以及系统的其它固件)的非易失性存储。
存储设备1508可包括计算机可访问存储介质1509(也称为机器可读存储介质或计算机可读介质)，在其上存储体现本文所述的方法或功能中的任何一个或多个的一组或多组指令或软件(例如，模块、单元和/或逻辑1528)。处理模块/单元/逻辑1528可表示上述组件中的任一个，诸如，例如如上所述的图1-3的主机服务器104或图1-3、7、10、13的DP加速器105。在由数据处理系统1500执行处理模块/单元/逻辑1528期间，处理模块/单元/逻辑1528还可以完全或至少部分地驻留在存储器1503内和/或处理器1501内，存储器1503和处理器1501也构成机器可访问存储介质。处理模块/单元/逻辑1528还可以经由网络接口设备1505通过网络发送或接收。
计算机可读存储介质1509还可用于持久地存储上述某些软件功能。尽管在示例性实施例中将计算机可读存储介质1509示出为单个介质，但是术语“计算机可读存储介质”应当被理解为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的缓存和服务器)。术语“计算机可读存储介质”还应当被理解为包括能够存储或编码用于由机器执行的指令集并且使得机器执行本公开的方法中的任何一个或多个的任何介质。术语“计算机可读存储介质”因此应被理解为包括但不限于固态存储器、光和磁介质、或任何其它非瞬态机器可读介质。
处理模块/单元/逻辑1528、组件和本文所述的其他特征可以被实现为离散硬件组件或者被集成在诸如ASIC、FPGA、DSP或类似设备之类的硬件组件的功能性中。另外，处理模块/单元/逻辑1528可以被实现为硬件设备内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件设备和软件组件的任何组合实现。
注意，尽管系统1500是使用数据处理系统的各种组件示出，但它不旨在表示互连组件的任何特别体系结构或方式；因为这些细节与本公开的实施例没有密切关系。还将理解的是，具有更少组件或可能更多组件的网络计算机、手持式计算机、移动电话、服务器和/或其它数据处理系统也可与本公开的实施例一起使用。
已经在对计算机存储器内的数据位的操作的算法和符号表示方面呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自相容操作序列。这些操作是需要对物理量进行物理操纵的那些操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和处理，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
图中所示的技术可以使用在一个或多个电子设备上存储和执行的代码和数据实现。这样的电子设备使用计算机可读介质(诸如非暂时性计算机可读存储介质(例如，磁盘、光盘、随机存取存储器、只读存储器、闪存设备、相变存储器))和暂时性计算机可读传输介质(例如，电、光、声或其他形式的传播信号-诸如载波、红外信号、数字信号)存储和通信(内部地和/或通过网络与其他电子设备通信)代码和数据。
在前述附图中描绘的过程或方法可以由处理逻辑执行，处理逻辑包括硬件(例如，电路、专用逻辑等)、固件、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (23)

1.一种用于由数据处理加速器处理数据的方法，所述方法包括：
响应于由数据处理加速器接收到的请求，基于水印算法生成用于人工智能(AI)模型的水印，所述请求由应用发送以将水印应用于所述AI模型；
将所述水印嵌入到所述AI模型上；
对具有所嵌入的水印的AI模型进行签名以生成签名；以及
将所述签名和具有所嵌入的水印的所述AI模型返回到所述应用，其中所述签名用于验证所述水印和/或所述AI模型。
2.如权利要求1所述的方法，还包括通过基于训练数据集合训练所述AI模型，生成所述AI模型。
3.如权利要求1所述的方法，还包括：
接收预先训练的AI模型；以及
通过基于训练数据集合训练所述AI模型，重新训练所述AI模型。
4.如权利要求1所述的方法，其中对具有所嵌入的水印的所述AI模型进行签名包括：
由所述DP加速器的安全单元生成安全密钥对；
生成用于具有所嵌入的水印的所述AI模型的散列；
使用所述安全密钥对的私有密钥加密所述散列，以对具有所嵌入的水印的所述AI模型进行签名。
5.如权利要求4所述的方法，其中使用所述安全密钥对的公共密钥对所述散列进行解密，以验证用于所述水印和/或所述AI模型的所述签名。
6.如权利要求5所述的方法，还包括：
从所述AI模型中提取所述水印；以及
验证所提取的水印和所述签名两者，以进行双因素验证。
7.如权利要求4所述的方法，其中所述安全单元包括被加固到所述安全单元上的根证书，其中所述安全密钥对是基于所述安全单元的所述根证书生成的多个密钥对，以及所述安全密钥对是由所述水印算法选择的，用于对具有所嵌入的水印的所述AI模型进行签名。
8.一种数据处理加速器，包括：
水印单元，用于响应于由数据处理加速器接收到的请求，基于水印算法生成用于人工智能(AI)模型的水印，所述请求由应用发送以将水印应用于所述AI模型；
安全单元，用于对具有所嵌入的水印的AI模型进行签名以生成签名；以及
通信接口单元，用于将所述签名和具有所嵌入的水印的所述AI模型返回到所述应用，其中所述签名用于验证所述水印和/或所述AI模型。
9.如权利要求8所述的数据处理加速器，还用于通过基于训练数据集合训练所述AI模型，生成所述AI模型。
10.如权利要求8所述的数据处理加速器，还用于：
接收预先训练的AI模型；以及
通过基于训练数据集合训练所述AI模型，重新训练所述AI模型。
11.如权利要求8所述的数据处理加速器，其中所述安全单元还用于：
生成安全密钥对；
生成用于具有所嵌入的水印的所述AI模型的散列；
使用所述安全密钥对的私有密钥加密所述散列，以对具有所嵌入的水印的所述AI模型进行签名。
12.如权利要求11所述的数据处理加速器，其中所述安全单元还用于使用所述安全密钥对的公共密钥对所述散列进行解密，以验证用于所述水印和/或所述AI模型的所述签名。
13.如权利要求12所述的数据处理加速器，还包括：
水印提取模块，从所述AI模型中提取所述水印；以及
验证模块，验证所提取的水印和所述签名两者，以进行双因素验证。
14.如权利要求11所述的数据处理加速器，其中所述安全单元包括被加固到所述安全单元上的根证书，其中所述安全密钥对是基于所述安全单元的所述根证书生成的多个密钥对，以及所述安全密钥对是由所述水印算法选择的，用于对具有所嵌入的水印的所述AI模型进行签名。
15.一种用于由数据处理加速器处理数据的方法，所述方法包括：
由应用向数据处理加速器发送请求，所述请求用于
基于水印算法为人工智能(AI)模型生成水印，
将所述水印嵌入到所述AI模型上，以及
基于安全密钥对，生成用于具有所述水印的所述AI模型的签名；以及
接收所述签名，其中所述签名被用于验证所述水印和/或所述AI模型。
16.如权利要求15所述的方法，还包括将训练数据集合发送到所述数据处理加速器，以基于所述训练数据集合训练所述AI模型。
17.如权利要求15所述的方法，还包括将预先训练的AI模型发送到所述数据处理加速器，其中基于所述训练数据集合重新训练所述AI模型。
18.如权利要求15所述的方法，其中通过以下对具有所嵌入的水印的AI模型进行签名：
由所述DP加速器的安全单元生成安全密钥对；
生成用于具有所嵌入的水印的所述AI模型的散列；
使用所述安全密钥对的私有密钥对所述散列进行加密，以对具有所嵌入的水印的所述AI模型进行签名。
19.如权利要求18所述的方法，其中使用所述安全密钥对的公共密钥对所述散列进行解密，以验证用于所述水印和/或所述AI模型的所述签名。
20.如权利要求19所述的方法，其中所述验证包括从所述AI模型中提取所述水印，并进一步验证所提取的水印，以进行双因素验证。
21.如权利要求18所述的方法，其中所述安全单元包括被固化到所述安全单元上的根证书，其中所述安全密钥对是基于所述安全单元的所述根证书生成的多个密钥对，以及所述安全密钥对是由所述水印算法选择，用于对具有所嵌入的水印的所述AI模型进行签名。
22.一种数据处理系统，包括：
处理器；以及
连接到所述处理器以存储指令的存储器，所述指令在由所述处理器执行时致使所述处理器执行如权利要求1-21中任一项所述的用于由数据处理加速器处理数据的方法。
23.一种非暂时性机器可读介质，具有存储在其中的指令，所述指令在由处理器执行时致使所述处理器执行如权利要求1-21中任一项所述的用于由数据处理加速器处理数据的方法。
CN202011255365.0A 2019-11-14 2020-11-11 用于由数据处理加速器处理数据的方法及数据处理加速器 Active CN112528244B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/684,248 2019-11-14
US16/684,248 US11574032B2 (en) 2019-11-14 2019-11-14 Systems and methods for signing an AI model with a watermark for a data processing accelerator

Publications (2)

Publication Number Publication Date
CN112528244A true CN112528244A (zh) 2021-03-19
CN112528244B CN112528244B (zh) 2024-08-02

Family

ID=74980749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011255365.0A Active CN112528244B (zh) 2019-11-14 2020-11-11 用于由数据处理加速器处理数据的方法及数据处理加速器

Country Status (2)

Country Link
US (1) US11574032B2 (zh)
CN (1) CN112528244B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210110010A1 (en) * 2019-10-10 2021-04-15 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using a query

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210216874A1 (en) * 2020-01-10 2021-07-15 Facebook Technologies, Llc Radioactive data generation
US11822964B2 (en) * 2020-06-03 2023-11-21 Baidu Usa Llc Data protection with static resource partition for data processing accelerators
US12032980B2 (en) 2020-06-03 2024-07-09 Baidu Usa Llc Data protection with dynamic resource isolation for data processing accelerators
CN118296615B (zh) * 2024-06-05 2024-08-09 蓝象智联(杭州)科技有限公司 一种基于可信执行环境的大模型微调方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658555A (zh) * 2004-02-17 2005-08-24 三洋电机株式会社 电子水印嵌入装置及方法和电子水印提取装置及方法
CN109063055A (zh) * 2018-07-19 2018-12-21 中国科学院信息工程研究所 同源二进制文件检索方法和装置
CN109118420A (zh) * 2018-08-21 2019-01-01 杭州朗和科技有限公司 水印识别模型建立及识别方法、装置、介质及电子设备
US20190205508A1 (en) * 2017-12-29 2019-07-04 Texas Instruments Incorporated Machine learning model with watermarked weights

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3567975B2 (ja) 2000-01-24 2004-09-22 日本電気株式会社 電子透かし検出・挿入装置
CA2350029A1 (en) 2001-06-08 2002-12-08 Cloakware Corporation Sustainable digital watermarking via tamper-resistant software
US8428299B2 (en) 2008-06-12 2013-04-23 Thomson Licensing Method of processing images to combat copying
US8411867B2 (en) * 2009-04-06 2013-04-02 Broadcom Corporation Scalable and secure key management for cryptographic data processing
US9607134B2 (en) 2013-10-24 2017-03-28 Cyber-Ark Software Ltd. System and method for protected publication of sensitive documents
US20170141994A1 (en) 2015-11-13 2017-05-18 Le Holdings (Beijing) Co., Ltd. Anti-leech method and system
US11843628B2 (en) 2018-02-20 2023-12-12 Darktrace Holdings Limited Cyber security appliance for an operational technology network
US11972408B2 (en) * 2018-03-29 2024-04-30 The Regents Of The University Of California Digital watermarking of machine learning models
WO2020012061A1 (en) * 2018-07-12 2020-01-16 Nokia Technologies Oy Watermark embedding techniques for neural networks and their use
US11676003B2 (en) * 2018-12-18 2023-06-13 Microsoft Technology Licensing, Llc Training neural network accelerators using mixed precision data formats
US11436305B2 (en) * 2019-10-10 2022-09-06 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using implicit data
US11514365B2 (en) 2020-06-15 2022-11-29 Intel Corporation Immutable watermarking for authenticating and verifying AI-generated output
US11632597B2 (en) 2020-07-22 2023-04-18 Roku, Inc. Responding to emergency-alert audio tone by abandoning dynamic content modification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658555A (zh) * 2004-02-17 2005-08-24 三洋电机株式会社 电子水印嵌入装置及方法和电子水印提取装置及方法
US20190205508A1 (en) * 2017-12-29 2019-07-04 Texas Instruments Incorporated Machine learning model with watermarked weights
CN109063055A (zh) * 2018-07-19 2018-12-21 中国科学院信息工程研究所 同源二进制文件检索方法和装置
CN109118420A (zh) * 2018-08-21 2019-01-01 杭州朗和科技有限公司 水印识别模型建立及识别方法、装置、介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210110010A1 (en) * 2019-10-10 2021-04-15 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using a query

Also Published As

Publication number Publication date
US20210150002A1 (en) 2021-05-20
US11574032B2 (en) 2023-02-07
CN112528244B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN112528244B (zh) 用于由数据处理加速器处理数据的方法及数据处理加速器
US11436305B2 (en) Method and system for signing an artificial intelligence watermark using implicit data
CN112528245B (zh) 用于由数据处理加速器处理数据的方法及数据处理加速器
CN112528242B (zh) 使用用于数据处理加速器的水印算法配置水印单元的系统和方法
CN112528243A (zh) 用于通过数据处理加速器处理数据的系统和方法
CN112650982B (zh) 数据处理加速器及由数据处理加速器执行的计算机实现的方法
CN112650984B (zh) 数据处理加速器及由数据处理加速器执行的计算机实现的方法
CN112650981B (zh) 数据处理加速器及由数据处理加速器执行的计算机实现的方法
CN112650988A (zh) 使用内核加密数据的方法和系统
CN112650980B (zh) 数据处理加速器及由数据处理加速器执行的计算机实现的方法
CN112650986B (zh) 用于数据处理加速器的水印单元
CN112650983B (zh) 数据处理加速器及由数据处理加速器执行的计算机实现的方法
CN112650990B (zh) 使用查询来签名人工智能水印的方法和系统
CN112650987B (zh) 使用内核签名人工智能水印的方法和系统
US20210112042A1 (en) Method and system for encrypting data using a command
CN112650991A (zh) 使用内核签名输出的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210930

Address after: 1195 Bordeaux Road, California, USA

Applicant after: Baidu (USA) Co.,Ltd.

Applicant after: Kunlun core (Beijing) Technology Co.,Ltd.

Address before: 1195 Bordeaux Road, Sunnyvale, California, USA

Applicant before: Baidu (USA) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant