CN111428880A - 隐私机器学习实现方法、装置、设备及存储介质 - Google Patents
隐私机器学习实现方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111428880A CN111428880A CN202010205350.7A CN202010205350A CN111428880A CN 111428880 A CN111428880 A CN 111428880A CN 202010205350 A CN202010205350 A CN 202010205350A CN 111428880 A CN111428880 A CN 111428880A
- Authority
- CN
- China
- Prior art keywords
- machine learning
- native
- node
- cryptographic
- plaintext
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Storage Device Security (AREA)
Abstract
本说明书实施方案提供了一种隐私机器学习实现方法、装置、设备及存储介质,该方法包括:在执行明文机器学习模型的计算逻辑时,确认所述明文机器学习模型中的动态优化器的执行时机是否到来;当所述动态优化器的执行时机到来时,执行所述动态优化器,以将所述计算逻辑中的原生算子替换为密码算子,并执行所述密码算子;其中,所述明文机器学习模型基于明文机器学习框架生成,所述动态优化器派生于所述明文机器学习框架的优化器基类,所述明文机器学习框架中注册有所述密码算子和所述动态优化器。本说明书实施方案可以降低隐私机器学习的实现成本。
Description
技术领域
本说明书涉及机器学习技术领域,尤其是涉及一种隐私机器学习实现方法、装置、设备及存储介质。
背景技术
目前机器学习(Machine Learning)已在很多领域有所应用。在一些情况下,鉴于机器学习需要使用大量的样本数据,为了可以从数据中挖掘出更大的价值,两个或更多个数据持有方会协作进行机器学习建模。但是,对于任何一个数据持有方而言,己方的私有数据有被泄露或者是被不正当使用的风险。因此,如何将私有数据很好地保护起来对机器学习至关重要。
为了解决该问题,各种基于加密机器学习的框架(以下简称隐私机器学习框架)应运而生,如:TF-Encrypted、PySyft等。一般地,这些隐私机器学习框架是利用了明文机器学习框架(如Tensorflow、PyTorch等)的应用程序接口(API,Application ProgrammingInterface)的易用性,同时通过多种密码学算法对加密数据进行训练和预测,以使用户可以在并不精通密码学、分布式系统或高性能计算专业知识的情况下,也可以使用。
然而,在实现本申请的过程中,本申请的发明人发现:这些隐私机器学习框架的实现均未使用已有的明文机器学习模型,若想要使用已有的明文机器学习模型的处理逻辑,就需要使用隐私机器学习框架特有的APIs和私有数据类型重新编码实现,实现成本较高。
发明内容
本说明书实施方案的目的在于提供一种以降低隐私机器学习的实现成本。
为达到上述目的,一方面,本说明书实施方案提供了一种隐私机器学习实现方法,包括:
在执行明文机器学习模型的计算逻辑时,确认所述明文机器学习模型中的动态优化器的执行时机是否到来;
当所述动态优化器的执行时机到来时,执行所述动态优化器,以将所述计算逻辑中的原生算子替换为密码算子,并执行所述密码算子;
其中,所述明文机器学习模型基于明文机器学习框架生成,所述动态优化器派生于所述明文机器学习框架的优化器基类,所述明文机器学习框架中注册有所述密码算子和所述动态优化器。
另一方面,本说明书实施方案还提供了一种隐私机器学习实现装置,包括:
判断模块,用于在执行明文机器学习模型的计算逻辑时,确认所述明文机器学习模型中的动态优化器的执行时机是否到来;
执行模块,用于当所述动态优化器的执行时机到来时,执行所述动态优化器,以将所述计算逻辑中的原生算子替换为密码算子,并执行所述密码算子;
其中,所述明文机器学习模型基于明文机器学习框架生成,所述动态优化器派生于所述明文机器学习框架的优化器基类,所述明文机器学习框架中注册有所述密码算子和所述动态优化器。
另一方面,本说明书实施方案还提供了一种电子设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器运行时执行上述的隐私机器学习实现方法。
另一方面,本说明书实施方案还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的隐私机器学习实现方法。
由以上本说明书实施方案提供的技术方案可见,在本说明书实施方案中,由于动态优化器派生于明文机器学习框架的原生优化器类,明文机器学习框架中注册有密码算子和动态优化器,且明文机器学习模型是基于明文机器学习框架生成的,如此,在执行明文机器学习模型的计算逻辑时,当动态优化器的执行时机到来时,通过执行动态优化器,就可以将明文机器学习模型的原生算子替换为密码算子,再通过执行密码算子就可以通过复用已有的明文机器学习模型实现隐私机器学习,从而避免了现有技术因使用隐私机器学习框架特有的APIs和隐私数据类型重新编码所带来的巨大开发成本,因而本说明书的实施方案降低了隐私机器学习的实现成本。
附图说明
为了更清楚地说明本说明书实施方案或现有技术中的技术方案,下面将对实施方案或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施方案,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本说明书的一些实施方案的隐私机器学习实现方法的流程图;
图2为本说明书的一个示例性实施方案中多个数据持有方联合进行机器学习的结构示意图;
图3为本说明书的一个实施方案的隐私机器学习实现方法的流程图;
图4为本说明书的一个示例性实施方案中,执行动态优化器前明文机器学习模型的原生静态图;
图5为本说明书的一个示例性实施方案中,执行动态优化器后明文机器学习模型的密码静态图;
图6为本说明书的一些实施方案的隐私机器学习实现装置的结构框图;
图7为本说明书的一些实施方案中电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施方案中的附图,对本说明书实施方案中的技术方案进行清楚、完整地描述,显然,所描述的实施方案仅仅是本说明书一部分实施方案,而不是全部的实施方案。基于本说明书中的实施方案,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方案,都应当属于本说明书保护的范围。
参考图1所示,在本说明书的一些实施方案中,隐私机器学习实现方法可以包括以下步骤:
S101、在执行明文机器学习模型的计算逻辑时,确认所述明文机器学习模型中的动态优化器的执行时机是否到来。
S102、当所述动态优化器的执行时机到来时,执行所述动态优化器,以将所述计算逻辑中的原生算子替换为密码算子,并执行所述密码算子。
其中,所述明文机器学习模型基于明文机器学习框架生成,所述动态优化器派生于所述明文机器学习框架的优化器基类,所述明文机器学习框架中注册有所述密码算子和所述动态优化器。
由此可见,本说明书的实施方案除了实现密码算子外,还可以实现在明文机器学习模型中导入一个动态优化器;由于动态优化器派生于明文机器学习框架的原生优化器类,明文机器学习框架中注册有密码算子和动态优化器,且明文机器学习模型是基于明文机器学习框架生成的,如此,在执行明文机器学习模型的计算逻辑时,当动态优化器的执行时机到来时,通过执行动态优化器,就可以将明文机器学习模型的原生算子替换为密码算子,再通过执行密码算子就可以通过复用已有的明文机器学习模型实现隐私机器学习,从而避免了现有技术因使用隐私机器学习框架特有的APIs和隐私数据类型重新编码所带来的巨大开发成本,因而本说明书的实施方案降低了隐私机器学习的实现成本。
此外,由于本说明书的实施方案是在要执行明文机器学习模型的计算逻辑时才将其将其中的原生算子替换为密码算子,因此,这种动态替换方式,还具有较高的灵活性。不仅如此,这种动态替换方式还使得后续在进行功能扩展(例如增加一些业务判断条件)时,不会使静态图复杂化,从而有利于用户查找问题,用户友好性好。
在本说明书的一些实施方案中,明文机器学习框架可以为任何已有的明文机器学习框架,例如TensorFlow、PyTorch、或Caffe等。因此,本说明书对于明文机器学习模型具体采用何种明文机器学习框架生成不作限定,具体可根据需要选择。
在本说明书的一些实施方案中,密码算子可以由开发人员预先通过静态语言(例如C、C++等)编程实现,以提高效率,并在实现后注册到明文机器学习框架中。其中,密码算子中一般还包含有密码梯度算子。当然,这些密码算子(包括密码梯度算子),应与基于该明文机器学习框架生成的明文机器学习模型中的原生算子一一对应,以便于后续对应替换。
在本说明书的一些实施方案中,密码算子为任何可在两个或多个数据持有方联合(或协同)进行机器学习建模的场景中,为各方输入数据提供隐私保护的密码算子。例如,在一些示例性实施方案中,密码算子可以为安全多方计算(Secure Multi-PartyComputation,MPC)算子、同态加密(Homomorphic Encryption,HE)算子、或零知识证明(Zero-knowledge Proof,ZKP)算子等。同样,本说明书对具体采用何种密码算子不作限定,具体可根据需要选择。
在本说明书的一些实施方案中,动态优化器也可以由开发人员预先基于明文机器学习框架的优化器基类派生并实现,如此就可以复用明文机器学习框架的优化器基类。例如,在一示例性实施方案中,以TensorFlow为例,开发人员可以基于TensorFlow的优化器基类GraphOptimizationPass派生并实现动态优化器,从而复用TensorFlow的优化器基类。
在实现动态优化器后,可以将动态优化器注册到明文机器学习框架中,以便于基于明文机器学习框架生成的明文机器学习模型使用。此外,注册动态优化器到明文机器学习框架时,还可以指定动态优化器的执行时机。例如,在一示例性实施方案中,以TensorFlow为例,动态优化器的执行时机包括以下中的任意一种:
(1)、安置所述明文机器学习模型中的原生静态图之前。例如,REGISTER_OPTIMIZATION(PRE_PLACEMENT,DynamicPass);其中,DynamicPass表示注册的动态优化器,PRE_PLACEMENT表示执行时机是在原生静态图安置之前;
(2)、安置所述明文机器学习模型中的原生静态图之后。例如,REGISTER_OPTIMIZATION(POST_PLACEMENT,DynamicPass);其中,DynamicPass表示注册的动态优化器,POST_PLACEMENT表示执行时机是在原生静态图安置之后;
(3)、优化所述明文机器学习模型中的原生静态图之后。例如,REGISTER_OPTIMIZATION(POST_REWRITE_FOR_EXEC,DynamicPass),其中,DynamicPass表示注册的动态优化器,POST_REWRITE_FOR_EXEC表示执行时机是在原生静态图优化之后。
(4)、分裂所述明文机器学习模型中的原生静态图之后。例如,REGISTER_OPTIMIZATION(POST_PARTITIONING,DynamicPass),其中,DynamicPass表示注册的动态优化器,POST_PARTITIONING表示执行时机是在原生静态图分裂之后。
在本说明书中,安置是指将原生静态图中的节点分配给指定的设备(例如CPU、GPU等)去处理。分裂是指将原生静态图拆分为多个静态图,以便于并发执行。
在密码算子和动态优化器注册到明文机器学习框架之后,用户可以获取动态优化器并将其导入明文机器学习模型中。
在本说明书的一些实施方案中,执行明文机器学习模型的计算逻辑是指:基于明文机器学习模型的计算逻辑处理训练样本,以进行机器学习建模。其中,训练样本一般为来至少两个数据持有方的私有数据。例如,在如图2所示的示例性实施方案中,三个数据持有方(数据持有方1、数据持有方2和数据持有方3)协同进行机器学习建模。每个数据持有方的终端均配置有明文机器学习模型,且在明文机器学习模型中导入有动态优化器。在执行明文机器学习模型的计算逻辑时,当动态优化器的执行时机到来时,通过执行动态优化器,就可以将明文机器学习模型的原生算子替换为MPC算子(这里以密码算子采用MPC算子为例),并执行MPC算子。这样,在MPC隐私保护加持下,三个数据持有方中,任何一方的数据都不会被其他两方所获知,从而实现了在提高数据利用价值的同时,兼顾了自身隐私数据的安全。在完成机器学习建模后,每个数据持有方都可以训练得到一个数据预测模型,后续就可以基于该数据预测模型进行数据预测。
在本说明书的一些实施方案中,将明文机器学习模型中的原生算子替换为密码算子的一般原则是:对于影响数据隐私保护的原生算子,均需要替换为对应的密码算子,以确保输入数据的隐私安全;对于不影响数据隐私保护的原生算子,尽量不进行替换,以提高对明文机器学习模型的复用率,从而有利于降低隐私机器学习的实现成本。
对于使用计算图(或称为有向无环图)表示处理逻辑的明文机器学习模型(例如基于Tensorflow生成的明文机器学习模型)而言,当将明文机器学习模型中的各个原生算子(如果有必要)替换为对应的密码算子后,即实现了将所述明文机器学习模型中的原生静态图替换为密码静态图。但是,本领技术人员应当理解,这里仅是举例说明,在本说明书的其他实施方案中,当一些明文机器学习模型并不使用计算图表示处理逻辑时,将明文机器学习模型中的原生算子替换为密码算子,自然也可以不是针对计算图的替换。本说明书的实施方案中提及的密码算子和密码静态图,分别是指在隐私保护下的算子和静态图。
参考图3所示,在本说明书的一些实施方案中,将明文机器学习模型的原生静态图替换为密码静态图可以包括如下步骤:
从明文机器学习模型的原生静态图中获取原生节点;这里的原生节点即为原生算子。其中,在并发场景下,这里的原生静态图可以是原生静态子图。
判断获取到原生节点是否为空;如果为空,说明已经处理完整幅原生静态图,则结束流程。
如果不为空,即表示获取到原生节点,此时则可以确认是否需要将该原生节点替换为对应的密码节点。
在本说明书的一实施方案中,可以通过确认该原生节点对应的数据流中是否包含模型私有数据,来确认是否需要将该原生节点替换为对应的密码节点。当该原生节点对应的数据流中包含模型私有数据时,则需要进行替换,以实现对私有数据的隐私保护,否则,可以不进行替换,以提高对明文机器学习模型的复用率。
例如,在图4所示的示例性实施方案中,变量1和变量2是各方持有的私有数据,常量1和常量2是公共的常量数据。从图4中可以看出,MatMul 1函数是从变量1和变量2出发的数据流所必须经过的原生节点,因此,MatMul 1函数需要进行替换。基于同样的原因,MatMul 3函数也需要进行替换。MatMul 2函数是从常量1和常量2出发的数据流所必须经过的原生节点,但由于常量1和常量2不是私有数据,无需保护,因此,MatMul 2函数不需要替换。
如果需要将该原生节点替换为对应的密码节点,则将该原生节点替换为对应的密码节点;否则,则返回第一步,以从明文机器学习模型的原生静态图中获取下一个原生算子并处理。其中,将该原生节点替换为对应的密码节点可以包括:
获取该原生节点的属性信息、边信息(包括输入边和输出边)及对应的密码算子名称;
根据该原生节点的属性信息、边信息及对应的密码节点名称,创建密码算子、新输入边和新输出边,即可以以该原生节点的属性信息、边信息及对应的密码节点名称作为参数,调用密码算子创建函数创建对应的密码节点,并返回。
将该原生节点及其输入边和输出边对应替换为该密码节点、该新输入边和该新输出边,从而完成对该原生算子的替换。
依此递推,通过不断迭代就可以完成运行时原生静态图的替换操作,从而生成密码静态图,此后就可以执行该密码静态图,以实现隐私机器学习。例如,以图4中所示的示例性实施方案为例,经过替换,图4中所示的原生静态图可以变成如图5中所示的密码静态图(可以看出在图5中,MpcMatMul 1和MpcMatMul 3均为MPC节点)。
与上述的隐私机器学习实现方法对应,本说明书还提供有隐私机器学习实现装置。参考图6所示,在本说明书的一些实施方案中,隐私机器学习实现装置可以包括:
判断模块61,可以用于在执行明文机器学习模型的计算逻辑时,确认所述明文机器学习模型中的动态优化器的执行时机是否到来;
执行模块62,可以用于当所述动态优化器的执行时机到来时,执行所述动态优化器,以将所述计算逻辑中的原生算子替换为密码算子,并执行所述密码算子;
其中,所述明文机器学习模型基于明文机器学习框架生成,所述动态优化器派生于所述明文机器学习框架的优化器基类,所述明文机器学习框架中注册有所述密码算子和所述动态优化器。
在本说明书的一些实施方案的隐私机器学习实现装置中,所述将所述计算逻辑中的原生算子替换为密码算子,包括:
将所述明文机器学习模型的原生静态图替换为密码静态图。
在本说明书的一些实施方案的隐私机器学习实现装置中,所述将所述明文机器学习模型的原生静态图替换为密码静态图,包括:
从所述明文机器学习模型的原生静态图中获取原生节点;
确认是否需要将该原生节点替换为对应的密码节点;
如果需要,则将该原生节点替换为对应的密码节点。
在本说明书的一些实施方案的隐私机器学习实现装置中,所述确认是否需要将该原生节点替换为对应的密码节点,包括:
确认该原生节点对应的数据流中是否包含模型私有数据。
在本说明书的一些实施方案的隐私机器学习实现装置中,所述将该原生节点替换为对应的密码节点,包括:
获取该原生节点的属性信息、边信息及对应的密码节点名称;所述边信息包括输入边和输出边;
根据该原生节点的属性信息、边信息及对应的密码节点名称,创建密码算子、新输入边和新输出边;
将该原生算子、所述输入边和所述输出边对应替换为该密码算子、该新输入边和该新输出边。
在本说明书的一些实施方案的隐私机器学习实现装置中,所述动态优化器的执行时机包括以下中的任意一种:
安置所述明文机器学习模型中的原生静态图之前;
安置所述明文机器学习模型中的原生静态图之后;
优化所述明文机器学习模型中的原生静态图之后;
分裂所述明文机器学习模型中的原生静态图之后。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
与上述的隐私机器学习实现方法对应,本说明书还提供有电子设备。参考图7所示,在本说明书的一些实施方案中,电子设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器运行时可以执行上述的隐私机器学习实现方法。
虽然上文描述的过程流程包括以特定顺序出现的多个操作,但是,应当清楚了解,这些过程可以包括更多或更少的操作,这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
本申请是参照根据本说明书实施方案的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书的实施方案可提供为方法、系统或计算机程序产品。因此,本说明书实施方案可采用完全硬件实施方案、完全软件实施方案或结合软件和硬件方面的实施方案的形式。而且,本说明书实施方案可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施方案可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施方案,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施方案均采用递进的方式描述,各个实施方案之间相同相似的部分互相参见即可,每个实施方案重点说明的都是与其他实施方案的不同之处。尤其,对于系统实施方案而言,由于其基本相似于方法实施方案,所以描述的比较简单,相关之处参见方法实施方案的部分说明即可。在本说明书的描述中,参考术语“一个实施方案”、“一些实施方案”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方案或示例描述的具体特征、结构、材料或者特点包含于本说明书实施方案的至少一个实施方案或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施方案或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施方案或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方案或示例以及不同实施方案或示例的特征进行结合和组合。
以上所述仅为本申请的实施方案而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (14)
1.一种隐私机器学习实现方法,其特征在于,包括:
在执行明文机器学习模型的计算逻辑时,确认所述明文机器学习模型中的动态优化器的执行时机是否到来;
当所述动态优化器的执行时机到来时,执行所述动态优化器,以将所述计算逻辑中的原生算子替换为密码算子,并执行所述密码算子;
其中,所述明文机器学习模型基于明文机器学习框架生成,所述动态优化器派生于所述明文机器学习框架的优化器基类,所述明文机器学习框架中注册有所述密码算子和所述动态优化器。
2.如权利要求1所述的隐私机器学习实现方法,其特征在于,所述将所述计算逻辑中的原生算子替换为密码算子,包括:
将所述明文机器学习模型的原生静态图替换为密码静态图。
3.如权利要求2所述的隐私机器学习实现方法,其特征在于,所述将所述明文机器学习模型的原生静态图替换为密码静态图,包括:
从所述明文机器学习模型的原生静态图中获取原生节点;
确认是否需要将该原生节点替换为对应的密码节点;
如果需要,则将该原生节点替换为对应的密码节点。
4.如权利要求3所述的隐私机器学习实现方法,其特征在于,所述确认是否需要将该原生节点替换为对应的密码节点,包括:
确认该原生节点对应的数据流中是否包含模型私有数据。
5.如权利要求3所述的隐私机器学习实现方法,其特征在于,所述将该原生节点替换为对应的密码节点,包括:
获取该原生节点的属性信息、边信息及对应的密码节点名称;
根据该原生节点的属性信息、边信息及对应的密码节点名称,创建密码算子、新输入边和新输出边;
将该原生节点及其输入边和输出边对应替换为该密码节点、该新输入边和该新输出边。
6.如权利要求2所述的隐私机器学习实现方法,其特征在于,所述动态优化器的执行时机包括以下中的任意一种:
安置所述明文机器学习模型中的原生静态图之前;
安置所述明文机器学习模型中的原生静态图之后;
优化所述明文机器学习模型中的原生静态图之后;
分裂所述明文机器学习模型中的原生静态图之后。
7.一种隐私机器学习实现装置,其特征在于,包括:
判断模块,用于在执行明文机器学习模型的计算逻辑时,确认所述明文机器学习模型中的动态优化器的执行时机是否到来;
执行模块,用于当所述动态优化器的执行时机到来时,执行所述动态优化器,以将所述计算逻辑中的原生算子替换为密码算子,并执行所述密码算子;
其中,所述明文机器学习模型基于明文机器学习框架生成,所述动态优化器派生于所述明文机器学习框架的优化器基类,所述明文机器学习框架中注册有所述密码算子和所述动态优化器。
8.如权利要求7所述的隐私机器学习实现装置,其特征在于,所述将所述计算逻辑中的原生算子替换为密码算子,包括:
将所述明文机器学习模型的原生静态图替换为密码静态图。
9.如权利要求8所述的隐私机器学习实现装置,其特征在于,所述将所述明文机器学习模型的原生静态图替换为密码静态图,包括:
从所述明文机器学习模型的原生静态图中获取原生节点;
确认是否需要将该原生节点替换为对应的密码节点;
如果需要,则将该原生节点替换为对应的密码节点。
10.如权利要求9所述的隐私机器学习实现装置,其特征在于,所述确认是否需要将该原生节点替换为对应的密码节点,包括:
确认该原生节点对应的数据流中是否包含模型私有数据。
11.如权利要求9所述的隐私机器学习实现装置,其特征在于,所述将该原生节点替换为对应的密码节点,包括:
获取该原生节点的属性信息、边信息及对应的密码节点名称;所述边信息包括输入边和输出边;
根据该原生节点的属性信息、边信息及对应的密码节点名称,创建密码算子、新输入边和新输出边;
将该原生算子、所述输入边和所述输出边对应替换为该密码算子、该新输入边和该新输出边。
12.如权利要求8所述的隐私机器学习实现装置,其特征在于,所述动态优化器的执行时机包括以下中的任意一种:
安置所述明文机器学习模型中的原生静态图之前;
安置所述明文机器学习模型中的原生静态图之后;
优化所述明文机器学习模型中的原生静态图之后;
分裂所述明文机器学习模型中的原生静态图之后。
13.一种电子设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,其特征在于,所述计算机程序被所述处理器运行时执行权利要求1-6任意一项所述的方法。
14.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010205350.7A CN111428880A (zh) | 2020-03-20 | 2020-03-20 | 隐私机器学习实现方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010205350.7A CN111428880A (zh) | 2020-03-20 | 2020-03-20 | 隐私机器学习实现方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111428880A true CN111428880A (zh) | 2020-07-17 |
Family
ID=71548485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010205350.7A Pending CN111428880A (zh) | 2020-03-20 | 2020-03-20 | 隐私机器学习实现方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111428880A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112231650A (zh) * | 2020-09-29 | 2021-01-15 | 北京瑞莱智慧科技有限公司 | 一种数据隐私保护协议的分析方法、装置及电子设备 |
CN112270399A (zh) * | 2020-09-29 | 2021-01-26 | 北京百度网讯科技有限公司 | 基于深度学习的算子注册处理方法、装置及电子设备 |
CN112766512A (zh) * | 2021-01-25 | 2021-05-07 | 北京大学(天津滨海)新一代信息技术研究院 | 基于元算子的深度学习框架诊断系统、方法、装置、设备及介质 |
WO2021203260A1 (zh) * | 2020-04-08 | 2021-10-14 | 云图技术有限公司 | 一种节点匹配方法、装置、设备及系统 |
CN113672985A (zh) * | 2021-08-25 | 2021-11-19 | 支付宝(杭州)信息技术有限公司 | 用于隐私保护的机器学习算法脚本编译方法和编译器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255234A (zh) * | 2018-08-15 | 2019-01-22 | 腾讯科技(深圳)有限公司 | 机器学习模型的处理方法、装置、介质及电子设备 |
CN110298190A (zh) * | 2019-04-19 | 2019-10-01 | 矩阵元技术(深圳)有限公司 | 去中心化多方安全数据处理方法、装置及存储介质 |
US20190332814A1 (en) * | 2018-04-27 | 2019-10-31 | Nxp B.V. | High-throughput privacy-friendly hardware assisted machine learning on edge nodes |
CN110619220A (zh) * | 2019-08-09 | 2019-12-27 | 北京小米移动软件有限公司 | 对神经网络模型加密的方法及装置、存储介质 |
CN110796267A (zh) * | 2019-11-12 | 2020-02-14 | 支付宝(杭州)信息技术有限公司 | 数据共享的机器学习方法和机器学习装置 |
-
2020
- 2020-03-20 CN CN202010205350.7A patent/CN111428880A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190332814A1 (en) * | 2018-04-27 | 2019-10-31 | Nxp B.V. | High-throughput privacy-friendly hardware assisted machine learning on edge nodes |
CN109255234A (zh) * | 2018-08-15 | 2019-01-22 | 腾讯科技(深圳)有限公司 | 机器学习模型的处理方法、装置、介质及电子设备 |
CN110298190A (zh) * | 2019-04-19 | 2019-10-01 | 矩阵元技术(深圳)有限公司 | 去中心化多方安全数据处理方法、装置及存储介质 |
CN110619220A (zh) * | 2019-08-09 | 2019-12-27 | 北京小米移动软件有限公司 | 对神经网络模型加密的方法及装置、存储介质 |
CN110796267A (zh) * | 2019-11-12 | 2020-02-14 | 支付宝(杭州)信息技术有限公司 | 数据共享的机器学习方法和机器学习装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021203260A1 (zh) * | 2020-04-08 | 2021-10-14 | 云图技术有限公司 | 一种节点匹配方法、装置、设备及系统 |
CN112231650A (zh) * | 2020-09-29 | 2021-01-15 | 北京瑞莱智慧科技有限公司 | 一种数据隐私保护协议的分析方法、装置及电子设备 |
CN112270399A (zh) * | 2020-09-29 | 2021-01-26 | 北京百度网讯科技有限公司 | 基于深度学习的算子注册处理方法、装置及电子设备 |
CN112231650B (zh) * | 2020-09-29 | 2021-06-29 | 北京瑞莱智慧科技有限公司 | 一种数据隐私保护协议的分析方法、装置及电子设备 |
CN112766512A (zh) * | 2021-01-25 | 2021-05-07 | 北京大学(天津滨海)新一代信息技术研究院 | 基于元算子的深度学习框架诊断系统、方法、装置、设备及介质 |
CN113672985A (zh) * | 2021-08-25 | 2021-11-19 | 支付宝(杭州)信息技术有限公司 | 用于隐私保护的机器学习算法脚本编译方法和编译器 |
CN113672985B (zh) * | 2021-08-25 | 2023-11-14 | 支付宝(杭州)信息技术有限公司 | 用于隐私保护的机器学习算法脚本编译方法和编译器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111428880A (zh) | 隐私机器学习实现方法、装置、设备及存储介质 | |
CN111415013B (zh) | 隐私机器学习模型生成、训练方法、装置及电子设备 | |
US9569288B2 (en) | Application pattern discovery | |
CN113079200A (zh) | 一种数据处理的方法、装置及系统 | |
CN111783124A (zh) | 基于隐私保护的数据处理方法、装置和服务器 | |
CN110597730A (zh) | 基于场景法的自动化测试用例生成方法及系统 | |
WO2021184346A1 (zh) | 隐私机器学习模型生成、训练方法、装置及电子设备 | |
CN112748993A (zh) | 任务执行方法、装置、存储介质及电子设备 | |
CN116167092B (zh) | 一种密态数据查询方法、装置、存储介质以及电子设备 | |
CN108924185A (zh) | 接口生成方法及装置 | |
CN111078573A (zh) | 一种测试报文的生成方法及装置 | |
CN111008404A (zh) | 一种基于区块链的服务调用审计方法、设备及介质 | |
CN114638005A (zh) | 基于区块链的数据处理方法、装置及系统、存储介质 | |
CN111125090B (zh) | 数据存取方法及装置 | |
CN111131474A (zh) | 一种基于区块链管理用户协议的方法、设备及介质 | |
WO2021184345A1 (zh) | 隐私机器学习实现方法、装置、设备及存储介质 | |
CN114896635A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
CN104750482A (zh) | 一种构建基于MapReduce的动态脚本执行引擎的方法 | |
CN114448702A (zh) | 一种基于隐私集合求交的数据加密方法及装置 | |
CN110046141B (zh) | 一种基于数据回放的数据存储方法及系统 | |
CN117321960A (zh) | 对用于同态推理的预先加密数据进行高效地批处理 | |
CN113849837A (zh) | 一种安全模型的训练方法、装置、设备以及数据处理方法 | |
WO2016110204A1 (zh) | 处理对象的处理、插件生成方法及装置 | |
CN110032832B (zh) | 一种Web应用程序的处理方法及装置 | |
CN110990378A (zh) | 一种基于区块链的数据一致性对比方法及设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |