CN111027632B - 一种模型训练方法、装置及设备 - Google Patents
一种模型训练方法、装置及设备 Download PDFInfo
- Publication number
- CN111027632B CN111027632B CN201911286367.3A CN201911286367A CN111027632B CN 111027632 B CN111027632 B CN 111027632B CN 201911286367 A CN201911286367 A CN 201911286367A CN 111027632 B CN111027632 B CN 111027632B
- Authority
- CN
- China
- Prior art keywords
- model
- tee
- training
- target
- training samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 202
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013175 transesophageal echocardiography Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
- H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
- H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
公开了一种模型训练方法、装置及设备。通过首先在不可信环境中进行模型的预训练，然后在可信执行环境TEE中，对加密后的私有数据执行解密并作为训练样本，不改变预训练模型的模型结构，仅对其进行小规模数据的调参，从而得到在TEE中可用的目标模型。
Description
技术领域
本说明书实施例涉及信息技术领域，尤其涉及一种模型训练方法、装置及设备。
背景技术
在模型训练中，经常可能需要使用到用户数据或者敏感数据，这就有可能造成隐私泄露。传统的公司内部隐私保护主要采用权限控制的方式，即只有部分有权限的员工才能接触到训练样本，并基于此进行模型训练或预测。
这种方式实现起来比较简单，但是存在的问题也比较多。例如：审核不严，存在员工主动泄露的可能；员工在使用完敏感数据后，权限回收机制往往缺失，导致潜在风险巨大；此外，员工在使用过程中，可能存在数据的导出和中间结果的额外存储问题，也会导致敏感数据存在被泄露的风险。由于数据对于有权限员工是可见的，还存在频幕截屏、录屏等数据泄露风险。
基于此，需要一种可以保护训练样本隐私的模型训练方案。
发明内容
本申请实施例的目的是提供一种可以保护训练样本隐私的模型训练方案。
为解决上述技术问题，本申请实施例是这样实现的：
获取预训练模型；
将所述预训练模型部署至可信执行环境TEE中；
获取公钥加密后的目标训练样本的集合，在所述TEE中采用所述公钥所对应的私钥进行解密，生成目标训练样本的集合；
在所述TEE中采用所述目标训练样本的集合，对所述预训练模型进行模型训练，生成在TEE中可用的目标模型。
对应的，本说明书实施例还提供一种模型训练装置，包括：
获取模块，获取预训练模型；
部署模块，将所述预训练模型部署至可信执行环境TEE中；
解密模块，获取公钥加密后的目标训练样本的集合，在所述TEE中采用所述公钥所对应的私钥进行解密，生成目标训练样本的集合；
训练模块，在所述TEE中采用所述目标训练样本的集合，对所述预训练模型进行模型训练，生成在TEE中可用的目标模型。
通过本说明书实施例中所提供的方案，首先在不可信环境中进行模型的预训练，然后在可信执行环境TEE中，对加密后的私有数据执行解密并作为训练样本，不改变预训练模型的模型结构，仅对其进行小规模数据的调参，从而得到在TEE中可用的目标模型，通过在非可信环境中加密数据，并在TEE中解密进行模型训练，从而保证了在模型训练时训练样本的隐私不会泄露。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。
此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的一种业务风险防控方法的流程示意图；
图2为一种CNN中的模型结构中各层的连接关系示意图；
图3为本说明书实施例所提供的整体框架的逻辑结构示意图；
图4是本说明书实施例提供的一种模型训练装置的结构示意图；
图5是用于配置本说明书实施例方法的一种设备的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。如图1所示，图1是本说明书实施例提供的一种业务风险防控方法的流程示意图，该流程具体包括如下步骤：
S101，获取预训练模型。
预训练模型指的是针对某些预训练样本已经训练好的模型。预训练样本通过对于进行模型训练的人员是公开可见的，即，无需对预训练样本进行隐私保护。
在某些领域，可以使用开源的模型作为预训练模型。例如，用于目标检测的MaskR-CNN模型，其通过给定的大量图片已经进行了训练，可以为给定图像中的目标的每个实例生成边界框和分割掩模；例如，用于人脸识别的VGG-Face模型，其通过针对超过百万计的人脸图片已经进行了训练，并且已经可以有效实现人脸的识别；又例如，在文本分类英语，预训练模型可以是Bert模型等等。
在另外一些领域，例如，在风控领域，基本上没有可用的开源模型作为预训练模型，同时，各领域的风控目标也不尽相同，例如，在电商领域和金融领域，虽然都需要进行风控，但是各自的风控数据和目标就完全不同。
基于此，模型训练人员可以使用于目标训练样本相似的数据进行初步的模型训练，从而得到可用的与训练模型。例如，在电商领域，使用用户已经授权的3年前的历史交易数据进行模型训练，从而得到预训练模型。
目标训练样本则是需要进行隐私保护的数据，其中可能包含了用户的隐私数据或者对于模型的敏感数据。例如，用户的隐私数据包括用户的姓名、身份证号码、住址、电话、银行账号、邮箱、密码、医疗信息、教育背景、生物特征信息(面部特征、指纹特征)等等。模型的敏感数据指的是可能会泄露模型的训练/识别算法或者对于模型的识别效果有着显著影响的训练样本。
例如，当前就存在针对模型的成员攻击(Membership Attack)，成员攻击的攻击者在给一个已经训练好的模型和一个或者多个特定样本的情形时，尝试判断样本有没有在训练模型的时候被用到，以便反向推导模型的训练方法和识别方法。此时，由于需要根据目标训练样本对于预训练模型进行微调，因此，目标训练样本中的每个样本都是需要进行隐私保护。
在一种实施方式中，预训练样本和目标训练样本所采用的特征可以相同。例如，在对于电商平台的风控模型中，目标训练样本所采用的特征包含交易时间、交易地点、交易金额等等N个维度的特征，则在基于预训练样本进行训练时，则可以将预训练样本处理成为同样包含前述N个维度的特征的样本，以进行预处理模型的训练。通过将预训练样本处理成为和目标训练样本相同的特征，可以有效降低对于预处理模型的后续调整幅度，提高效率。
S103，将所述预训练模型部署至可信执行环境TEE中。
可信执行环境(Trusted Execution Environment,TEE)是基于CPU硬件的安全扩展，且与外部完全隔离的可信执行环境。TEE最早是由Global Platform提出的概念，用于解决移动设备上资源的安全隔离，平行于操作系统为应用程序提供可信安全的执行环境。ARM的Trust Zone技术最早实现了真正商用的TEE技术。
TEE可以起到硬件中的黑箱作用，在TEE中执行的代码和数据操作系统层都无法偷窥，只有代码中预先定义的接口才能对其进行操作。在效率方面，由于TEE的黑箱性质，在TEE中进行运算的是明文数据，而不是同态加密中的复杂密码学运算，计算过程效率没有损失，因此与TEE相结合可以在性能损失较小的前提下很大程度上提升区块链的安全性和隐私性。目前工业界十分关注TEE的方案，几乎所有主流的芯片和软件联盟都有自己的TEE解决方案，包括软件方面的TPM(Trusted Platform Module，可信赖平台模块)以及硬件方面的Intel SGX(Software Guard Extensions,软件保护扩展)、ARM Trustzone(信任区)和AMD PSP(Platform Security Processor，平台安全处理器)。
伴随着互联网的高速发展，安全的需求越来越高，不仅限于移动设备，云端设备，数据中心都对TEE提出了更多的需求。TEE的概念也得到了高速的发展和扩充。现在所说的TEE相比与最初提出的概念已经是更加广义的TEE。例如，服务器芯片厂商Intel，AMD等都先后推出了硬件辅助的TEE并丰富了TEE的概念和特性，在工业界得到了广泛的认可。现在提起的TEE通常更多指这类硬件辅助的TEE技术。不同于移动端，云端访问需要远程访问，终端用户对硬件平台不可见，因此使用TEE的第一步就是要确认TEE的真实可信。因此现在的TEE技术都引入了远程证明机制，由硬件厂商(主要是CPU厂商)背书并通过数字签名技术确保用户对TEE状态可验证。同时仅仅是安全的资源隔离也无法满足的安全需求，进一步的数据隐私保护也被提出。包括Intel SGX，AMD SEV在内的商用TEE也都提供了内存加密技术，将可信硬件限定在CPU内部，总线和内存的数据均是密文防止恶意用户进行窥探。例如，英特尔的软件保护扩展(SGX)等TEE技术隔离了代码执行、远程证明、安全配置、数据的安全存储以及用于执行代码的可信路径。在TEE中运行的应用程序受到安全保护，几乎不可能被第三方访问。
因此，可以将预训练模型以TEE中可执行的语言的形式，部署至TEE中，至可信执行环境TEE。
S105，获取公钥加密后的目标训练样本的集合，在所述TEE中采用所述公钥所对应的私钥进行解密，生成目标训练样本的集合。
在本说明书实施例中，公钥可以是TEE中所生成的密钥对中的公钥。在TEE环境中，硬件厂商即可以生成用于数字签名的密钥对(包括公钥和对应的私钥)，并且由硬件厂商来保障该密钥对的安全性。
TEE将其所产生的密钥对中的私钥和公钥建立起对应的关系，并且保存该私钥，而公钥则可以发送至模型的训练方。
由于公钥是可以对外公开的，因此，作为模型的训练方，可以使用预先获取得到的公钥对目标训练样本的集合进行加密，从而生成加密后的目标训练样本的集合。
具体而言，一种加密的方式可以对预先存储的批量的目标训练样本进行加密。在这种方式下，仅需要多多份目标训练样本进行一次加密即可，可以提高数据的传输效率。
在另一种方式下，还可以将线上所产生的即时数据生成相应的目标训练样本，此时，则需要对每一份目标训练样本均进行公钥加密，这种方式下可以最大限度的保障用户隐私。
获取得到公钥加密后的目标训练样本的集合之后，即可以将该集合输入值TEE环境中，TEE即可以采用对应的私钥对该加密数据进行解密，得到目标训练样本的集合。由于解密是在TEE中进行的，因此，有TEE的提供方保证了目标训练样本的集合中的数据不会被泄露。
S107，在所述TEE中采用所述目标训练样本的集合，对所述预训练模型进行模型训练，生成在TEE中可用的目标模型
由于预训练模型已经以可执行语言的形式被部署，因此，只需输入目标训练样本，在TEE中即可以实现以预训练模型作为初始模型，以目标训练样本的集合作为输入进行再次的模型训练，从而实现对于目标训练样本的集合有着较好识别效果的目标模型。
如前所述，由于预训练模型是已经部署在TEE中的，而基于目标训练样本的训练过程也是在TEE中完成的，因此，最终得到的目标模型实际上就已经部署在TEE中，可以直接调用，而无需再次部署。
在模型训练中，一个模型可以包含模型结构和模型参数。例如，对于一个线性模型y＝k*x+b而言，线性结构即为该模型的结构，模型参数即为需要进行训练而得到的“k”和“b”。又例如，在卷积神经网络模型(Convolutional Neural Network，CNN)中，一个模型结构可能是包含了若干卷积层，若干个池化层，若干连接层，以及各卷积层和池化层之间具有一定的先后顺序，在模型中还定义相应的损失函数或者目标函数。而模型参数则可以是卷积核中的权重参数组/权重参数矩阵等等。如图2所示，图2为一种CNN中的模型结构的示意图，其中就依序包含了2个卷积层、2个池化层、3个全连接层。
模型训练的过程则可以包括对于模型结构的改变和对于模型参数的调整。例如，模型结构的调整就可以包括将线性结构换为非线性结构；或者，改变模型中的卷积层、池化层或者连接层的顺序；或者，添加若干卷积层、池化层或者连接层至初始模型中。而模型参数的调整则可以是对于卷积核中的权重参数组/权重参数矩阵基于损失函数进行调整等等。
需要说明的是，在TEE中以预训练模型作为初始模型的训练方式中，在计算性能足够的情形下，可以对预训练模型从模型结构到模型参数进行全面的调整。
但是在实际应用中，TEE往往存在较大的性能瓶颈。例如，在Intel所提供的SGX技术中仅分配128M内存，无法满足大规模数据集训练的要求。在这种情形下在TEE中进行模型结构的调整显然也是不现实的。
因此，在本说明书实施例中，一种可实施的模型训练方式即为，在所述TEE中，不改变所述预训练模型的模型结构，根据所述目标训练样本的集合对所述预训练模型的模型参数进行模型训练，生成在TEE中可用的目标模型。模型结构的不改变包括不对预训练模型的各层的数量、各层的连接关系、模型中所采用的目标函数、损失函数等等进行改变。
具体而言，不同于预训练模型的训练过程中采用海量的数据进行训练，此时，仅收入少量的目标训练样对预训练模型中的模型参数进行微调，以使得调整之后的模型对于目标训练样本的集合均具有较好的识别或者分类效果即可。
通过本说明书实施例中所提供的方案，首先在不可信环境中进行模型的预训练，然后在可信执行环境TEE中，对加密后的私有数据执行解密并作为训练样本，不改变预训练模型的模型结构，仅对其进行小规模数据的调参，从而得到在TEE中可用的目标模型，通过在非可信环境中加密数据，并在TEE中解密进行模型训练，从而保证了在模型训练时目标训练样本的隐私不会泄露。
在一种实施方式中，如果将公钥对外进行公开，则有可能被攻击者获得公钥，那么攻击者就有可能将额外的训练样本进行加密并掺入目标训练样本的集合中，从而对目标模型的训练造成了影响，以及有可能实现如前所述的成员攻击。
基于此，对于TEE中所产生的公钥，还可以选择不公开，而是由目标训练样本的提供方还与所述TEE建立协议协商的安全信道，接收由所述安全信道所发送的TEE中所产生的公钥，以便对目标训练样本的集合进行加密。例如，目标训练样本的提供方还与所述TEE，使用RSA协商加密的方式，建立一个安全加密的通信链路，保证公钥的安全性。安全信道可以实现稳定且保密的数据传输，此处就不再赘述。通过安全信道保证公钥的安全性，可以进一步地加强目标模型训练时目标训练样本的集合的纯净不受污染，避免模型的隐私外泄。
进一步地，在目标模型已经训练之后，则可以针对线上的即时数据流进行识别。具体而言，为了保护用户隐私，同样可以采用公钥对于待识别数据进行加密，并发送至TEE中，在所述TEE环境中采用所述公钥所对应的私钥解密所述加密的待识别数据，生成解密的待识别数据；进而采用所述目标模型对所述解密的待识别数据进行识别，生成识别结果。加密待识别数据时使用的的公钥与前述训练时所使用的公钥可以相同，也可以不同，只需这些公钥都是TEE中所产生的即可。如图3所示，图3为本说明书实施例所提供的整体框架的逻辑结构示意图。
对应的，本说明书实施例还提供一种模型训练装置，如图4所示，图4是本说明书实施例提供的一种模型训练装置的结构示意图，包括：
获取模块401，获取预训练模型；
部署模块403，将所述预训练模型部署至可信执行环境TEE中；
解密模块405，获取公钥加密后的目标训练样本的集合，在所述TEE中采用所述公钥所对应的私钥进行解密，生成目标训练样本的集合；
训练模块407，在所述TEE中采用所述目标训练样本的集合，对所述预训练模型进行模型训练，生成在TEE中可用的目标模型。
进一步地，所述获取模块401，获取基于离线训练样本的集合所训练得到的预训练模型，其中，所述离线训练样本与所述目标训练样本所包含的特征相同。
进一步地，所述解密模块405，接收TEE中所产生的公钥，其中，所述公钥所对应的私钥被保存于所述TEE中；采用所述TEE中所产生的公钥对所述目标训练样本的集合进行加密，生成加密后的目标训练样本的集合。
进一步地，所述解密模块405，与所述TEE建立协议协商的安全信道，接收由所述安全信道所发送的TEE中所产生的公钥。
进一步地，所述训练模块407，在所述TEE中，不改变所述预训练模型的模型结构，根据所述目标训练样本的集合对所述预训练模型的模型参数进行模型训练，生成在TEE中可用的目标模型。
进一步地，所述装置还包括识别模块409，获取公钥加密的待识别数据，在所述TEE环境中采用所述公钥所对应的私钥解密所述加密的待识别数据，生成解密的待识别数据；采用所述目标模型对所述解密的待识别数据进行识别，生成识别结果。
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现图1所示的模型训练方法。
图5示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图1所示的模型训练方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、方法、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (11)
1.一种模型训练方法，包括：
获取预训练模型，将所述预训练模型部署至可信执行环境TEE中；
获取公钥加密后的目标训练样本的集合，在所述TEE中采用所述公钥所对应的私钥进行解密，生成目标训练样本的集合；
在所述TEE中采用所述目标训练样本的集合，对所述预训练模型进行模型训练，生成在TEE中可用的目标模型；
获取预训练模型，包括：
获取基于预训练样本的集合所训练得到的预训练模型，其中，所述预训练样本与所述目标训练样本所包含的特征相同，所述预训练样本的集合的数据量大于所述目标训练样本的集合的数据量，所述预训练样本是无需进行隐私保护的数据，所述目标训练样本是需要进行隐私保护的数据。
2.如权利要求1所述的方法，获取公钥加密后的目标训练样本的集合，包括：
接收TEE中所产生的公钥，其中，所述公钥所对应的私钥被保存于所述TEE中；
采用所述TEE中所产生的公钥对所述目标训练样本的集合进行加密，生成加密后的目标训练样本的集合。
3.如权利要求2所述的方法，接收TEE中所产生的公钥，包括：
与所述TEE建立协议协商的安全信道，接收由所述安全信道所发送的TEE中所产生的公钥。
4.如权利要求1所述的方法，在所述TEE中采用所述目标训练样本的集合，对所述预训练模型进行模型训练，生成在TEE中可用的目标模型，包括：
在所述TEE中，不改变所述预训练模型的模型结构，根据所述目标训练样本的集合对所述预训练模型的模型参数进行模型训练，生成在TEE中可用的目标模型。
5.如权利要求1所述的方法，所述方法还包括：
获取公钥加密的待识别数据，在所述TEE环境中采用所述公钥所对应的私钥解密所述加密的待识别数据，生成解密的待识别数据；
采用所述目标模型对所述解密的待识别数据进行识别，生成识别结果。
6.一种模型训练装置，包括：
获取模块，获取预训练模型；
部署模块，将所述预训练模型部署至可信执行环境TEE中；
解密模块，获取公钥加密后的目标训练样本的集合，在所述TEE中采用所述公钥所对应的私钥进行解密，生成目标训练样本的集合；
训练模块，在所述TEE中采用所述目标训练样本的集合，对所述预训练模型进行模型训练，生成在TEE中可用的目标模型；
所述获取模块，获取基于预训练样本的集合所训练得到的预训练模型，其中，所述预训练样本与所述目标训练样本所包含的特征相同，所述预训练样本的集合的数据量大于所述目标训练样本的集合的数据量，所述预训练样本是无需进行隐私保护的数据，所述目标训练样本是需要进行隐私保护的数据。
7.如权利要求6所述的装置，所述解密模块，接收TEE中所产生的公钥，其中，所述公钥所对应的私钥被保存于所述TEE中；采用所述TEE中所产生的公钥对所述目标训练样本的集合进行加密，生成加密后的目标训练样本的集合。
8.如权利要求7所述的装置，所述解密模块，与所述TEE建立协议协商的安全信道，接收由所述安全信道所发送的TEE中所产生的公钥。
9.如权利要求6所述的装置，所述训练模块，在所述TEE中，不改变所述预训练模型的模型结构，根据所述目标训练样本的集合对所述预训练模型的模型参数进行模型训练，生成在TEE中可用的目标模型。
10.如权利要求6所述的装置，还包括识别模块，获取公钥加密的待识别数据，在所述TEE环境中采用所述公钥所对应的私钥解密所述加密的待识别数据，生成解密的待识别数据；采用所述目标模型对所述解密的待识别数据进行识别，生成识别结果。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911286367.3A CN111027632B (zh) | 2019-12-13 | 2019-12-13 | 一种模型训练方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911286367.3A CN111027632B (zh) | 2019-12-13 | 2019-12-13 | 一种模型训练方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111027632A CN111027632A (zh) | 2020-04-17 |
| CN111027632B true CN111027632B (zh) | 2023-04-25 |
Family
ID=70210766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911286367.3A Active CN111027632B (zh) | 2019-12-13 | 2019-12-13 | 一种模型训练方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027632B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291401B (zh) * | 2020-05-09 | 2020-11-03 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的业务预测模型训练方法和装置 |
| CN113723604B (zh) * | 2020-05-26 | 2024-03-26 | 杭州海康威视数字技术股份有限公司 | 一种神经网络训练方法、装置、电子设备及可读存储介质 |
| CN111737719B (zh) * | 2020-07-17 | 2020-11-24 | 支付宝(杭州)信息技术有限公司 | 保护隐私的文本分类方法及装置 |
| CN112580085A (zh) * | 2021-02-22 | 2021-03-30 | 支付宝(杭州)信息技术有限公司 | 一种模型训练方法及装置 |
| EP4222592A1 (en) * | 2021-03-25 | 2023-08-09 | NEC Laboratories Europe GmbH | Private artificial neural networks with trusted execution environments and quadratic homomorphic encryption |
| CN113095507A (zh) * | 2021-04-02 | 2021-07-09 | 支付宝(杭州)信息技术有限公司 | 机器学习模型进行训练、预测的方法、装置、设备及介质 |
| CN113254940B (zh) * | 2021-05-20 | 2023-01-17 | 浙江网商银行股份有限公司 | 基于遥感数据的数据处理方法及装置 |
| CN114357168B (zh) * | 2021-12-31 | 2022-08-02 | 成都信息工程大学 | 一种文本分类方法 |
| CN114860402B (zh) * | 2022-05-10 | 2023-10-20 | 北京百度网讯科技有限公司 | 调度策略模型训练方法、调度方法、装置、设备和介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308418A (zh) * | 2017-07-28 | 2019-02-05 | 阿里巴巴集团控股有限公司 | 一种基于共享数据的模型训练方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201610883D0 (en) * | 2016-06-22 | 2016-08-03 | Microsoft Technology Licensing Llc | Privacy-preserving machine learning |
| US10601786B2 (en) * | 2017-03-02 | 2020-03-24 | UnifyID | Privacy-preserving system for machine-learning training data |
| CN110162981B (zh) * | 2019-04-18 | 2020-10-02 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置 |
-
2019
- 2019-12-13 CN CN201911286367.3A patent/CN111027632B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308418A (zh) * | 2017-07-28 | 2019-02-05 | 阿里巴巴集团控股有限公司 | 一种基于共享数据的模型训练方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111027632A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027632B (zh) | 一种模型训练方法、装置及设备 | |
| US11695576B2 (en) | Transaction verification through enhanced authentication | |
| CN111079152B (zh) | 一种模型部署方法、装置及设备 | |
| US11238139B2 (en) | Methods for securely storing sensitive data on mobile device | |
| Ramana et al. | A three-level gateway protocol for secure m-commerce transactions using encrypted OTP | |
| WO2020236651A1 (en) | Identity verification and management system | |
| WO2019218919A1 (zh) | 区块链场景下的私钥管理方法、装置及系统 | |
| KR20180016235A (ko) | 스피치 및/또는 입술 움직임 분석을 포함하는 인증 기술 | |
| KR20180016232A (ko) | 스피치 및/또는 입술 움직임 분석을 포함하는 인증 기술 | |
| US20100328074A1 (en) | Human presence detection techniques | |
| US9454677B1 (en) | Secure communication architecture including video sniffer | |
| Ojugo et al. | Social engineering detection model for mobile smartphone clients | |
| US11113423B2 (en) | FPGA hardware-based secure computing method and apparatus | |
| CN112308236B (zh) | 用于处理用户请求的方法、装置、电子设备及存储介质 | |
| WO2023142440A1 (zh) | 一种图像加密、图像处理方法、装置、设备及介质 | |
| Sun et al. | Having Your Cake and Eating It: An Analysis of {Concession-Abuse-as-a-Service} | |
| Muhammad et al. | Smartphone Security and Privacy: A Survey on APTs, Sensor-Based Attacks, Side-Channel Attacks, Google Play Attacks, and Defenses | |
| WO2023155641A1 (zh) | 数据的处理 | |
| Sombatruang et al. | Internet Service Providers' and Individuals' Attitudes, Barriers, and Incentives to Secure {IoT} | |
| Fathima et al. | Enhancing security in M-commerce transactions | |
| Mehraj et al. | Critical Challenges in Access Management Schemes for Smartphones: An Appraisal | |
| US20230368206A1 (en) | System, Device, and Method of Transaction Verification Based on Auxiliary Signals and Modulations | |
| Chhaybi et al. | Generative Adversarial Networks for IoT Devices and Mobile Applications Security | |
| Rull Jariod | Authorization and authentication strategy for mobile highly constrained edge devices | |
| Balogun et al. | Cybersecurity in mobile fintech applications: Addressing the unique challenges of securing user data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230404 Address after: 801-10, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province 310000 Applicant after: Ant financial (Hangzhou) Network Technology Co.,Ltd. Address before: 310000 801-11 section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province Applicant before: Alipay (Hangzhou) Information Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 514, 5th Floor, Building 2, Building 1, No. 543-569 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province, China 310000 Patentee after: Ant Intelligent (Hangzhou) Technology Co.,Ltd. Country or region after: China Address before: 801-10, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province 310000 Patentee before: Ant financial (Hangzhou) Network Technology Co.,Ltd. Country or region before: China |