CN114662686A - 一种神经网络模型训练方法、装置和安全计算平台 - Google Patents

一种神经网络模型训练方法、装置和安全计算平台 Download PDF

Info

Publication number
CN114662686A
CN114662686A CN202210117201.4A CN202210117201A CN114662686A CN 114662686 A CN114662686 A CN 114662686A CN 202210117201 A CN202210117201 A CN 202210117201A CN 114662686 A CN114662686 A CN 114662686A
Authority
CN
China
Prior art keywords
layer
ciphertext
training
plaintext
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210117201.4A
Other languages
English (en)
Inventor
翟同庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huakong Tsingjiao Information Technology Beijing Co Ltd
Original Assignee
Huakong Tsingjiao Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huakong Tsingjiao Information Technology Beijing Co Ltd filed Critical Huakong Tsingjiao Information Technology Beijing Co Ltd
Priority to CN202210117201.4A priority Critical patent/CN114662686A/zh
Publication of CN114662686A publication Critical patent/CN114662686A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种神经网络模型训练方法、装置和用于神经网络模型训练的装置。其中的方法包括：获取来自参与方的训练数据，训练数据为密文；通过执行训练脚本初始化神经网络模型，神经网络模型的网络层包括明文层和密文层；基于持有的训练数据对神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；明文层的计算基于明文进行，密文层的计算基于密文进行。本发明实施例在保证数据隐私安全的基础上，减小密文计算带来的通信开销和资源消耗。

Description

一种神经网络模型训练方法、装置和安全计算平台
技术领域
本发明涉及计算机技术领域，尤其涉及一种神经网络模型训练方法、装置和安全计算平台。
背景技术
随着机器学习的广泛应用，基于机器学习或者深度学习的方法应用于多个技术领域并且取得了巨大的成功。在对各机器学习模型进行训练时，机器学习所需要的数据往往会涉及到多个领域。
但是，出于信息安全和用户隐私保护等因素的考虑，不同机构或个人掌握了类型各异的数据，这些数据通常相互隔离，使得数据不能高效、便捷的流通，形成信息孤岛。因此，在兼顾数据安全和计算效率的前提下，如何结合多个数据方进行联合训练机器学习模型是现有技术中亟待解决的问题。
发明内容
本发明实施例提供一种神经网络模型训练方法、装置和安全计算平台，可以在保证数据隐私安全的基础上，极大提高模型训练速度，以及减小密文计算带来的通信开销和资源消耗。
为了解决上述问题，本发明实施例公开了一种神经网络模型训练方法，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述方法包括：
获取来自参与方的训练数据，所述训练数据为密文；
通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；
基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。
另一方面，本发明实施例公开了一种基于神经网络模型的预测方法，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述方法包括：
获取来自参与方的预测数据，所述预测数据为密文；
基于持有的预测数据，将所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算，得到模型预测结果，其中，在所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算的过程中，明文层的计算基于明文进行，密文层的计算基于密文进行。
再一方面，本发明实施例公开了一种神经网络模型训练装置，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述装置包括：
训练数据获取模块，用于获取来自参与方的训练数据，所述训练数据为密文；
模型初始化模块，用于通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；
迭代训练模块，用于基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。
再一方面，本发明实施例公开了基于神经网络模型的预测装置，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述装置包括：
预测数据获取模块，用于获取来自参与方的预测数据，所述预测数据为密文；
模型预测模块，用于基于持有的预测数据，将所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算，得到模型预测结果，其中，在所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算的过程中，明文层的计算基于明文进行，密文层的计算基于密文进行。
再一方面，本发明实施例公开了一种安全计算平台，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点；其中，
所述计算节点，用于获取来自参与方的训练数据，并通过执行训练脚本初始化神经网络模型，以及基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，所述训练数据为密文，所述神经网络模型的网络层包括明文层和密文层，明文层的计算基于明文进行，密文层的计算基于密文进行。
再一方面，本发明实施例公开了一种用于神经网络模型训练的装置，包括有存储器，以及一个以上程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如前述一个或多个所述的神经网络模型训练方法的指令。
又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如前述一个或多个所述的神经网络模型训练方法。
本发明实施例包括以下优点：
本发明实施例提出了一种基于安全计算平台的神经网络模型训练方法，并对神经网络模型的结构进行优化，提出了一种明密文混合的神经网络模型，即设置神经网络模型包含明文层和密文层。在训练神经网络模型时，参与训练任务的计算节点获取来自参与方的训练数据，使用训练数据进行前向特征传播和反向梯度传播，并通过反向梯度传播逐层调整各网络层的参数。在前向特征传播和反向梯度传播的过程中，训练数据经过明文层和密文层的处理，明文层用于保证训练速度，密文层用于保证数据隐私。在迭代终止条件到达时，可以得到训练完成的神经网络模型。本发明实施例通过明文层和密文层的共同作用，在保证数据隐私安全的基础上，极大提高模型训练速度，以及减小密文计算带来的通信开销和资源消耗。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种神经网络模型训练方法实施例的步骤流程图；
图2是本发明的一种神经网络模型的结构示意图；
图3是本发明的一种基于神经网络模型的预测方法的步骤流程图；
图4是本发明的一种神经网络模型训练装置实施例的结构框图；
图5是本发明的一种基于神经网络模型的预测装置实施例的结构框图；
图6是本发明的一种用于神经网络模型训练的装置800的框图；
图7是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本发明实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
参照图1，示出了本发明的一种神经网络模型训练方法实施例的步骤流程图，所述方法可应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述方法可以包括如下步骤：
步骤101、获取来自参与方的训练数据，所述训练数据为密文；
步骤102、通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；
步骤103、基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。
所述安全计算平台可以是一种保护数据隐私安全的计算平台。本发明实施例对所述安全计算平台采用的安全计算协议不做限制，例如，所述安全计算平台可以基于MPC(SecureMuti-Party Computation，多方安全计算)协议，在基于MPC协议的安全计算平台中，多个参与方可以在不泄漏自身数据的前提下，使用多方安全计算技术进行协同计算得到计算结果，参与计算的数据、中间结果、以及最终结果可以为密文。当然，所述安全计算平台还可以基于秘密分享、半同态、不经意传输等技术实现的安全计算协议。
在每一轮迭代训练中，训练数据经由所述神经网络模型的各网络层逐层进行安全计算的具体方式，根据所述安全计算平台采用的安全计算协议确定。
所述安全计算平台可以包括至少一个计算单元。所述计算单元，指可以协同完成密文计算的基本单位。每个计算单元可以包括至少一个计算节点。所述计算节点可以是具有计算能力的任意设备，如服务器。本发明实施例对一个计算单元包含的计算节点的数量不做限制。优选地，一个计算单元可以包含4个计算节点。
传统的神经网络模型通常要求训练数据全部以明文传递，会面临数据隐私泄漏的风险。基于纯密文进行神经网络模型的训练虽然可以保证数据隐私安全，但是大量的密文计算会引入额外的计算开销和传输延时，导致训练神经网络模型的时间开销与资源消耗难以满足实际应用的需求。
本发明实施例提出了一种基于安全计算平台的神经网络模型训练方法，并对神经网络模型的结构进行优化，提出了一种明密文混合的神经网络模型，即设置神经网络模型包含明文层和密文层，通过明文层和密文层的共同作用，使得神经网络模型的训练过程可以兼顾数据安全和计算效率。
需要说明的是，本发明实施例对参与训练神经网络模型的参与方的数量不做限制。参与方的数量可以大于或等于1。进一步地，在参与方的数量大于1时，通过本发明实施例，各参与方可以在保护各自数据隐私安全的前提下联合进行神经网络模型的训练。其中，参与方可以为数据拥有方，可以提供用于训练神经网络模型的训练数据。各参与方持有的训练数据可以为一种私有数据，如环境监控数据、用户征信数据、用户账户数据、个人健康数据等。本发明实施例中主要以多个参与方基于各自持有的数据联合训练神经网络模型的场景为例进行描述。
首先，参与训练任务的计算节点获取来自各参与方的训练数据，所述训练数据为密文。
训练任务指用于训练神经网络模型的计算任务。参与训练任务的计算节点指训练样本中指定的参与训练任务的至少一个计算单元中的至少一个计算节点。
在执行训练任务之前，可以部署安全计算平台中参与该训练任务的计算节点。参与训练任务的每个计算节点应具有足够的存储空间(包含内存空间和硬盘空间)以及CPU(central processing unit，中央处理器)资源，且不同计算节点之间可以进行网络通信，并具有足够的带宽，可以保证数据的正常传输。
所述训练数据可以包含特征数据和标签数据，一般以二维矩阵的形式表示。所述训练数据可以来自至少一个参与方，所述训练数据可以由每个参与方对其持有的原始数据加密后上传至计算节点。所述参与方可以为数据拥有方。在具体实施中，不同参与方可以持有不同的特征数据。进一步地，特征数据和标签数据可以由不同的参与方所持有。
在本发明实施例中，所述安全计算平台还可以包括调度节点，用于接收参与方发送的训练脚本，所述方法还可以包括：接收所述调度节点发送的所述训练脚本，所述训练脚本中包括神经网络模型的设置信息和训练代码。
所述训练脚本可以由各参与方协商确定。所述训练脚本中包括神经网络模型的设置信息，如神经网络模型的结构、预处理过程、损失函数等。所述训练脚本中还包括训练代码，也即具体的训练过程。参与训练任务的各计算节点通过执行所述训练脚本完成神经网络模型的训练过程。
本发明实施例通过所述调度节点接收参与方发送的训练脚本，并将所述训练脚本发送至参与训练任务的各计算节点。
进一步地，所述训练脚本中还可以包括过滤重复特征、过滤重复样本等操作代码，以消除训练数据存在的缺陷。
一个示例中，假设某个训练任务包括n个参与方，每个参与方持有各自的训练数据，每个参与方将各自持有的训练数据加密后上传至训练任务指定的计算节点。训练脚本由各参与方商定并存储在参与方1的本地。其中，参与方1可以为n个参与方中的任意一个参与方。
参与方1将训练脚本上传至调度节点，调度节点将训练脚本分配至参与训练任务的计算节点，各计算节点执行该训练脚本，生成神经网络模型并依照训练脚本进行模型初始化、训练数据预处理、流程构建等可以执行的部分，等待训练数据的传输。
需要说明的是，各参与方可以在参与方1将训练脚本上传至调度节点之前向计算节点上传训练数据，也可以在参与方1将训练脚本上传至调度节点之后向计算节点上传训练数据。本发明实施例对此不做限制。
调度节点将训练脚本分配至参与训练任务的计算节点之后，参与训练任务的各计算节点通过执行训练脚本初始化神经网络模型，并等待训练数据的传输。在各计算节点获取训练数据之后，各计算节点基于持有的训练数据对所述神经网络模型进行迭代训练。在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；在迭代终止条件到达时，得到训练完成的神经网络模型。所述神经网络模型的网络层包括明文层和密文层，明文层的计算基于明文进行，密文层的计算基于密文进行。
在本发明实施例中，参与训练任务的各计算节点根据训练脚本中的训练流程，使用训练数据进行前向特征传播和反向梯度传播，并通过反向梯度传播逐层调整各网络层的参数。在前向特征传播和反向梯度传播的过程中，训练数据经过明文层和密文层的处理，明文层可用于保证训练速度，密文层可用于保证数据隐私。在迭代终止条件到达时，可以得到训练完成的神经网络模型。本发明实施例通过明文层和密文层的共同作用，在保证数据隐私安全的基础上，极大提高模型训练速度，以及减小密文计算带来的通信开销和资源消耗。
在本发明的一种可选实施例中，所述神经网络模型的网络层依次可以包括输入层、至少一个隐层、以及输出层，所述可以明文层包括至少一个隐层和/或输出层。
所述隐层指隐藏层(hidden layer)，输入层和输出层之间的网络层可以称为隐层。隐层的意义在于将输入的特征数据抽象到另一个维度空间，以展现更抽象化的特征，这些特征能更好的进行线性划分。多个隐层可以对输入的特征数据进行多层次的抽象。
由于隐层中的数据是对输入的特征数据更抽象化的特征，不会暴露原始数据，因此，本发明实施例可以设置至少一个隐层为明文层，以提高神经网络模型的训练速度。
参照图2，示出了本发明的一种神经网络模型的结构示意图。如图2所示，该神经网络模型的结构为：Linear-ReLU-Linear-ReLU-…-ReLU-Linear。其中的省略号表示可以任意添加的部分。图2所示的神经网络模型是一个有监督的全连接神经网络网络。Linear表示线性层，ReLU表示激活层(非线性层)。隐层包括Linear层和ReLU层。所述神经网络模型还包括损失函数(Loss)层，图2中未示出，Loss层用于计算前向预测结果与标签数据之间的误差。根据该误差通过反向梯度传播可以逐层调整各网络层的参数。
可以理解的是，图2所示的神经网络模型的结构仅作为本发明的一种应用示例。本发明实施例对神经网络模型的具体结构不做限制。图2中关于明文层和密文层的设置也仅作为本发明的一种应用示例。
一个可选实施例中，所述神经网络模型的结构可以为前密文层，中间明文层，后密文层。该结构表示输入层和输出层为密文层，中间隐层(一个或多个隐层)为明文层。前密文层(输入层为密文层)可用于保护输入的特征数据的隐私安全，后密文层(输出层为密文层)可用于保护标签数据的隐私安全。在中间的隐层中，前向特征数据和反向梯度数据均已不是原始的输入数据，因此，中间的隐层作为明文层不会暴露数据的隐私信息。
进一步地，本发明实施例的神经网络模型的训练方式可以包括有监督训练或者无监督训练。本发明实施例中主要以有监督训练为例进行说明，无监督训练的区别仅在于没有标签数据的输入，训练过程参照有监督训练的过程即可。
对于有监督训练的神经网络模型，为保证数据隐私安全，可以设置输入层和输出层为密文层，以及设置至少一个隐层为明文层。一个示例中，对于有监督训练的神经网络模型，可以将输入层以及与输入层相连的第一数目的隐层设置为密文层，将输出层以及与输入标签数据相连的第二数目的隐层设置为密文层，将中间其余隐层设置为明文层。其中，第一数目的密文层用于保护输入的特征数据的隐私安全，第二数目的密文层用于保护输入的标签数据的隐私安全。第一数目和第二数目可以根据实际需要设置。
对于无监督训练的神经网络模型，与有监督训练的区别在于，不需要输入标签数据，因此，将输出层设置为明文层也不会暴露标签数据。对于无监督训练的神经网络模型，只需设置输入层为密文层即可保证数据隐私安全。一个示例中，对于无监督训练的神经网络模型，可以将输入层以及与输入层相连的第一数目的隐层设置为密文层，将隐层和输出层设置为明文层。
在具体实施中，神经网络模型中的明文层和密文层可以根据实际应用场景进行调整。对于安全性要求较高的场景，可以通过堆叠更多的密文层以保证数据隐私安全。对于安全性要求相对不高，而实时性要求较高的场景，可以通过设置更多的明文层以提高模型训练速度。
在具体实施中，可以根据实际应用场景的需求设置明文层和密文层，以满足实际应用场景中对数据安全和计算效率的平衡。
在本发明的一种可选实施例中，若所述明文层的前一个网络层为密文层，则所述明文层和所述密文层之间还包括第一转换层，所述方法还包括：
在每一轮迭代训练的前向特征数据传播过程中，通过所述第一转换层将所述明文层的前一个网络层输出的前向特征数据转换为明文后传入所述明文层，以及在反向梯度传播过程中，通过所述第一转换层将所述明文层的反向梯度数据转换为密文后传入所述明文层的前一个网络层。
在本发明实施例中，将第一转换层称为密文转明文层(C2P层)。在前向特征数据传播过程中，第一转换层的前一个网络层为密文层，第一转换层的下一个网络层为明文层。在前向特征数据传播过程中，经过第一转换层的前向特征数据由密文转换为明文，输入下一个网络层(明文层)。在反向梯度传播过程中，第一转换层的前一个网络层为明文层，第一转换层的下一个网络层为密文层。在反向梯度传播过程中，经过第一转换层的反向梯度数据由明文转换为密文，输入下一个网络层(密文层)。也即，第一转换层用于对前向特征数据进行解密，以及对反向梯度数据进行加密。
在本发明的一种可选实施例中，若所述密文层的前一个网络层为明文层，则所述密文层和所述明文层之间还包括第二转换层，所述方法还包括：
在每一轮迭代训练的前向特征数据传播过程中，通过所述第二转换层将所述密文层的前一个网络层输出的前向特征数据转换为密文后传入所述密文层，以及在反向梯度传播过程中，通过所述第二转换层将所述密文层的反向梯度数据转换为明文后传入所述密文层的前一个网络层。
在本发明实施例中，将第二转换层称为明文转密文层(P2C层)。在前向特征数据传播过程中，第二转换层的前一个网络层为明文层，第二转换层的下一个网络层为密文层。在前向特征数据传播过程中，经过第二转换层的前向特征数据由明文转换为密文，输入下一个网络层(密文层)。在反向梯度传播过程中，第二转换层的前一个网络层为密文层，第一转换层的下一个网络层为明文层。在反向梯度传播过程中，经过第二转换层的反向梯度数据由密文转换为明文，输入下一个网络层(明文层)。也即，第二转换层用于对前向特征数据进行加密，以及对反向梯度数据进行解密。
需要说明的是，第一转换层和第二转换层对前向特征数据和/或反向梯度数据进行加解密的具体方式，可以根据所述安全计算平台采用的安全计算协议确定。
通过本发明实施例的第一转换层和第二转换层，对于已有的任意神经网络模型，可以便捷地转换为明密文混合的神经网络模型，使得神经网络模型的明文层和密文层可以灵活配置，增加明密文混合的神经网络模型的适配性。此外，本发明实施例可以提供灵活的明文层和密文层的配置方案，可以在保证数据隐私安全的同时满足不同应用场景的需求。
在本发明的一种可选实施例中，所述明文层的计算基于明文进行，密文层的计算基于密文进行，可以包括：
通过所述训练脚本中指定计算单元中的计算节点分别基于明文执行所述明文层的计算；
通过所述训练脚本中指定计算单元中的计算节点基于密文配合执行所述密文层的计算。
对于明文层中的计算，前向特征数据和反向梯度数据均以明文显示。对于密文层中的计算，前向特征数据和反向梯度数据均以密文显示。
在具体应用中，可以在训练脚本中指定参与训练任务中每一步计算的计算单元以及该计算单元中的计算节点。
示例性地，对于某个明文层，假设训练脚本中指定参与该明文层的计算的计算单元为计算单元A，且计算单元A包括4个计算节点，则可以设置计算单元A中的某一个计算节点执行该明文层的计算，并获取该计算节点的计算结果；或者，还可以设置4个计算节点同时执行该明文层的计算，并获取其中某个指定计算节点的计算结果(因为4个计算节点的计算结果理论上是相同的)。
示例性地，对于某个密文层，假设训练脚本中指定参与该密文层计算的计算单元为计算单元B，且计算单元B包括4个计算节点，则可以通过计算单元B中的4个计算节点协同计算得到该密文层计算的计算结果。
可以理解的是，在具体应用中，明文层的计算方式和密文层的计算方式可以根据实际应用场景以及安全计算平台采用的安全计算协议进行设置。
进一步地，对于密文层的参数，可以明文存储或者密文存储。例如，对于安全性要求较高的场景，可以对密文层的参数以密文存储。对于安全性要求不高，而实时性要求较高的场景，可以对密文层的参数以明文存储，通过牺牲一定的安全性提高计算速度。优选地，本发明实施例对密文层的参数以密文存储。
在迭代终止条件到达时，对密文层的参数进行解密，并保存每个网络层的参数，得到训练完成的神经网络模型。其中，迭代终止条件到达可以包括：神经网络模型输出的前向预测结果与标签数据之间的误差小于预设阈值，或者，迭代训练的次数到达预设次数。
在参与方的数量大于1时，通过本发明实施例，各参与方可以在保护各自数据隐私安全的前提下联合进行神经网络模型的训练。
示例性地，在参与方的数量大于1时，本发明实施例的应用场景可以包括：多家银行各持有一部分用户相关的数据，该多家银行希望在交换加密原始数据的情况下，联合利用多方数据，训练深度神经网络模型，该深度神经网络模型用于对用户的风险性进行预测与评估。
在参与方的数量等于1时，本发明实施例可以支持密文输入样本的模型预测。例如，利用训练好的神经网络模型可以进行算力预测，应用于算力租借场景。示例性地，算力租借方可以提供神经网络模型的结构和参数，需要预测样本的信息以及预测脚本，算力提供商运行预测脚本的同时无法获取到预测样本的隐私信息。预测过程相当于模型训练的前半部分：只有前向特征传播的情况。神经网络模型最终输出的密文预测结果可以传回给算力租借方。
综上，本发明实施例提出了一种基于安全计算平台的神经网络模型训练方法，并对神经网络模型的结构进行优化，提出了一种明密文混合的神经网络模型，即设置神经网络模型包含明文层和密文层。在训练神经网络模型时，参与训练任务的计算节点获取来自参与方的训练数据，使用训练数据进行前向特征传播和反向梯度传播，并通过反向梯度传播逐层调整各网络层的参数。在前向特征传播和反向梯度传播的过程中，训练数据经过明文层和密文层的处理，明文层用于保证训练速度，密文层用于保证数据隐私。在迭代终止条件到达时，可以得到训练完成的神经网络模型。本发明实施例通过明文层和密文层的共同作用，在保证数据隐私安全的基础上，极大提高模型训练速度，以及减小密文计算带来的通信开销和资源消耗。
参照图3，示出了本发明的一种基于神经网络模型的预测方法的步骤流程图，所述方法可应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述方法可以包括：
步骤301、获取来自参与方的预测数据，所述预测数据为密文；
步骤302、基于持有的预测数据，将所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算，得到模型预测结果，其中，在所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算的过程中，明文层的计算基于明文进行，密文层的计算基于密文进行。
利用前述实施例中所述的神经网络模型训练方法训练得到神经网络模型之后，可以利用训练完成的神经网络模型进行预测。该神经网络模型是一种明密文混合的神经网络模型，包括明文层和密文层。
利用所述训练完成的神经网络模型进行预测的过程即是训练该神经网络模型时的前向特征传播的过程。此处不再进行赘述。
参与预测任务的参与方可以为数据拥有方。各参与方持有各自的预测数据，各参与方对其持有的原始的预测数据加密后上传至计算节点。各参与方持有的预测数据可以为一种私有数据，如环境监控数据、用户征信数据、用户账户数据、个人健康数据等。
在参与方的数量大于1时，通过本发明实施例，各参与方可以在保护各自数据隐私安全的前提下利用神经网络模型进行联合预测。
示例性地，在参与方的数量大于1时，本发明实施例的应用场景可以包括：多家银行各持有一部分用户相关的数据，该多家银行希望在交换加密原始数据的情况下，联合利用多方数据，训练深度神经网络模型，该深度神经网络模型用于对用户的风险性进行预测与评估。
在参与方的数量等于1时，本发明实施例可以支持密文输入样本的模型预测。例如，利用训练好的神经网络模型可以进行算力预测，应用于算力租借场景。示例性地，算力租借方可以提供神经网络模型的结构和参数，需要预测样本的信息以及预测脚本，算力提供商运行预测脚本的同时无法获取到预测样本的隐私信息。预测过程相当于模型训练的前半部分：只有前向特征传播的情况。神经网络模型最终输出的密文预测结果可以传回给算力租借方。
本发明实施例提出了一种明密文混合的神经网络模型，即设置神经网络模型包含明文层和密文层。在该神经网络模型训练完成之后，可以利用该神经网络模型对多个参与方持有的预测数据进行联合预测，得到预测结果。在神经网络模型进行预测的过程中，参与预测任务的计算节点获取来自参与方的预测数据，使用预测数据进行前向特征传播，在前向特征传播过程中，预测数据经过明文层和密文层的处理，明文层用于保证训练速度，密文层用于保证数据隐私。本发明实施例通过明文层和密文层的共同作用，在保证数据隐私安全的基础上，极大提高模型的计算速度，以及减小密文计算带来的通信开销和资源消耗。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了本发明的一种神经网络模型训练装置实施例的结构框图，所述装置可应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述装置可以包括：
训练数据获取模块401，用于获取来自参与方的训练数据，所述训练数据为密文；
模型初始化模块402，用于通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；
迭代训练模块403，用于基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。
可选地，所述网络层依次包括输入层、至少一个隐层、以及输出层，所述明文层包括至少一个隐层和/或输出层。
可选地，若所述明文层的前一个网络层为密文层，则所述明文层和所述密文层之间还包括第一转换层，所述装置还包括：
第一转换模块，用于在每一轮迭代训练的前向特征数据传播过程中，通过所述第一转换层将所述明文层的前一个网络层输出的前向特征数据转换为明文后传入所述明文层，以及在反向梯度传播过程中，通过所述第一转换层将所述明文层的反向梯度数据转换为密文后传入所述明文层的前一个网络层。
可选地，若所述密文层的前一个网络层为明文层，则所述密文层和所述明文层之间还包括第二转换层，所述装置还包括：
第二转换模块，用于在每一轮迭代训练的前向特征数据传播过程中，通过所述第二转换层将所述密文层的前一个网络层输出的前向特征数据转换为密文后传入所述密文层，以及在反向梯度传播过程中，通过所述第二转换层将所述密文层的反向梯度数据转换为明文后传入所述密文层的前一个网络层。
可选地，所述安全计算平台还包括调度节点，用于接收参与方发送的训练脚本，所述装置还包括：
脚本接收模块，用于接收所述调度节点发送的所述训练脚本，所述训练脚本中包括神经网络模型的设置信息和训练代码。
可选地，所述迭代训练模块，包括：
明文计算子模块，用于通过所述训练脚本中指定计算单元中的计算节点分别基于明文执行所述明文层的计算；
密文计算子模块，用于通过所述训练脚本中指定计算单元中的计算节点基于密文配合执行所述密文层的计算。
可选地，所述训练数据来自至少一个参与方，所述训练数据包括样本数据和标签数据，所述样本数据和标签数据由不同参与方所持有。
可选地，所述安全计算包括如下任意一种：秘密分享、混淆电路和同态加密。
本发明实施例提出了一种基于安全计算平台的神经网络模型训练装置，并对神经网络模型的结构进行优化，提出了一种明密文混合的神经网络模型，即设置神经网络模型包含明文层和密文层。在训练神经网络模型时，参与训练任务的计算节点获取来自参与方的训练数据，使用训练数据进行前向特征传播和反向梯度传播，并通过反向梯度传播逐层调整各网络层的参数。在前向特征传播和反向梯度传播的过程中，训练数据经过明文层和密文层的处理，明文层用于保证训练速度，密文层用于保证数据隐私。在迭代终止条件到达时，可以得到训练完成的神经网络模型。本发明实施例通过明文层和密文层的共同作用，在保证数据隐私安全的基础上，极大提高模型训练速度，以及减小密文计算带来的通信开销和资源消耗。
参照图5，示出了本发明的一种基于神经网络模型的预测装置实施例的结构框图，所述装置可应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述装置可以包括：
预测数据获取模块501，用于获取来自参与方的预测数据，所述预测数据为密文；
模型预测模块502，用于基于持有的预测数据，将所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算，得到模型预测结果，其中，在所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算的过程中，明文层的计算基于明文进行，密文层的计算基于密文进行。
可选地，所述网络层依次包括输入层、至少一个隐层、以及输出层，所述明文层包括至少一个隐层和/或输出层。
本发明实施例提出了一种明密文混合的神经网络模型，即设置神经网络模型包含明文层和密文层。在该神经网络模型训练完成之后，可以利用该神经网络模型对多个参与方持有的预测数据进行联合预测，得到预测结果。在神经网络模型进行预测的过程中，参与预测任务的计算节点获取来自参与方的预测数据，使用预测数据进行前向特征传播，在前向特征传播过程中，预测数据经过明文层和密文层的处理，明文层用于保证训练速度，密文层用于保证数据隐私。本发明实施例通过明文层和密文层的共同作用，在保证数据隐私安全的基础上，极大提高模型的计算速度，以及减小密文计算带来的通信开销和资源消耗。
本发明实施例提供了一种安全计算平台，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点；其中，
所述计算节点，用于获取来自参与方的训练数据，并通过执行训练脚本初始化神经网络模型，以及基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，所述训练数据为密文，所述神经网络模型的网络层包括明文层和密文层，明文层的计算基于明文进行，密文层的计算基于密文进行。
可选地，所述安全计算平台还包括调度节点，用于接收参与方发送的训练脚本；所述计算节点，还用于接收所述调度节点发送的所述训练脚本，所述训练脚本中包括神经网络模型的设置信息和训练代码。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供了一种用于神经网络模型训练的装置，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序包含用于进行以下操作的指令：获取来自参与方的训练数据，所述训练数据为密文；通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。
图6是根据一示例性实施例示出的一种用于神经网络模型训练的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以搜索装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频信息处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图1所示的神经网络模型训练方法。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行前文图1所对应实施例中神经网络模型训练方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本申请方法实施例的描述。
此外，需要说明的是：本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序可以包括计算机指令，该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器可以执行该计算机指令，使得该计算机设备执行前文图1所对应实施例中神经网络模型训练方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上对本发明所提供的一种神经网络模型训练方法、一种神经网络模型训练装置、一种用于神经网络模型训练的装置和一种安全计算平台，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (24)

1.一种神经网络模型训练方法，其特征在于，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述方法包括：
获取来自参与方的训练数据，所述训练数据为密文；
通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；
基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。
2.根据权利要求1所述的方法，其特征在于，所述网络层依次包括输入层、至少一个隐层、以及输出层，所述明文层包括至少一个隐层和/或输出层。
3.根据权利要求1所述的方法，其特征在于，若所述明文层的前一个网络层为密文层，则所述明文层和所述密文层之间还包括第一转换层，所述方法还包括：
在每一轮迭代训练的前向特征数据传播过程中，通过所述第一转换层将所述明文层的前一个网络层输出的前向特征数据转换为明文后传入所述明文层，以及在反向梯度传播过程中，通过所述第一转换层将所述明文层的反向梯度数据转换为密文后传入所述明文层的前一个网络层。
4.根据权利要求1所述的方法，其特征在于，若所述密文层的前一个网络层为明文层，则所述密文层和所述明文层之间还包括第二转换层，所述方法还包括：
在每一轮迭代训练的前向特征数据传播过程中，通过所述第二转换层将所述密文层的前一个网络层输出的前向特征数据转换为密文后传入所述密文层，以及在反向梯度传播过程中，通过所述第二转换层将所述密文层的反向梯度数据转换为明文后传入所述密文层的前一个网络层。
5.根据权利要求1所述的方法，其特征在于，所述安全计算平台还包括调度节点，用于接收参与方发送的训练脚本，所述方法还包括：
接收所述调度节点发送的所述训练脚本，所述训练脚本中包括神经网络模型的设置信息和训练代码。
6.根据权利要求1所述的方法，其特征在于，所述明文层的计算基于明文进行，密文层的计算基于密文进行，包括：
通过所述训练脚本中指定计算单元中的计算节点分别基于明文执行所述明文层的计算；
通过所述训练脚本中指定计算单元中的计算节点基于密文配合执行所述密文层的计算。
7.根据权利要求1所述的方法，其特征在于，所述训练数据来自至少一个参与方，所述训练数据包括样本数据和标签数据，所述样本数据和标签数据由不同参与方所持有。
8.根据权利要求1所述的方法，其特征在于，所述安全计算包括如下任意一种：秘密分享、混淆电路和同态加密。
9.一种基于神经网络模型的预测方法，其特征在于，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述方法包括：
获取来自参与方的预测数据，所述预测数据为密文；
基于持有的预测数据，将所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算，得到模型预测结果，其中，在所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算的过程中，明文层的计算基于明文进行，密文层的计算基于密文进行。
10.根据权利要求9所述的方法，其特征在于，所述网络层依次包括输入层、至少一个隐层、以及输出层，所述明文层包括至少一个隐层和/或输出层。
11.一种神经网络模型训练装置，其特征在于，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述装置包括：
训练数据获取模块，用于获取来自参与方的训练数据，所述训练数据为密文；
模型初始化模块，用于通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；
迭代训练模块，用于基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。
12.根据权利要求11所述的装置，其特征在于，所述网络层依次包括输入层、至少一个隐层、以及输出层，所述明文层包括至少一个隐层和/或输出层。
13.根据权利要求11所述的装置，其特征在于，若所述明文层的前一个网络层为密文层，则所述明文层和所述密文层之间还包括第一转换层，所述装置还包括：
第一转换模块，用于在每一轮迭代训练的前向特征数据传播过程中，通过所述第一转换层将所述明文层的前一个网络层输出的前向特征数据转换为明文后传入所述明文层，以及在反向梯度传播过程中，通过所述第一转换层将所述明文层的反向梯度数据转换为密文后传入所述明文层的前一个网络层。
14.根据权利要求11所述的装置，其特征在于，若所述密文层的前一个网络层为明文层，则所述密文层和所述明文层之间还包括第二转换层，所述装置还包括：
第二转换模块，用于在每一轮迭代训练的前向特征数据传播过程中，通过所述第二转换层将所述密文层的前一个网络层输出的前向特征数据转换为密文后传入所述密文层，以及在反向梯度传播过程中，通过所述第二转换层将所述密文层的反向梯度数据转换为明文后传入所述密文层的前一个网络层。
15.根据权利要求11所述的装置，其特征在于，所述安全计算平台还包括调度节点，用于接收参与方发送的训练脚本，所述装置还包括：
脚本接收模块，用于接收所述调度节点发送的所述训练脚本，所述训练脚本中包括神经网络模型的设置信息和训练代码。
16.根据权利要求11所述的装置，其特征在于，所述迭代训练模块，包括：
明文计算子模块，用于通过所述训练脚本中指定计算单元中的计算节点分别基于明文执行所述明文层的计算；
密文计算子模块，用于通过所述训练脚本中指定计算单元中的计算节点基于密文配合执行所述密文层的计算。
17.根据权利要求11所述的装置，其特征在于，所述训练数据来自至少一个参与方，所述训练数据包括样本数据和标签数据，所述样本数据和标签数据由不同参与方所持有。
18.根据权利要求11所述的装置，其特征在于，所述安全计算包括如下任意一种：秘密分享、混淆电路和同态加密。
19.一种基于神经网络模型的预测装置，其特征在于，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述装置包括：
预测数据获取模块，用于获取来自参与方的预测数据，所述预测数据为密文；
模型预测模块，用于基于持有的预测数据，将所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算，得到模型预测结果，其中，在所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算的过程中，明文层的计算基于明文进行，密文层的计算基于密文进行。
20.根据权利要求19所述的装置，其特征在于，所述网络层依次包括输入层、至少一个隐层、以及输出层，所述明文层包括至少一个隐层和/或输出层。
21.一种安全计算平台，其特征在于，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点；其中，
所述计算节点，用于获取来自参与方的训练数据，并通过执行训练脚本初始化神经网络模型，以及基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，所述训练数据为密文，所述神经网络模型的网络层包括明文层和密文层，明文层的计算基于明文进行，密文层的计算基于密文进行。
22.根据权利要求21所述的安全计算平台，其特征在于，所述安全计算平台还包括调度节点，用于接收参与方发送的训练脚本；所述计算节点，还用于接收所述调度节点发送的所述训练脚本，所述训练脚本中包括神经网络模型的设置信息和训练代码。
23.一种用于神经网络模型训练的装置，其特征在于，包括有存储器，以及一个以上程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如权利要求1至8中任一所述的神经网络模型训练方法的指令。
24.一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如权利要求1至8中任一所述的神经网络模型训练方法。
CN202210117201.4A 2022-02-08 2022-02-08 一种神经网络模型训练方法、装置和安全计算平台 Pending CN114662686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210117201.4A CN114662686A (zh) 2022-02-08 2022-02-08 一种神经网络模型训练方法、装置和安全计算平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210117201.4A CN114662686A (zh) 2022-02-08 2022-02-08 一种神经网络模型训练方法、装置和安全计算平台

Publications (1)

Publication Number Publication Date
CN114662686A true CN114662686A (zh) 2022-06-24

Family

ID=82026034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210117201.4A Pending CN114662686A (zh) 2022-02-08 2022-02-08 一种神经网络模型训练方法、装置和安全计算平台

Country Status (1)

Country Link
CN (1) CN114662686A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561787A (zh) * 2023-07-04 2023-08-08 北京数牍科技有限公司 视觉图像分类模型的训练方法、装置及电子设备
CN117874794A (zh) * 2024-03-12 2024-04-12 北方健康医疗大数据科技有限公司 一种大语言模型的训练方法、系统、装置及可读存储介质
CN117874794B (zh) * 2024-03-12 2024-07-05 北方健康医疗大数据科技有限公司 一种大语言模型的训练方法、系统、装置及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561787A (zh) * 2023-07-04 2023-08-08 北京数牍科技有限公司 视觉图像分类模型的训练方法、装置及电子设备
CN117874794A (zh) * 2024-03-12 2024-04-12 北方健康医疗大数据科技有限公司 一种大语言模型的训练方法、系统、装置及可读存储介质
CN117874794B (zh) * 2024-03-12 2024-07-05 北方健康医疗大数据科技有限公司 一种大语言模型的训练方法、系统、装置及可读存储介质

Similar Documents

Publication Publication Date Title
CN114756886B (zh) 一种匿踪查询方法、装置和用于匿踪查询的装置
CN115396101B (zh) 一种基于秘密分享的不经意打乱方法和系统
CN115396100B (zh) 一种基于秘密分享的不经意随机打乱方法和系统
CN112688779B (zh) 一种数据处理方法、装置和用于数据处理的装置
CN114401154B (zh) 一种数据处理方法、装置、密文计算引擎和用于数据处理的装置
CN114884645B (zh) 一种隐私计算方法、装置和可读存储介质
CN111404943A (zh) 数据的处理方法、装置、电子设备及计算机可读存储介质
CN112861175A (zh) 一种数据处理方法、装置和用于数据处理的装置
CN110619097A (zh) 二维码生成方法、装置、电子设备及存储介质
CN115085912A (zh) 一种密文计算方法、装置和用于密文计算的装置
CN114662686A (zh) 一种神经网络模型训练方法、装置和安全计算平台
CN115941181B (zh) 一种乱序秘密分享方法、系统和可读存储介质
CN115617897B (zh) 一种数据类型转换方法和多方安全计算系统
CN112464257A (zh) 一种数据检测方法、装置和用于数据检测的装置
CN114885038B (zh) 一种加密协议转换方法、结果获取节点和隐私计算节点
CN116522385A (zh) 一种联邦过采样方法、装置、电子设备及存储介质
CN113779501B (zh) 一种数据处理方法、装置和用于数据处理的装置
CN112115321A (zh) 内容推荐模型的训练方法及装置、电子设备和存储介质
CN114996752A (zh) 一种多方隐私求交方法、装置和用于多方隐私求交的装置
CN114448631A (zh) 一种多方安全计算方法、系统和用于多方安全计算的装置
CN112861145A (zh) 一种数据处理方法、装置和用于数据处理的装置
CN114881248B (zh) 两方横向联邦学习方法和用于两方横向联邦学习的装置
CN112463332A (zh) 一种数据处理方法、密文计算系统和用于数据处理的装置
CN113392421B (zh) 一种数据处理方法、装置和用于数据处理的装置
CN113779500B (zh) 一种数据处理方法、装置和用于数据处理的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination