CN111898145A - 一种神经网络模型训练方法、装置、设备及介质 - Google Patents
一种神经网络模型训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111898145A CN111898145A CN202010711770.2A CN202010711770A CN111898145A CN 111898145 A CN111898145 A CN 111898145A CN 202010711770 A CN202010711770 A CN 202010711770A CN 111898145 A CN111898145 A CN 111898145A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- data set
- neural network
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 429
- 238000003062 neural network model Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004364 calculation method Methods 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 97
- 238000013473 artificial intelligence Methods 0.000 claims description 36
- 230000004927 fusion Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012946 outsourcing Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种神经网络模型训练方法、装置、设备及介质，包括：获取第一模型训练用户终端下发的模型训练指令；在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集；利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。这样，能够有效的保障训练数据集以及神经网络模型的安全性，并且避免复杂的交互通信延时。
Description
技术领域
本申请涉及人工智能技术领域，特别涉及一种神经网络模型训练方法、装置、设备及介质。
背景技术
人工智能技术正在成为社会发展的新动力，在智能化生产、管理与服务领域中发挥越来越成熟、稳定的作用。事实上，基于深度学习的人工智能应用已经非常普遍，例如基于金属光滑曲面探测的产品质量检测生产方法、基于图像识别的人脸检测安防管理系统、基于语音识别的在线翻译和同声传译系统、基于视频雷达监测的自动驾驶技术等。然而，随着国际一般数据保护条例(GDPR，General Data Protection Regular)、国内网络空间安全法和个人隐私保护法的制定与实施，在基于深度学习的人工智能应用模型训练过程中，网络模型窃取攻击和训练数据隐私泄露将成为制约人工智能大规模应用与发展的关键瓶颈。针对网络模型窃取的攻击类型包括：模型提取攻击、模型逆向攻击、成员推理攻击、模型泄露攻击(内部腐败、外部系统漏洞等)，针对训练数据隐私泄露的攻击类型包括中间截取、共享拷贝、非法买卖、恶意篡改以及数据泄露(内部腐败、外部系统漏洞等)等攻击形式。
特别地，当前大数据、云计算的发展是促进人工智能技术快速崛起的原因之一，大多数企业、组织及研发机构有意愿选择将自己的人工智能应用外包、迁移到云计算平台；同时，人工智能应用涉及的关键数据和个人隐私都将暴露在企业掌控范围之外，容易发生模型、数据的泄露，造成信息系统安全风险。例如，银行企业A将自己的人工智能训练平台部署到云服务提供商B平台，B企业就会对A企业的数据内容造成安全威胁。其中，一种可能是B企业存在违法员工受利益驱动盗取A企业深度学习网络模型及训练数据集，并将盗取信息倒卖给企业C以获取非法利益。进一步地，复杂云计算平台带来更广的系统攻击面，容易造成系统漏洞给攻击者带来非法入侵的机会，给外包的网络模型与训练数据带来更多的安全隐私威胁。此外，人工智能应用要求对大规模、非同质数据进行训练分析以形成更完整、更精确的智能系统模型，因此需要不同企业、组织和机构共享数据内容，但是这一要求在法律(数据安全法、个人隐私保护法、GDPR等)允许的范围之外，容易造成数据非法交易、个人隐私信息泄露等安全风险。例如，电商A拥有客户消费记录能够分析客户喜好的消费领域，银行B拥有客户金融资料能够分析客户消费能力，运营商C拥有客户消费习惯能够分析客户喜好的消费平台，如果A、B、C三家企业能够共享数据形成消费者的消费行为并对其未来消费行为进行精准预测，就有利于企业精准的对消费者投放广告、提示潜在风险等，同时三家企业获取利益最大化。但是，事实上对客户消费数据、金融资料及消费习惯的授权范围涉及消费者个人隐私，法律上是不允许以共享、买卖等方式被未授权的第三方获取。
当前，以对称加解密和非对称加解密为主的安全防护及数据隐私方法，均需要先对数据进行解密再进行计算操作，该过程中解密一旦完成明文就会暴露，难免存在安全漏洞和隐私威胁。此外，新型多方安全计算、零知识证明及不经意传输等协议对于安全防护和数据隐私保护起到至关重要作用，但是协议执行的交互复杂度及应用场景要求具有一定局限性。因此，在云计算广泛应用的背景下，如何保障训练数据以及神经网络模型的安全性，并降低安全防护的复杂度是目前需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种神经网络模型训练方法、装置、设备及介质，能够有效的保障训练数据集以及神经网络模型的安全性，并且避免复杂的交互通信延时。其具体方案如下：
第一方面，本申请公开了一种神经网络模型训练方法，应用于人工智能训练平台，包括：
获取第一模型训练用户终端下发的模型训练指令；
在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集；
利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；
其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。
可选的，所述神经网络模型训练方法，还包括：
根据所述明文训练函数对应的计算类型以及所述明文训练集对应的数据类型重构所述同态训练函数。
可选的，所述神经网络模型训练方法，还包括：
获取所述第一模型训练用户终端下发的训练模型融合指令；
在所述模型融合指令的控制下进行训练模型融合。
可选的，所述在所述模型融合指令的控制下进行训练模型融合，包括：
获取第二模型训练终端共享的第二加密训练数据集；所述第二加密训练数据集为第二数据供应方终端对第二训练数据集加密得到的数据集；
利用所述第二加密训练数据集以及所述同态训练函数继续训练，得到对应的优化后模型参数。
可选的，所述在所述模型融合指令的控制下进行训练模型融合，包括：
获取第二训练后模型参数；其中，所述第二训练后模型参数为第二模型训练用户终端通过所述人工智能训练平台利用第二加密训练数据集以及所述同态训练函数进行针对所述初始神经网络模型的模型训练，得到的训练后模型参数；所述第二加密训练数据集为所述第二数据提供方终端对第二训练数据集进行加密得到的数据集；
利用所述第一训练后模型参数和所述第二训练后模型参数确定出对应的目标训练后模型参数。
可选的，所述利用所述第一训练后模型参数和所述第二训练后模型参数确定出对应的目标训练后模型参数，包括：
对所述第一训练后模型参数和所述第二训练后模型参数进行加权计算，得到所述目标训练后模型参数。
可选的，所述神经网络模型训练方法，还包括：将所述第一训练后模型参数输出至对应的所述第一模型训练用户终端，以便所述第一模型训练用户终端利用解密密钥对所述第一训练后模型参数进行解密，得到解密后模型参数；其中，所述解密密钥为同态加密系统生成的密钥，并且，所述同态加密系统还用于生成加密密钥，所述加密密钥为数据提供方终端对训练数据集进行加密采用的密钥。
第二方面，本申请公开了一种神经网络模型训练装置，应用于人工智能训练平台，包括：
模型训练指令获取模块，用于获取第一模型训练用户终端下发的模型训练指令；
加密训练数据集获取模块，用于在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集；
神经网络模型训练模块，用于利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；
其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。
第三方面，本申请公开了一种神经网络模型训练设备，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现前述的神经网络模型训练方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的神经网络模型训练方法。
可见本申请获取第一模型训练用户终端下发的模型训练指令，然后在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集，之后利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。这样，利用加密训练数据集以及同态训练函数进行针对初始神经网络模型的训练，得到的训练后模型参数也为密文，也即，本申请实施例基于同态加密技术对训练数据集以及神经网络模型进行防护，能够有效的保障训练数据集以及神经网络模型的安全性，并且避免复杂的交互通信延时。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种神经网络模型训练方法流程图；
图2为本申请公开的一种具体的神经网络模型训练方法流程图；
图3为本申请提供的一种神经网络模型训练场景示意图；
图4为本申请提供的一种现有的神经网络模型训练流程图；
图5为本申请公开的一种具体的神经网络模型训练方法流程图；
图6为本申请公开的一种神经网络模型训练装置结构示意图；
图7为本申请公开的一种神经网络模型训练设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
当前，以对称加解密和非对称加解密为主的安全防护及数据隐私方法，均需要先对数据进行解密再进行计算操作，该过程中解密一旦完成明文就会暴露，难免存在安全漏洞和隐私威胁。此外，新型多方安全计算、零知识证明及不经意传输等协议对于安全防护和数据隐私保护起到至关重要作用，但是协议执行的交互复杂度及应用场景要求具有一定局限性。因此，如何保障训练数据以及神经网络模型的安全性，并降低安全防护的复杂度是目前需要解决的问题。为此，本申请提供了一种神经网络模型训练方案，能够有效的保障训练数据集以及神经网络模型的安全性，并且避免复杂的交互通信延时。
参见图1所示，本申请实施例公开了一种神经网络模型训练方法，应用于人工智能训练平台，包括：
步骤S11：获取第一模型训练用户终端下发的模型训练指令。
步骤S12：在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集。
在具体的实施方式中，本实施例中，同态加密系统执行对应的同态加密方案中的密钥生成方案，为第一模型训练用户生成对应的公私钥对，将公钥即加密密钥公开，以便所述第一数据提供方终端利用该加密密钥对第一训练数据集进行加密。将私钥发送至所述第一模型训练用户终端，用于训练后模型参数的解密。
其中，所述同态加密系统为第三方可信机构的信息系统，在同态加密系统执行对应的同态加密方案之前，同态加密系统管理员终端设置同态加密系统的系统参数，所述系统参数包括但不限于系统安全参数λ。
例如，第一加密训练数据集为图像数据，第一模型训练用户终端通过人工智能训练平台利用第一加密训练数据集进行神经网络模型的训练，得到训练后模型，以利用训练后模型进行图像识别。
步骤S13：利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；
其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。
在具体的实施方式中，本实施例可以根据所述明文训练函数对应的计算类型以及所述明文训练集对应的数据类型重构所述同态训练函数。
需要指出的是，针对明文数据的人工智能神经网络模型训练需要经过一系列计算操作即明文训练函数，记为f＝(f1,...,fm)，相应的针对密文数据的人工智能神经网络模型训练也需要经过一系列的计算操作即同态训练函数，记为F＝(F1,...,Fm)，例如：明文计算f＝a+b对应同态计算
明文计算f＝a×b对应同态计算
对于同态训练函数的重构依赖于应用所需的计算类型及数据类型，例如整数类型涉及大小比较函数，实数类型涉及取整计算等。
进一步的，本实施例可以将所述第一训练后模型参数输出至对应的所述第一模型训练用户终端，以便所述第一模型训练用户终端利用解密密钥对所述第一训练后模型参数进行解密，得到解密后模型参数；其中，所述解密密钥为同态加密系统生成的密钥，并且，所述同态加密系统还用于生成加密密钥，所述加密密钥为数据提供方终端对训练数据集进行加密采用的密钥。
也即，输出的第一训练后模型参数为密文形式，需要执行同态加密方案中的解密算法获得模型参数明文。
可见本申请实施例获取第一模型训练用户终端下发的模型训练指令，然后在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集，之后利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。这样，利用加密训练数据集以及同态训练函数进行针对初始神经网络模型的训练，得到的训练后模型参数也为密文，也即，本申请实施例基于同态加密技术对训练数据集以及神经网络模型进行防护，能够有效的保障训练数据集以及神经网络模型的安全性，并且避免复杂的交互通信延时。
需要指出的是，本申请使用的关键技术就是同态加密，是基于数学难题的计算复杂性理论的密码学技术，基本原理是代数理论中的同态映射。对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。本申请基于同态加密技术，利用数据加密算法将训练数据加密输入，并构造适用于加密数据的计算函数F实现加密数据上的神经网络参数训练(提取)。同态加密方案ε分为以下四个算法：
(1)密钥生成算法
以安全参数λ作为输入，输出私钥sk和公钥pk；公钥pk定义了明文空间P和密文空间C，R表示密钥随机生成。
(2)明文加密算法,
为一个随机算法，以公钥pk和明文πi∈P作为输入，输出密文ψi∈C。
(3)密文计算算法ψF←Evaluateε(F,ψ1,...,ψn)以密文ψ1,...,ψn为输入，函数F为计算步骤，输出密文状态下的计算结果ψF(仍然是密文)。
(4)密文解密算法Decryptε(sk,ψF)→π，按照同态加密定义要求π＝f(π1,...,πn)为明文状态下对明文π1,...,πn进行函数f计算得到的结果π，而π正是同态加密计算后解密结果，因此可以认为函数F为函数f在同态加密算法中的加密计算函数，即：π＝f(π1,...,πn)＝Decryptε(sk,Evaluateε(F,ψ1,...,ψn))。
参见图2所示，本申请实施例公开了一种具体的神经网络模型训练方法，应用于人工智能训练平台，包括：
步骤S21：获取第一模型训练用户终端下发的模型训练指令。
步骤S22：在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集。
步骤S23：利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；
其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。
步骤S24：获取所述第一模型训练用户终端下发的训练模型融合指令。
步骤S25：在所述模型融合指令的控制下进行训练模型融合。
在一种具体的实施方式中，可以获取第二模型训练终端共享的第二加密训练数据集；所述第二加密训练数据集为第二数据供应方终端对第二训练数据集加密得到的数据集；利用所述第二加密训练数据集以及所述同态训练函数继续训练，得到对应的优化后模型参数。
也即，本申请实施例可以交换训练数据集，继续训练，得到优化后模型参数。
在另一种具体的实施方式中，获取第二训练后模型参数；其中，所述第二训练后模型参数为第二模型训练用户终端通过所述人工智能训练平台利用第二加密训练数据集以及所述同态训练函数进行针对所述初始神经网络模型的模型训练，得到的训练后模型参数；所述第二加密训练数据集为所述第二数据提供方终端对第二训练数据集进行加密得到的数据集；利用所述第一训练后模型参数和所述第二训练后模型参数确定出对应的目标训练后模型参数。
具体的，可以对所述第一训练后模型参数和所述第二训练后模型参数进行加权计算，得到所述目标训练后模型参数。比如，对第一训练后模型参数α1和第二训练后模型参数α2进行加权平均，得到的目标训练后模型参数为(α1+α2)/2。
需要指出的是，本实施例包括但不限于两方参与情况下的加权平均，还包括以此为基础进行简单扩展的多方参与及其他加权、基于概率计算的模型参数融合的方法。
例如，本申请实施例的应用场景可以为远程共享数据远程部署模型训练。例如参见图3所示，图3为本申请实施例提供的一种神经网络模型训练场景示意图。人工智能服务提供商A和B均使用相同网络模型架构，训练数据来源于数据提供商C和D，并A、B、C、D均使用云服务提供商E提供的云平台进行模型训练和数据存储。这里以两个人工智能服务提供商或数据提供商的例子进行描述，但本发明不只局限于两方参与，可以简单扩展到多方情形同时包含平凡的一方参与情形。由于云计算的分布式特性，A、B、C、D所需云计算服务可能来自不同地区、不同物理设备，因此允许存在远程数据计算、存储和传输。根据数据隐私和服务要求，数据提供商C和D不允许将任何明文及隐私信息泄露给未授权的第三方(这里指A、B、E及C或D)，但是在不泄露明文隐私信息的情况下，A或B可以利用C和D提供的数据集进行数据特征提取，并用作商业服务。这里，数据特征提取的过程就是指人工智能神经网络模型训练过程，输出结果为网络模型参数，语义上不会泄露任何关于训练数据的隐私信息。因此，在不失去数据明文的前提下，在密文状态下将数据使用权授予合作方，既能够实现双方利益最大化，又不会泄露任何数据隐私。
例如，参见图4所示，图4为本申请实施例提供的一种现有的神经网络模型训练流程图，人工智能网络模型训练过程，输入为：训练数据，输出为：模型参数，计算过程由网络模型定义。参见图5所示，图5为本申请公开的一种具体的神经网络模型训练方法流程图。包括训练数据加密输入、同态训练函数重构、模型参数训练融合。在现有神经网络模型训练平台基础上改进安全防护和隐私保护功能，具体包括：第一，系统参数设置：同态加密系统管理员设置同态加密系统参数，包括但不限于系统安全参数λ。第二，密钥生成：同态加密系统管理员分别为人工智能服务提供商A和B各执行一次同态加密方案ε中密钥生成算法密钥生成算法
并将pk1，pk2公开，将sk1，sk2分别秘密传输给人工智能服务提供商A和B。第三，训练数据加密输入：数据提供商C和D分别利用pk1和pk2执行同态加密方案ε中明文加密算法
其中，πi为训练数据集中的一项数据内容编码到明文空间中的一个元素，例如一张图片、一段语音等。第四，同态训练函数重构：针对明文数据的人工智能神经网络模型训练需要经过一系列计算操作即明文训练函数，记为f＝(f1,...,fm)，相应的针对密文数据的人工智能神经网络模型训练也需要经过一系列的计算操作即同态训练函数，记为F＝(F1,...,Fm)，例如：明文计算f＝a+b对应同态计算
明文计算f＝a×b对应同态计算
对于同态训练函数的重构依赖于应用所需的计算类型及数据类型，例如整数类型涉及大小比较函数，实数类型涉及取整计算等。第五，模型参数训练融合：首先，人工智能服务提供商分别将网络模型在明文训练过程中的计算函数f(这里将训练的整体计算过程表示为一个函数f，f在执行计算过程中调用基础算子f1,...,fm)以重构的同态训练函数F替换(对应的f1,...,fm以F1,...,Fm替换)，然后执行加密的模型参数训练。其次，训练结束需要进行模型融合，融合方法包括：交换训练数据集重训、模型参数加权平均。第六，网络模型解密输出：对于模型参数训练融合过程中输出的网络模型参数均为密文形式，需要执行同态加密方案ε中的解密函数Decryptε(sk,ψF)→α获取网络模型的明文参数。
这样，数据提供商将训练数据在系统参数要求下进行同态加密并将数据共享给具有访问权限的合作第三方；根据明文数据下人工智能神经网络模型的计算操作，重新构造同态加密数据下的人工智能神经网络模型计算操作；密文模式下对人工智能神经网络模型训练输入密文参数，并对训练完成后的密文的参数进行模型参数的融合，最终获得密文模型参数。利用加密技术实现工智能神经网络训练阶段的安全防护与标注数据的隐私保护，能够防止训练过程中泄漏模型信息或数据隐私造成商业机密泄露，还将为人工智能应用提供更加完善的数据外包计算、存储与共享机制，为人工智能应用中个人隐私及系统机密信息保驾护航，促进人工智能产业健康、稳定发展。
进一步的，本申请的人工智能训练平台还可以适应不同的应用场景：(1)适用于本地数据进行本地模型训练：明文输入+明文输出。即输入明文训练集，输出明文训练后模型参数(2)适用于本地数据远程部署模型训练：明文输入+密文输出。在具体的实施过程中，可以输入明文训练集，利用重构的训练函数输出对应的训练后模型参数，或者，输入明文训练集，对训练集加密，得到加密训练数据集，利用同态训练函数，输出训练后模型参数密文。(3)适用于远程共享数据本地模型训练：密文输入+明文输出。可以输入对应的密文训练集，利用同态训练函数训练，得到对应的训练后模型参数，然后解密，输出对应的明文参数。
参见图6所示，本申请公开了一种神经网络模型训练装置，应用于人工智能训练平台，包括：
模型训练指令获取模块11，用于获取第一模型训练用户终端下发的模型训练指令；
加密训练数据集获取模块12，用于在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集；
神经网络模型训练模块13，用于利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；
其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。
所述装置还包括同态训练函数构建模块，用于根据所述明文训练函数对应的计算类型以及所述明文训练集对应的数据类型重构所述同态训练函数。
所述装置还包括：
训练模型融合指令获取模块，用于获取所述第一模型训练用户终端下发的训练模型融合指令。
训练模型融合模块，用于在所述模型融合指令的控制下进行训练模型融合。
在一种具体的实施方式中，所述训练模型融合模块，用于获取第二模型训练终端共享的第二加密训练数据集；所述第二加密训练数据集为第二数据供应方终端对第二训练数据集加密得到的数据集；利用所述第二加密训练数据集以及所述同态训练函数继续训练，得到对应的优化后模型参数。
在另一种具体的实施方式中，所述训练模型融合模块，用于获取第二训练后模型参数；其中，所述第二训练后模型参数为第二模型训练用户终端通过所述人工智能训练平台利用第二加密训练数据集以及所述同态训练函数进行针对所述初始神经网络模型的模型训练，得到的训练后模型参数；所述第二加密训练数据集为所述第二数据提供方终端对第二训练数据集进行加密得到的数据集；利用所述第一训练后模型参数和所述第二训练后模型参数确定出对应的目标训练后模型参数。并且，所述训练模型融合模块具体用于对所述第一训练后模型参数和所述第二训练后模型参数进行加权计算，得到所述目标训练后模型参数。
所述装置还包括模型参数输出模块，用于将所述第一训练后模型参数输出至对应的所述第一模型训练用户终端，以便所述第一模型训练用户终端利用解密密钥对所述第一训练后模型参数进行解密，得到解密后模型参数；其中，所述解密密钥为同态加密系统生成的密钥，并且，所述同态加密系统还用于生成加密密钥，所述加密密钥为数据提供方终端对训练数据集进行加密采用的密钥。
参见图7所示，本申请实施例公开了一种神经网络模型训练设备，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现前述实施例公开的神经网络模型训练方法。
关于上述神经网络模型训练方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的神经网络模型训练方法。
关于上述神经网络模型训练方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种神经网络模型训练方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种神经网络模型训练方法，其特征在于，应用于人工智能训练平台，包括：
获取第一模型训练用户终端下发的模型训练指令；
在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集；
利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；
其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。
2.根据权利要求1所述的神经网络模型训练方法，其特征在于，还包括：
根据所述明文训练函数对应的计算类型以及所述明文训练集对应的数据类型重构所述同态训练函数。
3.根据权利要求1所述的神经网络模型训练方法，其特征在于，还包括：
获取所述第一模型训练用户终端下发的训练模型融合指令；
在所述模型融合指令的控制下进行训练模型融合。
4.根据权利要求3所述的神经网络模型训练方法，其特征在于，所述在所述模型融合指令的控制下进行训练模型融合，包括：
获取第二模型训练终端共享的第二加密训练数据集；所述第二加密训练数据集为第二数据供应方终端对第二训练数据集加密得到的数据集；
利用所述第二加密训练数据集以及所述同态训练函数继续训练，得到对应的优化后模型参数。
5.根据权利要求3所述的神经网络模型训练方法，其特征在于，所述在所述模型融合指令的控制下进行训练模型融合，包括：
获取第二训练后模型参数；其中，所述第二训练后模型参数为第二模型训练用户终端通过所述人工智能训练平台利用第二加密训练数据集以及所述同态训练函数进行针对所述初始神经网络模型的模型训练，得到的训练后模型参数；所述第二加密训练数据集为所述第二数据提供方终端对第二训练数据集进行加密得到的数据集；
利用所述第一训练后模型参数和所述第二训练后模型参数确定出对应的目标训练后模型参数。
6.根据权利要求5所述的神经网络模型训练方法，其特征在于，所述利用所述第一训练后模型参数和所述第二训练后模型参数确定出对应的目标训练后模型参数，包括：
对所述第一训练后模型参数和所述第二训练后模型参数进行加权计算，得到所述目标训练后模型参数。
7.根据权利要求1至6任一项所述的神经网络模型训练方法，其特征在于，还包括：
将所述第一训练后模型参数输出至对应的所述第一模型训练用户终端，以便所述第一模型训练用户终端利用解密密钥对所述第一训练后模型参数进行解密，得到解密后模型参数；其中，所述解密密钥为同态加密系统生成的密钥，并且，所述同态加密系统还用于生成加密密钥，所述加密密钥为数据提供方终端对训练数据集进行加密采用的密钥。
8.一种神经网络模型训练装置，其特征在于，应用于人工智能训练平台，包括：
模型训练指令获取模块，用于获取第一模型训练用户终端下发的模型训练指令；
加密训练数据集获取模块，用于在所述模型训练指令的控制下获取第一加密训练数据集；其中，所述第一加密训练数据集为第一数据提供方终端对第一训练数据集进行加密得到的数据集；
神经网络模型训练模块，用于利用所述第一加密训练数据集以及同态训练函数进行针对初始神经网络模型的模型训练，得到对应的第一训练后模型参数；
其中，所述同态训练函数为根据明文训练函数进行重构得到的训练函数；所述明文训练函数为利用明文训练集对所述初始神经网络模型进行训练所采用的计算函数。
9.一种神经网络模型训练设备，其特征在于，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的神经网络模型训练方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的神经网络模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010711770.2A CN111898145B (zh) | 2020-07-22 | 2020-07-22 | 一种神经网络模型训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010711770.2A CN111898145B (zh) | 2020-07-22 | 2020-07-22 | 一种神经网络模型训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111898145A true CN111898145A (zh) | 2020-11-06 |
| CN111898145B CN111898145B (zh) | 2022-11-25 |
Family
ID=73190794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010711770.2A Active CN111898145B (zh) | 2020-07-22 | 2020-07-22 | 一种神经网络模型训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111898145B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395643A (zh) * | 2020-11-23 | 2021-02-23 | 中国人民大学 | 一种神经网络的数据隐私保护方法及系统 |
| CN112765662A (zh) * | 2021-01-22 | 2021-05-07 | 电子科技大学 | 一种在深度学习下支持训练集成员隐私保护的方法 |
| CN113221153A (zh) * | 2021-05-31 | 2021-08-06 | 平安科技（深圳）有限公司 | 图神经网络训练方法、装置、计算设备及存储介质 |
| CN113420322A (zh) * | 2021-05-24 | 2021-09-21 | 阿里巴巴新加坡控股有限公司 | 模型训练、脱敏方法、装置、电子设备及存储介质 |
| CN113472805A (zh) * | 2021-07-14 | 2021-10-01 | 中国银行股份有限公司 | 模型训练方法及装置、存储介质及电子设备 |
| CN113515812A (zh) * | 2021-07-09 | 2021-10-19 | 东软睿驰汽车技术（沈阳）有限公司 | 自动驾驶方法、装置、处理设备及存储介质 |
| CN113537493A (zh) * | 2021-07-23 | 2021-10-22 | 深圳宏芯宇电子股份有限公司 | 人工智能模型训练方法、装置、远端平台和可读存储介质 |
| CN114445207A (zh) * | 2022-04-11 | 2022-05-06 | 广东企数标普科技有限公司 | 基于数字人民币的税务管理系统 |
| CN115001748A (zh) * | 2022-04-29 | 2022-09-02 | 北京奇艺世纪科技有限公司 | 一种模型处理方法、装置及计算机可读存储介质 |
| WO2022243234A1 (en) * | 2021-05-21 | 2022-11-24 | Koninklijke Philips N.V. | Systems and methods for training, securing, and implementing an artificial neural network |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3203679A1 (en) * | 2016-02-04 | 2017-08-09 | ABB Schweiz AG | Machine learning based on homomorphic encryption |
| CN108805259A (zh) * | 2018-05-23 | 2018-11-13 | 北京达佳互联信息技术有限公司 | 神经网络模型训练方法、装置、存储介质及终端设备 |
| CN110147444A (zh) * | 2018-11-28 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 神经网络语言模型、文本预测方法、装置及存储介质 |
| CN110348438A (zh) * | 2019-06-29 | 2019-10-18 | 上海淇馥信息技术有限公司 | 一种基于人工神经网络模型的图片字符识别方法、装置和电子设备 |
-
2020
- 2020-07-22 CN CN202010711770.2A patent/CN111898145B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3203679A1 (en) * | 2016-02-04 | 2017-08-09 | ABB Schweiz AG | Machine learning based on homomorphic encryption |
| CN108805259A (zh) * | 2018-05-23 | 2018-11-13 | 北京达佳互联信息技术有限公司 | 神经网络模型训练方法、装置、存储介质及终端设备 |
| CN110147444A (zh) * | 2018-11-28 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 神经网络语言模型、文本预测方法、装置及存储介质 |
| CN110348438A (zh) * | 2019-06-29 | 2019-10-18 | 上海淇馥信息技术有限公司 | 一种基于人工神经网络模型的图片字符识别方法、装置和电子设备 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395643A (zh) * | 2020-11-23 | 2021-02-23 | 中国人民大学 | 一种神经网络的数据隐私保护方法及系统 |
| CN112395643B (zh) * | 2020-11-23 | 2023-06-20 | 中国人民大学 | 一种神经网络的数据隐私保护方法及系统 |
| CN112765662A (zh) * | 2021-01-22 | 2021-05-07 | 电子科技大学 | 一种在深度学习下支持训练集成员隐私保护的方法 |
| WO2022243234A1 (en) * | 2021-05-21 | 2022-11-24 | Koninklijke Philips N.V. | Systems and methods for training, securing, and implementing an artificial neural network |
| CN113420322A (zh) * | 2021-05-24 | 2021-09-21 | 阿里巴巴新加坡控股有限公司 | 模型训练、脱敏方法、装置、电子设备及存储介质 |
| CN113420322B (zh) * | 2021-05-24 | 2023-09-01 | 阿里巴巴新加坡控股有限公司 | 模型训练、脱敏方法、装置、电子设备及存储介质 |
| CN113221153A (zh) * | 2021-05-31 | 2021-08-06 | 平安科技（深圳）有限公司 | 图神经网络训练方法、装置、计算设备及存储介质 |
| CN113515812A (zh) * | 2021-07-09 | 2021-10-19 | 东软睿驰汽车技术（沈阳）有限公司 | 自动驾驶方法、装置、处理设备及存储介质 |
| CN113472805B (zh) * | 2021-07-14 | 2022-11-18 | 中国银行股份有限公司 | 模型训练方法及装置、存储介质及电子设备 |
| CN113472805A (zh) * | 2021-07-14 | 2021-10-01 | 中国银行股份有限公司 | 模型训练方法及装置、存储介质及电子设备 |
| CN113537493A (zh) * | 2021-07-23 | 2021-10-22 | 深圳宏芯宇电子股份有限公司 | 人工智能模型训练方法、装置、远端平台和可读存储介质 |
| CN113537493B (zh) * | 2021-07-23 | 2023-12-08 | 深圳宏芯宇电子股份有限公司 | 人工智能模型训练方法、装置、远端平台和可读存储介质 |
| CN114445207A (zh) * | 2022-04-11 | 2022-05-06 | 广东企数标普科技有限公司 | 基于数字人民币的税务管理系统 |
| CN115001748A (zh) * | 2022-04-29 | 2022-09-02 | 北京奇艺世纪科技有限公司 | 一种模型处理方法、装置及计算机可读存储介质 |
| CN115001748B (zh) * | 2022-04-29 | 2023-11-03 | 北京奇艺世纪科技有限公司 | 一种模型处理方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111898145B (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898145B (zh) | 一种神经网络模型训练方法、装置、设备及介质 | |
| Liu et al. | Privacy-preserving aggregation in federated learning: A survey | |
| TW202006615A (zh) | 基於模型的預測方法和裝置 | |
| CN110474893A (zh) | 一种异构跨信任域密态数据安全分享方法及系统 | |
| TW201448552A (zh) | 隱私保護之脊狀回歸 | |
| CN110912713A (zh) | 多方联合进行模型数据处理的方法及装置 | |
| Zhang et al. | Server-aided private set intersection based on reputation | |
| CN112491529B (zh) | 用于不可信服务器环境中数据文件加密及完整性验证方法及其系统 | |
| CN113221153B (zh) | 图神经网络训练方法、装置、计算设备及存储介质 | |
| US20220374544A1 (en) | Secure aggregation of information using federated learning | |
| CN116502732B (zh) | 基于可信执行环境的联邦学习方法以及系统 | |
| CN112000978B (zh) | 隐私数据的输出方法、数据处理系统及存储介质 | |
| CN112929151B (zh) | 基于隐私保护的实体对齐方法及计算机存储介质 | |
| CN117879820A (zh) | 一种基于区块链的数据共享方法 | |
| CN116318696B (zh) | 一种双方无初始信任情况下代理重加密数字资产授权方法 | |
| Zhang et al. | Efficient federated learning framework based on multi-key homomorphic encryption | |
| Wang et al. | A flexible and privacy-preserving federated learning framework based on logistic regression | |
| US20190109828A1 (en) | Data processing method, device and system, and storage medium | |
| Koppaka et al. | ElGamal algorithm with hyperchaotic sequence to enhance security of cloud data | |
| CN115580443A (zh) | 一种图数据的处理方法、装置、设备和介质 | |
| Li et al. | Secure and efficient multi-key aggregation for federated learning | |
| CN113051587A (zh) | 一种隐私保护智能交易推荐方法、系统和可读介质 | |
| Gholami et al. | An efficient image-based verification scheme by fusion of double random phase encoding and dynamic chaotic map | |
| Ke et al. | SPEFL: efficient security and privacy enhanced federated learning against poisoning attacks | |
| Raja et al. | Deep Steg Block: Deep Learning-Enhanced Steganography for Secure Communication in IoT Devices Using Blockchain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |