CN109977694A - 一种基于协作深度学习的数据共享方法 - Google Patents

Abstract

本发明公开了一种基于协作深度学习的数据共享方法，其包括两个服务器，若干参与机构，每个参与机构拥有相同格式的生物医疗数据，服务器负责对参与机构上传的模型参数进行更新和维护，每个参与机构只需要分别从两个服务器下载最新的参数秘密份额，在本地进行秘密重构恢复得到最新的参数，然后利用该参数和自己私有的生物医疗数据在本地进行深度学习模型训练，训练完成后再把更新的模型参数通过秘密分享方案拆分成两份秘密份额，由两个服务器分别对秘密份额进行参数更新操作，供参与机构下载。本发明通过使用协作深度学习方法和秘密分享方案，保护了生物医疗数据共享过程中的数据隐私，对促进生物医疗数据的共享有着极其重要的意义。

Description

一种基于协作深度学习的数据共享方法

技术领域

本发明涉及隐私保护数据共享领域，尤其涉及一种基于协作深度学习的数据共享方法。

背景技术

随着近几年人工智能技术的成熟，人工智能在医疗领域的应用极大促进了医疗智能化的程度，尤其是针对基于人工智能的疾病诊断方向，已经有非常多的研究成果。人工智能具有巨大的潜力，可通过人类专家难以完成的大量数据分析和分类，彻底改变疾病的诊断和管理。

目前已有许多利用深度学习方法训练各种疾病诊断模型的实例，通过提取生物医疗数据中的特征，对病人的身体健康状况做出诊断。但是在基于人工智能的疾病诊断方法不断发展的同时，相应的生物医学数据量的缺乏成为了制约其发展和优化的瓶颈。尤其是针对某些罕见的疾病，病例样本较少，再加上医疗机构之间的数据隔离，使得需要较大数据量的人工智能工具的效果也不能完全发挥出来。因此，促进生物医疗数据的共享是提升人工智能在疾病诊断方向应用的关键问题。

但是，生物医疗数据携带大量关于病人的隐私信息，如身体健康状况，家族遗传信息等，一旦信息泄露，将导致不可挽回的负面影响。因此，不同医疗机构之间存在着生物医疗数据共享难题。

过去的研究主要集中在集中式算法上，这些算法假设存在一个中央数据存储库(数据库)，存储并处理来自所有参与者的训练数据。然而，当数据不在中心位置时，这种体系结构可能是不切实际的，它不能很好地扩展到非常大的数据集，并且引入可能损害数据完整性和隐私性的单点故障风险。

联合学习(federated learning)是谷歌公司提出的一种分布式的深度学习方法，参与者之间不需要将数据直接地共享出来的同时共同训练一个学习模型，保证了本地数据的隐私性，且实现了不同参与者之间的数据共享。

Brisimi等人开发一种基于协作(联合)学习的分布式方法，根据电子健康记录(EHR)中描述的病史，预测在目标年度内心脏病患者的住院情况，利用了分布式学习方法使得用户不需要交换原始数据保护数据隐私的同时共同学习一个分类模型。但是它们没有考虑到协作学习过程中共享的参数也可能泄露本地数据隐私，如Hitaj等人提出的使用生成对抗学习方法针对协作学习过程中其他参与者的数据实现推理攻击，获取其他参与者的隐私训练数据。

发明内容

针对现有技术中的缺陷和不足，本发明的首要目的在于提供一种基于协作深度学习的数据共享方法，基于上述目的，本发明至少提供如下技术方案：

一种基于协作深度学习的数据共享方法，其包括以下步骤：

步骤1、确定参与机构集合，引入两个服务器S₀和S1，所述服务器为参与机构提供协作深度学习过程中的参数更新；

步骤2、参与机构之间确立学习模型、学习目标、数据格式以及秘密分享方案；

步骤3、参与机构从服务器下载最新的参数，并利用最新的参数和本地的数据实现深度学习训练过程，一轮训练完成后将更新后的参数上传到服务器；

步骤4、服务器在接收到参与机构上传的更新参数后，根据参数更新原则实现参数更新并存储，供参与机构下载；

步骤5、当达到学习目标时，协作深度学习过程结束，服务器将最终的模型参数发送给所有参与机构。

进一步的，步骤1所述参与机构是经过身份认证的医疗机构，拥有可信的生物医疗数据，以及实现本地深度学习训练的服务器环境，并且在训练过程中完全遵守协议。

进一步的，步骤1中的两个所述服务器S₀和S₁不互相合谋，并且按照更新规则实现协作深度学习模型的参数更新计算，其中更新规则的计算的公式如下：

W_global：＝W_global-αG_local，

其中，α是学习率，用来控制模型的学习进度，在训练过程中，一般根据训练轮数设置动态变化的学习率。

进一步的，步骤1中，所述参数以密文形式分别存储在两个服务器S0和S1上，服务器S₀和S₁在不合谋的情况下无法恢复出明文。

进一步的，步骤3中，参与机构使用异步随机梯度下降方法进行训练，在每一轮训练结束后都将更新的梯度G^t上传到服务器，服务器接收到一个参与机构的上传参数G^t后则立即将其与现有参数W^t进行更新，实现参数更新操作。

进一步的，步骤3包括如下子步骤：

首先，在某一时间，如在第t轮，某参与机构P准备进行本地训练时，先分别从两个服务器S₀和S₁处下载最新参数的秘密份额和

其次，参与机构使用得到的参数秘密份额和在本地进行秘密重构，得到参数明文W^t；

最后，参与机构P使用最新的参数明文W^t作为本地训练的模型参数继续进行深度学习训练，一轮训练结束后，参与机构P将训练后得到的参数使用秘密分享方案SS秘密地将参数G^t拆分成两份秘密份额和分别发送给服务器S₀和S₁。

进一步的，所述秘密重构的公式如下：

其中代表选取的秘密分享方案SS相应的秘密份额重构方法。

进一步的，步骤4中，服务器在更新过程中，服务器S₀和S₁在分别接收到新的梯度秘密份额和后，将其和原有的参数秘密份额和进行合并更新，以此更新模型参数，服务器S₀和S₁分别实现更新计算的公式如下：

其中，α是学习率，用来控制模型的学习速率。

进一步的，步骤5中，当达到学习目标后，停止模型参数更新，服务器S₀和S₁不再接受参与机构发送的参数秘密份额，然后将最终的优化模型参数秘密份额W_g0和W_g1分别发送给每个参与机构，参与机构接收到W_g0和W_g1后在本地进行秘密重构，得到最终的模型参数W，计算公式如下：

其中代表选取的秘密分享方案SS相应的秘密份额重构方法。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明所提方案使用协作深度学习实现了不同机构之间的数据共享，并且整个过程中参与机构的数据都在本地，无需将数据直接共享给其他人，保证了参与机构的数据隐私，促进了人工智能在数据共享领域的发展。

(2)本发明所提方案中的参数更新机制使用安全两方计算实现参与机构共享的参数的安全更新，整个过程中其他参与机构无法获取该参与机构上传到服务器的参数明文，防御了其他参与机构根据模型参数推测该参与机构的本地数据的攻击行为。

(3)本发明所提方案应用于生物医疗领域，能够保护生物医疗机构和病人的数据隐私，解决了现有的利用人工智能解决疾病诊断问题时，生物医疗数据缺乏的问题，进而解决生物医疗机构之间医疗数据共享的难题。

附图说明

图1为本发明基于协作深度学习的数据共享流程图。

图2为本发明协作学习参数更新示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

下面结合附图1和附图2对本发明所述的技术方案进行详细说明。

本发明的技术方案主要包括两个服务器(Server)S₀和S₁，若干参与机构(Participant)，每个参与机构拥有相同格式的生物医疗数据(Data)。

服务器负责对参与机构上传的模型参数进行更新和维护，每个参与机构只需要从服务器下载最新的参数，然后利用该参数和自己的生物医疗数据进行本地深度学习模型训练，一轮训练完成后再把更新的模型参数利用秘密分享方案拆分成两份秘密份额分别上传到两个服务器，由服务器进行参数更新操作。

具体的本发明的基于协作深度学习的数据共享方法包括以下步骤：

步骤1、确立参与机构集合，引入两个服务器S₀和S₁，为参与机构提供协作深度学习过程中的参数更新。

协作深度学习是一种分布式机器学习训练模型的方法，通常，标准的机器学习中，训练样本数据存储是在同一组服务器或者数据中心，但是在训练集数据收集过程中可能存在问题，而协作深度学习是多个参与者采用合作的方式来共同学习构建一个共享的预测模型，同时保证参与者把训练数据保留在本地设备上，不需要把训练数据集中保存到云端的数据中心。

其中参与机构是经过身份认证的医疗机构，拥有可信的生物医疗数据，以及实现本地深度学习训练的服务器环境，并且在训练过程中完全遵守协议，即使用正确的数据格式和深度学习模型完成学习目标。

在该实施例中，数据格式采用microRNA数据，数据格式为D(m，v₀，…，v_i，…v_n)，其中，m是指样本数据标识符，v_i是指第i个microRNA位点的相应表达值。学习模型采用异步随机梯度下降方法，异步随机梯度下降方法是目前使用最广泛的深度学习方法。学习目标为训练一个适用于癌症分类的疾病诊断模型。

两个服务器S₀和S₁不互相合谋，即两个服务器无法获取对方拥有的参数秘密份额，并且按照更新规则实现协作深度学习模型(如随机梯度下降)参数更新计算，其中更新规则的计算公式如下：

W_global：＝W_global-αG_local (1)，

其中，α是学习率，用来控制模型的学习速率，在训练过程中，一般根据训练轮数设置动态变化的学习率。W_global指存储在服务器上的模型参数，G_local是指参与机构使用本地训练数据训练后得到的梯度。参数以密文形式分别存储在两个服务器S₀和S₁上，服务器S₀和S₁在不合谋的情况下时无法恢复出明文，明文即参与机构上传的参数，保护了参与机构上传参数的隐私。

本发明的参数更新机制使用安全两方计算，实现参与机构共享的参数安全更新，整个过程中其他参与机构无法获取该参与机构上传到服务器的参数明文，防御了其他参与机构根据模型参数推测该参与机构的本地生物医疗数据的攻击行为。

步骤2、参与机构之间确立学习模型、学习目标、数据格式以及秘密分享方案；

参与机构在开始协作深度学习训练之前先协商本次训练的目标(如训练一个适用于癌症分类的疾病诊断模型)，使用的学习模型(如随机梯度下降方法)，以及完成该学习目标所需的输入数据的格式(如microRNA数据，数据格式为D(m，v₀，…，v_i，…v_n)其中m是指样本数据标识符，v_i是指第i个microRNA位点的相应表达值)。

步骤3、参与机构，以参与机构P为例，从服务器下载最新的参数，并利用最新的参数和本地的生物医疗数据，如microRNA数据，实现深度学习训练过程，一轮训练完成后将更新后的参数上传到服务器，具体包括以下几个步骤：

步骤3.1、以参与机构P实现某一轮，如第t轮参数更新的过程为例，参与机构P首先分别从两个服务器S₀和S₁处下载最新的参数秘密份额，即和

步骤3.2、参与机构使用得到的参数秘密份额和在本地进行秘密重构，得到参数明文W^t，实现秘密重构的计算公式为：

其中代表选取的秘密分享方案相应的秘密份额重构方法。

在该实施例中，选择的秘密分享方案是加法分享，W^t等于两个属于环的整数和之和，也就是参与机构在获取到参数秘密份额和后，计算

步骤3.3、然后参与机构P使用最新的参数W^t作为本地训练的模型参数进行深度学习模型训练，一轮训练结束后，参与机构P将使用本地数据训练深度学习模型，并将训练后得到的梯度G^t+1使用秘密分享方案秘密地将梯度G^t+1拆分成两份秘密份额和分别发送给服务器S₀和S₁。

如选择的秘密分享方案是加法分享，W^t等于两个属于环的整数和之和，即参与机构首先随机选择一个随机数然后计算将其发送给服务器S₀，令并将其发送给服务器S₁。

步骤4、服务器在接受到参与机构上传的更新参数后，根据参数更新原则实现参数更新并存储，供参与机构下载。

服务器S₀和S₁在分别接收到新的梯度秘密份额和后，将其和原有的参数秘密份额和进行更新，以此更新模型参数，服务器S₀和S₁分别实现更新计算的公式如下：

其中，α是学习率，用来控制模型的学习速率。

步骤5、当达到学习目标时，协作深度学习过程结束，服务器将最终的模型参数W发送给所有参与机构。

达到学习目标后，停止模型参数更新，服务器S₀和S₁不再接受参与机构发送的参数秘密份额，然后将最终的优化模型参数秘密份额W_g0和W_g1分别发送给每个参与机构，参与机构接收到W_g0和W_g1后在本地进行秘密重构，得到最终的模型参数W，秘密重构的计算公式如下：

其中代表选取的秘密分享方案SS相应的秘密份额重构方法。

本发明使用了协作深度学习实现了不同机构之间的数据共享，并且整个过程中参与机构的数据都在本地，无需将数据直接共享给其他人，保证了参与机构的数据隐私，促进了人工智能在大数据应用领域的发展。上述对实施例的描述是为便于本技术领域的普通技术人员能够理解和应用发明。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于协作深度学习的数据共享方法，其特征在于，包括以下步骤：

步骤1、确定参与机构集合，引入两个服务器S₀和S₁，所述服务器为参与机构提供协作深度学习过程中的参数更新；

步骤2、参与机构之间确立学习模型、学习目标、数据格式以及秘密分享方案；

步骤3、参与机构从服务器下载最新的参数，并利用最新的参数和本地的数据实现深度学习训练过程，一轮训练完成后将更新后的参数上传到服务器；

步骤4、服务器在接收到参与机构上传的更新参数后，根据参数更新原则实现参数更新并存储，供参与机构下载；

步骤5、当达到学习目标时，协作深度学习过程结束，服务器将最终的模型参数发送给所有参与机构。

2.根据权利要求1的所述方法，其特征在于，所述参与机构是经过身份认证的医疗机构，拥有可信的生物医疗数据，以及实现本地深度学习训练的服务器环境，并且在训练过程中完全遵守协议。

3.根据权利要求1的所述方法，其特征在于，步骤1中的两个所述服务器S₀和S₁不互相合谋，并且按照更新规则实现协作深度学习模型的参数更新计算，其中更新规则的计算的公式如下：

W_global：＝W_global-αG_local，

其中，α是学习率，用来控制模型的学习进度，在训练过程中，一般根据训练轮数设置动态变化的学习率；W_global表示存储在服务器上的模型参数，G_local表示参与机构使用本地训练数据训练后得到的梯度。

4.根据权利要求1-3之一的所述方法，其特征在于，步骤1中，所述参数以密文形式分别存储在两个服务器S₀和S₁上，服务器S₀和S₁在不合谋的情况下无法恢复出明文。

5.根据权利要求1的所述方法，其特征在于，步骤3中，参与机构使用异步随机梯度下降方法进行训练，在每一轮训练结束后都将更新的梯度G^t上传到服务器，服务器接收到一个参与机构的上传参数G^t后则立即将其与现有参数W^t进行更新，实现参数更新操作。

6.根据权利要求5的所述方法，其特征在于，步骤3包括如下子步骤：

首先，在某一时间，如在第t轮，某参与机构P准备进行本地训练时，先分别从两个服务器S₀和S₁处下载最新参数的秘密份额和

其次，参与机构使用得到的参数秘密份额和在本地进行秘密重构，得到参数明文W^t；

最后，参与机构P使用最新的参数明文W^t作为本地训练的模型参数继续进行深度学习训练，一轮训练结束后，参与机构P将训练后得到的参数使用秘密分享方案SS秘密地将参数G^t拆分成两份秘密份额和分别发送给服务器S₀和S₁。

7.根据权利要求6的所述方法，其特征在于，所述秘密重构的公式如下：

其中，代表选取的秘密分享方案SS相应的秘密份额重构方法。

8.根据权利要求1的所述方法，其特征在于，步骤4中，服务器在更新过程中，服务器S₀和S₁在分别接收到新的梯度秘密份额和后，将其和原有的参数秘密份额和进行合并更新，以此更新模型参数，服务器S₀和S₁分别实现更新计算的公式如下：

其中，α是学习率，用来控制模型的学习速率。

9.根据权利要求1的所述方法，其特征在于，步骤5中，当达到学习目标后，停止模型参数更新，服务器S₀和S₁不再接受参与机构发送的参数秘密份额，然后将最终的优化模型参数秘密份额W_g0和W_g1分别发送给每个参与机构，参与机构接收到W_g0和W_g1后在本地进行秘密重构，得到最终的模型参数W，计算公式如下：

其中，代表选取的秘密分享方案SS相应的秘密份额重构方法。