CN115186831B - 一种高效隐私保护的深度学习方法 - Google Patents

一种高效隐私保护的深度学习方法 Download PDF

Info

Publication number
CN115186831B
CN115186831B CN202211099367.4A CN202211099367A CN115186831B CN 115186831 B CN115186831 B CN 115186831B CN 202211099367 A CN202211099367 A CN 202211099367A CN 115186831 B CN115186831 B CN 115186831B
Authority
CN
China
Prior art keywords
cloud server
deep learning
secret
sharing
shared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211099367.4A
Other languages
English (en)
Other versions
CN115186831A (zh
Inventor
万志国
高睿
王化群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211099367.4A priority Critical patent/CN115186831B/zh
Publication of CN115186831A publication Critical patent/CN115186831A/zh
Application granted granted Critical
Publication of CN115186831B publication Critical patent/CN115186831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种高效隐私保护的深度学习方法，包含在加法秘密共享的情况下比较数值大小、和快速隐私保护的深度学习两个部分；所述的在加法秘密共享的情况下比较数值大小包含在加法秘密共享的情况下计算秘密数值的正负性和在加法秘密共享的情况下比较两个被共享的数的大小两个步骤；相较于现在正在使用的安全多方计算和全同态加密实现隐私、安全的深度学习预测方法，本发明没有使用非对称公钥加密体系，整个计算过程在实数域上完成，有极大的效率优势。同时保护了模型提供方的模型的安全性和数据拥有者输入数据的安全性。

Description

一种高效隐私保护的深度学习方法
技术领域
本发明涉及信息安全和隐私保护的技术领域，具体涉及一种高效隐私保护的深度学习方法。
背景技术
深度学习是机器学习领域的一个热门的研究方向，能够深层地学习样本数据的内在规律，被广泛运用于图像、声音、文字的识别场景中，都取得了优秀的效果。深度学习模型在经过大量样本数据的训练后可以分类识别数据。
数据拥有者通常有分析数据的需求却缺少分析数据的能力。以肺病诊断为例，医院可以拍摄病人的肺部CT图像，却往往缺少诊断肺病的技术，这些医院会向拥有诊断肺病能力的深度学习技术的相关机构寻求帮助。医院将病人的肺部CT图像传递给拥有相关技术的深度学习模型提供方，模型提供方使用深度学习技术判断病人是否患病以及肺部疾病种类，将结果返回给医院。在上述系统中模型提供方需要直接获取病人的CT图像，这造成了隐私泄露。同时，直接让模型提供方将模型参数发送给医院，由医院代为计算也不是安全的方案，这会导致模型提供方拥有的模型参数泄露。
为了数据拥有者的隐私和模型提供方模型参数的安全，需要采用安全多方计算、同态加密等技术在保护隐私的情况下正确运行深度学习的模型，实现对图片的隐私保护。目前使用的方法都使用了非对称公钥加密体系，导致运行速度较慢。
设计一种快速的隐私保护的深度学习预测方法对于打破“数据孤岛”，促进数据要素的流通有重要意义。
发明内容
针对现有技术的不足，本发明提供了一种高效隐私保护的深度学习方法，实现了在保护数据拥有者输入数据隐私性与模型提供方深度学习模型参数的前提下通过隐私保护计算得到正确模型输出结果的目的。
本发明中的术语解释：
1.隐私保护计算：在隐私数据不公开的前提下，实现对隐私数据的挖掘、计算、分类。
隐私计算涉及到的三类角色：数据方、计算方、结果方。
数据方：提供数据的组织，本发明中数据方为数据拥有者和模型提供方。
计算方：提供算力，执行隐私计算协议进行计算的组织，本发明中计算方为服务器P0与P1。
2.秘密共享：将秘密以适当的方式拆分，拆分后的每一个份额由不同的参与者管理，每一个秘密份额被称作子秘密。
3.加法秘密共享：用<X>表示秘密X被加法秘密共享后的状态，n个参与者加法共享秘密，每个参与者Pi得到
Figure DEST_PATH_IMAGE001
的子秘密记作
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
。
4.乘法秘密共享：用
Figure DEST_PATH_IMAGE004
表示秘密X被乘法秘密共享后的状态，n个参与者乘法共享秘密，每个参与者
Figure DEST_PATH_IMAGE005
得到
Figure DEST_PATH_IMAGE006
的子秘密记作
Figure DEST_PATH_IMAGE007
，
Figure DEST_PATH_IMAGE008
。
5.矩阵加法秘密共享：用<F>表示秘密矩阵F被加法秘密共享后的状态，n个参与者加法共享秘密，每个参与者Pi得到的子秘密记作
Figure DEST_PATH_IMAGE009
，
Figure DEST_PATH_IMAGE010
，
以2×2矩阵F，2个参与者为例。
Figure DEST_PATH_IMAGE011
6.
Figure DEST_PATH_IMAGE012
:用来表征变量的正负号的函数
Figure DEST_PATH_IMAGE013
7.实数乘法三元组 (a,b,c)：a,b,c均为实数，c=a·b。(a,b,c)均对所有参与者保密。以加法秘密形式共享，参与者Pi得到的乘法三元组分片为
Figure DEST_PATH_IMAGE014
。
8.矩阵乘法三元组 (A,B,C)：A,B,C均为矩阵，C=A·B。(A,B,C) 均对所有参与者保密。以加法秘密形式共享，参与者Pi得到的乘法三元组分片为
Figure DEST_PATH_IMAGE015
。
9.比较二元组 (u,q)：u = q。(u,q)均对所有参与者保密，参与者Pi得到的比较二元组分片为
Figure DEST_PATH_IMAGE016
。
10.加法共享状态下的元素乘法协议
协议目的：计算
Figure DEST_PATH_IMAGE017
。
协议输入：参与者
Figure DEST_PATH_IMAGE018
。
算法流程：
步骤（1）：参与者Pi从可信第三方处获取元素，乘法三元组：
Figure 922146DEST_PATH_IMAGE014
；
步骤（2）：Pi计算
Figure DEST_PATH_IMAGE019
，
Figure DEST_PATH_IMAGE020
接着双方互相传递
Figure DEST_PATH_IMAGE021
和
Figure DEST_PATH_IMAGE022
，Pi通过本地加法计算出；
Figure DEST_PATH_IMAGE023
。
Pi设置
Figure DEST_PATH_IMAGE024
。
11.加法共享状态下的矩阵乘法协议
协议目的：计算
Figure DEST_PATH_IMAGE025
。
协议输入：参与者
Figure DEST_PATH_IMAGE026
。
算法流程：
步骤（1）：参与者Pi从可信第三方处获取矩阵
乘法三元组：
Figure 23307DEST_PATH_IMAGE015
，其中。
步骤（2）：Pi计算
Figure DEST_PATH_IMAGE027
，
Figure DEST_PATH_IMAGE028
接着双方互相传递
Figure DEST_PATH_IMAGE029
和
Figure DEST_PATH_IMAGE030
的值，Pi通过本地加法恢复出：
Figure DEST_PATH_IMAGE031
和
Figure DEST_PATH_IMAGE032
的值。
Pi设置
Figure DEST_PATH_IMAGE033
。
12.卷积神经网络——卷积层
卷积操作是一个在特征图和卷积核之间进行的运算，步骤如下：
（1）在图像的某个位置上覆盖滤波器；
（2）将滤波器中的值与图像中的对应像素的值相乘；
（3）把上面的乘积加起来，得到的和是输出图像中目标像素的值；
（4）对图像的所有位置重复此操作。
13.卷积神经网络—— img2col算法
将复杂的卷积运算转换为矩阵乘法运算的一种方法。记卷积运算的输入参数是三维矩阵特征图F，四维矩阵卷积核W和一维向量偏置B。img2col算法使用特征图F生成二维矩阵conv_F，使用卷积核W生成二维矩阵conv_W，计算
Figure DEST_PATH_IMAGE034
。再将<conv_temp>转变为正确的矩阵形状即可得到卷积层的输出。
14.卷积神经网络——池化层
深度学习常使用池化层来缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性。
具体地，假如输入是一个4×4矩阵，用到的池化类型是最大池化（max pooling）。执行最大池化的最小单元是一个2×2矩阵。执行过程非常简单，把4×4的输入矩阵拆分成不同的区域，我把这个矩阵用不同颜色来标记。输出矩阵中的每个元素都是输入矩阵中对应颜色区域中的最大元素值。
15.卷积神经网络——激活函数层
激活函数是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数将非线性的特征引入了深度学习中，大大提高了神经网络拟合非线性函数的能力。本发明中默认激活函数使用ReLU函数。
Figure DEST_PATH_IMAGE035
16.卷积神经网络——全连接层
全连接层被用来整合卷积层或者池化层中具有类别区分性的局部信息。全连接层中的每个神经元与其前一层的所有神经元进行全连接。它将模型之前学到的"分布式特征表示”映射到样本标记空间。
本发明所述的一种高效隐私保护的深度学习方法，包含在加法秘密共享的情况下比较数值大小、和快速隐私保护的深度学习两个部分；所述的在加法秘密共享的情况下比较数值大小包含在加法秘密共享的情况下计算秘密数值的正负性和在加法秘密共享的情况下比较两个被共享的数的大小两个步骤；
在加法秘密共享的情况下计算秘密数值的正负性：
目的在于设计一种在加法共享状态下两个参与方快速计算秘密值的正负性的协议。
协议目的：计算
Figure DEST_PATH_IMAGE036
。
协议输入：参与者
Figure DEST_PATH_IMAGE037
。
步骤R1：参与者P i 从可信第三方处获取比较二元组：
Figure DEST_PATH_IMAGE038
步骤R2：盲化变量值。P 0 和P 1 使用加法共享状态下的乘法协议（详见术语解释6），具体地，乘法协议输入：
Figure DEST_PATH_IMAGE039
。
Figure DEST_PATH_IMAGE040
得到
Figure DEST_PATH_IMAGE041
，
Figure DEST_PATH_IMAGE042
。双方互相传递
Figure 203710DEST_PATH_IMAGE041
的值。双方通过本地加法得到
Figure DEST_PATH_IMAGE043
。
步骤R3：计算
Figure DEST_PATH_IMAGE044
的乘法共享
Figure DEST_PATH_IMAGE045
。P 0 设置
Figure DEST_PATH_IMAGE046
，P 1 设置
Figure DEST_PATH_IMAGE047
。因为（注意：
Figure DEST_PATH_IMAGE048
）：
Figure DEST_PATH_IMAGE049
所以，
Figure DEST_PATH_IMAGE050
步骤R4：计算
Figure 337536DEST_PATH_IMAGE044
的加法共享<S>。P 0 和P 1 使用加法共享状态下的乘法协议计算
Figure DEST_PATH_IMAGE051
，具体地，乘法协议输入：
Figure DEST_PATH_IMAGE052
。参与方获得<S>。
Figure DEST_PATH_IMAGE053
。
在加法秘密共享的情况下比较两个被共享的数的大小：
目的在于设计一种在加法共享状态下两个参与方快速比较两个秘密值大小关系的方法。
协议目的：计算
Figure DEST_PATH_IMAGE054
。
协议输入：参与者
Figure DEST_PATH_IMAGE055
。
步骤S1：
Figure DEST_PATH_IMAGE056
计算
Figure DEST_PATH_IMAGE057
。
步骤S2：P 0 、P 1 运行发明1.1中，在加法秘密共享的情况下计算秘密数值的正负性的协议，具体地，
输入值为：参与者
Figure DEST_PATH_IMAGE058
，
得到
Figure DEST_PATH_IMAGE059
。
快速隐私保护的深度学习：
步骤T1：数据拥有者、模型提供方、可信第三方数据分发：数据拥有者将输入图片Image
加法共享给
Figure DEST_PATH_IMAGE060
。同样地，模型提供方将深度学习的模型参数共享给云服务器P 0 、P 1 。可信第三方分发足够的乘法三元组和比较二元组。
步骤T2：云服务器计算卷积层、最大值池化层、激活函数（ReLU函数）。
步骤T3：云服务器P 0 、P 1 计算全连接层并将分类结果秘密地发送给模型提供方。
步骤T4：模型提供方收到被共享状态的分类结果后相加得到深度神经网络的分类预测结果。
其中，所述步骤T1还包括：
步骤T1.1：数据拥有者将输入图像Image加法共享给
Figure 834464DEST_PATH_IMAGE060
。
步骤T1.2：模型提供方将深度学习的模型参数共享给云服务器P 0 、P 1 。
步骤T1.3：可信第三方分发足够的乘法三元组(a,b,c)和比较二元组(u,q)。
由于深度学习具有多样的架构，这些架构基本上是由卷积层、最大值池化层、激活函数及其变体模块搭建而成，本发明设计了这些模块的隐私保护计算方法，所述步骤T2还包括：
T2.1云服务器计算卷积层：基于img2col算法和加法共享状态下的矩阵乘法协议，云服务器P 0 、P 1 使用各自拥有的特征图和卷积核秘密值计算卷积层。
T2.2云服务器计算最大值池化层：基于发明1.2，云服务器P 0 、P 1 计算最大值池化层。
T2.3云服务器计算ReLU函数：基于发明1.1，云服务器P 0 、P 1 计算ReLU函数。
其中，所述步骤T2.1云服务器计算卷积层的目的是计算
Figure DEST_PATH_IMAGE061
，其中F是特征图，W是卷积核，b是偏置，其包括以下步骤：
步骤T2.1.1：使用img2col算法将卷积运算变为两个二维矩阵之间的乘法，即将F转换格式为
Figure DEST_PATH_IMAGE062
，将W转换格式为
Figure DEST_PATH_IMAGE063
。转换过程略，详见参考文献[1]。
步骤T2.1.2：使用加法共享态下的矩阵乘法协议计算
Figure DEST_PATH_IMAGE064
。
步骤T2.1.3：改变
Figure DEST_PATH_IMAGE065
的数组形状，得到计算结果
Figure 545675DEST_PATH_IMAGE066
并更新特征图
Figure DEST_PATH_IMAGE067
。
T2.2云服务器计算最大值池化层：
T2.2.1：云服务器使用n*n-1次最大值协议计算大小为n*n的子矩阵所有元素的数值最大值，n为大于1的自然数；
T2.2.2：云服务器更新特征图。
以2×2最大值池化层为例，记最大值池化层的目的是计算
Figure DEST_PATH_IMAGE068
，其中F是特征图，为了说明简便，F取2×2的矩阵。
记
Figure DEST_PATH_IMAGE069
云服务器P 0 、P 1 使用发明1.2在加法秘密共享的情况下比较两个被共享的数的大小。P 0 、P 1 先比较F 00 与F 01 的大小，P 0 计算
Figure DEST_PATH_IMAGE070
；P 1 计算
Figure DEST_PATH_IMAGE071
。
P 0 、P 1 使用发明1.1：在加法秘密共享的情况下计算秘密数值的正负性协议计算得到
Figure DEST_PATH_IMAGE072
。
P 0 、P 1 使用加法共享状态下的乘法协议计算
Figure DEST_PATH_IMAGE073
接着，P 0 、P 1 比较
Figure DEST_PATH_IMAGE074
与
Figure DEST_PATH_IMAGE075
的大小。
P 0 、P 1 计算得到
Figure DEST_PATH_IMAGE076
Figure DEST_PATH_IMAGE077
然后，P 0 、P 1 比较
Figure DEST_PATH_IMAGE078
与
Figure DEST_PATH_IMAGE079
的大小。
P 0 、P 1 计算得到
Figure DEST_PATH_IMAGE080
Figure DEST_PATH_IMAGE081
。
P 0 、P 1 得到经过池化层运算后的特征图
Figure DEST_PATH_IMAGE082
。
最后，更新特征图
Figure DEST_PATH_IMAGE083
。
T2.3云服务器计算ReLU函数：
Figure DEST_PATH_IMAGE084
记激活函数层的目的是计算
Figure DEST_PATH_IMAGE085
，其中F是特征图。
步骤T2.3.1：云服务器P 0 、P 1 使用发明1.1在加法秘密共享的情况下计算矩阵F中每个元素
Figure DEST_PATH_IMAGE086
的正负性。得到
Figure DEST_PATH_IMAGE087
，则：
Figure DEST_PATH_IMAGE088
对每一个元素
Figure 639857DEST_PATH_IMAGE086
计算
Figure DEST_PATH_IMAGE089
得到
Figure DEST_PATH_IMAGE090
。
步骤T2.3.2：更新特征图
Figure DEST_PATH_IMAGE091
。
所述步骤T3还包括：
步骤T3.1：计算全连接层：记全连接层的目的是计算
Figure DEST_PATH_IMAGE092
Figure DEST_PATH_IMAGE093
，其中F是特征图，C是全连接层权重，b c 是偏置。将<F>拉直变为行数为1的二维矩阵
Figure DEST_PATH_IMAGE094
。云服务器P 0 、P 1 使用加法共享状态下的矩阵乘法协议计算
Figure DEST_PATH_IMAGE095
。
步骤T3.2：云服务器P 0 、P 1 分别将各自持有的共享状态下的预测结果向量
Figure DEST_PATH_IMAGE096
秘密地发送给模型提供方。
所述步骤T4还包括：
步骤T4.1：模型提供方收到被共享状态的预测结果向量后直接相加还原真实分类结果：
Figure DEST_PATH_IMAGE097
步骤T4.2：得到预测结果后将结果返还给数据拥有者。
本发明所述的一种高效隐私保护的深度学习方法，数据拥有者与模型提供方将自己拥有的信息秘密共享给两个可信的云服务器，由云服务器代理计算，相较于现在正在使用的安全多方计算和全同态加密实现隐私、安全的深度学习预测方法，本发明没有使用非对称公钥加密体系，整个计算过程在实数域上完成，有极大的效率优势，同时保护了模型提供方的模型的安全性和数据拥有者输入数据的安全性。
附图说明
图1为本发明的的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
如图1所示，一种高效隐私保护的深度学习方法，计算方为云服务器P0和云服务器P1，模型提供方位AI科技公司，根据流程步骤进行如下操作：
一、在加法秘密共享的情况下计算秘密数值的正负号,步骤如下：
1、系统初始化：P 0 拥有
Figure DEST_PATH_IMAGE098
。P 1 拥有
Figure DEST_PATH_IMAGE099
。可信第三方随机生成比较二元组
Figure DEST_PATH_IMAGE100
。分发二元组时，分配给
Figure DEST_PATH_IMAGE101
，
Figure DEST_PATH_IMAGE102
。
2、盲化变量值，P 0 和P 1 使用加法共享状态下的乘法协议获得
Figure DEST_PATH_IMAGE103
。
可信第三方随机生成乘法三元组
Figure DEST_PATH_IMAGE104
。分发三元组时，可信第三方分发给
Figure DEST_PATH_IMAGE105
，
Figure DEST_PATH_IMAGE106
。
P 0 计算
Figure DEST_PATH_IMAGE107
，
Figure DEST_PATH_IMAGE108
。
P 0 计算
Figure DEST_PATH_IMAGE109
，
Figure DEST_PATH_IMAGE110
。
P 0 、P 1 相互传递
Figure DEST_PATH_IMAGE111
、
Figure DEST_PATH_IMAGE112
。
P 0 、P 1 计算
Figure DEST_PATH_IMAGE113
，
Figure DEST_PATH_IMAGE114
。
P 0 计算
Figure DEST_PATH_IMAGE115
。
P 1 计算
Figure DEST_PATH_IMAGE116
。
P 0 、P 1 相互传递
Figure DEST_PATH_IMAGE117
。P 0 、P 1 计算
Figure DEST_PATH_IMAGE118
。
3、P 0 计算
Figure DEST_PATH_IMAGE119
。
P 1 计算
Figure DEST_PATH_IMAGE120
。
4、P 0 、P 1 使用加法共享状态下的乘法协议计算
Figure DEST_PATH_IMAGE121
。具体地，协议输入为
Figure DEST_PATH_IMAGE122
。协议结束后，P 0 获得
Figure DEST_PATH_IMAGE123
，P 1 获得
Figure DEST_PATH_IMAGE124
。
二、在加法秘密共享的情况下比较两个被共享的数的大小：
协议目的：计算
Figure DEST_PATH_IMAGE125
。
协议输入：参与者
Figure DEST_PATH_IMAGE126
。
1、系统初始化：P 0 拥有
Figure DEST_PATH_IMAGE127
，
P 1 拥有
Figure DEST_PATH_IMAGE128
。
2、 P 0 计算
Figure DEST_PATH_IMAGE129
，
P 1 计算
Figure DEST_PATH_IMAGE130
。
P 0 、P 1 运行发明1.1中，在加法秘密共享的情况下计算秘密数值的正负性的协议，具体地，输入值为：参与者
Figure DEST_PATH_IMAGE131
，得到
Figure DEST_PATH_IMAGE132
。
三、快速隐私保护的深度学习
1、系统初始化：为了说明简便，假设输入图像Image是一个4×4×1的矩阵F。模型提供方拥有的卷积核包含3×3×1的权重矩阵W和偏置b。
Figure DEST_PATH_IMAGE133
数据拥有者将Image共享给P 0 、P 1 ：
Figure DEST_PATH_IMAGE134
模型提供方将卷积核共享给P 0 、P 1 ：
Figure DEST_PATH_IMAGE135
为了说明简便，假设模型提供方提供的技术仅能够分辨输入图像的类型，且分类类别只有两种，即类别1和类别2。全连接层矩阵是一个1×2的矩阵C，全连接层的偏置记为b c 。
Figure DEST_PATH_IMAGE136
同样地，模型提供方将全连接层参数共享给P 0 、P 1 ：
Figure DEST_PATH_IMAGE137
。
2、云服务器计算卷积层、最大值池化层、激活函数（ReLU函数）：
云服务器计算卷积层：使用img2col算法将卷积运算变为两个二维矩阵之间的乘法。转换过程略。记卷积运算的目的是计算
Figure DEST_PATH_IMAGE138
，其中F是特征图，W是卷积核，b是偏置。
Figure DEST_PATH_IMAGE139
Figure DEST_PATH_IMAGE140
Figure DEST_PATH_IMAGE141
Figure DEST_PATH_IMAGE142
。
使用加法共享状态下的矩阵乘法协议计算
Figure DEST_PATH_IMAGE143
，
得到结果：
Figure DEST_PATH_IMAGE144
。
改变数组形状，得到：
Figure DEST_PATH_IMAGE145
最后，更新特征图
Figure DEST_PATH_IMAGE146
。
云服务器计算最大值池化层，云服务器使用n*n-1次最大值协议计算大小为n*n的子矩阵所有元素的数值最大值，n为大于1的自然数；云服务器更新特征图。
以2×2池化层为例，要求P 0 、P 1 选择四个附近元素中的最大变量来构造下一个特征图。记最大值池化层的目的是计算
Figure DEST_PATH_IMAGE147
，其中F是特征图。
记
Figure DEST_PATH_IMAGE148
Figure DEST_PATH_IMAGE149
云服务器P 0 、P 1 使用发明1.2在加法秘密共享的情况下比较两个被共享的数的大小。
P 0 、P 1 先比较F 00 与F 01 的大小，
P 0 计算
Figure DEST_PATH_IMAGE150
；
P 1 计算
Figure DEST_PATH_IMAGE151
。
P 0 、P 1 使用在加法秘密共享的情况下计算秘密数值的正负性协议计算得到
Figure DEST_PATH_IMAGE152
，
P 0 、P 1 使用加法共享状态下的乘法协议计算
Figure DEST_PATH_IMAGE153
，
接着，P 0 、P 1 比较
Figure DEST_PATH_IMAGE154
与
Figure DEST_PATH_IMAGE155
的大小。
P 0 、P 1 计算得到
Figure DEST_PATH_IMAGE156
Figure DEST_PATH_IMAGE157
然后，P 0 、P 1 比较
Figure DEST_PATH_IMAGE158
与
Figure DEST_PATH_IMAGE159
的大小。
P 0 、P 1 计算得到
Figure DEST_PATH_IMAGE160
Figure DEST_PATH_IMAGE161
P 0 、P 1 得到经过池化层运算后的特征图
Figure DEST_PATH_IMAGE162
：
Figure DEST_PATH_IMAGE163
，
最后，更新特征图
Figure DEST_PATH_IMAGE164
。
（在实际运行过程中特征图
Figure DEST_PATH_IMAGE165
是一个长宽较大的矩阵，但本例中为了说明方便，一开始的Image是一个4×4×1的矩阵，在经过卷积、池化层后变成1×1×1的矩阵，理解运算过程即可）。
云服务器计算激活函数（ReLU函数）：
Figure DEST_PATH_IMAGE166
记最大值池化层的目的是计算
Figure DEST_PATH_IMAGE167
，其中F是特征图。
云服务器P 0 、P 1 使用发明1.1在加法秘密共享的情况下计算矩阵F中每个元素的正负性。得到
Figure DEST_PATH_IMAGE168
，则：
Figure DEST_PATH_IMAGE169
，
例如：
Figure DEST_PATH_IMAGE170
得到结果：
Figure DEST_PATH_IMAGE171
最后，更新特征图
Figure DEST_PATH_IMAGE172
。
3、云服务器P 0 、P 1 计算全连接层：
记全连接层的目的是计算
Figure DEST_PATH_IMAGE173
，其中F是特征图，C是全连接层权重，b c 是偏置。
将
Figure DEST_PATH_IMAGE174
拉直变为行数为1的二维矩阵
Figure DEST_PATH_IMAGE175
。云服务器P 0 、P 1 使用加法共享状态下的矩阵乘法协议计算
Figure DEST_PATH_IMAGE176
。
得到结果：
Figure DEST_PATH_IMAGE177
，
云服务器
Figure DEST_PATH_IMAGE178
设置预测结果
Figure DEST_PATH_IMAGE179
，
云服务器
Figure 795285DEST_PATH_IMAGE178
将预测结果
Figure DEST_PATH_IMAGE180
发送给模型提供方。
4、模型提供方收到被共享状态的特征图后直接相加还原真实特征图：
Figure DEST_PATH_IMAGE181
，
26>13，模型输出预测结果为类别2。
得到预测结果后将结果返还给数据拥有者。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种高效隐私保护的深度学习方法，其特征在于：包含在加法秘密共享的情况下比较数值大小、和快速隐私保护的深度学习两个部分；
所述的在加法秘密共享的情况下比较数值大小包含以下步骤：
（1）在加法秘密共享的情况下计算秘密数值的正负性；
（2）在加法秘密共享的情况下比较两个被共享的数的大小两个步骤；
所述的步骤（1）包含以下子步骤：
R1：参与者从可信第三方处获取比较二元组；
R2：使用加法共享状态下的元素乘法协议对获取的比较二元组进行盲化变量值处理；
R3：使用盲化后的变量值，计算用来表征变量的正负号的函数的乘法共享；
R4：使用盲化后的变量值，计算用来表征变量的正负号的函数的加法共享；
所述的步骤（2）包含以下子步骤：
S1：计算两个被共享的数的子秘密差值；
S2：服务器运行步骤R4，得到子秘密差值的正负号，即被共享状态的分类结果；
所述的快速隐私保护的深度学习包含以下步骤：
T1：数据拥有者、模型提供方、可信第三方数据分发；
T2：云服务器通过分发共享的数据计算卷积层、最大值池化层、激活函数，获取更新后的卷积层、最大值池化层、激活函数的特征图；
T3：云服务器根据卷积层、最大值池化层、激活函数的特征图计算全连接层并将分类结果秘密地发送给模型提供方；
T4：模型提供方将收到的被共享状态的分类结果相加得到深度神经网络的分类预测结果；
所述步骤T2包含以下子步骤：
T2.1：云服务器计算卷积层，基于img2col算法和在加法共享状态下的矩阵乘法协议，云服务器使用各自拥有的特征图和卷积核秘密值计算卷积层；
T2.2：云服务器计算最大值池化层，基于在加法秘密共享的情况下比较两个被共享的数的大小，云服务器计算最大值池化层；
T2.3：云服务器计算激活函数；基于在加法秘密共享的情况下比较数值大小，云服务器计算激活函数。
2.根据权利要求1所述的一种高效隐私保护的深度学习方法，其特征在于，所述步骤T1中的数据分发包括：数据拥有者将输入图像加法共享给参与者；模型提供方将深度学习的模型参数共享给云服务器；可信第三方分发足够的乘法三元组和比较二元组给参与者。
3.根据权利要求1所述的一种高效隐私保护的深度学习方法，其特征在于：所述步骤T3包含以下子步骤：
T3.1：云服务器使用加法共享状态下的矩阵乘法协议计算全连接层，得到共享状态下的预测结果向量；
T3.2：云服务器分别将各自持有的共享状态下的预测结果向量发送给模型提供方。
4.根据权利要求1所述的一种高效隐私保护的深度学习方法，其特征在于：所述步骤T4包含以下子步骤：
T4.1：模型提供方收到被共享状态的预测结果向量后相加还原真实分类结果；
T4.2：模型提供方将真实分类结果返还给数据拥有者。
5.根据权利要求1所述的一种高效隐私保护的深度学习方法，其特征在于：所述步骤T2.1包含以下子步骤：
T2.1.1：云服务器使用img2col算法将卷积运算变为两个二维矩阵之间的乘法；
T2.1.2：云服务器使用加法共享状态下的矩阵乘法协议计算；
T2.1.3：云服务器改变数组状态，得到计算结果并更新特征图。
6.根据权利要求1所述的一种高效隐私保护的深度学习方法，其特征在于：所述步骤T2.2包含以下子步骤：
T2.2.1：云服务器使用n*n-1次最大值协议计算大小为n*n的子矩阵所有元素的数值最大值，n为大于1的自然数；
T2.2.2：云服务器更新特征图。
7.根据权利要求1所述的一种高效隐私保护的深度学习方法，其特征在于：所述步骤T2.3包含以下子步骤：
T2.3.1：云服务器使用在加法秘密共享的情况下比较数值大小的方法计算
矩阵中每个元素的正负性；
T2.3.2：云服务器更新特征图。
CN202211099367.4A 2022-09-09 2022-09-09 一种高效隐私保护的深度学习方法 Active CN115186831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211099367.4A CN115186831B (zh) 2022-09-09 2022-09-09 一种高效隐私保护的深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211099367.4A CN115186831B (zh) 2022-09-09 2022-09-09 一种高效隐私保护的深度学习方法

Publications (2)

Publication Number Publication Date
CN115186831A CN115186831A (zh) 2022-10-14
CN115186831B true CN115186831B (zh) 2022-12-13

Family

ID=83524334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211099367.4A Active CN115186831B (zh) 2022-09-09 2022-09-09 一种高效隐私保护的深度学习方法

Country Status (1)

Country Link
CN (1) CN115186831B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116388954B (zh) * 2023-02-23 2023-09-01 西安电子科技大学 通用密态数据安全计算方法
CN117454941B (zh) * 2023-12-26 2024-04-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于函数秘密共享的安全二值神经网络推理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190072770A (ko) * 2017-12-18 2019-06-26 경희대학교 산학협력단 강화 학습 기반 암호화 및 복호화 수행 방법 및 이를 수행하는 클라이언트, 서버 시스템
CN111275202A (zh) * 2020-02-20 2020-06-12 济南大学 一种面向数据隐私保护的机器学习预测方法及系统
CN112182649A (zh) * 2020-09-22 2021-01-05 上海海洋大学 一种基于安全两方计算线性回归算法的数据隐私保护系统
CN112395643A (zh) * 2020-11-23 2021-02-23 中国人民大学 一种神经网络的数据隐私保护方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110537191A (zh) * 2017-03-22 2019-12-03 维萨国际服务协会 隐私保护机器学习
CN112883387A (zh) * 2021-01-29 2021-06-01 南京航空航天大学 一种面向机器学习全流程的隐私保护方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190072770A (ko) * 2017-12-18 2019-06-26 경희대학교 산학협력단 강화 학습 기반 암호화 및 복호화 수행 방법 및 이를 수행하는 클라이언트, 서버 시스템
CN111275202A (zh) * 2020-02-20 2020-06-12 济南大学 一种面向数据隐私保护的机器学习预测方法及系统
CN112182649A (zh) * 2020-09-22 2021-01-05 上海海洋大学 一种基于安全两方计算线性回归算法的数据隐私保护系统
CN112395643A (zh) * 2020-11-23 2021-02-23 中国人民大学 一种神经网络的数据隐私保护方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Open-Pub: A Transparent yet Privacy-Preserving Academic Publication System based on Blockchain;Yan Zhou et al.;《2021 International Conference on Computer Communications and Networks (ICCCN)》;20211122;1-11 *
面向分布式支持向量机的隐私保护技术研究;黄子君;《万方》;20220614;1-79 *

Also Published As

Publication number Publication date
CN115186831A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN115186831B (zh) 一种高效隐私保护的深度学习方法
CN112183730B (zh) 一种基于共享学习的神经网络模型的训练方法
CN113688855B (zh) 数据处理方法、联邦学习的训练方法及相关装置、设备
Chabanne et al. Privacy-preserving classification on deep neural network
CN109194507B (zh) 非交互式的保护隐私神经网络预测方法
Lee et al. Digestive neural networks: A novel defense strategy against inference attacks in federated learning
CN109685819A (zh) 一种基于特征增强的三维医学图像分割方法
CN112862001A (zh) 一种隐私保护下的去中心化数据建模方法
CN111104968B (zh) 一种基于区块链的安全svm训练方法
CN110660020A (zh) 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN115660050A (zh) 一种高效隐私保护的鲁棒联邦学习方法
Zheng et al. Industrial scale privacy preserving deep neural network
Bi et al. Achieving lightweight and privacy-preserving object detection for connected autonomous vehicles
Bi et al. Edge-cooperative privacy-preserving object detection over random point cloud shares for connected autonomous vehicles
CN115842627A (zh) 基于安全多方计算的决策树评估方法、装置、设备及介质
Liu et al. 2d gans meet unsupervised single-view 3d reconstruction
Hassan et al. Secure image classification with deep neural networks for IoT applications
Cao et al. Multiparty secure broad learning system for privacy preserving
CN114118368A (zh) 基于Shamir安全多方计算的隐私保护多方强化学习系统及方法
CN110807484A (zh) 基于隐私保护vgg的密态图像识别方法及系统
CN110991462B (zh) 基于隐私保护cnn的密态图像识别方法及系统
Deng et al. Non-interactive and privacy-preserving neural network learning using functional encryption
Reina Molina et al. Cell complexes and membrane computing for thinning 2D and 3D images
CN116091891A (zh) 图像识别方法及系统
CN115130568A (zh) 支持多参与方的纵向联邦Softmax回归方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant