CN110457951B - 一种无人工噪声的深度学习模型保护方法 - Google Patents
一种无人工噪声的深度学习模型保护方法 Download PDFInfo
- Publication number
- CN110457951B CN110457951B CN201910767566.XA CN201910767566A CN110457951B CN 110457951 B CN110457951 B CN 110457951B CN 201910767566 A CN201910767566 A CN 201910767566A CN 110457951 B CN110457951 B CN 110457951B
- Authority
- CN
- China
- Prior art keywords
- neural network
- parameter
- parameters
- model
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种无人工噪声的深度学习模型保护方法,包括步骤1,接收用户查询请求后,获取所需的经过训练的神经网络模型参数П、Θ,用户神经网络模型参数使用集合П={π1,π2,π3,…,πM}表示,其中πi表示第i次训练相同神经网络所得的模型集;Θ表示神经网络经过迭代训练不同层数上所有参数的集合;步2,通过核密度估计法处理输入的参量数据Θ,得到参量的概率分布函数;步骤3,通过得分函数p(u,v)处理各个参量θ(u,v)的取值分值,所得的总分值大小P,表明取值可能性的大小;步骤4,返回取值可能性最大时的参量数值,所述参量数值即为用户查询请求的结果。本发明使请求模型参数的用户无法根据返回结果获取隐私数据,从而起到用户隐私保护的作用。
Description
技术领域
本发明涉及一种无人工噪声的深度学习模型保护方法,属于神经网络隐私安全技术领域。
背景技术
近年来,随着深度神经网络不断研究发展,神经网络被广泛应用于各个领域,许多机器学习服务通过发布神经网络模型为客户提供神经网络应用,而发布模型时对用户隐私数据的保护成为机器学习领域的研究热点之一。
隐私保护方案主要分为三种:对抗性训练、安全计算、差分隐私训练。
对抗性训练将任务模型与对抗模型同时用于训练神经网络,使得网络模型有效地防止数据泄露,但是它不能防止未知的数据攻击方式。安全计算方法使用密码学工具进行数据处理,巨大的计算量导致其实用性较差。目前主流的隐私保护方案使用差分隐私机制,将数据集附加额外的人工噪声,使得攻击者无法根据相邻数据集返回的结果获得个人隐私数据。但是由于噪声的存在,损失了一定程度的神经网络性能以及结果准确性。
因此,需要针对深度学习模型发布,设计一种可行性高、结果可靠、安全的神经网络隐私保护机制。
发明内容
发明目的:针对现有技术中存在的神经网络性能和用户隐私保护之间不平衡的问题与不足,本发明提供一种无需附加人工噪声的深度学习模型保护方法,本方法具有较小的用户隐私泄露可能性以及较好的神经网络性能。
技术方案:一种无人工噪声的深度学习模型保护方法,其特征在于,包括以下步骤:
步骤1,接收用户查询请求后,获取所需的经过训练的神经网络模型参数П、Θ,用户神经网络模型参数使用集合П={π1,π2,π3,…,πM}表示,其中πi表示第i次训练相同神经网络所得的模型集;Θ表示神经网络经过迭代训练不同层数上所有参数的集合;
步骤2,通过核密度估计法处理输入的参量数据Θ,得到参量的概率分布函数;
步骤3,通过得分函数p(u,v)处理各个参量θ(u,v)的取值分值,所得的总分值大小P,表明取值可能性的大小;
步骤4,返回取值可能性最大时的参量数值,所述参量数值即为用户查询请求的结果。
本发明进一步限定的技术方案为:在步骤1中,用户查询神经网络参数模型参数包括查询模型最终参数和非交互式查询中间生成参数两种类型;
当查询模型最终参数时,返回当迭代次数t=T时神经网络的模型参数;
当查询中间生成参数时,用户可查询迭代次数t∈[1,T]中的任意一种或多种,设置用户的查询序列为y={y1,y2,…,yQ},yi=(u,v,l,t),表示Q次查询。
本发明进一步限定的技术方案为:当用户发送查询模型最终参数请求时,具体包括以下步骤:
步骤201,输入神经网络的模型集合П,参量数据集合Θ,以及得分函数p。u,v,l初始值均设置为1;
步骤203,根据得分函数p(u,v),计算最大得到分值时,返回所取的参量θ′(u,v);
步骤204,将θ′(u,v)添加到集合θgen中,表示生成过程的结果;
步骤205,若1≤u≤W,1≤v≤H,重复步骤202至204;
步骤206,若1≤l≤L,重复步骤202至205;
步骤207,返回结果θgen;
步骤208,过程结束。
本发明进一步限定的技术方案为:当用户发送查询中间生成参数请求时,具体包括以下步骤:
步骤301,输入神经网络的模型集П,参量集合Θ,得分函数p,查询序列y,设置i=1;
步骤302,u,v,l,t值均设置为yi对应参数值;
步骤303,计算最大子序列NTI((u,v,l,t)),若小于等于e,跳转至步骤304,否则跳转至步骤307;
步骤308,i增加1,若1≤i≤Q,跳转至步骤302;
步骤310,过程结束。
本发明进一步限定的技术方案为:在步骤303中,所述计算最大子序列函数NTI((u,v,l,t)),表示计算第i次查询序列时,所需之前中间变量结果的个数。
本发明进一步限定的技术方案为:所述核密度估计的计算公式为:
其中,b是估计量的平滑参数,φ是正态概率密度函数,M是训练相同神经网络所得模型集的总数;
本发明进一步限定的技术方案为:所述得分函数的计算公式为:
所述神经网络模型的总分值计算公式为:
有益效果:与现有技术相比,本发明所提供的一种无人工噪声的深度学习模型保护方法,基于简单统计法与差分隐私机制,通过概率分布与得分统计的方法,使请求模型参数的用户无法根据返回结果获取隐私数据,从而起到用户隐私保护的作用。本发明方法无需附加人工噪声即可实现用户隐私的保护,在保证神经网络训练准确性较高的前提下保证了足够小的隐私预算,是一种安全性和实用性都很高的深度神经网络模型保护方案,具有广泛的应用前景。
附图说明
图1为实施例1所述深度学习模型发布方案查询模型最终参数流程示意图。
图2为实施例1所述深度学习模型发布方案查询模型中间参数流程示意图。
图3为本发明实施例1所述深度学习模型发布方案功能结构示意图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明。
本发明实施例公开了一种无附加噪声的隐私保护的深度神经网络模型发布方法,本方法是基于简单统计法与差分隐私机制实现用户隐私的保护。通过概率分布与得分统计的方法,使请求模型参数的用户无法根据返回结果获取隐私数据,从而起到用户隐私保护的作用。
当接收到用户查询请求后,方案将查询过程分成两部分:统计过程、生成过程。所述统计过程使用核密度估计法(KDE),这是一种简单的经典统计方法,用于分布未知的参数估计。本方案通过核密度估计得到神经网络模型参数的分布函数,所得分布函数再经过生成过程处理。所述生成过程是一种基于指数机制的隐私参数生成过程,通过指数机制返回可能性最大时的参量数值,所得参量数值即是用户查询请求的结果。
由于神经网络的层级结构,所述神经网络模型参量使用集合表示。
П={π1,π2,π3,…,πM}中πi表示第i次训练相同神经网络所得的模型集。Θ表示神经网络经过迭代训练,不同层数上所有参数的集合,如表示训练中第t次迭代时第l层上位于(u,v)处的参数集合。使用所述的核密度估计法,处理输入的参量数据Θ,得到参量的分布。为了衡量参量取值的可能性,使用一种得分函数p(u,v)处理各个参量θ(u,v),所得的总分值大小P,表明取值可能性的大小。
用户查询神经网络模型参数可分为仅查询模型最终参数和非交互式查询中间生成参数两种类型。对于查询最终结果,需返回当迭代次数t=T时神经网络的模型参数。对于查询中间生成参数,用户可查询迭代次数t∈[1,T]中的任意一种或多种。两种类型需分别设计不同的算法,在保护隐私数据的前提下向用户发布模型参数。
当查询模型最终参数时,返回当迭代次数t=T时神经网络的模型参数;
当查询中间生成参数时,用户可查询迭代次数t∈[1,T]中的任意一种或多种,设置用户的查询序列为y={y1,y2,…,yQ},yi=(u,v,l,t),表示Q次查询。
如图1所示查询模型最终参数,当系统接收到用户请求后,系统首先需要从数据库中获取所请求的神经网络模型参数。使用图1所示的程序算法处理神经网络模型参数,所得结果返回给用户。
如图2所示查询模型中间参数,当系统接收到用户请求后,系统首先需要获取神经网络训练过程中间参数。使用图2所示的程序算法处理神经网络模型参数,所得结果返回给用户。结合实际应用,具体流程描述如下:
步骤101,训练神经网络,在数据库中存储参数;
步骤102,接收到用户查询请求,在数据库中查询对应类型神经网络参数;若不存在该类型神经网络,报错;
步骤103,若用户查询神经网络模型最终参数,跳转至步骤201;若用户查询中间参数,跳转至步骤301;
步骤201,输入神经网络的模型集П,参量集合Θ,以及得分函数p。u,v,l初始值均设置为1;
其中,b是估计量的平滑参数,φ是正态概率密度函数,M是训练相同神经网络所得模型集的总数;
步骤203,根据得分函数p(u,v),计算最大得到分值时,返回所取的参量θ′(u,v);所述得分函数的计算公式为:
步骤204,将θ′(u,v)添加到集合θgen中,表示生成过程的结果;
步骤205,若1≤u≤W,1≤v≤H,重复步骤202至204;
步骤206,若1≤l≤L,重复步骤202至205;
步骤207,返回结果θgen;
步骤208,过程结束。
步骤301,输入神经网络的模型集П,参量集合Θ,得分函数p,查询序列y,设置i=1;
步骤302,u,v,l,t值均设置为yi对应参数值;
步骤303,计算最大子序列NTI((u,v,l,t)),若小于等于e,跳转至步骤304,否则跳转至步骤307;所述计算最大子序列函数NTI((u,v,l,t))表示计算第i次查询序列时,所需之前中间变量结果的个数。例如,若需要中间变量则NTI((u,v,l,t))=3。
其中,b是估计量的平滑参数,φ是正态概率密度函数,M是训练相同神经网络所得模型集的总数。
因此,神经网络模型的总分值计算公式为:
步骤308,i增加1,若1≤i≤Q,跳转至步骤302;
步骤310,过程结束。
本发明所述方法中,根据训练得到的模型参数Θ,经过统计方法与差分隐私机制,计算得到集合θgen或即是用户查询的模型结果。生成结果采用核密度估计与得分函数的方法,无需附加人工噪声。通过概率分布与得分统计的方法,使请求模型参数的用户无法根据返回结果获取隐私数据,从而起到用户隐私保护的作用。
如图3所示,当用户向机器学习服务请求神经网络模型参数后,机器学习服务从数据库中获取所需的经过训练的神经网络模型参数П、Θ。通过核密度估计方法,得到参数的概率分布,再根据概率分布使用得分函数对参量取值的分值进行统计,得出各个参量数值所对应的分值大小,机器学习服务将返回最大分值的参量数值作为模型参数。本方案中,生成结果采用核密度估计与得分函数的方法,无需附加人工噪声。通过概率分布与得分统计的方法,使请求模型参数的用户无法根据返回结果获取隐私数据,从而起到用户隐私保护的作用。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。
Claims (7)
1.一种无人工噪声的深度学习模型保护方法,其特征在于,包括以下步骤:
步骤1,接收用户查询请求后,获取所需的经过训练的神经网络模型参数Π、Θ,用户神经网络模型参数使用集合Π={π1,π2,π3,…,πM}表示,其中πi表示第i次训练相同神经网络所得的模型集;Θ表示神经网络经过迭代训练不同层数上所有参数的集合;M是训练相同神经网络所得模型集的总数;用户查询神经网络参数模型参数包括查询模型最终参数和非交互式查询中间生成参数两种类型;
当查询模型最终参数时,返回当迭代次数t=T时神经网络的模型参数;
当查询中间生成参数时,用户可查询迭代次数t∈[1,T]中的任意一种或多种,设置用户的查询序列为y={y1,y2,…,yQ},yi=(u,v,l,t),表示Q次查询,u,v分别表示神经网络模型的两个层坐标,l表示神经网络模型的层数;
步骤2,通过核密度估计法处理输入的参量数据Θ,得到参量的概率分布函数;
步骤3,通过得分函数p(u,v)处理各个参量θ(u,v)的取值分值,所得的总分值大小P,表明取值可能性的大小;所述得分函数的计算公式为:
步骤4,返回取值可能性最大时的参量数值,所述参量数值即为用户查询请求的结果。
2.根据权利要求1所述的无人工噪声的深度学习模型保护方法,其特征在于:当用户发送查询模型最终参数请求时,具体包括以下步骤:
步骤201,输入神经网络的模型集合∏,参量数据集合Θ,以及得分函数p,u,v,l初始值均设置为1;
步骤203,根据得分函数p(u,v),计算最大得到分值时,返回所取的参量θ′(u,v);
步骤204,将θ′(u,v)添加到集合θgen中,表示生成过程的结果;
步骤205,若1≤u≤W,1≤v≤H,W,H分别是神经网络模型两个层坐标的最大值;重复步骤202至204;
步骤206,若1≤l≤L,L是神经网络模型的总层数,重复步骤202至205;
步骤207,返回结果θgen;
步骤208,过程结束。
3.根据权利要求1所述的无人工噪声的深度学习模型保护方法,其特征在于:当用户发送查询中间生成参数请求时,具体包括以下步骤:
步骤301,输入神经网络的模型集Π,参量集合Θ,得分函数p,查询序列y,设置i=1;
步骤302,u,v,l,t值均设置为yi对应参数值;
步骤303,计算最大子序列NTI((u,v,l,t)),若小于等于e,e是预先设定的隐私参数,跳转至步骤304,否则跳转至步骤307;
步骤308,i增加1,若1≤i≤Q,跳转至步骤302;
步骤310,过程结束。
4.根据权利要求3所述的无人工噪声的深度学习模型保护方法,其特征在于:在步骤303中,所述计算最大子序列函数NTI((u,v,l,t)),表示计算第i次查询序列时,所需之前中间变量结果的个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910767566.XA CN110457951B (zh) | 2019-08-19 | 2019-08-19 | 一种无人工噪声的深度学习模型保护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910767566.XA CN110457951B (zh) | 2019-08-19 | 2019-08-19 | 一种无人工噪声的深度学习模型保护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110457951A CN110457951A (zh) | 2019-11-15 |
CN110457951B true CN110457951B (zh) | 2021-04-16 |
Family
ID=68487924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910767566.XA Active CN110457951B (zh) | 2019-08-19 | 2019-08-19 | 一种无人工噪声的深度学习模型保护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110457951B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241554B (zh) * | 2020-10-30 | 2024-04-30 | 浙江工业大学 | 基于差分隐私指数机制的模型窃取防御方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629193A (zh) * | 2018-04-26 | 2018-10-09 | 成都大象分形智能科技有限公司 | 一种针对人工神经网络模型的加密保护系统及方法 |
CN109040091A (zh) * | 2018-08-17 | 2018-12-18 | 中科物栖(北京)科技有限责任公司 | 深度神经网络模型的加密方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017043680A1 (ko) * | 2015-09-11 | 2017-03-16 | 주식회사 루닛 | 의료 데이터의 개인 정보 보호를 위한 인공 신경망의 분산 학습 시스템 및 방법 |
CN108520181B (zh) * | 2018-03-26 | 2022-04-22 | 联想(北京)有限公司 | 数据模型训练方法和装置 |
CN108830092B (zh) * | 2018-05-29 | 2020-04-24 | 成都大象分形智能科技有限公司 | 涉及数据随机加密的神经网络模型加密保护系统及方法 |
CN108898028B (zh) * | 2018-07-06 | 2020-07-03 | 成都大象分形智能科技有限公司 | 涉及迭代与随机加密的神经网络模型加密保护系统及方法 |
-
2019
- 2019-08-19 CN CN201910767566.XA patent/CN110457951B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629193A (zh) * | 2018-04-26 | 2018-10-09 | 成都大象分形智能科技有限公司 | 一种针对人工神经网络模型的加密保护系统及方法 |
CN109040091A (zh) * | 2018-08-17 | 2018-12-18 | 中科物栖(北京)科技有限责任公司 | 深度神经网络模型的加密方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110457951A (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gursoy et al. | Differentially private and utility preserving publication of trajectory data | |
Jarecki et al. | Outsourced symmetric private information retrieval | |
WO2022099495A1 (zh) | 云计算环境中的密文搜索方法及系统、设备 | |
Wang et al. | Searchable encryption over feature-rich data | |
Ma et al. | A highly accurate prediction algorithm for unknown web service QoS values | |
Zhang et al. | SE-PPFM: A searchable encryption scheme supporting privacy-preserving fuzzy multikeyword in cloud systems | |
Yeung et al. | Improving performance of similarity-based clustering by feature weight learning | |
Chen et al. | Authenticating top-k queries in location-based services with confidentiality | |
Chen et al. | Measuring query privacy in location-based services | |
Yang et al. | Location privacy preservation mechanism for location-based service with incomplete location data | |
CN105843829B (zh) | 一种基于分层模型的大数据可信性度量方法 | |
CN110348238B (zh) | 一种面向应用的隐私保护分级方法及装置 | |
Liu et al. | Blockchain-based task offloading for edge computing on low-quality data via distributed learning in the internet of energy | |
CN108768639B (zh) | 一种公钥保序加密方法 | |
CN112332979A (zh) | 云计算环境中的密文搜索方法及系统、设备 | |
Satyanarayana | Intelligent sampling for big data using bootstrap sampling and chebyshev inequality | |
Dai et al. | An efficient and dynamic semantic-aware multikeyword ranked search scheme over encrypted cloud data | |
CN110457951B (zh) | 一种无人工噪声的深度学习模型保护方法 | |
CN109740383B (zh) | 一种面向雾计算医疗系统的隐私保护控制方法 | |
CN111967046B (zh) | 一种面向大数据资源的自适应访问控制方法 | |
Guo et al. | LuxGeo: Efficient and Security-Enhanced Geometric Range Queries | |
Guo et al. | Secure similarity search over encrypted non-uniform datasets | |
He et al. | FMSM: A fuzzy multi-keyword search scheme for encrypted cloud data based on multi-chain network | |
da Silva et al. | Inference in distributed data clustering | |
Cho et al. | Privacy-preserving similarity measurement for access control policies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |