CN112528299B - 一种工业应用场景下的深度神经网络模型安全保护方法 - Google Patents
一种工业应用场景下的深度神经网络模型安全保护方法 Download PDFInfo
- Publication number
- CN112528299B CN112528299B CN202011411194.6A CN202011411194A CN112528299B CN 112528299 B CN112528299 B CN 112528299B CN 202011411194 A CN202011411194 A CN 202011411194A CN 112528299 B CN112528299 B CN 112528299B
- Authority
- CN
- China
- Prior art keywords
- layer
- dnn
- dnn model
- service
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种工业应用场景下的深度神经网络模型安全保护方法,包括以下步骤:S1、安全需求分析;S2、安全服务设计;S3、层感知安全服务分配:在DNN模型运行之前,在不违背实时约束的条件下,为DNN模型的每一层都分配合适的机密性保护服务和完整性保护服务;S4、运行时调度。本发明使用对称加密算法为DNN模型提供参数机密性保护,使用HMAC算法为DNN模型提供参数完整性保护,能够有效地防止DNN模型信息的泄露。集成了层感知安全服务分配算法和运行时调度策略,系统能够以极低的计算开销为DNN模型的每一层分配最合适的安全服务,运行时调度策略使得DNN模型的运行和安全服务能够并行执行,从而在最大程度上降低了整体的时间开销。
Description
技术领域
本发明主要涉及一种神经网络模型安全保护方法,特别涉及一种工业应用场景下的深度神经网络模型安全保护方法。
背景技术
随着机器学习,特别是深度神经网络技术的发展,深度神经网络(DNN)已经越来越多与工业物理信息系统(CPS)相结合。但工业应用环境中存在许多的安全威胁,一些安全威胁会造成严重的生命和财产上的损失,例如模型参数的泄露导致的知识产权损害和因模型参数篡改而导致的系统输出错误。这些安全问题极大地阻碍了基于DNN的工业CPS的部署和应用。
在DNN模型攻击方面,Liu等人提出了一种基于故障注入技术的DNN攻击方法,通过篡改DNN模型的参数,使得DNN模型的结果发生错误;在DNN的保护措施方面,Cai等人提出一种基于快速稀疏梯度的DNN模型加密方法,通过这种加密方法,保证DNN模型未执行的层的参数始终处于密文状态,使得攻击者无法直接通过窃取DNN参数获取DNN模型的隐私信息。Xie等人提出将贝叶斯网络与同态加密相结合的DNN安全推理架构,为数据和用户信息提供高效的隐私保护。
发明内容
本发明的目的在于克服现有技术的不足,提供一种使用对称加密算法为DNN模型提供参数机密性保护,使用HMAC算法为DNN模型提供参数完整性保护,能够有效地防止DNN模型信息的泄露的工业应用场景下的深度神经网络模型安全保护方法。
本发明的目的是通过以下技术方案来实现的:一种工业应用场景下的深度神经网络模型安全保护方法,包括以下步骤:
S1、安全需求分析;
S2、安全服务设计;
S3、层感知安全服务分配:在DNN模型运行之前,在不违背实时约束的条件下,为DNN模型的每一层都分配合适的机密性保护服务和完整性保护服务;
S4、运行时调度。
进一步地,所述步骤S1具体实现方法为:基于DNN的工业CPS具有两类安全需求:机密性保护需求和完整性保护需求;用户在部署DNN之前,首先向系统提供一个用于描述机密性保护需求的权重α和一个描述完整性保护需求的权重β;两个权重之和被限定为1;结合DNN每一层的参数信息,在DNN模型部署之前,根据安全需求,为模型的每一层都设置需要加密的参数数量和需要计算校验的参数数量;根据部署环境的具体情况和层的特性,为模型的每一层确定一个绝对安全级别。
进一步地,所述步骤S2具体实现方法为:
S23、测试并记录不同安全级别的安全服务的运行时间。
进一步地,所述步骤S3具体实现方法为:
S31、使用一个数据结构τi记录DNN模型每一层的安全信息:
其中ξi表示DNN的第i层使用的机密性保护服务的安全级别,εi表示DNN的第i层使用的完整性保护服务的安全级别;
S32、根据τi计算DNN模型每一层的安全质量QualSec(τi):
si=α*ξi+β*εi
QualSec(τi)=1-Probinsecure(τi)
根据计算所得的DNN模型层的安全质量,计算系统的整体安全质量QualSecDNN:
S33、根据系统的相关实时约束和计算得到的系统整体安全质量,建模具有实时约束的安全质量最大化的问题:
R为系统的相应时间,Deadline为系统截止日期,实时约束为:
R≤Deadline;
S34、定义安全质量求解的动态规划的递归表达式:
其中R(i,RL)表示DNN第i层在风险为RL时的响应时间,表示DNN第i层选择第J种机密性保护服务和第K种完整性保护服务时的第i层风险值,Ei为DNN第i层的运行时间。根据递归表达式,将安全质量最大化的解定义为:
根据近似算法的近似因子δ,计算缩放因子Δ:
进一步地,所述步骤S4具体实现方法为:
S41、根据安全服务分配方式,为DNN模型的每一层分配相应的机密性保护服务和完整性保护服务;
S42、根据机密性保护服务,生成密钥,加密参数,将加密后的参数存储在安全存储区;
S43、根据完整性保护服务,为DNN模型的每一层都计算数据校验和,并将校验和存储在安全存储区;
S44、从安全存储区中取出DNN模型的第一层参数,在CPU上执行机密性保护服务的解密操作,将参数还原,再执行完整性保护服务,计算校验和并与原始校验和比较,当比较结果相同时,将参数送入GPU中进行运算;
S45、在GPU进行DNN模型当前层的运算时,CPU执行DNN模型下一层的解密和校验操作,等待GPU空闲后,执行DNN模型下一层的运算操作;重复执行步骤S45直到DNN模型运算完毕;
S46、输出DNN模型的运算结果。
本发明的有益效果是:
1、安全保护范围全面。系统使用对称加密算法为DNN模型提供参数机密性保护,使用HMAC算法为DNN模型提供参数完整性保护。攻击者采取的故障注入攻击能够被参数完整性保护服务所检测,参数机密性保护能够有效地防止DNN模型信息的泄露。简而言之,用户通过部署安全服务能够全面的保护部署在工业CPS中的DNN模型。
2、具有较高的实时性。由于保护框架集成了层感知安全服务分配算法和运行时调度策略,系统能够以极低的计算开销为DNN模型的每一层分配最合适的安全服务,运行时调度策略使得DNN模型的运行和安全服务能够并行执行,从而在最大程度上降低了整体的时间开销,从而确保了系统的实时性。
附图说明
图1为是本发明的总体安全框架设计图;
图2是本发明的安全需求分析流程图;
图3是本发明的安全服务设计流程图;
图4是本发明的层感知分配算法流程图;
图5是本发明的运行时调度流程图。
具体实施方式
与现有的模型保护方法不同,本发明考虑在工业CPS场景下,DNN的参数受到机密性和完整性攻击而导致的模型隐私泄露和模型功能出错的问题,提出了一种全新的层感知的DNN模型保护方法。本发明通过分析加密算法和数据校验算法的功能和安全性,设计具有不同安全级别的安全服务,结合相关的实时约束条件,对DNN模型进行分析,为DNN模型的每一层分配最合适的机密性保护服务和完整性保护服务,从而在满足实时约束的条件最大化DNN模型的安全级别。下面结合附图进一步说明本发明的技术方案。
如图1所示,本发明的一种工业应用场景下的深度神经网络模型安全保护方法,包括以下步骤:
S1、安全需求分析;基于DNN的工业CPS具有两类安全需求:机密性保护需求和完整性保护需求;用户在部署DNN之前,首先向系统提供一个用于描述机密性保护需求的权重α和一个描述完整性保护需求的权重β;两个权重之和被限定为1,以将综合安全需求限定在合理的范围之内。由于工业设备的计算资源和存储资源有限,因此无法将DNN模型所有的参数都进行加密和计算校验和,需要结合DNN每一层的参数信息,在DNN模型部署之前,根据安全需求,为模型的每一层都设置需要加密的参数数量和需要计算校验的参数数量;从而在保证综合安全需求的前提下尽可能的降低资源开销。根据部署环境的具体情况和层的特性,为模型的每一层确定一个绝对安全级别,为后续安全服务的分配和安全质量的计算提供基准。
如图2所示,详细步骤包括:
S11、训练符合应用需求的一个n层的DNN模型,并获取模型参数信息;
S2、安全服务设计;首先,选取合适的加密算法和数据校验算法。在加密算法方面,由于非对称加密算法需要消耗大量的运算资源,因此与对称加密算法相比并不适用于保护部署在工业设备上的DNN模型。选择合适数量的不同种类的对称加密算法以设计模型机密性保护服务,根据密码学原理分析加密算法的脆弱性,分配不同的安全级别。在数据校验算法方面,使用SHA算法设计模型完整性保护服务。SHA算法的安全性取决于所使用的Hash算法类别。根据Hash算法类别,为模型完整性保护服务分配安全级别。
如图3所示,具体实现方法为:
S23、测试并记录不同安全级别的安全服务的运行时间。
S3、层感知安全服务分配:在DNN模型运行之前,在不违背实时约束的条件下,为DNN模型的每一层都分配合适的机密性保护服务和完整性保护服务;首先系统执行完整性保护服务,计算参数的原始校验和。再根据机密性保护服务所包含的加密算法,生成对应的密钥,对参数进行加密。并将加密后的参数和密钥以及原始校验和存储在系统的一个安全存储区内。用于后续的DNN模型安全执行。
如图4所示,具体实现方法为:
S31、使用一个数据结构τi记录DNN模型每一层的安全信息:
其中ξi表示DNN的第i层使用的机密性保护服务的安全级别,εi表示DNN的第i层使用的完整性保护服务的安全级别;
S32、根据τi计算DNN模型每一层的安全质量QualSec(τi):
si=α*ξi+β*εi
QualSec(τi)=1-Probinsecure(τi)
根据计算所得的DNN模型层的安全质量,计算系统的整体安全质量QualSecDNN:
S33、根据系统的相关实时约束和计算得到的系统整体安全质量,建模具有实时约束的安全质量最大化的问题:
R为系统的相应时间,Deadline为系统截止日期,实时约束为:
R≤Deadline;
S34、定义安全质量求解的动态规划的递归表达式:
其中R(i,RL)表示DNN第i层在风险为RL时的响应时间,表示DNN第i层选择第J种机密性保护服务和第K种完整性保护服务时的第i层风险值,Ei为DNN第i层的运行时间。根据递归表达式,将安全质量最大化的解定义为:
根据近似算法的近似因子δ,计算缩放因子Δ:
S4、运行时调度;DNN模型运行某一层时,将该层参数从安全存储区取出,执行机密性保护服务,将参数解密,再执行完整性保护服务,计算数据校验和并与原始校验和进行比较,比较结果相同时,将参数送入GPU,由GPU进行计算。根据DNN模型的逐层计算的特点,在DNN运行时,将安全服务与DNN层执行操作进行调度,以实现并行处理。具体来说,在GPU上执行DNN某一层的运算时,在CPU上可以并行的运行下一层的安全服务,以提升处理器的运行效率,并提高系统的实时性。
如图5所示,具体实现方法为:
S41、根据安全服务分配方式,为DNN模型的每一层分配相应的机密性保护服务和完整性保护服务;
S42、根据机密性保护服务,生成密钥,加密参数,将加密后的参数存储在安全存储区;
S43、根据完整性保护服务,为DNN模型的每一层都计算数据校验和,并将校验和存储在安全存储区;
S44、从安全存储区中取出DNN模型的第一层参数,在CPU上执行机密性保护服务的解密操作,将参数还原,再执行完整性保护服务,计算校验和并与原始校验和比较,当比较结果相同时,将参数送入GPU中进行运算;
S45、在GPU进行DNN模型当前层的运算时,CPU执行DNN模型下一层的解密和校验操作,等待GPU空闲后,执行DNN模型下一层的运算操作;重复执行步骤S45直到DNN模型运算完毕;
S46、输出DNN模型的运算结果。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (1)
1.一种工业应用场景下的深度神经网络模型安全保护方法,其特征在于,包括以下步骤:
S1、安全需求分析;具体实现方法为:基于DNN的工业物理信息系统CPS具有两类安全需求:机密性保护需求和完整性保护需求;用户在部署DNN之前,首先向系统提供一个用于描述机密性保护需求的权重α和一个描述完整性保护需求的权重β;两个权重之和被限定为1;结合DNN每一层的参数信息,在DNN模型部署之前,根据安全需求,为模型的每一层都设置需要加密的参数数量和需要计算校验的参数数量;根据部署环境的具体情况和层的特性,为模型的每一层确定一个绝对安全级别;
S2、安全服务设计;具体实现方法为:
S23、测试并记录不同安全级别的安全服务的运行时间;
S3、层感知安全服务分配:在DNN模型运行之前,在不违背实时约束的条件下,为DNN模型的每一层都分配合适的机密性保护服务和完整性保护服务;具体实现方法为:
S31、使用一个数据结构τi记录DNN模型每一层的安全信息:
其中ξi表示DNN的第i层使用的机密性保护服务的安全级别,εi表示DNN的第i层使用的完整性保护服务的安全级别;
S32、根据τi计算DNN模型每一层的安全质量QualSec(τi):
si=α*ξi+β*εi
QualSec(τi)=1-Probinsecure(τi)
根据计算所得的DNN模型层的安全质量,计算系统的整体安全质量QualSecDNN:
S33、根据系统的相关实时约束和计算得到的系统整体安全质量,建模具有实时约束的安全质量最大化的问题:
R为系统的相应时间,Deadline为系统截止日期,实时约束为:
R≤Deadline;
S34、定义安全质量求解的动态规划的递归表达式:
其中R(i,RL)表示DNN第i层在风险为RL时的响应时间,表示DNN第i层选择第J种机密性保护服务和第K种完整性保护服务时的第i层风险值,Ei为DNN第i层的运行时间; 根据递归表达式,将安全质量最大化的解定义为:
根据近似算法的近似因子δ,计算缩放因子Δ:
S4、运行时调度;具体实现方法为:
S41、根据安全服务分配方式,为DNN模型的每一层分配相应的机密性保护服务和完整性保护服务;
S42、根据机密性保护服务,生成密钥,加密参数,将加密后的参数存储在安全存储区;
S43、根据完整性保护服务,为DNN模型的每一层都计算数据校验和,并将校验和存储在安全存储区;
S44、从安全存储区中取出DNN模型的第一层参数,在CPU上执行机密性保护服务的解密操作,将参数还原,再执行完整性保护服务,计算校验和并与原始校验和比较,当比较结果相同时,将参数送入GPU中进行运算;
S45、在GPU进行DNN模型当前层的运算时,CPU执行DNN模型下一层的解密和校验操作,等待GPU空闲后,执行DNN模型下一层的运算操作;重复执行步骤S45直到DNN模型运算完毕;
S46、输出DNN模型的运算结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011411194.6A CN112528299B (zh) | 2020-12-04 | 2020-12-04 | 一种工业应用场景下的深度神经网络模型安全保护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011411194.6A CN112528299B (zh) | 2020-12-04 | 2020-12-04 | 一种工业应用场景下的深度神经网络模型安全保护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112528299A CN112528299A (zh) | 2021-03-19 |
CN112528299B true CN112528299B (zh) | 2022-03-04 |
Family
ID=74997686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011411194.6A Active CN112528299B (zh) | 2020-12-04 | 2020-12-04 | 一种工业应用场景下的深度神经网络模型安全保护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112528299B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109933309A (zh) * | 2019-03-06 | 2019-06-25 | 上海工业控制安全创新科技有限公司 | 机器学习算法应用于汽车软件开发功能安全的流程方法 |
CN109981252A (zh) * | 2019-03-12 | 2019-07-05 | 中国科学院信息工程研究所 | 一种基于关键路径加密的人工智能处理器安全增强系统及方法 |
CN110162556A (zh) * | 2018-02-11 | 2019-08-23 | 陕西爱尚物联科技有限公司 | 一种有效发挥数据价值的方法 |
CN110941855A (zh) * | 2019-11-26 | 2020-03-31 | 电子科技大学 | 一种AIoT场景下的神经网络模型窃取防御方法 |
CN111311751A (zh) * | 2020-02-12 | 2020-06-19 | 叠境数字科技(上海)有限公司 | 一种基于深度神经网络的三维衣服模型的重建方法 |
CN111582496A (zh) * | 2020-04-26 | 2020-08-25 | 暨南大学 | 一种基于sgx的安全高效的深度学习模型预测系统和方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201610883D0 (en) * | 2016-06-22 | 2016-08-03 | Microsoft Technology Licensing Llc | Privacy-preserving machine learning |
US10733292B2 (en) * | 2018-07-10 | 2020-08-04 | International Business Machines Corporation | Defending against model inversion attacks on neural networks |
US11423142B2 (en) * | 2018-12-06 | 2022-08-23 | Nec Corporation | Confidential machine learning with program compartmentalization |
-
2020
- 2020-12-04 CN CN202011411194.6A patent/CN112528299B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110162556A (zh) * | 2018-02-11 | 2019-08-23 | 陕西爱尚物联科技有限公司 | 一种有效发挥数据价值的方法 |
CN109933309A (zh) * | 2019-03-06 | 2019-06-25 | 上海工业控制安全创新科技有限公司 | 机器学习算法应用于汽车软件开发功能安全的流程方法 |
CN109981252A (zh) * | 2019-03-12 | 2019-07-05 | 中国科学院信息工程研究所 | 一种基于关键路径加密的人工智能处理器安全增强系统及方法 |
CN110941855A (zh) * | 2019-11-26 | 2020-03-31 | 电子科技大学 | 一种AIoT场景下的神经网络模型窃取防御方法 |
CN111311751A (zh) * | 2020-02-12 | 2020-06-19 | 叠境数字科技(上海)有限公司 | 一种基于深度神经网络的三维衣服模型的重建方法 |
CN111582496A (zh) * | 2020-04-26 | 2020-08-25 | 暨南大学 | 一种基于sgx的安全高效的深度学习模型预测系统和方法 |
Non-Patent Citations (7)
Title |
---|
Energy Optimization of Branch-Aware Data Variable Allocation on Hybrid SRAM+NVM SPM for CPS;Jinyu Zhan;《2019 Association for Computing Machinery》;20190412;全文 * |
人工智能系统安全与隐私风险;陈宇飞;《计算机研究与发展》;20190415;第56卷(第10期);第2135-2150页 * |
智能网联车网络安全研究综述;吴武飞;《通信学报》;20200630;第41卷(第6期);第161-174页 * |
机器学习在网络空间安全研究中的应用;张蕾等;《计算机学报》;20180305(第09期);全文 * |
机器学习安全性问题及其防御技术研究综述;李盼等;《计算机科学与探索》;20180404(第02期);全文 * |
机器学习的安全问题及隐私保护;魏立斐等;《计算机研究与发展》;20201009(第10期);全文 * |
深度学习模型的中毒攻击与防御综述;陈晋音等;《信息安全学报》;20200715(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112528299A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11902413B2 (en) | Secure machine learning analytics using homomorphic encryption | |
Attasena et al. | Secret sharing for cloud data security: a survey | |
US7870399B2 (en) | Software trusted platform module and application security wrapper | |
JP5406195B2 (ja) | セキュリティ解析に基づいて技術システムの再構成を行なうための装置、並びに対応する技術的意思決定支援システム及びコンピュータプログラム製品 | |
CN111045829A (zh) | 业务预测模型的划分处理及预测方法和装置 | |
Huang et al. | BlockSense: Towards trustworthy mobile crowdsensing via proof-of-data blockchain | |
Strenzke | An analysis of OpenSSL’s random number generator | |
JP5972181B2 (ja) | 改ざん検知装置、改ざん検知方法、およびプログラム | |
CN111859379B (zh) | 保护数据模型的处理方法和装置 | |
CN112528299B (zh) | 一种工业应用场景下的深度神经网络模型安全保护方法 | |
Jin et al. | Proof of aliveness | |
Halabi et al. | Toward secure resource allocation in mobile cloud computing: A matching game | |
CN113206744A (zh) | 跨链交易监管方法、装置、设备和存储介质 | |
CN117034304A (zh) | 数据处理方法、装置、计算机设备、存储介质和程序产品 | |
Zhao | Improvement of cloud computing medical data protection technology based on symmetric encryption algorithm | |
Singla et al. | A review: cryptography and steganography algorithm for cloud computing | |
CN113569265B (zh) | 一种数据处理方法、系统及装置 | |
Soleimani-Alyar et al. | Solving multi-period interdiction via generalized Bender’s decomposition | |
CN114244517A (zh) | 数据加密及签名方法、装置、计算机设备和存储介质 | |
Koumidis et al. | Optimizing blockchain for data integrity in cyber physical systems | |
CN111555857A (zh) | 一种边缘网络和网络传输方法 | |
US20210049308A1 (en) | Tamper-resistant data encoding for mobile devices | |
CN115081034B (zh) | 多重冗余方式实现的可信处理器芯片及片内可信度量方法 | |
CN116938567B (zh) | 一种计算机网络数据安全传输方法、装置、设备及介质 | |
CN117786757B (zh) | 一种隐私计算管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |