CN113037482A - 一种基于rnn的模型压缩加密方法 - Google Patents

一种基于rnn的模型压缩加密方法 Download PDF

Info

Publication number
CN113037482A
CN113037482A CN202110395326.9A CN202110395326A CN113037482A CN 113037482 A CN113037482 A CN 113037482A CN 202110395326 A CN202110395326 A CN 202110395326A CN 113037482 A CN113037482 A CN 113037482A
Authority
CN
China
Prior art keywords
model
rnn
compression
vector sequence
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110395326.9A
Other languages
English (en)
Other versions
CN113037482B (zh
Inventor
罗清彩
孙善宝
谭强
徐驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Generation Information Industry Technology Research Institute Co Ltd filed Critical Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority to CN202110395326.9A priority Critical patent/CN113037482B/zh
Publication of CN113037482A publication Critical patent/CN113037482A/zh
Application granted granted Critical
Publication of CN113037482B publication Critical patent/CN113037482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Storage Device Security (AREA)

Abstract

一种基于RNN的模型压缩加密方法，利用RNN网络来产生压缩神经网络，同时结合量化剪枝等压缩方法，在一定程度上可以减小模型的大小；通过模型压缩的参数微调形成数据集，并尽量在数据集上追求更高的准确率，减少RNN网络的泛化能力，更好的来实现拟合压缩模型参数，使得业务模型达到较好的准确率。设计多层RNN网络的Encoder‑Decoder的网络结构，利用重构误差来训练网络模型，将Decoder公开，采用特征向量作为密钥来保护压缩模型，有效利用神经网络的不可解释性，使得很难通过输出模型能反推出输入特征向量。另外，将不同的特征向量作为密钥分发给不同的用户，当出现模型密钥泄露，可以追查到具体的泄密方，保护模型安全性。

Description

一种基于RNN的模型压缩加密方法
技术领域
本发明涉及信息安全技术领域，具体涉及一种基于RNN的模型压缩加密方法。
背景技术
循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。RNN是为序列数据建模的重要工具，能够有效利用历史数据的时序信息，形成更加合理的预测，常见的RNN有双向循环神经网络BRNN（Bi-directional RNN ）、长短期记忆网络（LSTM，Long Short-Term Memory），门控循环单元GRU(Gated Recurrent Unit)等。
近年来，深度学习领域逐渐从理论向工程落地发展，特别是在物联网大环境下，需要深度学习应用更加高效，而现有的复杂模型更多的是追求准确率，物联网端侧的资源无法满足，或者成本太高，无法实现真正的商业落地。模型压缩是实现深度学习模型商业化的一个重要的落地方向，其目标是保证模型预测效果的前提下，尽可能地降低模型的大小，使用更少的资源来完成AI业务，更好的适应设备端的资源要求，通过合理的成本完成应用落地。另一方面，深度学习模型作为重要的资产，通常承载着算法的核心，为更好的保护开发者知识产权，需要通过模型加密隐藏模型的结构参数等重要信息。在这种情况下，如何有效的利用RNN技术实现深度学习模型的压缩加密成为亟须解决的问题。
发明内容
本发明为了克服以上技术的不足，提供了一种基于RNN的模型压缩加密方法，将压缩模型参数由RNN网络来生成表示，并通过RNN网络的输入来控制输出的压缩模型，结合神经网络的不可解释性，将RNN网络输入数据作为密钥来加密压缩模型，进而保护模型安全性的方法。
本发明克服其技术问题所采用的技术方案是：
一种基于RNN的模型压缩加密方法，包括如下步骤：
a)根据业务建立深度学习神经网络模型结构，利用标注数据集进行训练，得到神经网络模型M；
b)对神经网络模型M进行模型压缩，得到压缩模型C；
c)对压缩模型C中的参数进行分层聚合转换，形成压缩后模型参数向量序列S；
d)将RNN网络模型的编码器Encoder和解码器Decoder联合起来进行训练，使得模型参数向量序列S与模型参数向量序列S经过RNN网络模型生成的墨香参数向量序列S’的重构误差最小，训练后形成多组特征向量序列Key和生成模型参数向量序列S’；
e)将生成模型参数向量序列S’利用分层聚合的逆转换处理，形成网络模型G；
f)验证网络模型G的所占空间大小以及通过步骤a)中的标注数据集亚征准确率；
g)将RNN网络模型R的解码器Decoder公开，为不同的客户分配不同的特征向量序列Key；
h)客户将通过特征向量序列Key生成网络模型G用于实际业务；
i)当网络模型G出现密钥泄露时，通过特征向量序列Key的不同追查泄密方。
进一步的，步骤a)中利用标注数据集对深度学习神经网络模型进行训练，得到训练后的神经网络模型M。
进一步的，步骤b)中通过量化的方式进行模型压缩。
进一步的，步骤b)中通过剪枝的方式进行模型压缩。
进一步的，还包括在步骤c)中对模型参数向量序列S中的参数进行调整，使存储空间大小和准确率满足压缩模型C的要求。
本发明的有益效果是：利用RNN网络来产生压缩神经网络，同时结合量化剪枝等压缩方法，在一定程度上可以减小模型的大小；通过模型压缩的参数微调形成数据集，并尽量在数据集上追求更高的准确率，减少RNN网络的泛化能力，更好的来实现拟合压缩模型参数，使得业务模型达到较好的准确率。设计多层RNN网络的Encoder-Decoder的网络结构，利用重构误差来训练网络模型，将Decoder公开，采用特征向量作为密钥来保护压缩模型，有效利用神经网络的不可解释性，使得很难通过输出模型能反推出输入特征向量。另外，将不同的特征向量作为密钥分发给不同的用户，当出现模型密钥泄露，可以追查到具体的泄密方，保护模型安全性。
附图说明
图1为本发明的压缩模型加密示意图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种基于RNN的模型压缩加密方法，包括如下步骤：
a)根据业务建立深度学习神经网络模型结构，利用标注数据集进行训练，得到神经网络模型M；
b)对神经网络模型M进行模型压缩，得到压缩模型C；
c)对压缩模型C中的参数进行分层聚合转换，形成压缩后模型参数向量序列S；
d)将RNN网络模型的编码器Encoder和解码器Decoder联合起来进行训练，使得模型参数向量序列S与模型参数向量序列S经过RNN网络模型生成的墨香参数向量序列S’的重构误差最小，训练后形成多组特征向量序列Key和生成模型参数向量序列S’；
e)将生成模型参数向量序列S’利用分层聚合的逆转换处理，形成网络模型G；
f)验证网络模型G的所占空间大小以及通过步骤a)中的标注数据集亚征准确率；
g)将RNN网络模型R的解码器Decoder公开，为不同的客户分配不同的特征向量序列Key；
h)客户将通过特征向量序列Key生成网络模型G用于实际业务；
i)当网络模型G出现密钥泄露时，通过特征向量序列Key的不同追查泄密方。
业务神经网络模型M是根据设备端侧实际业务需求设计的神经网络模型，用于端侧的AI应用；所述的神经网络压缩模型C是由所述的业务神经网络模型M经过量化、剪枝、蒸馏等压缩方法处理形成的压缩后模型；所述的模型参数序列S是所述的神经网络压缩模型C经过处理后得到的参数向量序列；；所述的RNN网络模型R是用来生成所述的模型参数序列S，主要由编码器Encoder和解码器Decoder结构构成，编码器Encoder和解码器Decoder都采用多层RNN结构，通过所述的编码器Encoder将所述的模型参数序列处理形成特征向量序列，通过所述的解码器Decoder将根据特征向量序列（Key）生成参数序列；所述的特征向量序列（Key）是作为密钥，由网络模型R的编码器Encoder生成的参数向量序列和随机数向量两部分构成。
利用RNN网络来产生压缩神经网络，同时结合量化剪枝等压缩方法，在一定程度上可以减小模型的大小；通过模型压缩的参数微调形成数据集，并尽量在数据集上追求更高的准确率，减少RNN网络的泛化能力，更好的来实现拟合压缩模型参数，使得业务模型达到较好的准确率。设计多层RNN网络的Encoder-Decoder的网络结构，利用重构误差来训练网络模型，将Decoder公开，采用特征向量作为密钥来保护压缩模型，有效利用神经网络的不可解释性，使得很难通过输出模型能反推出输入特征向量。另外，将不同的特征向量作为密钥分发给不同的用户，当出现模型密钥泄露，可以追查到具体的泄密方，保护模型安全性。
实施例1：
步骤a)中利用标注数据集对深度学习神经网络模型进行训练，得到训练后的神经网络模型M。
实施例2：
步骤b)中通过量化的方式进行模型压缩。
实施例3：
步骤b)中通过剪枝的方式进行模型压缩。
实施例4：
还包括在步骤c)中对模型参数向量序列S中的参数进行调整，使存储空间大小和准确率满足压缩模型C的要求。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于RNN的模型压缩加密方法，其特征在于，包括如下步骤：
a)根据业务建立深度学习神经网络模型结构，利用标注数据集进行训练，得到神经网络模型M；
b)对神经网络模型M进行模型压缩，得到压缩模型C；
c)对压缩模型C中的参数进行分层聚合转换，形成压缩后模型参数向量序列S；
d)将RNN网络模型的编码器Encoder和解码器Decoder联合起来进行训练，使得模型参数向量序列S与模型参数向量序列S经过RNN网络模型生成的墨香参数向量序列S’的重构误差最小，训练后形成多组特征向量序列Key和生成模型参数向量序列S’；
e)将生成模型参数向量序列S’利用分层聚合的逆转换处理，形成网络模型G；
f)验证网络模型G的所占空间大小以及通过步骤a)中的标注数据集亚征准确率；
g)将RNN网络模型R的解码器Decoder公开，为不同的客户分配不同的特征向量序列Key；
h)客户将通过特征向量序列Key生成网络模型G用于实际业务；
i)当网络模型G出现密钥泄露时，通过特征向量序列Key的不同追查泄密方。
2.根据权利要求1所述的基于RNN的模型压缩加密方法，其特征在于：步骤a)中利用标注数据集对深度学习神经网络模型进行训练，得到训练后的神经网络模型M。
3.根据权利要求1所述的基于RNN的模型压缩加密方法，其特征在于：步骤b)中通过量化的方式进行模型压缩。
4.根据权利要求1所述的基于RNN的模型压缩加密方法，其特征在于：步骤b)中通过剪枝的方式进行模型压缩。
5.根据权利要求1所述的基于RNN的模型压缩加密方法，其特征在于：还包括在步骤c)中对模型参数向量序列S中的参数进行调整，使存储空间大小和准确率满足压缩模型C的要求。
CN202110395326.9A 2021-04-13 2021-04-13 一种基于rnn的模型压缩加密方法 Active CN113037482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110395326.9A CN113037482B (zh) 2021-04-13 2021-04-13 一种基于rnn的模型压缩加密方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110395326.9A CN113037482B (zh) 2021-04-13 2021-04-13 一种基于rnn的模型压缩加密方法

Publications (2)

Publication Number Publication Date
CN113037482A true CN113037482A (zh) 2021-06-25
CN113037482B CN113037482B (zh) 2022-07-15

Family

ID=76456676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110395326.9A Active CN113037482B (zh) 2021-04-13 2021-04-13 一种基于rnn的模型压缩加密方法

Country Status (1)

Country Link
CN (1) CN113037482B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000058908A1 (en) * 1999-03-31 2000-10-05 Dryken Technologies, Inc. An improved method and system for training an artificial neural network
CN108415888A (zh) * 2018-02-12 2018-08-17 苏州思必驰信息科技有限公司 用于神经网络语言模型的压缩方法和系统
CN110222820A (zh) * 2019-05-28 2019-09-10 东南大学 基于权值剪枝和量化的卷积神经网络压缩方法
CN110796251A (zh) * 2019-10-28 2020-02-14 天津大学 基于卷积神经网络的图像压缩优化方法
CN111311493A (zh) * 2020-02-13 2020-06-19 河北工程大学 一种基于深度学习的数字全息图像重建方法
CN111654368A (zh) * 2020-06-03 2020-09-11 电子科技大学 一种基于深度学习生成对抗网络的密钥生成方法
CN111667068A (zh) * 2020-06-02 2020-09-15 清华大学 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN112329922A (zh) * 2020-11-24 2021-02-05 北京大学 一种基于质谱数据集的神经网络模型压缩方法及系统
CN112396181A (zh) * 2020-12-31 2021-02-23 之江实验室 一种卷积神经网络通用压缩架构的自动剪枝方法及平台

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000058908A1 (en) * 1999-03-31 2000-10-05 Dryken Technologies, Inc. An improved method and system for training an artificial neural network
CN108415888A (zh) * 2018-02-12 2018-08-17 苏州思必驰信息科技有限公司 用于神经网络语言模型的压缩方法和系统
CN110222820A (zh) * 2019-05-28 2019-09-10 东南大学 基于权值剪枝和量化的卷积神经网络压缩方法
CN110796251A (zh) * 2019-10-28 2020-02-14 天津大学 基于卷积神经网络的图像压缩优化方法
CN111311493A (zh) * 2020-02-13 2020-06-19 河北工程大学 一种基于深度学习的数字全息图像重建方法
CN111667068A (zh) * 2020-06-02 2020-09-15 清华大学 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN111654368A (zh) * 2020-06-03 2020-09-11 电子科技大学 一种基于深度学习生成对抗网络的密钥生成方法
CN112329922A (zh) * 2020-11-24 2021-02-05 北京大学 一种基于质谱数据集的神经网络模型压缩方法及系统
CN112396181A (zh) * 2020-12-31 2021-02-23 之江实验室 一种卷积神经网络通用压缩架构的自动剪枝方法及平台

Also Published As

Publication number Publication date
CN113037482B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN112395643B (zh) 一种神经网络的数据隐私保护方法及系统
Liu et al. Flexible data integrity checking with original data recovery in IoT-enabled maritime transportation systems
CN116167084A (zh) 一种基于混合策略的联邦学习模型训练隐私保护方法及系统
CN108898028A (zh) 涉及迭代与随机加密的神经网络模型加密保护系统及方法
Devaraj et al. An efficient framework for secure image archival and retrieval system using multiple secret share creation scheme
CN111681154B (zh) 一种基于生成对抗网络的彩色图像隐写失真函数设计方法
Liang et al. Research on neural network chaotic encryption algorithm in wireless network security communication
CN109474594A (zh) 船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法
Xia et al. Str: Secure computation on additive shares using the share-transform-reveal strategy
WO2021010896A1 (en) Method and system for distributed data management
CN112668046A (zh) 特征交叉方法、设备、计算机可读存储介质及程序产品
Miyanishi et al. New methods to ensure security to increase user's sense of safety in cloud services
CN113014570A (zh) 一种基于卷积神经网络的通信数据加解密方法
Shen et al. ABNN2: secure two-party arbitrary-bitwidth quantized neural network predictions
CN115994559A (zh) 一种高效的不经意神经网络转化方法
CN108804931B (zh) 涉及域变换数据加密的神经网络模型加密保护系统及方法
Lu et al. Privacy-preserving decentralized federated learning over time-varying communication graph
CN113037482B (zh) 一种基于rnn的模型压缩加密方法
CN114003744A (zh) 基于卷积神经网络和向量同态加密的图像检索方法及系统
CN117291258A (zh) 一种基于函数秘密共享的神经网络训练推理方法和系统
CN116743342A (zh) 基于自编码器的智能物联网设备密文数据异常检测方法
Zhou et al. A survey of security aggregation
CN108900294A (zh) 涉及指定频段加密的神经网络模型加密保护系统及方法
Aguilar et al. The multilayer random neural network
Feng et al. Digital Image Encryption Algorithm Based on Double Chaotic Map and LSTM.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant