CN110598861B - 一种低误比特率的对抗式神经网络加密训练方法 - Google Patents

一种低误比特率的对抗式神经网络加密训练方法 Download PDF

Info

Publication number
CN110598861B
CN110598861B CN201910828211.7A CN201910828211A CN110598861B CN 110598861 B CN110598861 B CN 110598861B CN 201910828211 A CN201910828211 A CN 201910828211A CN 110598861 B CN110598861 B CN 110598861B
Authority
CN
China
Prior art keywords
plaintext
bit error
error rate
encryption
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910828211.7A
Other languages
English (en)
Other versions
CN110598861A (zh
Inventor
刘洋
刘一礼
钱堃
胡绍刚
于奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910828211.7A priority Critical patent/CN110598861B/zh
Publication of CN110598861A publication Critical patent/CN110598861A/zh
Application granted granted Critical
Publication of CN110598861B publication Critical patent/CN110598861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及人工智能领域，尤其涉及一种低误比特率的对抗式神经网络加密训练方法。本发明通过加入超参数η调整多项式损失函数比例以实现低误比特率的对抗性神经网络加密训练方法。在对抗性神经网络加密训练过程中，加入超参数η调整生成器多项式损失函数每一项所占的比例，通过反复训练和测试择优选择以得到一个低误比特率的训练结果，这种方法简洁易懂，易于实施且效果好。

Description

一种低误比特率的对抗式神经网络加密训练方法
技术领域
本发明涉及人工智能领域，尤其涉及一种低误比特率的对抗式神经网络加密训练方法。
背景技术
对抗性神经网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。该神经网络通过两个模块，即生成器和判别器的互相博弈学习来训练一个很好的生成器。
2016年，Google Brain团队的Abadi和Andersen提出了利用对抗性神经网络自主学习加密算法，其中对抗性神经网络由三个神经网络构成，即Alice、Bob和Eve，Eve试图窃听Alice和Bob的通信内容，Alice和Bob试图学习如何保护他们的通信不受Eve的窃听，在不断的对抗学习中，Alice和Bob自主学会了正确的安全加解密方法，同时Eve由窃听的内容破解正确出的明文的正确率为50％。这种做法与传统神经网络加密的做法有所不同，传统神经网络加密是利用神经网络的随机性与传统加密算法相结合，神经网络并没有学习到新的加密算法，而对抗性神经网络可以自主学习加密算法，这种做法为神经网络加密提供了一种全新的思路。
但这种做法也有所不足，首先是训练得到的Alice和Bob加解密网络系统对外显示为黑盒，我们无法得知神经网络自主学到的加密算法是什么形式，然后是Abadi和Andersen给出的神经网络训练完成的考量标准是Alice和Bob加解密网络损失函数的大小以及Eve窃听网络每组恢复的明文与原始明文的差距，没有对最后训练完成的神经网络加密的具体加密效果进行测试，例如神经网络加密的统计特性或者是加解密的误比特率，按照Abadi和Andersen提出的训练方法，训练出的神经网络加解密误比特率较高，这会导致加密过程中加解密双方信息传递的误差较大，从而实用性低。
现有技术在实现低误比特率的对抗性神经网络加密训练方法方面还略显欠缺。
发明内容
针对上述存在问题或不足，为了解决现有对抗性神经网络加密训练方法误比特率较高的问题，本发明提供了一种低误比特率的对抗式神经网络加密训练方法。
技术方案具体如下：
步骤1、首先初始化生成器和判别器的神经网络参数。
步骤2、生成器中的加密网络和解密网络学习安全的加密通信，构建生成器损失函数以使解密网络解密的明文与输入加密网络的原始明文差异为零，同时使得判别器通过加密攻击窃听内容恢复的明文与原始明文相比差异为随机猜测(50％)，然后通过优化算法更新生成器的权值和偏置。
步骤3、判别器根据加密攻击类型窃听加密内容来恢复明文，构建判别器损失函数以使该判别器恢复的明文与原始明文差异为零，然后通过优化算法更新判别器的权值和偏置。
步骤4、在整个神经网络训练过程中步骤2和步骤3为一步训练，生成器和判别器在每一步训练中依次进行，重复训练至少15000次。
步骤5、随机输入至少500000组用于测试的明文密钥对进行加解密，测试解密网络解密的明文与输入加密网络的原始明文的误比特率，同时测试判别器通过加密攻击窃听的内容与原始内容的误比特率。
步骤6、在生成器中加入超参数η调节其多项式损失函数，用超参数η分别乘以多项式损失函数的每一项得到对应项数个的多项式损失函数，然后在得到的调节后的每个多项式损失函数中，超参数η从0至1逐步取值，逐一训练，然后采用步骤5的方法逐一测试误比特率。
步骤7、选择解密网络解密的明文与输入加密网络的原始明文的误比特率最低的神经网络参数作为候选，然后选择判别器通过加密攻击窃听内容来恢复的明文与原始明文的误比特率更接近50％的神经网络参数。
进一步的，所述步骤6中超参数η的取值步距为0.01～0.2的范围，根据误比特率测试情况调整，增大步距则误比特率的变化变大，减小步距则误比特率的变化变小。
本发明通过加入超参数η调整多项式损失函数比例以实现低误比特率的对抗性神经网络加密训练方法。在对抗性神经网络加密训练过程中，加入超参数η调整生成器多项式损失函数每一项所占的比例，通过反复训练和测试择优选择以得到一个低误比特率的训练结果，这种方法简洁易懂，易于实施且效果好。
附图说明
图1是实施例自主学习加密算法的对抗性神经网络结构；
图2是实施例中低误比特率的对抗性神经网络加密的详细训练流程框图；
图3是未加入超参数η调节下解密网络和窃听网络损失函数的变化情况；
图4是未加入超参数η调节下生成器联合多项式损失函数的变化情况。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参阅图1，加密网络、解密网络构成了对抗性神经网络的生成器，窃听网络构成了判别器，首先介绍加密网络和解密网络的神经网络结构，第一层是一个全连接层(FC)，把两个N位输入(加密：明文和密钥，解密：密文和密钥)作为第一层全连接层的输入，这个2N位的矢量经过一个2N×2N的全连接层后，再通过四个连续的一维(1-d)卷积层，卷积层以输入通道数目(in_channels)、输出通道数目(out_channels)、窗口大小(kernel_size)、窗口滑动步长(stride)以及补零操作(zero padding)来描述，参数分别为[1,4,3,1,1]、[4,4,2,2,0]、[4,4,1,1,0]和[4,1,1,1,0]，前三层网络采用ReLu激励函数，训练速度较快，不容易出现梯度饱和的现象，然后最后一层网络采用Tanh激励函数。
参阅图2，自主学习低误比特率对抗性神经网络加密的训练流程如下：
S1：初始化神经网络参数，包括权值、偏置、学习率和超参数η。
S2：生成器学习一轮加解密通信，生成器使得解密网络解密的明文与输入加密网络的原始明文差异为零，同时使得判别器恢复的明文与原始明文差异为50％(随机猜测)。
取N个[-1,1]范围内组成的浮点数序列{P1,P2,...,PN}的曼哈顿距离(L1距离)为信息之间的距离：
Figure BDA0002189810730000031
生成器的损失函数有两项，每项实现不同的目标，定义为：
Figure BDA0002189810730000032
其中L生为生成器损失函数，P原为为输入加密网络的原始明文，N为输入的每组明文的长度，本实例N＝16，P解为解密网络解密出的明文。其中L生中第二项的的分子用N而不是
Figure BDA0002189810730000033
的原因是N位{-1,1}序列错误一半位数的差值为N。
然后采用Adam优化算法对上式损失函数进行反向传播，更新生成器的权值和偏置。
S3：判别器学习两轮已知密文攻击，判别器根据窃听的密文恢复明文，使得其差异为零，则判别器的损失函数为：
L判＝d(P原,P判)
其中L判为判别器损失函数，P原为输入加密网络的原始明文，P判为判别器即窃听神经网络根据窃听的密文而恢复出的明文。
然后采用Adam优化算法对上式损失函数进行反向传播，更新判别器的权值和偏置。
S4:把S2和S3作为整个对抗神经网络的一步训练，一共训练15000步，得到训练完成的神经网络参数，判别器和生成器在每一步训练中依次进行，在不断的对抗迭代训练中生成器可以自主学习到安全的加密算法。参阅图3和图4，为未加入超参数η调节的损失函数下生成器和判别器损失函数的变化示意图。
S5:测量生成器加解密的误比特率以及判别器的误比特率，随机输入m组长度为N的明文和密钥进行加解密，测试解密网络解密的明文与输入加密网络的原始明文的误比特率，公式为：
Figure BDA0002189810730000041
同时测试判别器恢复的明文与原始明文的误比特率，公式为：
Figure BDA0002189810730000042
本次实例一共随机输入了1048576组明文进行加解密测试，即m等于1048576，N为16。
S6：调节超参数η测量误比特率，设多项式损失函数的项数为N1，则一共需要测试的损失函数数量为N1，如下式所示:
Figure BDA0002189810730000043
Figure BDA0002189810730000044
Figure BDA0002189810730000045
……
Figure BDA0002189810730000046
在上式中，
Figure BDA0002189810730000047
为构成一个生成器多项式损失函数的N1个单项式,
Figure BDA0002189810730000048
Figure BDA0002189810730000049
为超参数η所在位置不同的N1个生成器多项式损失函数表达式，
Figure BDA00021898107300000410
Figure BDA00021898107300000411
为加入的多项式损失函数不同位置的超参数。
在上式每个需要测试的多项式损失函数中，超参数η从0至1逐步取值，步距取为W，则每一个多项式损失函数需要测试的次数为：
Figure BDA00021898107300000412
超参数η的一系列取值为：
Figure BDA00021898107300000413
排除重复测试的情况(N1-1)项，则一共需要测试的次数为：
N测＝N1×N2-(N1-1)
本实例生成器的损失函数一共有两项，则N1为2，步距W取值为0.1，则：
Figure BDA00021898107300000414
所以一共需要测试的次数为：N测＝2×10-(2-1)＝19
S7：测试完所有超参数η(本实例需要测试19次)下的误比特率，选择解密网络解密的明文与输入加密网络的原始明文的误比特率最低的神经网络参数作为候选，如果判别器恢复的明文与原始明文的误比特率更接近50％，则择优选择此神经网络参数。如下表所示为本实例19次训练结果的误比特率测试，从表格数据可以得出，当超参数η2为0.8时，生成器加解密误比特率达到最低，为0.00086％，窃听网络解密误比特率为47.7％，符合要求接近50％，所以本文选择超参数η2为0.8时的训练结果为最终结果。
Figure BDA0002189810730000051
Figure BDA0002189810730000052

Claims (2)

1.一种低误比特率的对抗式神经网络加密训练方法，具体步骤如下：
步骤1、首先初始化生成器和判别器的神经网络参数；
步骤2、生成器中的加密网络和解密网络学习安全的加密通信，构建生成器损失函数以使解密网络解密的明文与输入加密网络的原始明文差异为零，同时使得判别器通过加密攻击窃听内容恢复的明文与原始明文相比差异为随机猜测50％，然后通过优化算法更新生成器的权值和偏置；
步骤3、判别器根据加密攻击类型窃听加密内容来恢复明文，构建判别器损失函数以使该判别器恢复的明文与原始明文差异为零，然后通过优化算法更新判别器的权值和偏置；
步骤4、在整个神经网络训练过程中步骤2和步骤3为一步训练，生成器和判别器在每一步训练中依次进行，重复训练至少15000次；
步骤5、随机输入至少500000组用于测试的明文密钥对进行加解密，测试解密网络解密的明文与输入加密网络的原始明文的误比特率，同时测试判别器通过加密攻击窃听的内容与原始内容的误比特率；
步骤6、在生成器中加入超参数η调节其多项式损失函数，用超参数η分别乘以多项式损失函数的每一项得到对应项数个的多项式损失函数，然后在得到的调节后的每个多项式损失函数中，超参数η从0至1逐步取值，逐一训练，然后采用步骤5的方法逐一测试误比特率；
步骤7、选择解密网络解密的明文与输入加密网络的原始明文的误比特率最低的神经网络参数作为候选，然后选择判别器通过加密攻击窃听内容来恢复的明文与原始明文的误比特率更接近50％的神经网络参数。
2.如权利要求1所述低误比特率的对抗式神经网络加密训练方法，其特征在于：所述步骤6中超参数η的取值步距为0.01～0.2的范围，增大步距则误比特率的变化变大，减小步距则误比特率的变化变小。
CN201910828211.7A 2019-09-03 2019-09-03 一种低误比特率的对抗式神经网络加密训练方法 Active CN110598861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910828211.7A CN110598861B (zh) 2019-09-03 2019-09-03 一种低误比特率的对抗式神经网络加密训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910828211.7A CN110598861B (zh) 2019-09-03 2019-09-03 一种低误比特率的对抗式神经网络加密训练方法

Publications (2)

Publication Number Publication Date
CN110598861A CN110598861A (zh) 2019-12-20
CN110598861B true CN110598861B (zh) 2021-02-05

Family

ID=68857136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910828211.7A Active CN110598861B (zh) 2019-09-03 2019-09-03 一种低误比特率的对抗式神经网络加密训练方法

Country Status (1)

Country Link
CN (1) CN110598861B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015130928A1 (en) * 2014-02-26 2015-09-03 Nancy Packes, Inc. Real estate evaluating platform methods, apparatuses, and media
CN108830092B (zh) * 2018-05-29 2020-04-24 成都大象分形智能科技有限公司 涉及数据随机加密的神经网络模型加密保护系统及方法
CN108776836A (zh) * 2018-06-08 2018-11-09 电子科技大学 一种基于vhe的隐私保护神经网络的训练及预测方法
CN108923922B (zh) * 2018-07-26 2021-04-23 北京工商大学 一种基于生成对抗网络的文本隐写方法
CN109558723A (zh) * 2018-12-06 2019-04-02 南京中孚信息技术有限公司 密码字典生成方法、装置以及计算机设备
CN110035063A (zh) * 2019-03-08 2019-07-19 佛山市云米电器科技有限公司 一种基于神经网络的智能家电数据加密方法

Also Published As

Publication number Publication date
CN110598861A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
Guesmi et al. Hash key-based image encryption using crossover operator and chaos
Wang et al. An image blocks encryption algorithm based on spatiotemporal chaos
CN109376540B (zh) 一种基于Duffing映射与遗传操作的图像加密方法
CN109347633B (zh) 基于深度学习的模糊密钥通信系统及对抗网络系统
Guesmi et al. A novel design of Chaos based S-Boxes using genetic algorithm techniques
Jogdand et al. Design of an efficient neural key generation
Vimalathithan et al. Cryptanalysis of simplified-DES using computational intelligence
Hou et al. Cryptanalysis of round-reduced SIMON32 based on deep learning
CA3149549A1 (en) Long-distance quantum key distribution
Niemiec et al. Security verification of artificial neural networks used to error correction in quantum cryptography
CN113344221A (zh) 一种基于神经网络架构搜索的联邦学习方法及系统
Jawaid et al. Generating the best fit key in cryptography using genetic algorithm
CN110598861B (zh) 一种低误比特率的对抗式神经网络加密训练方法
CN104618098B (zh) 一种集合成员关系判定的密码学构造方法及系统
Nalini et al. Cryptanalysis of simplified data encryption standard via optimization heuristics
Baksi et al. New Results on Machine Learning-Based Distinguishers
De et al. Multi-qubit size-hopping deutsch-jozsa algorithm with qubit reordering for secure quantum key distribution
Ahonen et al. Entanglement-enhanced quantum key distribution
Baksi et al. Fault location identification by machine learning
Zanin et al. Boolean networks for cryptography and secure communication
Almalkawi et al. An efficient digital image encryption using pixel shuffling and substitution for wireless networks
Munukur et al. Neural network based decryption for random encryption algorithms
CN112737765A (zh) 一种基于忆阻器混沌神经网络和改进Logistic混沌映射的图像加密算法
Noaman et al. Data security based on neural networks
Das et al. A New Error Correction Technique in Quantum Cryptography using Artificial Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant