CN108833423B - 一种基于强化学习的多途径保密信息通信方法 - Google Patents
一种基于强化学习的多途径保密信息通信方法 Download PDFInfo
- Publication number
- CN108833423B CN108833423B CN201810663625.4A CN201810663625A CN108833423B CN 108833423 B CN108833423 B CN 108833423B CN 201810663625 A CN201810663625 A CN 201810663625A CN 108833423 B CN108833423 B CN 108833423B
- Authority
- CN
- China
- Prior art keywords
- transmission
- communication
- sender
- path
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006854 communication Effects 0.000 title claims abstract description 102
- 238000004891 communication Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000002787 reinforcement Effects 0.000 title claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 134
- 230000008901 benefit Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 7
- 238000010295 mobile communication Methods 0.000 claims description 4
- 239000013307 optical fiber Substances 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/18—Network architectures or network communication protocols for network security using different networks or channels, e.g. using out of band channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种基于强化学习的多途径保密信息通信方法,涉及现代通信网络安全。利用多途径通信的方法来增强通信的保密性,加快通信速率,并提高通信安全性,不需预测通信途径的网路模型和攻击模型,可适应动态的通信传输场景,通过强化学习获取最优的传输数据量,从而提高通信传输的效益,优化通信系统的传输速率和保密性,降低传输时延。基于强化学习实现传输控制并且达到提高保密性的功能,不需预测通信途径的网路模型和攻击模型,可适应动态的通信传输场景,通过强化学习获取最优的传输数据量,从而提高通信传输的效益,优化通信系统的传输速率和保密性,降低传输时延。
Description
技术领域
本发明涉及现代通信网络安全,尤其是涉及一种基于强化学习的多途径保密信息通信方法。
背景技术
随着现代科学技术的快速发展,各具特色的现代通信技术应运而生,例如,光纤通信技术、卫星通信技术和第四代移动通信技术(4G)等。多种通信途径联合传输数据,有利于发挥不同通信途径的优势、弥补各自缺陷,同时,加大了不法分子窃听和拦截传输数据的难度。
多途径通信技术产生了许多应用。如中国专利申请公布号为CN102523034的专利提出了一种卫星与无线融合智能接入装置及工作方法;中国专利申请公布号为CN105025270的专利提出了一种天地一体多通道融合的视频传输装置及其视频传输方法;中国专利申请公布号为CN101848146的专利提出了一种基于多种通信手段和链路聚合设备的通信装置及通信方法;中国专利申请公布号为CN104506801的专利提出了一种基于3G和卫星链路的动中通应急通信指挥系统。
发明内容
本发明的目的是提供利用多途径通信的方法来增强通信的保密性,加快通信速率,并提高通信安全性,不需预测通信途径的网路模型和攻击模型,可适应动态的通信传输场景,通过强化学习获取最优的传输数据量,从而提高通信传输的效益,优化通信系统的传输速率和保密性,降低传输时延的一种基于强化学习的多途径保密信息通信方法。
本发明包括以下步骤:
1)设在通信用户发送方和接收方之间存在N种通信传输途径,设第i种传输途径的传输带宽为bi兆比特,量化为M+1个等级,M≥0,M为正整数,传输带宽bi=m/M,0≤m≤M,m为整数;第i种传输途径的安全系数为Ci;其中,1≤i≤N;
在步骤1)中,所述N种通信传输途径包括光纤通信传输、移动通信传输以及卫星通信传输等;所述通信用户发送方可通过N种传输途径同时进行通信传输。
2)通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况选择N种通信传输途径各自的传输数据量,设传输数据比率为xi,量化为L+1个等级,L≥0,L为正整数,传输数据比率xi=l/L,0≤l≤L,l为整数;
在步骤2)中,所述通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况,可选择N种通信传输途径各自的传输数据比率,发送方无法预知通信信道状态,但可以检测当前所处的通信信道情况。
3)发送方初始化动作效益函数矩阵即Q值矩阵;
在步骤3)中,所述发送方初始化动作效益函数矩阵即Q值矩阵的具体方法可为:所述对于发送方的每一个可能状态记为s,对其所有可选择的动作即传输数据比率xi分配一个对应的Q值;对每个初始Q值赋值为0;其中发送方的状态s为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合,初始化学习因子α=0.8和折扣因子γ=0.6;发送方初始化Q值矩阵可用于选择传输数据比率,状态为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合。
4)在第k时刻,设发送方将数据总量大小记为A(k)比特进行传输,并观察第i个传输途径当前时刻的传输状态x(k-1)为上一时刻的所有通信途径的传输数据比率集合,为当前时刻所有途径通信信道的传输带宽估计值集合,以0.9的概率选择具有最大Q值的传输数据比率,以0.1的概率随机选择其他的传输数据比率;
6)观察本次通信产生的效益函数u(k):
7)更新Q值矩阵:
其中,Q(s(k),x(k))表示发送方在状态s(k)下选择x(k)时的Q值;
在步骤7)中,发送方传输数据后接收反馈情况并计算自己获得的效益,用所获得的效益值进行Q值矩阵的更新。
8)重复步骤4)~7),直到Q(s(k),x(k))收敛,即发送方学习到稳定的传输选择策略。
本发明基于强化学习实现传输控制并且达到提高保密性的功能,不需预测通信途径的网路模型和攻击模型,可适应动态的通信传输场景,通过强化学习获取最优的传输数据量,从而提高通信传输的效益,优化通信系统的传输速率和保密性,降低传输时延。
具体实施方式
为了能够更清楚地理解本发明的技术内容,特举以下实施例详细说明。
一种基于强化学习的多途径保密信息通信方法实施例包括以下步骤:
步骤1:通信用户发送方和接收方之间存在3种通信传输途径,分别为光纤通信传输、移动通信传输以及卫星通信传输。设第i种(1≤i≤3)传输途径的传输带宽为bi兆比特,量化为4个等级(M等于3),即传输带宽的取值范围为第i种传输途径的安全系数为Ci,分别为0.8,0.2,0.5。
步骤2:通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况选择3种通信传输途径各自的传输数据量,传输数据比率xi量化为11个等级(L等于10),即传输数据比率的取值范围为xi∈{0,0.1,0.2,…,1}。
步骤3:发送方初始化Q值矩阵:对于发送方的每一个可能状态记为s,对其所有可选择的动作即传输数据比率xi分配一个对应的Q值;对每个初始Q值赋值为0;其中发送方的状态s为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合;初始化学习因子α=0.8和折扣因子γ=0.6。
步骤4:在第k时刻,设发送方将为A(k)比特的数据总量进行传输,并观察第i个通信途径当前时刻的传输状态x(k-1)为上一时刻的所有通信途径的传输数据比率集合,为当前时刻所有途径通信信道的传输带宽估计值集合,以0.9的概率选择具有最大Q值的传输数据比率,以0.1的概率随机选择其他的传输数据比率。
步骤6:观察本次通信产生的效益函数u(k):
步骤7:更新Q值矩阵:
其中,Q(s(k),x(k))表示发送方在状态s(k)下选择x(k)时的Q值;
步骤8:重复步骤4~7,直到Q(s(k),x(k))收敛,即发送方学习到稳定的传输选择策略。
Claims (6)
1.一种基于强化学习的多途径保密信息通信方法,其特征在于包括以下步骤:
1)设在通信用户发送方和接收方之间存在N种通信传输途径,设第i种传输途径的传输带宽为bi兆比特,量化为M+1个等级,M≥0,M为正整数,传输带宽bi=m/M,0≤m≤M,m为整数;第i种传输途径的安全系数为Ci;其中,1≤i≤N;
2)通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况选择N种通信传输途径各自的传输数据量,设传输数据比率为xi,量化为L+1个等级,L≥0,L为正整数,传输数据比率xi=l/L,0≤l≤L,l为整数;
3)发送方初始化动作效益函数矩阵即Q值矩阵;
4)在第k时刻,设发送方将数据总量大小记为A(k)比特进行传输,并观察第i个传输途径当前时刻的传输状态x(k-1)为上一时刻的所有通信途径的传输数据比率集合,为当前时刻所有途径通信信道的传输带宽估计值集合,以0.9的概率选择具有最大Q值的传输数据比率,以0.1的概率随机选择其他的传输数据比率;
6)观察本次通信产生的效益函数u(k):
7)更新Q值矩阵:
其中,Q(s(k),x(k))表示发送方在状态s(k)下选择x(k)时的Q值,α表示初始化学习因子,γ表示折扣因子;
发送方传输数据后接收反馈情况并计算自己获得的效益,用所获得的效益值进行Q值矩阵的更新;
8)重复步骤4)~7),直到Q(s(k),x(k))收敛,即发送方学习到稳定的传输选择策略。
2.如权利要求1所述一种基于强化学习的多途径保密信息通信方法,其特征在于在步骤1)中,所述N种通信传输途径包括光纤通信传输、移动通信传输以及卫星通信传输。
3.如权利要求1所述一种基于强化学习的多途径保密信息通信方法,其特征在于在步骤1)中,所述通信用户发送方通过N种传输途径同时进行通信传输。
4.如权利要求1所述一种基于强化学习的多途径保密信息通信方法,其特征在于在步骤2)中,所述通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况,选择N种通信传输途径各自的传输数据比率,发送方无法预知通信信道状态,但检测当前所处的通信信道情况。
5.如权利要求1所述一种基于强化学习的多途径保密信息通信方法,其特征在于在步骤3)中,所述发送方初始化动作效益函数矩阵即Q值矩阵的具体方法为:对于发送方的每一个可能状态记为s,对其所有可选择的动作即传输数据比率xi分配一个对应的Q值;对每个初始Q值赋值为0;其中发送方的状态s为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合,初始化学习因子α=0.8和折扣因子γ=0.6。
6.如权利要求1所述一种基于强化学习的多途径保密信息通信方法,其特征在于在步骤3)中,发送方初始化Q值矩阵是用于选择传输数据比率,状态为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810663625.4A CN108833423B (zh) | 2018-06-25 | 2018-06-25 | 一种基于强化学习的多途径保密信息通信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810663625.4A CN108833423B (zh) | 2018-06-25 | 2018-06-25 | 一种基于强化学习的多途径保密信息通信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108833423A CN108833423A (zh) | 2018-11-16 |
CN108833423B true CN108833423B (zh) | 2020-07-31 |
Family
ID=64137647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810663625.4A Active CN108833423B (zh) | 2018-06-25 | 2018-06-25 | 一种基于强化学习的多途径保密信息通信方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108833423B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104113903A (zh) * | 2014-07-31 | 2014-10-22 | 厦门大学 | 基于交互式认知学习的下行功率调整方法和装置 |
EP2882132A1 (en) * | 2012-07-05 | 2015-06-10 | Crypto Basic Corporation | Shared secret key generation device, encryption device, decryption device, shared secret key generation method, encryption method, decryption method, and program |
CN107241213A (zh) * | 2017-04-28 | 2017-10-10 | 东南大学 | 一种基于深度强化学习的Web服务组合方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8090097B2 (en) * | 2006-10-11 | 2012-01-03 | Frank Rubin | Device, system and method for cryptographic key exchange |
CN106612287B (zh) * | 2017-01-10 | 2019-05-07 | 厦门大学 | 一种云存储系统的持续性攻击的检测方法 |
-
2018
- 2018-06-25 CN CN201810663625.4A patent/CN108833423B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2882132A1 (en) * | 2012-07-05 | 2015-06-10 | Crypto Basic Corporation | Shared secret key generation device, encryption device, decryption device, shared secret key generation method, encryption method, decryption method, and program |
CN104113903A (zh) * | 2014-07-31 | 2014-10-22 | 厦门大学 | 基于交互式认知学习的下行功率调整方法和装置 |
CN107241213A (zh) * | 2017-04-28 | 2017-10-10 | 东南大学 | 一种基于深度强化学习的Web服务组合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108833423A (zh) | 2018-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6782271B2 (en) | Method and apparatus for link adaptation in a mobile communication system | |
US7936843B2 (en) | Self-adaptive mimo transmission/reception system and method | |
US20170237522A1 (en) | Communication device and communication method | |
CN109495157B (zh) | 一种基于ccsds协议的全双工高吞吐率双向arq通信系统及方法 | |
CN108063642B (zh) | 一种基于扩散的多用户分子通信模型的信道容量优化方法 | |
Wei et al. | Toward 5G wireless interface technology: Enabling nonorthogonal multiple access in the sparse code domain | |
CN112153744B (zh) | 一种icv网络中物理层安全资源分配方法 | |
CN106899524A (zh) | 基于信道预测和用户QoS的安全接入方法 | |
CN110365378A (zh) | 一种非线性预编码的下行传输方法 | |
CN108833423B (zh) | 一种基于强化学习的多途径保密信息通信方法 | |
Hoang et al. | Buffer and channel adaptive transmission over fading channels with imperfect channel state information | |
CN109963272B (zh) | 一种面向差异化mtc网络中的随机接入方法 | |
Yang et al. | Analysis of channel-adaptive packet transmission over fading channels with transmit buffer management | |
CN114553611A (zh) | 一种物联网设备与物联网终端的绑定方法 | |
US9337910B2 (en) | MIMO communication system using pre-coder based on tight frame | |
CN114614863A (zh) | Mimo检测器选择 | |
CN108880642B (zh) | 基于方向标记的信道向量有限反馈量化方法 | |
Monsees | Signal processing for compressed sensing multiuser detection | |
Jiang et al. | IP packet header compression and user grouping for LTE multimedia broadcast multicast services | |
Oborina et al. | Effective SINR distribution in MIMO OFDM systems | |
TWI812371B (zh) | 基於人工智慧算法之下行模式區分多址接入系統資源分配方法 | |
CN112822140B (zh) | 一种传输数据的方法及相关装置 | |
Bai et al. | Optimal power control over fading channel with cross-layer performance constraint | |
Feng et al. | Impact of channel state information on wireless computing network control | |
CN109714132B (zh) | 一种用于复杂电磁环境下的多链路抗干扰实时传输方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240402 Address after: Room 1002, 10th Floor, Building 2, Zone F, Fuzhou Software Park, No. 89 Software Avenue, Gulou District, Fuzhou City, Fujian Province, 350000 Patentee after: Fujian Huayun Yifeng Information Technology Co.,Ltd. Country or region after: China Address before: Xiamen City, Fujian Province, 361005 South Siming Road No. 422 Patentee before: XIAMEN University Country or region before: China |
|
TR01 | Transfer of patent right |