CN108833423B - 一种基于强化学习的多途径保密信息通信方法 - Google Patents

一种基于强化学习的多途径保密信息通信方法 Download PDF

Info

Publication number
CN108833423B
CN108833423B CN201810663625.4A CN201810663625A CN108833423B CN 108833423 B CN108833423 B CN 108833423B CN 201810663625 A CN201810663625 A CN 201810663625A CN 108833423 B CN108833423 B CN 108833423B
Authority
CN
China
Prior art keywords
transmission
communication
sender
path
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810663625.4A
Other languages
English (en)
Other versions
CN108833423A (zh
Inventor
肖亮
盛葛怡
万晓玥
唐余亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Huayun Yifeng Information Technology Co.,Ltd.
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810663625.4A priority Critical patent/CN108833423B/zh
Publication of CN108833423A publication Critical patent/CN108833423A/zh
Application granted granted Critical
Publication of CN108833423B publication Critical patent/CN108833423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/18—Network architectures or network communication protocols for network security using different networks or channels, e.g. using out of band channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种基于强化学习的多途径保密信息通信方法，涉及现代通信网络安全。利用多途径通信的方法来增强通信的保密性，加快通信速率，并提高通信安全性，不需预测通信途径的网路模型和攻击模型，可适应动态的通信传输场景，通过强化学习获取最优的传输数据量，从而提高通信传输的效益，优化通信系统的传输速率和保密性，降低传输时延。基于强化学习实现传输控制并且达到提高保密性的功能，不需预测通信途径的网路模型和攻击模型，可适应动态的通信传输场景，通过强化学习获取最优的传输数据量，从而提高通信传输的效益，优化通信系统的传输速率和保密性，降低传输时延。

Description

一种基于强化学习的多途径保密信息通信方法
技术领域
本发明涉及现代通信网络安全，尤其是涉及一种基于强化学习的多途径保密信息通信方法。
背景技术
随着现代科学技术的快速发展，各具特色的现代通信技术应运而生，例如，光纤通信技术、卫星通信技术和第四代移动通信技术(4G)等。多种通信途径联合传输数据，有利于发挥不同通信途径的优势、弥补各自缺陷，同时，加大了不法分子窃听和拦截传输数据的难度。
多途径通信技术产生了许多应用。如中国专利申请公布号为CN102523034的专利提出了一种卫星与无线融合智能接入装置及工作方法；中国专利申请公布号为CN105025270的专利提出了一种天地一体多通道融合的视频传输装置及其视频传输方法；中国专利申请公布号为CN101848146的专利提出了一种基于多种通信手段和链路聚合设备的通信装置及通信方法；中国专利申请公布号为CN104506801的专利提出了一种基于3G和卫星链路的动中通应急通信指挥系统。
发明内容
本发明的目的是提供利用多途径通信的方法来增强通信的保密性，加快通信速率，并提高通信安全性，不需预测通信途径的网路模型和攻击模型，可适应动态的通信传输场景，通过强化学习获取最优的传输数据量，从而提高通信传输的效益，优化通信系统的传输速率和保密性，降低传输时延的一种基于强化学习的多途径保密信息通信方法。
本发明包括以下步骤：
1)设在通信用户发送方和接收方之间存在N种通信传输途径，设第i种传输途径的传输带宽为bi兆比特，量化为M+1个等级，M≥0，M为正整数，传输带宽bi＝m/M，0≤m≤M，m为整数；第i种传输途径的安全系数为Ci；其中，1≤i≤N；
在步骤1)中，所述N种通信传输途径包括光纤通信传输、移动通信传输以及卫星通信传输等；所述通信用户发送方可通过N种传输途径同时进行通信传输。
2)通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况选择N种通信传输途径各自的传输数据量，设传输数据比率为xi，量化为L+1个等级，L≥0，L为正整数，传输数据比率xi＝l/L，0≤l≤L，l为整数；
在步骤2)中，所述通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况，可选择N种通信传输途径各自的传输数据比率，发送方无法预知通信信道状态，但可以检测当前所处的通信信道情况。
3)发送方初始化动作效益函数矩阵即Q值矩阵；
在步骤3)中，所述发送方初始化动作效益函数矩阵即Q值矩阵的具体方法可为：所述对于发送方的每一个可能状态记为s，对其所有可选择的动作即传输数据比率xi分配一个对应的Q值；对每个初始Q值赋值为0；其中发送方的状态s为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合，初始化学习因子α＝0.8和折扣因子γ＝0.6；发送方初始化Q值矩阵可用于选择传输数据比率，状态为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合。
4)在第k时刻，设发送方将数据总量大小记为A(k)比特进行传输，并观察第i个传输途径当前时刻的传输状态
Figure GDA0002511602750000021
x(k-1)为上一时刻的所有通信途径的传输数据比率集合，
Figure GDA0002511602750000022
为当前时刻所有途径通信信道的传输带宽估计值集合，以0.9的概率选择具有最大Q值的传输数据比率，以0.1的概率随机选择其他的传输数据比率；
5)发送方根据选择的传输数据比率
Figure GDA0002511602750000023
通过第i种通信途径传输大小为
Figure GDA0002511602750000024
比特的数据量；接收方收到数据后评估保密情况及误码率返回给发送方；
6)观察本次通信产生的效益函数u(k)：
Figure GDA0002511602750000025
其中，Var(x(k))是当前传输数据比率集合的方差，通过分析数据分配的离散程度衡量通信过程保密情况，S表示传输误码率，
Figure GDA0002511602750000026
为当前传输带宽的估计值；
7)更新Q值矩阵：
Figure GDA0002511602750000027
其中，Q(s(k),x(k))表示发送方在状态s(k)下选择x(k)时的Q值；
在步骤7)中，发送方传输数据后接收反馈情况并计算自己获得的效益，用所获得的效益值进行Q值矩阵的更新。
8)重复步骤4)～7)，直到Q(s(k),x(k))收敛，即发送方学习到稳定的传输选择策略。
本发明基于强化学习实现传输控制并且达到提高保密性的功能，不需预测通信途径的网路模型和攻击模型，可适应动态的通信传输场景，通过强化学习获取最优的传输数据量，从而提高通信传输的效益，优化通信系统的传输速率和保密性，降低传输时延。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。
一种基于强化学习的多途径保密信息通信方法实施例包括以下步骤：
步骤1：通信用户发送方和接收方之间存在3种通信传输途径，分别为光纤通信传输、移动通信传输以及卫星通信传输。设第i种(1≤i≤3)传输途径的传输带宽为bi兆比特，量化为4个等级(M等于3)，即传输带宽的取值范围为
Figure GDA0002511602750000031
第i种传输途径的安全系数为Ci，分别为0.8，0.2，0.5。
步骤2：通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况选择3种通信传输途径各自的传输数据量，传输数据比率xi量化为11个等级(L等于10)，即传输数据比率的取值范围为xi∈{0,0.1,0.2,…,1}。
步骤3：发送方初始化Q值矩阵：对于发送方的每一个可能状态记为s，对其所有可选择的动作即传输数据比率xi分配一个对应的Q值；对每个初始Q值赋值为0；其中发送方的状态s为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合；初始化学习因子α＝0.8和折扣因子γ＝0.6。
步骤4：在第k时刻，设发送方将为A(k)比特的数据总量进行传输，并观察第i个通信途径当前时刻的传输状态
Figure GDA0002511602750000032
x(k-1)为上一时刻的所有通信途径的传输数据比率集合，
Figure GDA0002511602750000033
为当前时刻所有途径通信信道的传输带宽估计值集合，以0.9的概率选择具有最大Q值的传输数据比率，以0.1的概率随机选择其他的传输数据比率。
步骤5：发送方根据选择的传输数据比率
Figure GDA0002511602750000034
通过第i种通信途径传输
Figure GDA0002511602750000035
比特的数据量；接收方收到数据后评估保密情况及误码率返回给发送方。
步骤6：观察本次通信产生的效益函数u(k)：
Figure GDA0002511602750000041
其中，Var(x(k))是当前传输数据比率集合的方差，通过分析数据分配的离散程度衡量通信过程保密情况，S表示传输误码率，
Figure GDA0002511602750000042
为当前传输带宽的估计值；
步骤7：更新Q值矩阵：
Figure GDA0002511602750000043
其中，Q(s(k),x(k))表示发送方在状态s(k)下选择x(k)时的Q值；
步骤8：重复步骤4～7，直到Q(s(k),x(k))收敛，即发送方学习到稳定的传输选择策略。

Claims (6)

1.一种基于强化学习的多途径保密信息通信方法，其特征在于包括以下步骤：
1)设在通信用户发送方和接收方之间存在N种通信传输途径，设第i种传输途径的传输带宽为bi兆比特，量化为M+1个等级，M≥0，M为正整数，传输带宽bi＝m/M，0≤m≤M，m为整数；第i种传输途径的安全系数为Ci；其中，1≤i≤N；
2)通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况选择N种通信传输途径各自的传输数据量，设传输数据比率为xi，量化为L+1个等级，L≥0，L为正整数，传输数据比率xi＝l/L，0≤l≤L，l为整数；
3)发送方初始化动作效益函数矩阵即Q值矩阵；
4)在第k时刻，设发送方将数据总量大小记为A(k)比特进行传输，并观察第i个传输途径当前时刻的传输状态
Figure FDA0002511602740000011
x(k-1)为上一时刻的所有通信途径的传输数据比率集合，
Figure FDA0002511602740000012
为当前时刻所有途径通信信道的传输带宽估计值集合，以0.9的概率选择具有最大Q值的传输数据比率，以0.1的概率随机选择其他的传输数据比率；
5)发送方根据选择的传输数据比率
Figure FDA0002511602740000013
通过第i种通信途径传输大小为
Figure FDA0002511602740000014
比特的数据量；接收方收到数据后评估保密情况及误码率返回给发送方；
6)观察本次通信产生的效益函数u(k)：
Figure FDA0002511602740000015
其中，Var(x(k))是当前传输数据比率集合的方差，通过分析数据分配的离散程度衡量通信过程保密情况，S表示传输误码率，
Figure FDA0002511602740000016
为当前传输带宽的估计值；
7)更新Q值矩阵：
Figure FDA0002511602740000017
其中，Q(s(k),x(k))表示发送方在状态s(k)下选择x(k)时的Q值，α表示初始化学习因子，γ表示折扣因子；
发送方传输数据后接收反馈情况并计算自己获得的效益，用所获得的效益值进行Q值矩阵的更新；
8)重复步骤4)～7)，直到Q(s(k),x(k))收敛，即发送方学习到稳定的传输选择策略。
2.如权利要求1所述一种基于强化学习的多途径保密信息通信方法，其特征在于在步骤1)中，所述N种通信传输途径包括光纤通信传输、移动通信传输以及卫星通信传输。
3.如权利要求1所述一种基于强化学习的多途径保密信息通信方法，其特征在于在步骤1)中，所述通信用户发送方通过N种传输途径同时进行通信传输。
4.如权利要求1所述一种基于强化学习的多途径保密信息通信方法，其特征在于在步骤2)中，所述通信用户发送方根据当前传输途径的传输带宽和上一时刻的传输数据的情况，选择N种通信传输途径各自的传输数据比率，发送方无法预知通信信道状态，但检测当前所处的通信信道情况。
5.如权利要求1所述一种基于强化学习的多途径保密信息通信方法，其特征在于在步骤3)中，所述发送方初始化动作效益函数矩阵即Q值矩阵的具体方法为：对于发送方的每一个可能状态记为s，对其所有可选择的动作即传输数据比率xi分配一个对应的Q值；对每个初始Q值赋值为0；其中发送方的状态s为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合，初始化学习因子α＝0.8和折扣因子γ＝0.6。
6.如权利要求1所述一种基于强化学习的多途径保密信息通信方法，其特征在于在步骤3)中，发送方初始化Q值矩阵是用于选择传输数据比率，状态为当前时刻所有途径通信信道的传输带宽估计值集合以及上一时刻的所有通信途径的传输数据比率集合。
CN201810663625.4A 2018-06-25 2018-06-25 一种基于强化学习的多途径保密信息通信方法 Active CN108833423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810663625.4A CN108833423B (zh) 2018-06-25 2018-06-25 一种基于强化学习的多途径保密信息通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810663625.4A CN108833423B (zh) 2018-06-25 2018-06-25 一种基于强化学习的多途径保密信息通信方法

Publications (2)

Publication Number Publication Date
CN108833423A CN108833423A (zh) 2018-11-16
CN108833423B true CN108833423B (zh) 2020-07-31

Family

ID=64137647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810663625.4A Active CN108833423B (zh) 2018-06-25 2018-06-25 一种基于强化学习的多途径保密信息通信方法

Country Status (1)

Country Link
CN (1) CN108833423B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113903A (zh) * 2014-07-31 2014-10-22 厦门大学 基于交互式认知学习的下行功率调整方法和装置
EP2882132A1 (en) * 2012-07-05 2015-06-10 Crypto Basic Corporation Shared secret key generation device, encryption device, decryption device, shared secret key generation method, encryption method, decryption method, and program
CN107241213A (zh) * 2017-04-28 2017-10-10 东南大学 一种基于深度强化学习的Web服务组合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090097B2 (en) * 2006-10-11 2012-01-03 Frank Rubin Device, system and method for cryptographic key exchange
CN106612287B (zh) * 2017-01-10 2019-05-07 厦门大学 一种云存储系统的持续性攻击的检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2882132A1 (en) * 2012-07-05 2015-06-10 Crypto Basic Corporation Shared secret key generation device, encryption device, decryption device, shared secret key generation method, encryption method, decryption method, and program
CN104113903A (zh) * 2014-07-31 2014-10-22 厦门大学 基于交互式认知学习的下行功率调整方法和装置
CN107241213A (zh) * 2017-04-28 2017-10-10 东南大学 一种基于深度强化学习的Web服务组合方法

Also Published As

Publication number Publication date
CN108833423A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
US7936843B2 (en) Self-adaptive mimo transmission/reception system and method
US9979508B2 (en) Communication device and communication method
US20020036994A1 (en) Method and apparatus for link adaptation in a mobile communication system
CN109495157B (zh) 一种基于ccsds协议的全双工高吞吐率双向arq通信系统及方法
CN111342934A (zh) 一种基于极化码的多级比特交织编码调制方法
Kaliszan et al. Multigroup multicast with application-layer coding: Beamforming for maximum weighted sum rate
Wei et al. Toward 5G wireless interface technology: Enabling nonorthogonal multiple access in the sparse code domain
CN112153744B (zh) 一种icv网络中物理层安全资源分配方法
CN104901732B (zh) 一种密集节点配置系统中的导频复用方法
CN110365378A (zh) 一种非线性预编码的下行传输方法
CN108833423B (zh) 一种基于强化学习的多途径保密信息通信方法
CN109963272B (zh) 一种面向差异化mtc网络中的随机接入方法
CN108494447B (zh) 一种物理层安全通信中的资源分配方法
Yang et al. Analysis of channel-adaptive packet transmission over fading channels with transmit buffer management
US9337910B2 (en) MIMO communication system using pre-coder based on tight frame
CN108880642B (zh) 基于方向标记的信道向量有限反馈量化方法
Jiang et al. IP packet header compression and user grouping for LTE multimedia broadcast multicast services
Tang et al. Achieving unconditional security for MIMO-BAN under short blocklength wiretap code
Ji et al. Optimization of power allocation for chase combining hybrid ARQ
TWI830235B (zh) 基於人工智慧算法之下行多用戶疊加傳輸系統資源分配方法
Oborina et al. Effective SINR distribution in MIMO OFDM systems
CN112911589B (zh) 联合中继传输和中继干扰的物理层安全传输方法及系统
CN112822140B (zh) 一种传输数据的方法及相关装置
Bai et al. Optimal power control over fading channel with cross-layer performance constraint
Hamza et al. Throughput maximization over temporally correlated fading channels in cognitive radio networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240402

Address after: Room 1002, 10th Floor, Building 2, Zone F, Fuzhou Software Park, No. 89 Software Avenue, Gulou District, Fuzhou City, Fujian Province, 350000

Patentee after: Fujian Huayun Yifeng Information Technology Co.,Ltd.

Country or region after: China

Address before: Xiamen City, Fujian Province, 361005 South Siming Road No. 422

Patentee before: XIAMEN University

Country or region before: China

TR01 Transfer of patent right