CN116527178A - 一种智能反射面辅助的智能语义通信系统资源分配方法 - Google Patents

一种智能反射面辅助的智能语义通信系统资源分配方法 Download PDF

Info

Publication number
CN116527178A
CN116527178A CN202310379935.4A CN202310379935A CN116527178A CN 116527178 A CN116527178 A CN 116527178A CN 202310379935 A CN202310379935 A CN 202310379935A CN 116527178 A CN116527178 A CN 116527178A
Authority
CN
China
Prior art keywords
semantic
irs
base station
channel
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310379935.4A
Other languages
English (en)
Other versions
CN116527178B (zh
Inventor
吴伟
王凌奕
毛航涛
周福辉
吴启晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310379935.4A priority Critical patent/CN116527178B/zh
Publication of CN116527178A publication Critical patent/CN116527178A/zh
Application granted granted Critical
Publication of CN116527178B publication Critical patent/CN116527178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/30Monitoring; Testing of propagation channels
    • H04B17/391Modelling the propagation channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0837Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station using pre-detection combining
    • H04B7/0842Weighted combining
    • H04B7/086Weighted combining using weights depending on external parameters, e.g. direction of arrival [DOA], predetermined weights or beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/14Relay systems
    • H04B7/145Passive relay systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/04Wireless resource allocation
    • H04W72/044Wireless resource allocation based on the type of the allocated resource
    • H04W72/0453Resources in frequency domain, e.g. a carrier in FDMA
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种智能反射面辅助的智能语义通信系统资源分配方法,该方法通过部署一个相移可调的IRS辅助基站对用户信息传输以达到所要求的语义相似度和语义频谱效率。通过建模一种联合子信道分配、语义通信网络选择、基站波束赋形和IRS反射阵列的相移矩阵优化设计问题,本发明得以实现系统有效频谱效率最大化。在资源分配方法中使用D3QN‑SAC混合算法,D3QN优化子信道分配和语义通信网络选择,SAC优化基站波束赋形和IRS反射阵元。仿真结果表明,与其他基准方法相比,本发明提出的智能反射面辅助智能β语义通信系统资源分配方法可以显著提高系统有效频谱效率,同时拥有很好的收敛效果。

Description

一种智能反射面辅助的智能语义通信系统资源分配方法
技术领域
本发明涉及一种智能反射面辅助的智能语义通信系统资源分配方法,属于通信技术领域。
背景技术
第六代(6G)无线通信技术因其能够支持广覆盖、大规模连接,促进万物互联(Internet ofEverything,IoE)而受到广泛关注。然而,大规模的连接和巨大的流量导致了频谱资源稀缺,因此迫切需要开发新的具有频谱高效的通信范式和通信技术。语义通信通过关注传输信息的语义,在减少网络流量和提高频谱效率上展现出巨大潜力。语义文本通信借助深度学习的特征提取和特征恢复能力,能够很好地传输语义信息并完成下游语义任务。同时,由于IRS能够以一种低功耗方式提高频谱效率,它被认为是一种具有发展前景的通信技术而受到人们的广泛关注。具体来说,IRS是一个由大量无源反射元件组成的平面阵列,通过调整智能反射面元件相移,可以增强波束赋形从而实现更高的功率增益,显著提高合法接收机处的接收信号功率。
为进一步改善通信质量,提高频谱效率,正交频分复用技术受到人们关注并在通信中进行了大规模使用。正交频分复用技术通过将信道分为多个正交的子信道,可以实现高速、低干扰信息传输。通过共同优化信道分配和IRS反射元件,IRS辅助的正交频分复用通信系统频谱效率可以得到显著提升。然而,IRS辅助通信系统的资源分配问题往往伴随耦合变量问题和非线性规划问题,如何处理非凸的资源分配问题变得非常具有挑战性。传统基于数学方法的优化方法由于伴随大量的计算过程,而无法满足大型通信系统对结果的实时性需求。
最近,深度强化学习因其能够解决大规模复杂问题并实时发现最优解决方法受到工业界和学术界的广泛关注。基于深度学习的强化学习能够实现自动特征工程和梯度下降的端到端学习,可以消除对标注样本和领域知识的依赖。目前,基于深度强化学习的资源优化算法已在通信领域得到广泛应用。W.Wu,F.Yang等人的论文“Intelligent ResourceAllocation for IRS-enhanced OFDM Communication Systems:A Hybrid DeepReinforcement Learning Approach”(IEEE Transactions on WirelessCommunications)利用基于MDQN和DDPG的资源分配算法实现了用户传输速率增强。为进一步提高频谱效率,作者引入IRS辅助频谱共享正交频分复用(Orthogonal FrequencyDivision Multiplexing,OFDM)系统,并提出基于D3QN-TD3的智能算法解决非凸资源分配问题。仿真结果表明,D3QN-TD3算法可以快速、高效地联合优化信道分配、基站波束和IRS反射阵元偏移。但是,上述基于传统比特传输的方法无法满足6G通信对于高β流量、高频谱效率的需求。H.Xie,Z.Qin等人在“Deep Learning Enabled Semantic CommunicationSystems”(IEEE Trβansactions on Signal Processing)中提出了一种基于深度学习的文本语义通信系统DeepSC。通过利用深度学习的特征提取和恢复能力,提取出文本语义信息并只对语义信息进行传输。与传统通信相比,只传输语义信息可以很大程度上提高频谱效率。为了进一步研究语义通信资源分配问题,L.Yan,Z.Qin等人在“Resource Allocationfor Text Semantic Communications”(IEEE Wireless Communications Letters(2022))中定义了语义信息基本单位sut和语义频谱效率S-SE,并利用匹配和穷举算法对文本语义通信系统进行资源分配优化。但是,在大规模系统中,采用匹配算法和穷举算法会带来高系统延迟,无法满足结果实时性需求。此外,现有研究还未涉及将IRS应用在语义通信领域。
发明内容
本发明目的在于针对IRS辅助语义通信场景下的资源分配问题,提出了一种IRS增强的智能资源分配方法,该方法利用基于SAC-D3QN的混合深度强化学习算法,以最大化语义通信系统有效语义频谱效率。本发明可以快速、高效地解决包含耦合变量的非凸优化问题,且可以显著地提升语义通信系统有效语义频谱效率。
本发明解决其技术问题所采用的技术方案是:一种智能反射面辅助的智能语义通信系统资源分配方法,该方法包括如下步骤:
步骤1:建立语义通信系统模型和建立IRS辅助语义通信系统模型;
步骤1-1:建立语义通信系统模型。设定DeepSC网络集合引入语义相似度和语义频谱效率
步骤1-2:建立IRS辅助的语义传输系统。设置基站、K个用户及IRS的位置,对基站到IRS、IRS到K个用户、基站到K个用户之间的信道进行建模,获取信道增益;
步骤2:获得资源分配优化问题;
步骤3:目标问题转化为马尔可夫问题,设定基站控制中心为智能体,设计状态空间st={at-1,{hk,t},{ξk,t},Ψt,rt}、动作空间at={ζt,ρt,Θt,Ft}、回报函数和状态转移概率τ(st+1|st,at),建立强化学习模型;
步骤4:利用基于D3QN-SAC的混合算法联合优化语义通信网络DeepSC选择、子信道分配、基站发射波束和IRS阵元反射偏移,最大化有效语义频谱效率。具体包括以下步骤:
步骤4-1:设计基于D3QN-SAC的智能资源分配算法。
步骤4-2:语义通信系统预训练,获得语义相似度与真实信噪比之间映射关系表;
步骤4-3:智能体与系统交互,获得训练经验。智能体决策语义通信网络DeepSC选择,子信道分配,智能反射面阵元反射系数,基站发射波束,并输入IRS辅助语义通信系统,进入新系统状态,得到奖励值。智能体将每步迭代产生的新旧系统状态、动作选择、奖励值存入经验池;
步骤4-4:算法参数更新。当智能体与环境交互满足设定次数后,通过回放存储在经验池的经验,智能体以最小化损失函数为目标进行学习,通过反向梯度对网络参数进行更新,回到步骤4-3至训练结束;
步骤4-5:算法收敛,将各网络参数进行本地保存。
步骤5:利用基于D3QN-SAC的智能资源分配方法求出信道分配、DeepSC选择、基站波束赋形以及IRS相位的次优解。
有益效果:
1、本发明将IRS应用于语义通信,该IRS辅助语义通信系统以DeepSC为语义通信框架,可以很好地估计语义相似度,通过IRS辅助语义传输,系统能够以一种低能耗方式增强语义频谱效率,考虑到下游语义任务的语义相似度需求,本发明能够进一步提出有效语义频谱效率。
2、本发明提出了基于D3QN-SAC的智能资源分配算法,通过联合优化语义通信网络选择、子信道分配、基站发射波束和IRS阵元反射偏移,最大化有效语义频谱效率。仿真结果表明,本发明通过挖掘D3QN的精确估计Q值能力和SAC的高维空间探索能力,本发明提出的智能资源分配算法具备良好的收敛性且能高效处理非凸问题以及耦合变量。
3、本发明将智能反射面应用于语义通信,可以快速解决复杂的具有耦合变量和非线性规划的非凸资源分配问题,并满足系统对实时性的需求。此外,本发明提出的IRS辅助智能语义通信系统资源分配方法可以显著提升语义通信中的有效频谱资源效率。
4、本发明通过部署一个相移可调的IRS辅助基站对用户信息传输以达到所要求的语义相似度和语义频谱效率,通过建模一种联合子信道分配、语义通信网络选择、基站波束赋形和IRS反射阵列的相移矩阵优化设计问题,得以实现系统有效频谱效率最大化。在资源分配方法中使用D3QN-SAC混合算法,D3QN优化子信道分配和语义通信网络选择,SAC优化基站波束赋形和IRS反射阵元。仿真结果表明,与其他基准方法相比,本发明提出的智能反射面辅助智能β语义通信系统资源分配方法可以显著提高系统有效频谱效率,同时拥有很好的收敛效果。
附图说明
图1为本发明的系统框图。
图2为本发明中资源分配算法收敛性表现图。
图3为本发明的智能资源分配方法与其他资源分配方法在不同基站发射功率下有效语义频谱效率的对比图。
图4为本发明的智能资源分配方法与其他资源分配方法在不同数量的智能反射面阵元下有效语义频谱效率的对比图。
图5为本发明的通信方案与传统通信方案在不同传输因子下有效语义频谱效率的对比图。
具体实施方式
下面结合说明书附图对发明创造作进一步的详细说明。
实施例一
如图1所示,本发明提供了一种智能反射面辅助的智能语义通信系统资源分配方法,该方法包括如下步骤:
步骤1:系统模型建立。
步骤1-1:建立语义通信系统模型。
基于DeepSC建立文本语义通信系统模型。具体来说,发送方由语义编码器和信道编码器组成,接收方由语义解码器和信道解码器组成。物理信道模拟了真实的传输情况,包括IRS反射波束赋形、噪声等。在接收端,接收到的信号通过信道解码和语义解码进行恢复,以获得目标文本。在发送端,传输文本可以表示为s=[s1,s2,...,si,...,sl],其中l是句子长度,si表示句子中的第i个词。句子s依次经过语义编码器、信道编码器、模拟信道、信道解码器、语义编码器进行传输。由DeepSC网络组成的语义通信网络集合可以表示为每个DeepSC网络具有不同数量的语义符号输出。
“Deep Learning Enabled Semantic Communication Systems”中提出的语义相似度估计方法在本发明中引入,可以被表示为:
其中B(·)代表了基于转换器的句子-双向编码器(BERT)的预训练模型。语义相似度ξ是一个在0和1之间的连续值,当预测句子和目标句子越相似,语义相似度越高。
此外,“ResourceAllocation forText Semantic Communications”中对于语义频谱效率(S-SE)的定义也在本发明中引用。S-SE可以被表示为:
其中I代表了知识库中每个句子的平均语义信息,Γk代表了第k个用户使用的平均语义符号,ξk,c代表了第k个用户在第个信道上的可达语义相似度。
步骤1-2:建立IRS辅助语义传输系统。
设置基站、K个用户及IRS的位置,对基站到IRS、IRS到K个用户、基站到K个用户之间的信道进行建模,获取信道增益。如下定义:
所有通信节点建立三维笛卡尔坐标系,节点A位置可以定义为wA=[xA,yA,zA]T,其中每个位置表达式中的三个数分别表示对应的轴坐标。固定高度的基站有M根天线,固定位置的每个用户有一根天线,IRS配有E个反射单元用于增强频谱感知与次级传输,并且每个反射单元的相位可以由基站控制中心动态调整。定义从BS到用户的信道服从瑞利衰弱,从BS到IRS和从IRS到用户的信道服从莱斯衰弱。路径损耗被建模为PL=(PL0-10τlog10(d/D0))dB,其中PL0=30dB,参考距离D0=1m,τ代表路径损耗因子。具体来说,从基站到用户的路径损耗因子为τbu,从基站到IRS的路径损耗因子为τbr,从IRS到用户的路径损耗因子为τru
定义IRS阵元偏移为Θ,其中代表了第e个反射阵元的振幅相关系数,φe∈[0,2π]代表了相位相关系数。定义基站到第k个用户的信道为基站到IRS的信道为IRS到第k个用户的信道为定义子信道集合为第k个用户的信道分配情况可以被定义为ρk={ρk,1,ρk,2,...,ρk,c,...,ρk,C},其中ρk,c∈{0,1}代表了第k个用户使用第个子信道情况。如果第k个用户占用第个子信道进行传输,ρk,c为1,否则,ρk,c为0。每个用户只能占用一个信道,信道数量和用户数量一致。定义基站通过第个子信道向第k个用户发射的波束为fk,c
因此,从基站通过第个子信道到第k个用户的传输速率可以表示为:
其中,B代表带宽资源,C代表子信道数量,hk代表基站到用户k的信道,gk代表IRS到用户k的信道,Θ代表IRS反射阵元系数,G代表基站到IRS的信道,fk,c代表基站通过信道向用户k发射的波束赋形,代表用户k处的噪声方差。
步骤2:根据系统模型建立资源分配优化问题。
考虑到下游语义任务对语义相似度的需求,本发明定义有效S-SE(ES-SE)。具体来说,如果没有达到给定语义相似度容忍值ξth的传输被视作无效传输。定义ηk,c代表第k个用户在第c个信道上是否达成给定语义相似度容忍值ξth。具体来说,如果ξk,c>ξth,则ηk,c=1,否则,ηk,c=0。定义ES-SE为Ψ。因此,Ψ可以表示为:
通过联合优化语义通信网络DeepSC选择、子信道分配、基站发射波束和IRS阵元反射因子,系统目标为最大化ES-SE。
资源分配问题约束:第一个约束条件为用户占用子信道约束,每个用户和子信道只存在占用和不占用关系,且每个用户只能占用一个信道,即第二个约束条件为基站总传输功率不能超过最大传输功率,即其中TP代表了基站最大传输功率。第三个约束为IRS反射阵元振幅和相位约束,即第四个约束为用户选择DeepSC约束,每个用户和每个DeepSC网络间只存在选择和不选择,且每个用户只能选择一个DeepSC网络进行语义传输,即第四个约束为最小ES-SE约束,即其中Ψth代表可容忍有效语义频谱效率。
步骤3:目标问题转化为马尔可夫问题,建立强化学习模型。
本发明将IRS辅助语义通信系统中资源分配问题转化为马尔可夫问题,并提取资源分配问题中关键元素,建立强化学习模型,包括智能体、动作空间、状态空间、回报值模型、状态转移概率。设定基站控制中心为智能体,语义通信网络DeepSC选择、子信道分配、基站发射波束和IRS反射阵元组成动作空间。在t时刻,动作空间可以表示为:
at={ζt,ρt,Θt,Ft},
其中,ζt代表DeepSC选择,ρt代表子信道分配,Ft代表基站发射波束,Θt代表IRS元素反射偏移。设定动作选择、信道因子、可达语义相似度、有效语义频谱效率、回报值组成状态空间。在t时刻,状态空间可以表示为:
其中,at-1代表进入状态st前的动作选择,{hk,t}代表信道因子集合,{ξk,t}代表用户可达语义相似度集合,Ψt代表系统可达的有效频谱效率,rt代表回报值。本发明在回报值函数设计中综合考虑可达有效语义频谱效率,语义频谱效率容忍值以及语义相似度容忍值。因此,回报值函数表示为:
其中,Ψ代表系统可达ES-SE,w1和w2为给定权重因子,υΨ和υξ,k分别表示系统没有达到语义频谱效率容忍值和用户k达到语义相似度容忍值的惩罚因子,可以表示为:
其中,Ψth代表有效语义频谱效率容忍值,ξth代表最低语义相似度。此外,本发明使用τ(st+1|st,at)代表状态st下执行动作at进入状态st+1的状态转移概率。
步骤4:利用基于D3QN-SAC的混合算法联合优化语义通信网络DeepSC选择、子信道分配、基站发射波束和IRS阵元反射偏移,最大化有效语义频谱效率。
步骤4-1:设计基于D3QN-SAC的智能资源分配算法。
基于上述步骤3强化学习建模,本发明提出基于D3QN-SAC的智能资源分配算法。通过挖掘D3QN的精确估计Q值能力和SAC的高维空间探索能力,联合优化语义通信网络选择、子信道分配、基站发射波束和IRS阵元反射偏移,最大化有效语义频谱效率。
Dueling DQN通过在DQN中增加优势函数,能够在少量离散动作数据下进行准确Q值估计,具有高样本效率。而Double DQN通过两套Q网络预测目标Q值,有效消除Q值过估计问题。由于D3QN融合上述Dueling DQN优点和Double DQN优点,因此,本发明采用D3QN优化DeepSC选择和子信道分配。为了更好地评估动作决策,D3QN将Q网络分为从状态s中获得价值的状态网络V和从动作a中获得价值行动网络A。D3QN目标为获得最大化Q(s,a,θ),可以表示:
其中θ是评价网络的参数集,θ′是目标网络的参数集。
SAC是一种随机策略算法,具有强大探索能力和干扰鲁棒性。为进一步使策略随机化并加速收敛,SAC在算法中加入最大熵,以鼓励探索和策略多样性,因此,本发明采用SAC算法优化高维智能反射面反射阵元调节和发射波束赋形。SAC目标为找到长期回报最大策略。最优策略可以被表示为:
其中H(π(·|s))为最大熵项,κ为给定因子。
步骤4-2语义通信系统预训练,获得语义相似度与真实信噪比之间映射关系表。
本发明利用欧洲会议公开数据集europarl训练语义通信系统。通过数据处理,数据集可以被语义通信系统识别。具体来说,将europarl数据中XML标记去除;在特殊符号前添加空格;将大写字母转换为小写字母;在句子开头打上标签<S>,在句子结尾打标签<E>。以处理后的数据集为基础,建立语义知识库,并对DeepSC语义通信网络进行训练。将真实环境下不同信噪比和不同语义符号数量输入训练完成的语义通信网络中,建立语义相似度映射表。
步骤4-3智能体与系统交互,获得训练经验。
智能体使用D3QN-SAC决策语义通信网络选择、子信道分配、智能反射面阵元,基站发射波束,并输入IRS辅助语义通信系统,进入新系统状态,通过奖励函数得到奖励值。智能体将每步迭代产生的新旧系统状态、动作选择、奖励值存入经验池,为训练提供经验
步骤4-4算法参数更新。当智能体与环境交互满足设定次数后,通过回放存储在经验池的经验,智能体以最小化损失函数为目标进行学习,通过反向梯度对网络参数进行更新。
当智能体与环境交互满足设定次数后,进入算法参数更新阶段。智能体从经验池随机取出大小为N的元祖(si,ai,ri+1,si+1)i∈N。D3QN和SAC以最小损失函数为目标,通过反向梯度,对网络参数进行调整。
在D3QN中,目标Q函数表示为:
Q网络损失函数可进一步表示为:
D3QN通过优化参数θ以最小化损失函数。
在SAC中,目标Q函数表示为:
其中ai~πλ(·|si+1)。在评判网络中,通过优化参数ωj最小化损失函数,损失函数可表示为:
在策略网络中,通过优化参数λ最小化损失函数。损失函数可表示为:
通过计算损失函数梯度,即对网络参数进行更新。
若训练次数未达到设定次数,回到步骤4-3。
步骤4-5算法收敛,将各网络参数本地保存。
步骤5:利用基于D3QN-SAC的智能资源分配方法求出信道分配、DeepSC选择、基站波束赋形以及IRS相位的次优解。
下面结合仿真实验对本发明的效果做进一步详细说明,具体包括:
1、仿真硬件条件
本发明的仿真实验在Python3.6,TensorFlow1.13的仿真平台上进行。计算机CPU型号为E5-2680 v4,数量为5颗,GPU型号为英伟达Geforce RTX 3060。显存为12.6GB。
2、仿真系统参数
用户数量K=3,子信道数量C=3。基站部署在(0,0,0),用户部署在(80,100,0),(100,0,0)和(0,80,10),IRS部署在(40,40,40)。基站天线数量M=6,IRS无源反射阵元数量E=30,基站最大发射功率TP=20dBm,噪声方差设为0.01。从BS到用户、从BS到IRS和从IRS到用户的路径损耗因子分别设置为3.7、2.1和2.2。
本发明使用的数据集为欧洲会议公开数据集Europarl。具有不同语义符号数量的DeepSC网络个数设置为20,分别对应平均每个单词语义符号数量从1到20。D3QN由2个评价Q网络和2个目标Q网络组成,每个网络具有3个隐藏层,每层具有128个神经元,评价Q网络的学习率设置为0.003。SAC由两个评判网络,两个目标评判网络和一个策略网络组成,每个网络具有3个隐藏层,每层具有256个神经元。评断网络的学习率设置为0.003,策略网络的学习率设置为0.003。
3、仿真内容
图2展示了本发明提出的智能资源分配算法在智能反射面阵元数量为E=10和E=40时算法收敛情况,基站最大反射功率设定为TP=20dBm。如图所示,本发明所提出的智能资源分配算法最终趋向收敛,证明了方法的有效性。此外,当E=40时,算法收敛速度比E=10时慢,这是由于IRS反射阵元增加,算法需要在更大解空间中进行学习并最终学习到最优策略。
图3显示了本发明提出的智能频谱资源分配方法与其他基准方法的ES-SE表现随基站最大发射功率变化,其中IRS无源反射阵元数量固定为30个。从图中可以观察到,ES-SE随着基站最大发射功率的增加而提高,并最终趋向收敛。此外,本发明提出的智能资源分配方法具有高频谱效率,在ES-SE上优于其他基准方法。
图4所示为本发明提出的智能频谱资源分配方法与其他基准方法的ES-SE表现随IRS无源反射元件数量变化。通过与没有IRS辅助方法比较,在IRS辅助方法中,随着IRS反射元件数量增加,ES-SE得到显著提高。这是因为IRS反射阵元的增加可以更精确地增强波束赋形,显著改善用户功率增益,从而增强ES-SE。这也表明本发明提出的智能方法能够充分利用大量IRS反射阵元,实现高频谱效率。此外,可以观察到,固定IRS阵元方法和随机IRS阵元方法由于难以实现动态网络下IRS反射阵元实时调整,表现出弱频谱效率。
图5所示为本发明的通信方案与传统通信方案在不同传输因子下有效语义频谱效率对比,其中IRS反射阵列元素的数量被设定为36。为了探索IRS辅助语义通信在6G通信场景下的频谱表现,引入了4G通信和5G通信作为对比方案。观察到,相对于不同传输因子,语义通信能够保持恒定ES-SE,而传统通信可达ES-SE随着传输因子上升而下降。与4G通信和5G通信相比,IRS辅助语义通信具有出色的ES-SE。这是因为IRS辅助语义通信能够通过IRS反射阵元进一步利用频谱资源,获得更高频谱效率。
综合上述仿真结果和分析,本发明所提出的IRS辅助智能语义通信系统资源分配方法相比其他基准方法,能显著提升ES-SE,说明基于D3QN-SAC的智能资源分配算法可以高效地找到最优资源分配方案。此外,仿真结果也表明将IRS应用在语义通信系统能够有效增强频谱效率。
实施例二
本发明针对智能反射面(IRS)辅助语义通信资源分配问题,提出一种新型基于深度强化学习的智能资源分配算法。通过联合优化子信道分配、语义通信网络选择、基站波束赋形和IRS反射阵元,最大化语义通信网络有效语义频谱效率(ES-SE)。通过挖掘D3QN的精确估计Q值能力和SAC的高维空间探索能力,本发明提出D3QN-SAC混合算法解决包含耦合变量的非凸优化问题。仿真结果表明本发明提出的智能资源分配方法能够显著提升语义相似度,增强有效语义频谱效率。
本发明考虑IRS辅助语义通信系统模型,具体步骤为:
(2a)IRS辅助的语义通信网络中部署一个M根天线的基站、K个单天线用户和一个具有E个无源反射阵元的IRS。设置基站、用户以及IRS的位置,对基站到IRS、IRS到K个用户、基站到IRS和IRS到K个用户之间的信道进行建模,获取信道增益;
(2b)基于DeepSC建立文本语义通信系统模型,DeepSC网络集合可以表示为每个DeepSC网络具有不同数量语义符号输出。每个用户可以选择一个语义通信网络进行传输,每个语义通信网络可以被多个用户选择;
(2c)定义从BS到用户的信道服从瑞利衰弱,从BS到IRS和从IRS到用户的信道服从莱斯衰弱。路径损耗被建模为PL=(PL0-10τlog10(d/D0))dB,其中PL0=30dB,参考距离D0=1m,τ代表路径损耗因子。具体来说,从基站到用户的路径损耗因子为τbu,从基站到IRS的路径损耗因子为τbr,从IRS到用户的路径损耗因子为τru
本发明考虑通过联合优化子信道分配、语义通信网络选择、基站波束赋形和IRS反射阵元以最大化语义通信网络的ES-SE,具体步骤为:
(3a)系统目标为联合优化子信道分配、语义通信网络选择、基站波束赋形和IRS反射阵元以最大化ES-SE,同时满足最小ES-SE容忍度、基站最大发射功率约束条件、DeepSC网络选择、子信道分配、以及IRS反射阵元约束条件。目标ES-SE定义如下:
第一个约束条件为用户占用子信道约束,每个用户和子信道只存在占用和不占用关系,且每个用户只能占用一个信道,即第二个约束条件为基站总传输功率不能超过最大传输功率,即其中TP代表基站最大传输功率。第三个约束为IRS反射阵元振幅和相位约束,即 第四个约束为用户选择DeepSC约束,每个用户和每个DeepSC网络间只存在选择和不选择,且每个用户只能选择一个DeepSC网络进行语义传输,即第四个约束为最小ES-SE约束,即其中Ψth代表可容忍有效语义频谱效率。
本发明挖掘D3QN的精确估计Q值能力和SAC的高维空间探索能力,提出D3QN-SAC混合算法解决包含耦合变量的非凸优化资源分配问题。具体设计步骤为:
(4a)目标问题转化为马尔可夫问题,建立强化学习模型。
本发明将IRS辅助语义通信系统中资源分配问题转化为马尔可夫问题,并提取资源分配问题中关键元素,建立强化学习模型,包括智能体、动作空间、状态空间、回报值模型、状态转移概率。设定基站控制中心为智能体,语义通信网络DeepSC选择、子信道分配、基站发射波束和IRS反射阵元组成动作空间。在t时刻,动作空间可以表示为:
at={ζt,ρt,Θt,Ft}
其中,ζt代表DeepSC选择,ρt代表子信道分配,Ft代表基站发射波束,Θt代表IRS元素反射偏移。设定动作选择、信道因子、可达语义相似度、有效语义频谱效率、回报值组成状态空间。在t时刻,状态空间可以表示为:
st={at-1,{hk,t},{ξk,t},Ψt,rt}
其中,at-1代表进入状态st前的动作选择,{hk,t}代表信道因子集合,{ξk,t}代表用户可达语义相似度集合,Ψt代表系统可达的有效频谱效率,rt代表回报值。本发明在回报值函数设计中综合考虑可达有效语义频谱效率,语义频谱效率容忍值以及语义相似度容忍值。因此,回报值函数表示为:
其中,Ψ代表系统可达ES-SE,ω1和ω2为给定权重因子,vΨ和vξ,k分别表示系统没有达到语义频谱效率容忍值和用户k达到语义相似度容忍值的惩罚因子,可以表示为:
其中,Ψth代表有效语义频谱效率容忍值,ξth代表最低语义相似度。此外,本发明使用τ(st+1|st,at)代表状态st下执行动作at进入状态st+1的状态转移概率。
(4b)基于强化学习建模,本发明提出基于D3QN-SAC的智能资源分配算法。由于D3QN精确估计Q值能力,它在本发明中被用来处理语义通信网络选择和子信道分配。而由于SAC具有随机探索能力,即使在高维连续行动空间中也能探索到最优解,SAC被用来调整发射波束和IRS阵元反射偏移。
DuelingDQN通过在DQN中增加优势函数,能够在少量离散动作数据下进行准确Q值估计,具有高样本效率。而DoubleDQN通过两套Q网络预测目标Q值,有效消除Q值过估计问题。由于D3QN融合上述DuelingDQN优点和DoubleDQN优点,因此,本发明采用D3QN优化DeepSC选择和子信道分配。为了更好地评估动作决策,D3QN将Q网络分为从状态s中获得价值的状态网络V和从动作a中获得价值行动网络A。D3QN目标为获得最大化Q(s,a,θ),可以表示:
其中θ是评价网络的参数集,θ′是目标网络的参数集。
SAC是一种随机策略算法,具有强大探索能力和干扰鲁棒性。为进一步使策略随机化并加速收敛,SAC在算法中加入最大熵,以鼓励探索和策略多样性,因此,本发明采用SAC算法优化高维智能反射面反射阵元调节和发射波束赋形。SAC目标为找到长期回报最大策略。最优策略可以被表示为:
其中H(π(·|s))为最大熵项,κ为给定因子。
(4b)当智能体与环境交互满足设定次数后,进入算法参数更新阶段。智能体从经验池随机取出大小为N的元祖(si,ai,ri+1,si+1)i∈N。D3QN和SAC以最小损失函数为目标,通过反向梯度,对网络参数进行调整。
在D3QN中,目标Q函数表示为:
Q网络损失函数可进一步表示为:
D3QN通过优化参数θ以最小化损失函数。
在SAC中,目标Q函数表示为:
其中ai~πλ(·|si+1)。在评判网络中,通过优化参数ωj最小化损失函数,损失函数可表示为:
在策略网络中,通过优化参数λ最小化损失函数。损失函数可表示为:
通过计算损失函数梯度,即对网络参数进行更新。
(4c)算法收敛,将各网络参数本地保存。
在本领域中,以上所述只是本发明的优选范例,并不用于限制本发明。任何本领域中的技术人员,凡在本发明的精神和构思之内,做出的任何修改、替换、改进和润色,都应涵盖在本发明技术的保护范围内。

Claims (5)

1.一种智能反射面辅助的智能语义通信系统资源分配方法,其特征在于,所述方法包括如下步骤:
步骤1:建立语义通信系统模型和建立IRS辅助语义通信系统模型;
步骤1-1:建立语义通信系统模型;
设定DeepSC网络集合引入语义相似度和语义频谱效率
步骤1-2:建立IRS辅助的语义传输系统;
设置基站、K个用户及IRS的位置,对基站到IRS、IRS到K个用户、基站到K个用户之间的信道进行建模,获取信道增益;
步骤2:获得资源分配优化问题;
步骤3:目标问题转化为马尔可夫问题,设定基站控制中心为智能体,设计状态空间st={at-1,{hk,t},{ξk,t},Ψt,rt}、动作空间at={ζt,ρt,Θt,Ft}、回报函数和状态转移概率τ(st+1|st,at),建立强化学习模型;
步骤4:利用基于D3QN-SAC的混合算法联合优化语义通信网络DeepSC选择、子信道分配、基站发射波束和IRS阵元反射偏移,最大化有效语义频谱效率,具体包括以下步骤:
步骤4-1:设计基于D3QN-SAC的智能资源分配算法;
步骤4-2:语义通信系统预训练,获得语义相似度与真实信噪比之间映射关系表;
步骤4-3:智能体与系统交互,获得训练经验;
智能体决策语义通信网络DeepSC选择,子信道分配,智能反射面阵元反射系数,基站发射波束,并输入IRS辅助语义通信系统,进入新系统状态,得到奖励值,智能体将每步迭代产生的新旧系统状态、动作选择、奖励值存入经验池;
步骤4-4:算法参数更新;
当智能体与环境交互满足设定次数后,通过回放存储在经验池的经验,智能体以最小化损失函数为目标进行学习,通过反向梯度对网络参数进行更新,返回上述步骤4-3至训练结束;
步骤4-5:算法收敛,将各网络参数进行本地保存;
步骤5:利用基于D3QN-SAC的智能资源分配方法求出信道分配、DeepSC选择、基站波束赋形以及IRS相位的次优解。
2.根据权利要求1所述的一种智能反射面辅助的智能语义通信系统资源分配方法,其特征在于,所述步骤1-1包括:发送方由语义编码器和信道编码器组成,接收方由语义解码器和信道解码器组成,物理信道模拟了真实的传输情况,包括IRS反射波束赋形、噪声,在接收端,接收到的信号通过信道解码和语义解码进行恢复,以获得目标文本,在发送端,传输文本可以表示为s=[s1,s2,...,si,...,sl],其中l是句子长度,si表示句子中的第i个词,句子s依次经过语义编码器、信道编码器、模拟信道、信道解码器、语义编码器进行传输,由DeepSC网络组成的语义通信网络集合可以表示为每个DeepSC网络具有不同数量的语义符号输出。
3.根据权利要求1所述的一种智能反射面辅助的智能语义通信系统资源分配方法,其特征在于,所述步骤1-2包括:设置基站、K个用户及IRS的位置,对基站到IRS、IRS到K个用户、基站到K个用户之间的信道进行建模,获取信道增益,如下定义:
所有通信节点建立三维笛卡尔坐标系,节点A位置可以定义为wA=[xA,yA,zA]T,其中每个位置表达式中的三个数分别表示对应的轴坐标,固定高度的基站有M根天线,固定位置的每个用户有一根天线,IRS配有E个反射单元用于增强频谱感知与次级传输,并且每个反射单元的相位可以由基站控制中心动态调整,定义从BS到用户的信道服从瑞利衰弱,从BS到IRS和从IRS到用户的信道服从莱斯衰弱,路径损耗被建模为PL=(PL0-10τlog10(d/D0))dB,其中PL0=30dB,参考距离D0=1m,代表路径损耗因子,具体来说,从基站到用户的路径损耗因子为从基站到IRS的路径损耗因子为从IRS到用户的路径损耗因子为τru
定义IRS阵元偏移为Θ,其中代表了第e个反射阵元的振幅相关系数,φe∈[0,2π]代表了相位相关系数,定义基站到第k个用户的信道为基站到IRS的信道为IRS到第k个用户的信道为定义子信道集合为第k个用户的信道分配情况可以被定义为ρk={ρk,1,ρk,2,...,ρk,c,...,ρk,C},其中ρk,c∈{0,1}代表了第k个用户使用第c个子信道情况,如果第k个用户占用第c个子信道进行传输,ρk,c为1,否则,ρk,c为0,每个用户只能占用一个信道,信道数量和用户数量一致,定义基站通过第c个子信道向第k个用户发射的波束为fk,c
从基站通过第c个子信道到第k个用户的传输速率可以表示为:
其中,B代表带宽资源,C代表子信道数量,hk代表基站到用户k的信道,gk代表IRS到用户k的信道,Θ代表IRS反射阵元系数,G代表基站到IRS的信道,fk,c代表基站通过信道c向用户k发射的波束赋形,代表用户k处的噪声方差。
4.根据权利要求1所述的一种智能反射面辅助的智能语义通信系统资源分配方法,其特征在于,所述步骤2包括:定义有效S-SE(ES-SE),如果没有达到给定语义相似度容忍值ξth的传输被视作无效传输,定义ηk,c代表第k个用户在第c个信道上是否达成给定语义相似度容忍值ξth,如果ξk,c>ξth,则ηk,c=1,否则,ηk,c=0,定义ES-SE为Ψ,Ψ可以表示为:
通过联合优化语义通信网络DeepSC选择、子信道分配、基站发射波束和IRS阵元反射因子,系统目标为最大化ES-SE;
资源分配问题约束:第一个约束条件为用户占用子信道约束,每个用户和子信道只存在占用和不占用关系,且每个用户只能占用一个信道,即第二个约束条件为基站总传输功率不能超过最大传输功率,即其中TP代表了基站最大传输功率,第三个约束为IRS反射阵元振幅和相位约束,即第四个约束为用户选择DeepSC约束,每个用户和每个DeepSC网络间只存在选择和不选择,且每个用户只能选择一个DeepSC网络进行语义传输,即第四个约束为最小ES-SE约束,即其中Ψth代表可容忍有效语义频谱效率。
5.根据权利要求1所述的一种智能反射面辅助的智能语义通信系统资源分配方法,其特征在于,所述步骤3包括:将IRS辅助语义通信系统中资源分配问题转化为马尔可夫问题,并提取资源分配问题中关键元素,建立强化学习模型,包括智能体、动作空间、状态空间、回报值模型、状态转移概率,设定基站控制中心为智能体,语义通信网络DeepSC选择、子信道分配、基站发射波束和IRS反射阵元组成动作空间,在t时刻,动作空间可以表示为:
at={ζt,ρt,Θt,Ft},
其中,ζt代表DeepSC选择,ρt代表子信道分配,Ft代表基站发射波束,Θt代表IRS元素反射偏移,设定动作选择、信道因子、可达语义相似度、有效语义频谱效率、回报值组成状态空间,在t时刻,状态空间可以表示为:
其中,at-1代表进入状态st前的动作选择,{hk,t}代表信道因子集合,{ξk,t}代表用户可达语义相似度集合,Ψt代表系统可达的有效频谱效率,rt代表回报值,在回报值函数设计中综合考虑可达有效语义频谱效率,语义频谱效率容忍值以及语义相似度容忍值,因此,回报值函数表示为:
其中,Ψ代表系统可达ES-SE,w1和w2为给定权重因子,vΨ和vξ,k分别表示系统没有达到语义频谱效率容忍值和用户k达到语义相似度容忍值的惩罚因子,可以表示为:
其中,Ψth代表有效语义频谱效率容忍值,ξth代表最低语义相似度,此外,使用τ(st+1|st,at)代表状态st下执行动作at进入状态st+1的状态转移概率。
CN202310379935.4A 2023-04-11 2023-04-11 一种智能反射面辅助的智能语义通信系统资源分配方法 Active CN116527178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310379935.4A CN116527178B (zh) 2023-04-11 2023-04-11 一种智能反射面辅助的智能语义通信系统资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310379935.4A CN116527178B (zh) 2023-04-11 2023-04-11 一种智能反射面辅助的智能语义通信系统资源分配方法

Publications (2)

Publication Number Publication Date
CN116527178A true CN116527178A (zh) 2023-08-01
CN116527178B CN116527178B (zh) 2024-08-16

Family

ID=87395053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310379935.4A Active CN116527178B (zh) 2023-04-11 2023-04-11 一种智能反射面辅助的智能语义通信系统资源分配方法

Country Status (1)

Country Link
CN (1) CN116527178B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113300749A (zh) * 2021-03-30 2021-08-24 北京邮电大学 基于机器学习赋能的智慧传输波束优化方法
US20210288698A1 (en) * 2020-03-10 2021-09-16 University Of Electronic Science And Technology Of China Method for Intelligent Reflecting Surface Aided Terahertz Secure Communication System
CN114040415A (zh) * 2021-11-03 2022-02-11 南京邮电大学 智能反射面辅助的基于dqn-ddpg的资源分配方法
CN114828258A (zh) * 2022-04-26 2022-07-29 南京邮电大学 一种智能反射面辅助认知无线电系统资源分配优化方法
CN115243295A (zh) * 2022-07-25 2022-10-25 郑州大学 一种基于深度强化学习的irs辅助swipt-d2d系统资源分配方法
CN115278707A (zh) * 2022-06-15 2022-11-01 东莞理工学院 基于智能反射面辅助的noma太赫兹网络能效优化方法
CN115412936A (zh) * 2022-07-22 2022-11-29 郑州大学 一种基于多智能体dqn的irs辅助d2d系统资源分配方法
WO2023015659A1 (zh) * 2021-08-12 2023-02-16 大连理工大学 智能反射面辅助的高能效无人机通信系统的设计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210288698A1 (en) * 2020-03-10 2021-09-16 University Of Electronic Science And Technology Of China Method for Intelligent Reflecting Surface Aided Terahertz Secure Communication System
CN113300749A (zh) * 2021-03-30 2021-08-24 北京邮电大学 基于机器学习赋能的智慧传输波束优化方法
WO2023015659A1 (zh) * 2021-08-12 2023-02-16 大连理工大学 智能反射面辅助的高能效无人机通信系统的设计方法
CN114040415A (zh) * 2021-11-03 2022-02-11 南京邮电大学 智能反射面辅助的基于dqn-ddpg的资源分配方法
CN114828258A (zh) * 2022-04-26 2022-07-29 南京邮电大学 一种智能反射面辅助认知无线电系统资源分配优化方法
CN115278707A (zh) * 2022-06-15 2022-11-01 东莞理工学院 基于智能反射面辅助的noma太赫兹网络能效优化方法
CN115412936A (zh) * 2022-07-22 2022-11-29 郑州大学 一种基于多智能体dqn的irs辅助d2d系统资源分配方法
CN115243295A (zh) * 2022-07-25 2022-10-25 郑州大学 一种基于深度强化学习的irs辅助swipt-d2d系统资源分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUIQIANG XIE 等: "Deep Learning Enabled Semantic Communication Systems", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》, 31 December 2021 (2021-12-31) *
LEI YAN等: "Resource Allocation for Text Semantic Communications", 《IEEE WIRELESS COMMUNICATIONS LETTERS》, 31 July 2022 (2022-07-31) *

Also Published As

Publication number Publication date
CN116527178B (zh) 2024-08-16

Similar Documents

Publication Publication Date Title
CN111901862B (zh) 一种基于深度q网络的用户分簇与功率分配方法、设备和介质
CN112153653A (zh) 可重构智能表面辅助的noma下行低功耗传输方法
CN113596785B (zh) 基于深度q网络的d2d-noma通信系统资源分配方法
CN110167176B (zh) 一种基于分布式机器学习的无线网络资源分配方法
CN116456493A (zh) 一种基于深度强化学习算法的d2d用户资源分配方法及存储介质
CN114885420A (zh) 一种noma-mec系统中的用户分组和资源分配方法及装置
CN113242066B (zh) 一种多小区大规模mimo通信智能功率分配方法
Jo et al. Multi‐agent deep reinforcement learning‐based energy efficient power allocation in downlink MIMO‐NOMA systems
CN114389652A (zh) 一种去蜂窝大规模mimo网络低功耗大连接方法
CN110191476B (zh) 一种基于可重构天线阵列的非正交多址接入方法
CN114339775A (zh) 基于优化的ddpg的ris辅助非授权频谱共存方法
CN115665759A (zh) 一种基于uav-ris的辅助无线安全通信传输方法
CN114826454A (zh) 一种mec辅助的车联网通信系统中智能资源管理方法
Sun et al. Joint ddpg and unsupervised learning for channel allocation and power control in centralized wireless cellular networks
CN111741520B (zh) 一种基于粒子群的认知水声通信系统功率分配方法
CN116033461B (zh) 一种基于star-ris辅助的共生无线电传输方法
CN116527178B (zh) 一种智能反射面辅助的智能语义通信系统资源分配方法
CN116419245A (zh) 一种基于智能反射面辅助的速率分割多址接入的多小区通信系统能效优化方法
Zhang et al. Transfer Learning Empowered Resource Allocation for Vehicular Edge Computing
CN116390056A (zh) Star-ris辅助的车联网sr系统链路优化方法
Li et al. Convolutional neural network-based channel allocation and resource optimization for D2D communications
CN115037394B (zh) 基于GSIC的多RISs辅助的NOMA系统设计方法
CN117295077B (zh) 一种多小区协同多址地空数据传输方法
CN117880843A (zh) 一种智能反射面辅助下的频谱共享安全通信网关智能资源分配算法
CN117424623A (zh) 基于用户速率的Massive MIMO预编码设计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant