CN115114928A - 一种基于特征选择的可解释性语义通信系统 - Google Patents

一种基于特征选择的可解释性语义通信系统 Download PDF

Info

Publication number
CN115114928A
CN115114928A CN202210494378.6A CN202210494378A CN115114928A CN 115114928 A CN115114928 A CN 115114928A CN 202210494378 A CN202210494378 A CN 202210494378A CN 115114928 A CN115114928 A CN 115114928A
Authority
CN
China
Prior art keywords
semantic
information
feature
features
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210494378.6A
Other languages
English (en)
Other versions
CN115114928B (zh
Inventor
曹雯
马帅
张志�
李世银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202210494378.6A priority Critical patent/CN115114928B/zh
Priority claimed from CN202210494378.6A external-priority patent/CN115114928B/zh
Publication of CN115114928A publication Critical patent/CN115114928A/zh
Application granted granted Critical
Publication of CN115114928B publication Critical patent/CN115114928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/30Monitoring; Testing of propagation channels
    • H04B17/309Measuring or estimating channel quality parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/30Monitoring; Testing of propagation channels
    • H04B17/391Modelling the propagation channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种基于特征选择的可解释性语义通信系统,与传统的通信系统兼容。采用特征选择,只选择与任务相关的语义信息进行传输。基于本发明还提供了两个信息论指标:率失真感知函数和语义信道容量,分别用来描述语义信息的压缩和传输。用闭式表达式推导了语义信道容量的上下界。提出了一个可行的可解释语义通信系统的设计方案。建立了一个无线移动语义通信概念验证原型来实现语义通信设计。实验证明,本发明系统能够显著优于现有的方法,并在两个基准数据集上显示出对各种噪声水平的鲁棒性。本发明提供了语义通信的框架和理论度量来解释和分析黑盒语义通信问题,并为在实际通信系统中实现语义通信提供指导。

Description

一种基于特征选择的可解释性语义通信系统
技术领域
本发明涉及语义通信领域,尤其涉及一种基于特征选择的可解释性语义通信系统。
背景技术
语义通信利用收发机的计算能力来缓解稀缺的传输资源,如带宽和能量。尽管对语义通信进行了许多初步研究,但传统的基于DL的语义通信仍面临两个主要挑战。首先,提取特征的不可理解性限制了语义通信的发展。可以发现,大多数现有的JSCC 方案都基于DL技术。DL模型基本上是一个黑匣子,因此这些作品中提取的特征向量是无法解释(隐藏)的表示。提取特征的不可理解性不利于语义特征的处理和利用。如果没有明确的解释,非预期的特征很可能会被传输到接收器,这会对语义多模态或多源信息融合产生负面影响。其次,现有的大多数语义通信研究都是在传统系统的基础上,对信源和信道模块进行重新设计。这样的设计很难实现,也不切实际。如果5G 的物理层技术全部或部分被基于DL的语义JSCC技术所取代,将导致资源和成本的巨大浪费。提高通信效率和利用现有通信结构之间的权衡是一个需要考虑的合理问题。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种基于特征选择的可解释性语义通信系统,包括系统框架、信息论指标计算模块、设计模块;
所述系统框架用于语义特征提取、语义特征传输以及语义特征补全;
所述信息论指标计算模块用于,计算率失真感知分类函数和语义信道容量,以及闭合表达式下的语义信道容量的上下界;
所述设计模块用于,建立基于β-VAE(Beta-变分自编码器)的具有鲁棒性和可解释性的联合信源和信道编码方法,并实现语义特征分离和鲁棒语义信道噪声。
所述系统框架包括知识库模块、语义源模块、语义编码器模块、语义解码器模块、特征选择模块、特征补全模块、语义信道模块;
所述知识库模块中包含在语义层面促进交流的所有必要信息,例如不同国家的语言,发送方可以根据不同的任务、场景和收件人来选择不同的语言知识库。
所述语义源模块用于产生原始信息,具体包括:设语义信息S包含K个特征
Figure RE-GDA0003767457860000021
其中sk代表第k个语义特征,psou(s)表示语义信息s的联合概率分布;
设K个特征
Figure RE-GDA0003767457860000022
独立,即
Figure RE-GDA0003767457860000023
语义源的熵H(S)为:
Figure RE-GDA0003767457860000024
其中psou(sk)表示第k个语义特征sk的概率分布;
语义源能够生成信息数据X~pdata(x),pdata(x)表示x的概率分布函数,x表示信息数据,数据生成定义为
Figure RE-GDA0003767457860000025
信息数据X的概率分布pdata(x)为:
Figure RE-GDA0003767457860000026
语义信息x的熵H(X)为:
Figure RE-GDA0003767457860000027
基于公式(1)和公式(2),H(X)写成:
H(X)=H(S)+H(X|S)-H(S|X) (4)。
所述语义编码器模块,用于提取信息数据X的语义信息或者语义特征,输出特征Z;信息数据X中提取低维的语义特征Z~pfea(z);
提取的特征pfea(z)的概率分布为:
Figure RE-GDA0003767457860000028
其中pd2f(z|x)表示给定信息数据x的条件下特征z的条件概率分布函数;
编码器需要将提取的特征调节为L个独立特征,
Figure RE-GDA0003767457860000029
满足:
Figure RE-GDA00037674578600000210
提取出的特征z需要有L个可解释语义特征
Figure RE-GDA00037674578600000211
表示解纠缠语义特征的索引集,L表示可解释的语义特征的数量。
所述特征选择模块用于进行特征选择,具体包括:用
Figure RE-GDA0003767457860000031
代表所选特征的索引集,所选特征的集合Xs为:
Figure RE-GDA0003767457860000032
所述语义信道模块用于将语义信道定义为包括信号量化器和比特级通信系统的虚拟信道,具体包括:
Ys~pr(ys)表示通过语义信道后的接收信号,pr(ys)表示Ys的概率分布函数:
Ys=Xs+Ns (8)
其中Xs表示所选特征集合,
Figure RE-GDA0003767457860000033
是语义信道噪声,
Figure RE-GDA0003767457860000034
表示Ns的概率分布函数;语义信道噪声写成:
ns=nQ+nP (9)
其中nQ表示量化噪声,nP表示物理信道噪声。
所述特征补全模块用于获取完整的特征,具体包括:接收端能够从语义信道中获取语义特征ys
接收的预期特征
Figure RE-GDA0003767457860000035
表示其接收的第l个特征,计算公式如下:
Figure RE-GDA0003767457860000036
通过结合预期特征
Figure RE-GDA0003767457860000037
和非预期特征
Figure RE-GDA0003767457860000038
得到完整的具有分布
Figure RE-GDA0003767457860000039
的语义特征
Figure RE-GDA00037674578600000310
所述语义解码器模块,用于从语义可解释的解纠缠特征
Figure RE-GDA00037674578600000311
中恢复消息,具体包括:
使用条件概率
Figure RE-GDA00037674578600000312
描述语义解码过程;解码信息的概率分布为
Figure RE-GDA00037674578600000313
获得的消息为
Figure RE-GDA00037674578600000314
给定特征向量的消息重构,如下所示:
Figure RE-GDA00037674578600000315
其中
Figure RE-GDA0003767457860000041
表示
Figure RE-GDA0003767457860000042
的概率分布函数;
然后接收机基于解码信息恢复语义信息,相应的处理过程描述为
Figure RE-GDA0003767457860000043
表示最后的语义信息,语义信息
Figure RE-GDA0003767457860000044
的概率
Figure RE-GDA0003767457860000045
为:
Figure RE-GDA0003767457860000046
所述信息论指标计算模块具体执行如下步骤:
设p(x)是输入信息的分布,r(z)是压缩信号的分布,q(z|x)是
Figure RE-GDA0003767457860000047
上的条件分布,
Figure RE-GDA0003767457860000048
表示信息数据x的集合,p(x,s1,…,sK)是联合分布,sk是关于信息数据x的第k个分类信息,k取值为1~K;
信息X~p(x)的信息率失真感知分类函数R(D,P,C)定义为:
Figure RE-GDA0003767457860000049
Figure RE-GDA00037674578600000410
d(p(x),r(z))≤P, (13c)
Figure RE-GDA00037674578600000411
Figure RE-GDA00037674578600000412
其中
Figure RE-GDA00037674578600000413
表示最小化信息X和压缩信号Z之间的互信息,s.t.表示受限制于,
Figure RE-GDA00037674578600000414
是信息x与压缩信号z之间的预期失真,D表示给定失真限度,感知函数 d(p(x),r(z))表示概率分布函数p(x)和r(z)之间的KL散度,P是给定散度最大值, H(Sk|Z)表示条件熵,Ck表示第k个分类信息对应的信道容量,q(z|x)表示在
Figure RE-GDA00037674578600000415
上的条件分布;其中C=(C1,…,CK),当x=z时,失真函数Δ:
Figure RE-GDA00037674578600000416
满足Δ(x,z)=0,Δ(x,z)表示失真函数;当p(x)=r(z)时,则d(p(x),r(z))=0,p(x)表示信息x的概率分布函数,r(z)表示压缩信号z的概率分布函数;
所述语义信道容量包括:定义等效高斯分布信道噪声
Figure RE-GDA00037674578600000417
等效高斯分布信道噪声具有与语义信道噪声Ns相同的方差;语义信道噪声方差
Figure RE-GDA0003767457860000051
的表达式为:
Figure RE-GDA0003767457860000052
其中a、b表示满足均匀分布的量化噪声的边界,
Figure RE-GDA0003767457860000053
表示物理信道噪声np的方差;
等效高斯分布信道噪声
Figure RE-GDA0003767457860000054
分布
Figure RE-GDA0003767457860000055
为:
Figure RE-GDA0003767457860000056
基于等效高斯分布信道噪声
Figure RE-GDA0003767457860000057
语义信道的接收信号
Figure RE-GDA0003767457860000058
为:
Figure RE-GDA0003767457860000059
等效语义信道容量Cs,eq为:
Figure RE-GDA00037674578600000510
其中
Figure RE-GDA00037674578600000511
代表发送语义数据Xs的能量;
在非高斯分布信道噪声下,语义信道容量Cs的界限为:
Figure RE-GDA00037674578600000512
其中
Figure RE-GDA00037674578600000513
其中
Figure RE-GDA00037674578600000514
表示语义噪声的概率分布函数,
Figure RE-GDA00037674578600000515
表示语义信道噪声的概率分布函数,
Figure RE-GDA00037674578600000516
表示语义噪声概率分布函数和语义信道噪声概率分布函数之间的KL散度;
Figure RE-GDA00037674578600000517
表示积分;
语义信道容量上界
Figure RE-GDA0003767457860000061
为:
Figure RE-GDA0003767457860000062
所述设计模块执行如下步骤:优化参数集为φ的语义编码器qφ(z|x),以及参数集为θ的接收机的语义解码器;
目标是联合优化参数φ和θ,以最大化数据X的对数似然:
Figure RE-GDA0003767457860000063
其中pθ(x)表示基于参数θ、信息数据x的概率分布函数;
选择优化目标函数logpθ(x),其下界为:
Figure RE-GDA0003767457860000064
其中qφ(z|x)表示基于参数φ、给定信息数据x的条件下特征z的条件概率分布,
Figure RE-GDA0003767457860000071
表示在qφ(z|x)条件下对求logpθ(z|x)的期望;
将dKL(qφ(z|x)||pθ(z))乘以加权参数β,以获得一个解纠缠且可解释的语义表示z;使用pθ(x|z+ns)替换pθ(z|x),其中ns是语义噪声;对数似然最大化问题为:
Figure RE-GDA0003767457860000072
其中假设先验分布pθ(z)遵循标准高斯分布:
Figure RE-GDA0003767457860000073
通过选择β的值,使后验概率qφ(z|x)与高斯分布
Figure RE-GDA0003767457860000074
匹配,从而将隐藏表示分解成独立、语义上有意义的特征
Figure RE-GDA0003767457860000075
在具有鲁棒性的β-VAE中,让
Figure RE-GDA0003767457860000076
Figure RE-GDA0003767457860000077
分别表示近似后验概率qφ(z|x)的均值和相应的标准差;估计公式(21)相对于参数φ的梯度,其中随机自变量
Figure RE-GDA0003767457860000078
从标准高斯分布中采样,即
Figure RE-GDA0003767457860000079
表示标准高斯分布;则语义编码器
Figure RE-GDA00037674578600000710
的输出特性为:
Figure RE-GDA00037674578600000717
特征zl等于从分布
Figure RE-GDA00037674578600000711
中采样,其中l=1,...,L;
发送机只发送接收机感兴趣的特征
Figure RE-GDA00037674578600000712
接收机基于知识库生成发送机未发送的特征
Figure RE-GDA00037674578600000713
其中zl
Figure RE-GDA00037674578600000714
的维度和值范围相同;
根据完整的语义特征
Figure RE-GDA00037674578600000715
特征补全模块会恢复原始数据;
所述具有鲁棒性的β-VAE包括一个语义编码器网络和一个语义解码器网络;
语义编码器网络架构为:
Figure RE-GDA00037674578600000716
其中Conv2D32@32*32表示卷积层具有32个32*32的卷积单元;
语义解码器网络架构为:
Figure RE-GDA0003767457860000081
其中ConvT2D@32*32表示反卷积层有32个32*32的卷积单元;Dense1*256表示一个全连接层具有256个神经元。
有益效果:
发明首次给出了一个可解释且易于实现的语义通信框架,该框架与传统的通信系统兼容。在此框架中,语义编码器的主要作用有三个方面:提取特征向量,分离语义信息,提高对语义信息模糊的鲁棒性。为了进一步降低通信成本,采用特征选择,只选择与任务相关的语义信息进行传输。本发明还提供了此框架下的两个信息论指标:率失真感知分类函数以及语义信道容量,分别用来描述语义信息的压缩和传输。为了量化加性量化噪声和物理信道噪声下的语义信息传输,还用闭式表达式推导了语义信道容量的上下界。基于此框架,提出了一个可行的可解释语义通信系统的设计方案。为了增强传输鲁棒性,在语义网络训练时向提取的特征中添加了语义信道噪声。进一步建立了一个实时的无线语义通信验证原型可以实现上述方案;最后实验证明,所提出的语义通信系统能够显著优于现有的方法,并在两个基准数据集上显示出对各种噪声水平的鲁棒性。本发明试图提供框架和理论度量来解释和分析黑盒语义通信问题,并为在实际通信系统中实现语义通信提供指导。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1是可解释且健壮的语义通信框架结构图。
图2基于β-VAE可解释语义通信系统结构图。
图3是可解释语义通信系统,提出了一种鲁棒的基于β-vae的体系结构。
具体实施方式
本发明提出一种基于特征选择的可解释性语义通信系统,包括系统框架、信息论指标计算模块、设计模块、验证原型;
所述语义编码器和语义解码器可以分解语义信息为独立可解释特征以及消除量化和信道噪声引起的语义信息歧义;所述特征选择模块在语义编码器之后,只选择与任务相关的特征进行传输,可以进一步降低传输负载;所述语义信道同时考虑了量化误差(或噪声)和物理信道噪声,并且封装了传统的比特级通信系统;
所述信息论指标计算模块用于,计算率失真感知分类函数和语义信道容量,以及闭合表达式下的语义信道容量的上下界;
所述设计模块用于,建立基于β-VAE的具有鲁棒性和可解释性的联合信源和信道编码方法,并实现语义特征分离和鲁棒语义信道噪声;
所述验证原型为使用树莓派4B实现所述系统框架。
1、根据所述的系统框架,包括以下模块:
(1-1),知识库模块,包含所有必要的信息,可以促进语义层面的交流;发送端根据不同的任务、场景和接收端选择不同的知识库;
(1-2),语义源模块用于产生原始信息,具体包括:设语义信息包含K个特征
Figure RE-GDA0003767457860000091
其中sk代表第k个语义特征,psou(s)表示联合概率分布;设K个特征
Figure RE-GDA0003767457860000092
独立,即
Figure RE-GDA0003767457860000093
因此,语义源的熵为:
Figure RE-GDA0003767457860000094
其中psou(sk)表示sk的概率分布;
语义源能够生成信息数据X~pdata(x);生成信息的特征需要同时包含预期的特征和一些冗余特征,数据生成定义为
Figure RE-GDA0003767457860000095
信息数据X的概率分布为:
Figure RE-GDA0003767457860000096
语义信息x的熵为:
Figure RE-GDA0003767457860000097
基于公式(1)和公式(2),H(X)写成:
H(X)=H(S)+H(X|S)-H(S|X) (4)
(1-3),语义编码器模块,用于提取信息X的语义信息或者语义特征,输出解耦的和可解释的特征Z;信息X中提取低维的语义特征Z~pfea(z),其中pd2f(z|x)表示给定消息x的特征z的条件概率分布函数;
提取的特征(子向量)pfea(z)的概率分布为:
Figure RE-GDA0003767457860000101
编码器需要将提取的特征调节为L个独立特征,
Figure RE-GDA0003767457860000102
满足:
Figure RE-GDA0003767457860000103
其中p(zl)表示特征zl的概率密度函数;提取出的特征z需要有L个可以被人们理解和解释的解纠缠的可解释语义特征
Figure RE-GDA0003767457860000104
表示解纠缠语义特征的索引集;
(1-4),特征选择模块,根据传输任务不同,不同接收机只对提取的特征Z中部分信息感兴趣,剩余特征则视为冗余;
Figure RE-GDA0003767457860000105
代表所选特征的索引集,所选特征的集合,即:
Figure RE-GDA0003767457860000106
其中所选特征Xs可能具有一定的冗余;
(1.5),语义信道模块,用于将语义信道定义为包括信号量化器和比特级通信系统的虚拟信道,如图1所示;
Ys~pr(ys)表示通过语义信道后的接收信号:
Ys=Xs+Ns (8)
其中
Figure RE-GDA0003767457860000107
是语义信道噪声,表示从特征选择到特征补齐的整体加性噪声;因为(无损)信源编码器和信道编码器都是双射映射函数,因此语义信道噪声写成:
ns=nQ+nP (9)
其中nQ是量化噪声,nP是物理信道噪声;
(1.6),特征补全模块,接收端能够从语义信道中获取语义特征ys
接收的预期特征
Figure RE-GDA0003767457860000111
计算公式如下:
Figure RE-GDA0003767457860000112
虽然非预期特征子集
Figure RE-GDA0003767457860000113
不会发送,接收机仍然可以利用知识库学习生成相应的非预期特征子集
Figure RE-GDA0003767457860000114
通过结合预期特征
Figure RE-GDA0003767457860000115
和非预期特征
Figure RE-GDA0003767457860000116
得到完整的具有分布
Figure RE-GDA0003767457860000117
的语义特征
Figure RE-GDA0003767457860000118
(1.7),语义解码器模块,用于从语义可解释的解纠缠特征
Figure RE-GDA0003767457860000119
中恢复消息;此过程需要模型训练知识库的帮助,以便解码器能够“理解”特征;
使用条件概率
Figure RE-GDA00037674578600001110
描述语义解码过程;解码信息的概率分布为
Figure RE-GDA00037674578600001111
获得的消息为
Figure RE-GDA00037674578600001112
给定特征向量的消息重构,如下所示:
Figure RE-GDA00037674578600001113
(1.8),语义目标,接收机基于解码信息恢复语义信息,相应的处理过程可以描述为
Figure RE-GDA00037674578600001114
表示最后的语义信息;此类语义信息的概率为:
Figure RE-GDA00037674578600001115
所述信息论指标,包括率失真感知分类函数和语义信道容量,以及语义:
所述率失真感知分类函数,设p(x)是输入源的分布,r(z)是压缩信号的分布, q(z|x)是
Figure RE-GDA00037674578600001116
上的条件分布,p(x,s1,…,sK)是联合分布,sk是关于源x的第k个分类信息;
数据源X~p(x)的信息率失真感知分类函数R(D,P,C)定义为:
Figure RE-GDA00037674578600001117
Figure RE-GDA0003767457860000121
d(p(x),r(z))≤P, (13c)
Figure RE-GDA0003767457860000122
Figure RE-GDA0003767457860000123
其中C=(C1,…,CK),当x=z时,失真函数Δ:
Figure RE-GDA0003767457860000124
满足Δ(x,z)=0;如果 p(x)=r(x),感知函数d(p(x),r(z))在概率分布p(x)和r(z)满足d(p,q)=0时是非负散度;
所述语义信道容量,由于语义信道噪声Ns满足非高斯分布,传统香农容量公式无法直接应用到语义信道;因此定义等效高斯分布信道噪声
Figure RE-GDA0003767457860000125
具有与 Ns相同的方差;语义信道噪声方差是
Figure RE-GDA0003767457860000126
等效语义信道噪声
Figure RE-GDA0003767457860000127
分布为:
Figure RE-GDA0003767457860000128
基于等效噪声
Figure RE-GDA0003767457860000129
语义信道的接收信号为:
Figure RE-GDA00037674578600001210
等效语义信道容量为:
Figure RE-GDA00037674578600001211
其中
Figure RE-GDA00037674578600001212
代表发送语义数据Xs的能量;
在非高斯分布信道噪声下,语义信道容量Cs的界限为:
Figure RE-GDA0003767457860000131
其中
Figure RE-GDA0003767457860000132
注意
Figure RE-GDA0003767457860000133
不是闭合形式,只能用数值积分法计算;
语义信道容量上界
Figure RE-GDA0003767457860000134
为:
Figure RE-GDA0003767457860000135
所述设计模块,包括基于β-vae的鲁棒可解释语义通信系统、特征选择与补全和系统架构;
所述β-vae的鲁棒可解释语义通信系统,首先优化参数集为φ的语义编码器 qφ(z|x),以及参数集为θ的接收机的语义解码器;
在数学上,目标是联合优化参数φ和θ,以最大化数据X的对数似然:
Figure RE-GDA0003767457860000136
为了有效优化问题(19),选择优化目标函数logpθ(x),其下界为:
Figure RE-GDA0003767457860000137
Figure RE-GDA0003767457860000141
直接最大化下界(20h)并不能实现可解释和稳健语义通信系统的设计;
将dKL(qφ(z|x)||pθ(z))乘以加权参数β,以获得一个解纠缠且可解释的语义表示z;为了对抗语义噪声实现稳健语义通信系统设计,使用pθ(x|z+ns)替换pθ(z|x),其中 ns是语义噪声;对数似然最大化问题为:
Figure RE-GDA0003767457860000142
其中假设先验分布pθ(z)遵循标准高斯分布,即
Figure RE-GDA0003767457860000143
通过精心选择β的值(通常β>1),使后验概率qφ(z|x)与高斯分布
Figure RE-GDA0003767457860000144
匹配,从而将隐藏表示分解成多个独立、语义上有意义的特征
Figure RE-GDA0003767457860000145
在稳健β网络中,让
Figure RE-GDA0003767457860000146
Figure RE-GDA0003767457860000147
分别表示近似后验概率qφ(z|x)的均值和相应的标准差;应用重新参数化技巧来估计公式(21)相对于参数φ的梯度,其中随机自变量
Figure RE-GDA0003767457860000148
从标准高斯分布中采样,即
Figure RE-GDA0003767457860000149
则语义编码器
Figure RE-GDA00037674578600001410
的输出特性为:
zl=μllεl,l?=1,...,L (22)
因此,特征zl相当于从分布
Figure RE-GDA00037674578600001411
中采样,其中l=1,...,L;
所述特征选择和补全,发送机只发送接收机感兴趣的特征
Figure RE-GDA00037674578600001412
而不是提取的所有特征
Figure RE-GDA00037674578600001413
接收机基于知识库生成发送机未发送的特征
Figure RE-GDA00037674578600001414
其中zl
Figure RE-GDA00037674578600001415
的维度和值范围相同;
根据完整的语义特征
Figure RE-GDA00037674578600001416
特征重构模块会恢复原始数据;
所述语义通信架构,包括一个语义编码器网络和一个语义解码器网络,如图3;
语义编码器网络架构为:
Figure RE-GDA0003767457860000151
语义解码器网络架构为:
Figure RE-GDA0003767457860000152
其中Conv2D32@32*32表示这个卷积层具有32个32*32的卷积单元;Dense1*256 表示一个全连接层具有256个神经元;
从图1所示可以看出,本发明所提出的可解释语义通信框架包括语义源、发送方知识库、语义编码器、语义通道、接收方知识库、语义解码器和语义目标。。
从图2可以看出,本发明中提出了一个基于β-V AE的鲁棒语义通信系统,该系统将隐藏的表示向量分解为多个独立的、语义上可解释的特征。
从图3可以看出,可解释语义通信系统,提出了一种鲁棒的基于β-vae的体系结构。
实施例
如图1所示,所述知识库包含了在语义层面促进交流的所有必要信息,发送方可以根据不同的任务、场景和收件人来选择不同的语义知识库;所述语义源生成原始信息,可以是图像、语音、文本或者视频等,生成的信息包含了希望与语义目标共享的某些语义信息;所述语义编码器是基于该知识库,将生成的信息X进行处理,输出解纠缠和可解释的特征Z,是一个联合的信源编码器和信道编码器;所述特征选择是选择接收方感兴趣的语义特征进行发送;所述语义信道包括量化噪声和物理信道噪声,以及信源编译码、信道编译码;所述特征补全是基于接收方知识库生成发送方未发送的特征
Figure RE-GDA0003767457860000153
与接收到的特征相结合得到完整语义特征
Figure RE-GDA0003767457860000154
所述语义译码器目的是从语义特征
Figure RE-GDA0003767457860000155
恢复信息
Figure RE-GDA0003767457860000156
所述语义目标目的是从信息
Figure RE-GDA0003767457860000157
中恢复语义信息
Figure RE-GDA0003767457860000158
如图2所示,所述语义源x是一张图像;输入所述语义编码器得到语义特征
Figure RE-GDA0003767457860000159
对语义特征
Figure RE-GDA0003767457860000161
进行特征选择得到语义目标感兴趣的预期特征
Figure RE-GDA0003767457860000162
将感兴趣的预期特征
Figure RE-GDA0003767457860000163
输入到所述语义信道,加入语义噪声ns;接收端收到预期特征
Figure RE-GDA0003767457860000164
所述特征补全将生成未发送的特征
Figure RE-GDA0003767457860000165
与预期特征
Figure RE-GDA0003767457860000166
结合得到完整语义特征
Figure RE-GDA0003767457860000167
将完整语义特征
Figure RE-GDA0003767457860000168
输入所述语义解码器得到语义信息
Figure RE-GDA0003767457860000169
如图3所示,所述语义源X输入语义编码器网络中,所述语义编码器由卷积网络实现,输出语义特征
Figure RE-GDA00037674578600001610
所述特征选择的输出为预期特征z1,预期特征z1语义信道,并加入语义噪声ns,接收端收到预期特征
Figure RE-GDA00037674578600001611
通过所述特征补全得到完整语义特征
Figure RE-GDA00037674578600001612
将完整语义特征输入所述语义解码器,由反卷积层实现,输出语义信息
Figure RE-GDA00037674578600001613
本发明提供了一种基于特征选择的可解释性语义通信系统,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于特征选择的可解释性语义通信系统,其特征在于,包括系统框架、信息论指标计算模块、设计模块;
所述系统框架用于语义特征提取、语义特征传输以及语义特征补全;
所述信息论指标计算模块用于,计算率失真感知分类函数和语义信道容量,以及闭合表达式下的语义信道容量的上下界;
所述设计模块用于,建立基于β-VAE的具有鲁棒性和可解释性的联合信源和信道编码方法,并实现语义特征分离和鲁棒语义信道噪声。
2.根据权利要求1所述的系统,其特征在于,所述系统框架包括知识库模块、语义源模块、语义编码器模块、语义解码器模块、特征选择模块、特征补全模块、语义信道模块;
所述知识库模块中包含必要信息。
3.根据权利要求2所述的系统,其特征在于,所述语义源模块用于产生原始信息,具体包括:设语义信息S包含K个特征
Figure FDA0003631986010000011
其中sk代表第k个语义特征,psou(s)表示语义信息s的联合概率分布;
设K个特征
Figure FDA0003631986010000012
独立,即
Figure FDA0003631986010000013
语义源的熵H(S)为:
Figure FDA0003631986010000014
其中psou(sk)表示第k个语义特征sk的概率分布;
语义源能够生成信息数据X~pdata(x),pdata(x)表示x的概率分布函数,x表示信息数据,数据生成定义为
Figure FDA0003631986010000015
信息数据X的概率分布pdata(x)为:
Figure FDA0003631986010000016
语义信息x的熵H(X)为:
Figure FDA0003631986010000017
基于公式(1)和公式(2),H(X)写成:
H(X)=H(S)+H(X|S)-H(S|X) (4)。
4.根据权利要求3所述的系统,其特征在于,所述语义编码器模块,用于提取信息数据X的语义信息或者语义特征,输出特征Z;信息数据X中提取低维的语义特征Z~pfea(z);
提取的特征pfea(z)的概率分布为:
Figure FDA0003631986010000021
其中pd2f(z|x)表示给定信息数据x的条件下特征z的条件概率分布函数;
编码器需要将提取的特征调节为L个独立特征,
Figure FDA0003631986010000022
满足:
Figure FDA0003631986010000023
提取出的特征z需要有L个可解释语义特征
Figure FDA0003631986010000024
Figure FDA0003631986010000025
表示解纠缠语义特征的索引集,L表示可解释的语义特征的数量。
5.根据权利要求4所述的系统,其特征在于,所述特征选择模块用于进行特征选择,具体包括:用
Figure FDA0003631986010000026
代表所选特征的索引集,所选特征的集合Xs为:
Figure FDA0003631986010000027
6.根据权利要求5所述的系统,其特征在于,所述语义信道模块用于将语义信道定义为包括信号量化器和比特级通信系统的虚拟信道,具体包括:
Ys~pr(ys)表示通过语义信道后的接收信号,pr(ys)表示Ys的概率分布函数:
Ys=Xs+Ns (8)
其中Xs表示所选特征集合,
Figure FDA0003631986010000028
是语义信道噪声,
Figure FDA0003631986010000029
表示Ns的概率分布函数;语义信道噪声写成:
ns=nQ+nP (9)
其中nQ表示量化噪声,nP表示物理信道噪声。
7.根据权利要求6所述的系统,其特征在于,所述特征补全模块用于获取完整的特征,具体包括:接收端能够从语义信道中获取语义特征ys
接收的预期特征
Figure FDA0003631986010000031
Figure FDA0003631986010000032
表示其接收的第l个特征,计算公式如下:
Figure FDA0003631986010000033
通过结合预期特征
Figure FDA0003631986010000034
和非预期特征
Figure FDA0003631986010000035
得到完整的具有分布
Figure FDA0003631986010000036
的语义特征
Figure FDA0003631986010000037
8.根据权利要求7所述的系统,其特征在于,所述语义解码器模块,用于从语义可解释的解纠缠特征
Figure FDA0003631986010000038
中恢复消息,具体包括:
使用条件概率
Figure FDA0003631986010000039
描述语义解码过程;解码信息的概率分布为
Figure FDA00036319860100000310
获得的消息为
Figure FDA00036319860100000311
给定特征向量的消息重构,如下所示:
Figure FDA00036319860100000312
其中
Figure FDA00036319860100000313
表示
Figure FDA00036319860100000314
的概率分布函数;
然后接收机基于解码信息恢复语义信息,相应的处理过程描述为
Figure FDA00036319860100000315
Figure FDA00036319860100000316
表示最后的语义信息,语义信息
Figure FDA00036319860100000317
的概率
Figure FDA00036319860100000318
为:
Figure FDA00036319860100000319
9.根据权利要求8所述的系统,其特征在于,所述信息论指标计算模块具体执行如下步骤:
设p(x)是输入信息的分布,r(z)是压缩信号的分布,q(z|x)是χ×χ上的条件分布,χ表示信息数据x的集合,p(x,s1,…,sK)是联合分布,sk是关于信息数据x的第k个分类信息,k取值为1~K;
信息X~p(x)的信息率失真感知分类函数R(D,P,C)定义为:
Figure FDA00036319860100000320
Figure FDA00036319860100000321
d(p(x),r(z))≤P, (13c)
Figure FDA0003631986010000041
Figure FDA0003631986010000042
其中
Figure FDA0003631986010000043
表示最小化信息X和压缩信号Z之间的互信息,s.t.表示受限制于,
Figure FDA0003631986010000044
是信息x与压缩信号z之间的预期失真,D表示给定失真限度,感知函数d(p(x),r(z))表示概率分布函数p(x)和r(z)之间的KL散度,P是给定散度最大值,H(Sk|Z)表示条件熵,Ck表示第k个分类信息对应的信道容量,q(z|x)表示在χ×χ上的条件分布;其中C=(C1,…,CK),当x=z时,失真函数Δ:χ×χ→R+满足Δ(x,z)=0,Δ(x,z)表示失真函数;当p(x)=r(z)时,则d(p(x),r(z))=0,p(x)表示信息x的概率分布函数,r(z)表示压缩信号z的概率分布函数。
10.根据权利要求9所述的系统,其特征在于,所述语义信道容量包括:定义等效高斯分布信道噪声
Figure FDA0003631986010000045
等效高斯分布信道噪声具有与语义信道噪声Ns相同的方差;语义信道噪声方差
Figure FDA0003631986010000046
的表达式为:
Figure FDA0003631986010000047
其中a、b表示满足均匀分布的量化噪声的边界,
Figure FDA0003631986010000048
表示物理信道噪声np的方差。
CN202210494378.6A 2022-05-07 一种基于特征选择的可解释性语义通信系统 Active CN115114928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210494378.6A CN115114928B (zh) 2022-05-07 一种基于特征选择的可解释性语义通信系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210494378.6A CN115114928B (zh) 2022-05-07 一种基于特征选择的可解释性语义通信系统

Publications (2)

Publication Number Publication Date
CN115114928A true CN115114928A (zh) 2022-09-27
CN115114928B CN115114928B (zh) 2024-06-25

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116911360A (zh) * 2023-09-15 2023-10-20 香港中文大学(深圳) 一种利用神经网络求解语义信息最小压缩速率的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019245A (zh) * 2020-08-26 2020-12-01 上海科技大学 信道信息实时预测与测量方法、装置、设备和介质
CN112800247A (zh) * 2021-04-09 2021-05-14 华中科技大学 基于知识图谱共享的语义编/解码方法、设备和通信系统
CN113298840A (zh) * 2021-05-26 2021-08-24 南京邮电大学 基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质
CN114091673A (zh) * 2022-01-19 2022-02-25 华中科技大学 语义信息表示方法、语义编码器、解码器和语义通信框架

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019245A (zh) * 2020-08-26 2020-12-01 上海科技大学 信道信息实时预测与测量方法、装置、设备和介质
CN112800247A (zh) * 2021-04-09 2021-05-14 华中科技大学 基于知识图谱共享的语义编/解码方法、设备和通信系统
CN113298840A (zh) * 2021-05-26 2021-08-24 南京邮电大学 基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质
CN114091673A (zh) * 2022-01-19 2022-02-25 华中科技大学 语义信息表示方法、语义编码器、解码器和语义通信框架

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QUANDONG WANG; JUNNAN WU; ZHAO YAN: "Multi-Channel Speech Enhancement with 2-D Convolutional Time-Frequency Domain Features and a Pre-Trained Acoustic Model", 《2021 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC)》, 17 December 2021 (2021-12-17), pages 564 - 570, XP034077973 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116911360A (zh) * 2023-09-15 2023-10-20 香港中文大学(深圳) 一种利用神经网络求解语义信息最小压缩速率的方法
CN116911360B (zh) * 2023-09-15 2023-12-12 香港中文大学(深圳) 一种利用神经网络求解语义信息最小压缩速率的方法

Similar Documents

Publication Publication Date Title
Hu et al. Robust semantic communications with masked VQ-VAE enabled codebook
US20210201135A1 (en) End-to-end learning in communication systems
CN111555781A (zh) 一种基于深度学习注意力机制的大规模mimo信道状态信息压缩及重建方法
CN115514343B (zh) 电网波形滤波系统及其滤波方法
Whang et al. Neural distributed source coding
EP2992449B1 (en) Creation of a hierarchical dictionary
Huang et al. Joint task and data oriented semantic communications: A deep separate source-channel coding scheme
CN116562365A (zh) 面向隐私保护的深度量化联邦学习方法
CN111767697A (zh) 文本处理方法、装置、计算机设备以及存储介质
CN105354867A (zh) 自适应冗余字典压缩感知的高光谱图像压缩算法研究
Dong et al. Edge semantic cognitive intelligence for 6G networks: Novel theoretical models, enabling framework, and typical applications
US11895303B2 (en) Systems and methods for distributed quantization of multimodal images
CN112492313B (zh) 一种基于生成对抗网络的图片传输系统
Wei et al. Federated Semantic Learning Driven by Information Bottleneck for Task-Oriented Communications
CN115114928B (zh) 一种基于特征选择的可解释性语义通信系统
Yuan et al. Image restoration via exponential scale mixture‐based simultaneous sparse prior
CN115114928A (zh) 一种基于特征选择的可解释性语义通信系统
CN117669699A (zh) 一种工业物联网场景下面向数字孪生的语义信息联邦学习方法及系统
CN112929304A (zh) 一种环境知识库辅助的无线信道获取方法
CN116029340B (zh) 一种基于深度学习网络的图像及语义信息传输方法
Zhou et al. Speech Semantic Communication Based On Swin Transformer
CN114841370B (zh) 联邦学习模型的处理方法、装置、电子设备和存储介质
Dong et al. Edge Semantic Cognitive Intelligence for 6G Networks: Models, Framework, and Applications.
Wang et al. SNN-SC: A Spiking Semantic Communication Framework for Feature Transmission
US20230308681A1 (en) End-to-end stereo image compression method and device based on bi-directional coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant