CN116488748B - 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质 - Google Patents

一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116488748B
CN116488748B CN202310488208.1A CN202310488208A CN116488748B CN 116488748 B CN116488748 B CN 116488748B CN 202310488208 A CN202310488208 A CN 202310488208A CN 116488748 B CN116488748 B CN 116488748B
Authority
CN
China
Prior art keywords
semantic
communication system
system model
transceiver
semantic communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310488208.1A
Other languages
English (en)
Other versions
CN116488748A (zh
Inventor
郭帅帅
王衍虎
张安邦
李树静
刘帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310488208.1A priority Critical patent/CN116488748B/zh
Publication of CN116488748A publication Critical patent/CN116488748A/zh
Application granted granted Critical
Publication of CN116488748B publication Critical patent/CN116488748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/336—Signal-to-interference ratio [SIR] or carrier-to-interference ratio [CIR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种对抗不匹配背景知识库的收发机协同学习的语义通信方法及系统，包括：(1)建立收发机装配的语义通信系统模型；(2)确定合适的目标函数；(3)进行本地学习；(4)减小收发机上的语义通信系统模型；(5)进行收发机协同学习。针对语义通信中假设收发机共享知识库而忽略知识库不匹配的研究现状，本发明提出一种收发机协同学习的语义通信方法及系统。本发明通过网络参数交互而不是经验数据交互来缓解知识库不匹配的影响。为了减小网络参数共享带来的额外开销，利用量化减小网络模型大小。本发明所提方法可以减少由知识库不匹配对语义通信系统性能的影响，特别是在低信噪比情况下。

Description

一种对抗不匹配背景知识库的收发机协同学习的语义通信方 法、系统、设备及存储介质
技术领域
本发明涉及一种对抗不匹配背景知识库的收发机协同学习的语义通信方法及系统，属于无线通信技术领域。
背景技术
由于人工智能技术的不断突破和芯片的强大，新兴智能体纷纷涌现，如AR/VR、无人驾驶等。新兴智能体的互联将产生海量数据，同时它们提出在带宽受限的情况下低延迟通信的要求，这使得传统的通信方案面临严峻的挑战。语义通信是一种超越比特传输的通信范式，其基于背景知识库对文本、图像、语音以及多模态数据进行传输：发射机基于本地知识库从信源中提取要发送的语义信息，接收机基于本地知识库对接收到的语义信息进行理解和恢复。语义通信仅传输语义信息，显著地减少了数据流量，可以满足新兴智能体的通信需求，因此，语义通信受到了学术界和产业界的广泛关注。
背景知识库是语义通信系统的重要组成部分之一。为使发射端和接收端的收发机对传输的语义信息有相同的理解，现有的语义通信研究默认收发端具有相同的知识库。在现实中，发射端和接收端的知识库最初可能是相同的，然而，由于环境的变化和/或收发端设备捕捉数据能力的不同，知识库可能会变得不同，这将导致通信性能下降。一种现有技术是直接交换背景知识(即新捕捉的数据)以使知识库始终保持一致。然而，这种技术会使收发端承担额外的通信开销，并且面临隐私泄露的风险。
发明内容
针对现有技术的不足，本发明提供了一种收发机协同学习的语义通信方法及系统。具体来说，本发明考虑了背景知识库在语义通信系统中的重要性，针对收发端知识库不完全一致的情况进行语义通信系统设计：首先，建立收发机装配的语义通信系统模型；其次，选用合适的目标函数；然后，利用网络参数量化减小语义通信系统模型；最后，收发机共享网络参数以进行协同学习。在收发端背景知识库不完全一致的情况下，本发明提出的语义通信方法性能优于已有的语义通信方案。
本发明的技术方案为：
一种对抗不匹配背景知识库的收发机协同学习的语义通信方法，具体步骤包括：
(1)建立收发机装配的语义通信系统模型；
(2)根据步骤(1)中建立的语义通信系统模型，确定合适的目标函数；
(3)收发机基于私有数据进行本地学习；
(4)减小收发机上的语义通信系统模型；
(5)通过步骤(4)得到的语义通信系统模型进行收发机协同学习。
根据本发明优选的，语义通信系统模型包括发射器和接收器，发射器包括语义编码器和联合信源信道编码器即JSC编码器，接收器包括联合信源信道解码器即JSC解码器和语义解码器。
进一步优选的，对于文本数据，语义编码器和语义解码器均为Transformer神经网络，Transformer神经网络包括三个Transformer编码层和三个Transformer解码层。
对于图像数据，语义编码器和语义解码器均为卷积神经网络，卷积神经网络包括四个卷积层。
JSC编码器和JSC解码器均包括两个全连接层。
根据本发明优选的，语义通信系统模型中，
语义编码器根据从输入X中提取语义信息，JSC编码器将提取的语义信息编码为信道输入Z，即：
Z＝Cα(Sβ(X)) (I)
式(I)中，Sβ(·)是参数集为β的语义编码器，Cα(·)是参数集为α的JSC编码器；
Z在信道中传输，在接收端接收到的信号表示为式(II):
式(II)中，H表示信道增益，是加性高斯白噪声(AWGN)；
JSC解码器和语义解码器对接收到的信号进行解码，即：
式(III)中，是恢复的输入，/>是参数集为/>的JSC解码器,/>是参数集为θ的语义解码器。
根据本发明优选的，步骤(2)中，选择合适的损失函数训练步骤(1)中建立的语义通信系统模型，具体是指：
语义通信系统中，传输文本数据时，选择交叉熵(CE)损失函数LCE作为合适的目标函数，即：
式(IV)中，q(wl)是第l个单词wl出现在信源句子中的真实概率，而p(wl)是第l个单词wl出现在恢复的句子中的预测概率；
语义通信系统中，传输图像数据时，选择均方误差(MSE)损失函数LMSE作为合适的目标函数，即：
式(V)中，si是M个图像数据中的第i个数据，是si的恢复(或重建)。
根据本发明优选的，步骤(3)中，收发机基于私有数据进行本地学习，是指：收发机基于本地数据训练语义通信系统模型；具体实现步骤包括：
1)语义编码器提取历史经验数据的语义信息，JSC编码器将提取的语义信息编码为信道输入Z；Z在信道中传输，在接收端接收到的信号JSC解码器和语义解码器对接收到的信号/>进行解码；
2)基于损失函数(IV)或(V)计算损失；
3)利用Adam优化器更新语义通信系统模型的参数集α、β、θ和
4)直到满足终止条件，输出训练好的语义通信系统模型。
根据本发明优选的，步骤(4)中，减小收发机上的语义通信系统模型，是指：对训练好的语义通信系统模型进行参数量化；具体实现过程为：
利用量化函数，即式(VI)，将语义通信系统模型的权重从32位浮点数表示转换为8位整数式(VI)表示为：
式(VI)中，W(n)是指第n层神经网络的所有权重，是指第n层神经网络的第i和第j个神经元的权重，round(·)是取整函数，qw是将浮点的动态范围映射到整数的比例因子，表示为式(VII)：
式(VII)中，m是量化级别。
根据本发明优选的，步骤(5)中，通过步骤(4)得到的语义通信系统模型进行收发机协同学习，是指：收发机交互语义通信系统模型参数；具体实现步骤包括：
a、对语义通信系统进行微调，即重复执行步骤(3)；
b、通信参与方将语义通信系统模型参数发送至另一通信参与方；
c、另一通信参与方基于式(VIII)聚合语义通信系统模型参数：
式(VIII)中，t是指第t次聚合语义通信系统模型参数；wt A是通信参与方的语义通信系统第t次聚合时的语义通信系统模型参数；mA是通信参与方的语义通信系统模型参数的聚合权重；是另一通信参与方的语义通信系统第t次聚合时的语义通信系统模型参数；mB是通信参与方的语义通信系统模型参数的聚合权重；wt+1是加权聚合后的语义通信系统模型参数集；
d、另一通信参与方更新语义通信系统模型并将聚合后的语义通信系统模型参数发送给通信参与方用于更新。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现对抗不匹配背景知识库的收发机协同学习的语义通信方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现对抗不匹配背景知识库的收发机协同学习的语义通信方法的步骤。
一种对抗不匹配背景知识库的收发机协同学习的语义通信系统，包括：
语义通信系统模型建立模块，被配置为：建立收发机装配的语义通信系统模型；
目标函数确定模块，被配置为：根据建立的语义通信系统模型，确定合适的目标函数；
语义通信系统模型训练模块，被配置为：收发机基于私有数据进行本地学习；
语义通信系统模型参数量化模块，被配置为：减小收发机上的语义通信系统模型；
协同学习模块，被配置为：通过参数量化后得到的语义通信系统模型进行收发机协同学习。
本发明的有益效果为：
针对语义通信中假设收发机共享知识库而忽略知识库不匹配的研究现状，本发明提出一种收发机协同学习的语义通信方法及系统。本发明通过网络参数交互而不是经验数据交互来缓解知识库不匹配的影响。为了减小网络参数共享带来的额外开销，利用量化减小网络模型大小。本发明所提方法可以减少由知识库不匹配对语义通信系统性能的影响，特别是在低信噪比情况下。
附图说明
图1是本发明构建的语义通信系统模型的示意图；
图2是本发明收发机协同学习的示意图；
图3是以文本数据传输为例，本发明提供的语义通信方法与现有的语义通信方案DeepSC、传统通信方案Huffman+RS的BLEU分数与信噪比SNR的关系图；
图4是以文本数据传输为例，本发明提供的语义通信方法与现有的语义通信方案DeepSC、传统通信方案Huffman+RS的句子相似度与信噪比SNR的关系图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种对抗不匹配背景知识库的收发机协同学习的语义通信方法，具体步骤包括：
(1)建立收发机装配的语义通信系统模型；
(2)根据步骤(1)中建立的语义通信系统模型，确定合适的目标函数；
(3)收发机基于私有数据进行本地学习；
(4)减小收发机上的语义通信系统模型；
(5)通过步骤(4)得到的语义通信系统模型进行收发机协同学习。
实施例2
根据实施例1所述的一种对抗不匹配背景知识库的收发机协同学习的语义通信方法，其区别在于：
如图1所示，语义通信系统模型包括发射器(Transmitter)和接收器(Receiver)，发射器包括语义编码器(Semantic Encoder)和联合信源信道编码器即JSC编码器(JSCEncoder)，接收器包括联合信源信道解码器即JSC解码器(JSC Decoder)和语义解码器(Semantic Decoder)。
对于文本数据，语义编码器和语义解码器均为Transformer神经网络，Transformer神经网络包括三个Transformer编码层和三个Transformer解码层。
对于图像数据，语义编码器和语义解码器均为卷积神经网络，卷积神经网络包括四个卷积层。
JSC编码器和JSC解码器均包括两个全连接层。
语义通信系统模型中，语义编码器根据从输入X(以图像传输为例，X为图像像素值)中提取语义信息(有利于数据恢复的特征向量)，JSC编码器将提取的语义信息编码为信道输入Z，即：
Z＝Cα(Sβ(X)) (I)
式(I)中，Sβ(·)是参数集为β的语义编码器，Cα(·)是参数集为α的JSC编码器；
Z在信道中传输，在接收端接收到的信号表示为式(II):
式(II)中，H表示信道增益，是加性高斯白噪声(AWGN)；
JSC解码器和语义解码器对接收到的信号进行解码，即：
式(III)中，是恢复的输入，/>是参数集为/>的JSC解码器,/>是参数集为θ的语义解码器。
步骤(2)中，选择合适的损失函数训练步骤(1)中建立的语义通信系统模型，具体是指：
语义通信系统中，传输文本数据时，选择交叉熵(CE)损失函数LCE作为合适的目标函数，即：
式(IV)中，q(wl)是第l个单词wl出现在信源句子中的真实概率，而p(wl)是第l个单词wl出现在恢复的句子中的预测概率；
语义通信系统中，传输图像数据时，选择均方误差(MSE)损失函数LMSE作为合适的目标函数，即：
式(V)中，si是M个图像数据中的第i个数据，是si的恢复(或重建)。
步骤(3)中，收发机基于私有数据进行本地学习，是指：收发机基于本地数据训练语义通信系统模型；具体实现步骤包括：
1)语义编码器提取历史经验数据的语义信息，JSC编码器将提取的语义信息编码为信道输入Z；Z在信道中传输，在接收端接收到的信号JSC解码器和语义解码器对接收到的信号/>进行解码；
2)基于损失函数(IV)或(V)计算损失；
3)利用Adam优化器更新语义通信系统模型的参数集α、β、θ和
4)直到满足终止条件(如最大迭代次数)，输出训练好的语义通信系统模型。
步骤(4)中，减小收发机上的语义通信系统模型，是指：对训练好的语义通信系统模型进行参数量化；具体实现过程为：
利用量化函数，即式(VI)，将语义通信系统模型的权重从32位浮点数表示转换为8位整数式(VI)表示为：
式(VI)中，W(n)是指第n层神经网络的所有权重，是指第n层神经网络的第i和第j个神经元的权重，round(·)是取整函数，qw是将浮点的动态范围映射到整数的比例因子，表示为式(VII)：
式(VII)中，m是量化级别。以m＝8为例，是指将参数由32bit浮点数量化为8bit整数。
步骤(5)中，通过步骤(4)得到的语义通信系统模型进行收发机协同学习，是指：收发机交互语义通信系统模型参数；如图2所示，具体实现步骤包括：
a、对语义通信系统进行微调，即重复执行步骤(3)；
b、通信参与方即收发机A将语义通信系统模型参数发送至另一通信参与方即收发机B；
c、另一通信参与方基于式(VIII)聚合语义通信系统模型参数：
式(VIII)中，t是指第t次聚合语义通信系统模型参数；是通信参与方的语义通信系统第t次聚合时的语义通信系统模型参数；mA是通信参与方的语义通信系统模型参数的聚合权重；/>是另一通信参与方的语义通信系统第t次聚合时的语义通信系统模型参数；mB是通信参与方的语义通信系统模型参数的聚合权重；wt+1是加权聚合后的语义通信系统模型参数集；
d、另一通信参与方更新语义通信系统模型并将聚合后的语义通信系统模型参数发送给通信参与方用于更新。
本实施例以文本数据传输为例验证发明效果。数据集选为欧洲议会议事录，该数据集约包含200万个句子和5000万个单词。
本实施例将所提方案简记为TCL-SC,图3展示了本发明所提的TCL-SC与对比方案随信噪比SNR变化的BLEU分数(BLEU分数越大，表明语义理解错误越小)。通过图3可以看出，在中低信噪比情况下，本发明所提TCL-SC的BLEU分数要高于传统方案Huffman+RS和现有的语义通信方案DeepSC。在高信噪比情况下，TCL-SC的BLEU分数依然要远高于现有的语义通信方案DeepSC。这表明本发明可以有效降低知识库不匹配所导致的语义理解错误，确保智能体间的可靠语义通信。
图4展示了本发明所提的TCL-SC与对比方案随信噪比SNR变化的句子相似度(句子相似度越大，表明语义通信性能越好)。通过图4可以看出，本发明所提的TCL-SC保持了与图3相同的趋势，进一步证明了本发明的效果。
实施例3
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1或2所述对抗不匹配背景知识库的收发机协同学习的语义通信方法的步骤。
实施例4
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1或2所述对抗不匹配背景知识库的收发机协同学习的语义通信方法的步骤。
实施例5
一种对抗不匹配背景知识库的收发机协同学习的语义通信系统，包括：
语义通信系统模型建立模块，被配置为：建立收发机装配的语义通信系统模型；
目标函数确定模块，被配置为：根据建立的语义通信系统模型，确定合适的目标函数；
语义通信系统模型训练模块，被配置为：收发机基于私有数据进行本地学习；
语义通信系统模型参数量化模块，被配置为：减小收发机上的语义通信系统模型；
协同学习模块，被配置为：通过参数量化后得到的语义通信系统模型进行收发机协同学习。

Claims (6)

1.一种对抗不匹配背景知识库的收发机协同学习的语义通信方法，其特征在于，具体步骤包括：
(1)建立收发机装配的语义通信系统模型；语义通信系统模型包括发射器和接收器，发射器包括语义编码器和联合信源信道编码器即JSC编码器，接收器包括联合信源信道解码器即JSC解码器和语义解码器；
(2)根据步骤(1)中建立的语义通信系统模型，确定合适的目标函数；
(3)收发机基于私有数据进行本地学习；
(4)减小收发机上的语义通信系统模型；
(5)通过步骤(4)得到的语义通信系统模型进行收发机协同学习；
步骤(2)中，选择合适的损失函数训练步骤(1)中建立的语义通信系统模型，具体是指：
语义通信系统中，传输文本数据时，选择交叉熵损失函数LCE作为合适的目标函数，即：
式(IV)中，q(wl)是第l个单词wl出现在信源句子中的真实概率，而p(wl)是第l个单词wl出现在恢复的句子中的预测概率；
语义通信系统中，传输图像数据时，选择均方误差损失函数LMSE作为合适的目标函数，即：
式(V)中，si是M个图像数据中的第i个数据，是si的恢复；
步骤(3)中，收发机基于私有数据进行本地学习，是指：收发机基于本地数据训练语义通信系统模型；具体实现步骤包括：
1)语义编码器提取历史经验数据的语义信息，JSC编码器将提取的语义信息编码为信道输入Z；Z在信道中传输，在接收端接收到的信号JSC解码器和语义解码器对接收到的信号/>进行解码；
2)基于损失函数(IV)或(V)计算损失；
3)利用Adam优化器更新语义通信系统模型的参数集α、β、θ和
4)直到满足终止条件，输出训练好的语义通信系统模型；终止条件是指达到最大迭代次数；
步骤(4)中，减小收发机上的语义通信系统模型，是指：对训练好的语义通信系统模型进行参数量化；具体实现过程为：
利用量化函数，即式(VI)，将语义通信系统模型的权重从32位浮点数表示转换为8位整数式(VI)表示为：
式(VI)中，W(n)是指第n层神经网络的所有权重，是指第n层神经网络的第i和第j个神经元的权重，round(·)是取整函数，qw是将浮点的动态范围映射到整数的比例因子，表示为式(VII)：
式(VII)中，m是量化级别；
步骤(5)中，通过步骤(4)得到的语义通信系统模型进行收发机协同学习，是指：收发机交互语义通信系统模型参数；具体实现步骤包括：
a、对语义通信系统进行微调，即重复执行步骤(3)；
b、通信参与方将语义通信系统模型参数发送至另一通信参与方；
c、另一通信参与方基于式(VIII)聚合语义通信系统模型参数：
式(VIII)中，t是指第t次聚合语义通信系统模型参数；是通信参与方的语义通信系统第t次聚合时的语义通信系统模型参数；weightA是通信参与方的语义通信系统模型参数的聚合权重；/>是另一通信参与方的语义通信系统第t次聚合时的语义通信系统模型参数；weightB是另一通信参与方的语义通信系统模型参数的聚合权重；wt+1是加权聚合后的语义通信系统模型参数集；
d、另一通信参与方更新语义通信系统模型并将聚合后的语义通信系统模型参数发送给通信参与方用于更新。
2.根据权利要求1所述的一种对抗不匹配背景知识库的收发机协同学习的语义通信方法，其特征在于，对于文本数据，语义编码器和语义解码器均为Transformer神经网络，Transformer神经网络包括三个Transformer编码层和三个Transformer解码层；
对于图像数据，语义编码器和语义解码器均为卷积神经网络，卷积神经网络包括四个卷积层；
JSC编码器和JSC解码器均包括两个全连接层。
3.根据权利要求1所述的一种对抗不匹配背景知识库的收发机协同学习的语义通信方法，其特征在于，语义通信系统模型中，语义编码器从输入X中提取语义信息，JSC编码器将提取的语义信息编码为信道输入Z，即：
Z＝Cα(Sβ(X)) (I)
式(I)中，Sβ(·)是参数集为β的语义编码器，Cα(·)是参数集为α的JSC编码器；
Z在信道中传输，在接收端接收到的信号表示为式(II):
式(II)中，H表示信道增益，是加性高斯白噪声；
JSC解码器和语义解码器对接收到的信号进行解码，即：
式(III)中，是恢复的输入，/>是参数集为/>的JSC解码器,/>是参数集为θ的语义解码器。
4.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-3任一所述的对抗不匹配背景知识库的收发机协同学习的语义通信方法的步骤。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-3任一所述的对抗不匹配背景知识库的收发机协同学习的语义通信方法的步骤。
6.一种对抗不匹配背景知识库的收发机协同学习的语义通信系统，其特征在于，包括：
语义通信系统模型建立模块，被配置为：建立收发机装配的语义通信系统模型；语义通信系统模型包括发射器和接收器，发射器包括语义编码器和联合信源信道编码器即JSC编码器，接收器包括联合信源信道解码器即JSC解码器和语义解码器；
目标函数确定模块，被配置为：根据建立的语义通信系统模型，确定合适的目标函数；
语义通信系统模型训练模块，被配置为：收发机基于私有数据进行本地学习；
语义通信系统模型参数量化模块，被配置为：减小收发机上的语义通信系统模型；
协同学习模块，被配置为：通过参数量化后得到的语义通信系统模型进行收发机协同学习；
由目标函数确定模块选择合适的损失函数训练建立的语义通信系统模型，具体是指：
语义通信系统中，传输文本数据时，选择交叉熵损失函数LCE作为合适的目标函数，即：
式(IV)中，q(wl)是第l个单词wl出现在信源句子中的真实概率，而p(wl)是第l个单词wl出现在恢复的句子中的预测概率；
语义通信系统中，传输图像数据时，选择均方误差损失函数LMSE作为合适的目标函数，即：
式(V)中，si是M个图像数据中的第i个数据，是si的恢复；
收发机基于私有数据进行本地学习，是指：收发机基于本地数据训练语义通信系统模型；具体实现步骤包括：
1)语义编码器提取历史经验数据的语义信息，JSC编码器将提取的语义信息编码为信道输入Z；Z在信道中传输，在接收端接收到的信号JSC解码器和语义解码器对接收到的信号/>进行解码；
2)基于损失函数(IV)或(V)计算损失；
3)利用Adam优化器更新语义通信系统模型的参数集α、β、θ和
4)直到满足终止条件，输出训练好的语义通信系统模型；终止条件是指达到最大迭代次数；
减小收发机上的语义通信系统模型，是指：对训练好的语义通信系统模型进行参数量化；具体实现过程为：
利用量化函数，即式(VI)，将语义通信系统模型的权重从32位浮点数表示转换为8位整数式(VI)表示为：
式(VI)中，W(n)是指第n层神经网络的所有权重，是指第n层神经网络的第i和第j个神经元的权重，round(·)是取整函数，qw是将浮点的动态范围映射到整数的比例因子，表示为式(VII)：
式(VII)中，m是量化级别；
减小收发机上的语义通信系统模型后，通过得到的语义通信系统模型进行收发机协同学习，是指：收发机交互语义通信系统模型参数；具体实现步骤包括：
a、对语义通信系统进行微调，即重复执行基于私有数据的本地学习；
b、通信参与方将语义通信系统模型参数发送至另一通信参与方；
c、另一通信参与方基于式(VIII)聚合语义通信系统模型参数：
式(VIII)中，t是指第t次聚合语义通信系统模型参数；是通信参与方的语义通信系统第t次聚合时的语义通信系统模型参数；weightA是通信参与方的语义通信系统模型参数的聚合权重；/>是另一通信参与方的语义通信系统第t次聚合时的语义通信系统模型参数；weightB是另一通信参与方的语义通信系统模型参数的聚合权重；wt+1是加权聚合后的语义通信系统模型参数集；
d、另一通信参与方更新语义通信系统模型并将聚合后的语义通信系统模型参数发送给通信参与方用于更新。
CN202310488208.1A 2023-05-04 2023-05-04 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质 Active CN116488748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310488208.1A CN116488748B (zh) 2023-05-04 2023-05-04 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310488208.1A CN116488748B (zh) 2023-05-04 2023-05-04 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116488748A CN116488748A (zh) 2023-07-25
CN116488748B true CN116488748B (zh) 2024-02-27

Family

ID=87226693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310488208.1A Active CN116488748B (zh) 2023-05-04 2023-05-04 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116488748B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117540829B (zh) * 2023-10-18 2024-05-17 广西壮族自治区通信产业服务有限公司技术服务分公司 一种知识共享的大语言模型协同优化方法和系统
CN117835246B (zh) * 2023-12-29 2024-06-28 山东大学 一种面向任务的隐私语义通信方法
CN117725965B (zh) * 2024-02-06 2024-05-14 湘江实验室 一种基于张量掩码语义通信的联邦边缘数据通信方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490920A (zh) * 2022-01-21 2022-05-13 华中科技大学 语义知识库自动构建与更新方法、语义编码器和通信架构
CN114885370A (zh) * 2022-04-24 2022-08-09 北京邮电大学 语义通信方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509411B (zh) * 2017-10-10 2021-05-11 腾讯科技（深圳）有限公司 语义分析方法和装置
CN112771547A (zh) * 2018-09-25 2021-05-07 诺基亚技术有限公司 通信系统中的端到端学习
US20220224442A1 (en) * 2022-04-01 2022-07-14 Amar Srivastava Semantic network data correction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490920A (zh) * 2022-01-21 2022-05-13 华中科技大学 语义知识库自动构建与更新方法、语义编码器和通信架构
CN114885370A (zh) * 2022-04-24 2022-08-09 北京邮电大学 语义通信方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的文本匹配技术的研究综述;王新宇;王宏生;;信息与电脑(理论版)(第15期);全文 *

Also Published As

Publication number Publication date
CN116488748A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN116488748B (zh) 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质
Yang et al. WITT: A wireless image transmission transformer for semantic communications
CN108566257B (zh) 一种基于反向传播神经网络的信号恢复方法
Zhang et al. Predictive and adaptive deep coding for wireless image transmission in semantic communication
CN113518007A (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN110659684A (zh) 一种基于卷积神经网络stbc信号识别方法
CN117746211A (zh) 一种基于双重注意力机制的图像语义端到端传输方法
CN117436408A (zh) 一种语义通信方法、装置、设备以及存储介质
CN116436567A (zh) 一种基于深度神经网络的语义通信方法
Fu et al. Scalable extraction based semantic communication for 6G wireless networks
Wang et al. Transceiver cooperative learning-aided semantic communications against mismatched background knowledge bases
Xu et al. Semantic-aware power allocation for generative semantic communications with foundation models
CN116938662A (zh) 一种基于递归神经网络训练优化的星座概率成形方法及装置
CN116128070B (zh) 基于无线空中计算和多比特量化压缩感知的联邦学习方法
Zhou et al. MOC-RVQ: Multilevel Codebook-assisted Digital Generative Semantic Communication
CN110474798A (zh) 一种利用回声状态网络预测无线通信未来信号的方法
Tang et al. Evolving Semantic Communication with Generative Model
Ren et al. Asymmetric Semantic Communication System Based on Diffusion Model in IoT
Jiang et al. Adaptive semantic video conferencing for ofdm systems
CN113114423B (zh) 一种自适应球形译码检测方法
Zhou et al. Speech Semantic Communication Based On Swin Transformer
CN111130697A (zh) 一种降低基于自动编码器的通信物理层传输系统复杂度的方法
Tong et al. Alternate learning based sparse semantic communications for visual transmission
CN117978247B (zh) 基于高通量卫星物联网的数据压缩方法和装置
Rong et al. Research on Image Compression Technique by Deep Learning Algorithm with Semantic Coding and Decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant