CN115309869A - 一种一对多的多用户语义通信模型及通信方法 - Google Patents

一种一对多的多用户语义通信模型及通信方法 Download PDF

Info

Publication number
CN115309869A
CN115309869A CN202210998292.7A CN202210998292A CN115309869A CN 115309869 A CN115309869 A CN 115309869A CN 202210998292 A CN202210998292 A CN 202210998292A CN 115309869 A CN115309869 A CN 115309869A
Authority
CN
China
Prior art keywords
semantic
communication
receiving end
training
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210998292.7A
Other languages
English (en)
Inventor
胡晗
朱兴武
吴伟
王鸿
鲍楠
左加阔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210998292.7A priority Critical patent/CN115309869A/zh
Publication of CN115309869A publication Critical patent/CN115309869A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding

Abstract

本发明公开了一种一对多的多用户语义通信模型及通信方法，模型由一个发送端和分别与发送端建立通讯关系且相互独立的多个接收端集成；方法为：根据预设的用户需求采集多种类型不同的文本语句；将类型不同的文本语句组合成文本序列转换为数字ID序列作为发送端的发送信息；发送信息在发送端生成用于信道传输的通信信号，并发送至每个接收端；每个接收端将接收的通信信号进行信道解码和语义解码，恢复出发送端发送的原语句；并输入基于蒸馏双向语言表征预训练模型的语义识别器，根据用户的需求输出相应语句；通过本发明系统模型和通信方法，简化了多用户通信的传输程序，提高了信息传输效率；并结合迁移学习方法对接收端进行训练，提高训练效率。

Description

一种一对多的多用户语义通信模型及通信方法
技术领域
本发明属于通信技术领域，具体涉及一种一种一对多的多用户语义通信模型及通信方法。
背景技术
随着人工智能和自然语言处理技术的快速发展，语义通信被认为是解决传统通信系统传输瓶颈的一种很有前景的技术方案。所谓语义通信，是指从信源中提取语义信息并编码，在有噪信道中传输的通信方式。传统通信要求接收端译码信息和发送端编码信息严格一致，即实现比特级的无差错传输，而语义通信并不要求译码序列与编码序列严格一致，只要求接收端恢复的语义信息与发送端提取的语义信息匹配即可。由于语义通信放松了对信息传输的无差错要求，避免了冗余数据的传输。因此在传输等量的源信息时，传输的数据量会更小，但传输精度不会降低，系统可以获得更高的效率。
近年来，语义通信因其在未来通信领域的巨大潜力而备受关注，许多研究人员开始着手于语义通信系统的设计工作。Farsad N,Rao M,Goldsmith A等人在其发表的论文“Deep learning for joint source-channel coding of text”(IEEE Int’l.Conf.Acoustics Speech Signal Process.(ICASSP),Algary,AB,Canada,pp.2326–2330,2018)中提出了一种对信源信道编码进行联合设计的端到端语义通信系统，用于在简单的信道中传输固定长度的文本语句。Xie H,Qin Z,Li G Y等人在其发表的论文“Deeplearning enabled semantic communication systems”(IEEE Trans.on SignalProcessing,vol.69,pp.2663–2675,2021)中基于Transformer模型开发了更强大的联合语义信道编码，使其能够在复杂的信道环境中更灵活地处理不同长度的文本语句，并对比了传统通信系统的性能。实验证明语义通信系统在单词错误率方面优于传统通信系统。但是通信系统在实际应用中往往会涉及多个用户，因此Xie H,Qin Z,Tao X等人在其发表的论文“Task-Oriented Multi-User Semantic Communications”(arXiv preprint arXiv:2112.10255,2021)设计了一个面向任务的多用户语义通信系统，针对不同的任务开发了多对一和多对多通信系统。实验结果表明，所设计的系统在对信道的鲁棒性，传输延迟和各种任务特定指标下的执行性能等方面优于传统通信系统。但是他们的系统并没有考虑单发射机多接收机的广播通信，这使得此系统在实际应用中具有一定局限性。
发明内容
发明目的：为了克服现有技术中的不足，本发明提供一种一对多的多用户语义通信模型及通信方法；在提升系统模型训练速度的同时，提升了通信系统的性能增益，且直接利用源信息中的不同的语义特征(情感，目的，人物，语言等特征)进行区分不同用户，简化了多用户通信的传输程序，提高了信息传输效率。
技术方案：第一方面本发明提供一种一对多的多用户语义通信方法，包括：
根据预设的用户需求采集多种类型不同的文本语句；
将类型不同的文本语句组合成文本序列，并转换为数字ID序列作为发送端的发送信息；
发送信息在发送端基于注意力机制和线性神经网络进行语义编码和信道编码，从而生成用于信道传输的通信信号；
将通信信号进行一对多传输，发送至每个接收端；
每个接收端将接收的通信信号进行信道解码和语义解码，恢复出发送端发送的原语句；
将恢复出的原语句输入基于蒸馏双向语言表征预训练模型的语义识别器，根据用户的需求输出相应语句；
其中，发送端的语义信道编码器以及每个接收端的信道语义解码器基于迁移学习方法进行多次迭代训练，调整一对多语义通信模型信息传输的有效性。
在进一步的实施例中，将类型不同的文本语句组合成文本序列，并转换为数字ID序列作为发送端的发送信息的方法为：
对所有文本语句进行分词处理，获得去除停用词的文本语句；
将分词后得到的每个单词或符号赋予一个数字ID，构建出一个词汇表作为背景知识库；其中背景知识库的表达集合为：K＝{“a”:1，“b”:2…，word:num，…}，word为分词后得到的单词或符号，num为单词对应的数字id；
将发送给不同用户的语句组合成一个长文本序列，并在组合过程中所有用户的语句的前后顺序随机打乱；其中，文本序列的表达集合为：
Figure BDA0003806532060000021
Figure BDA0003806532060000022
分别表示发送给不同用户的语句中的单词，<sep>是每个语句之间的分隔符号；随后通过查询背景知识库中每个单词和符合的ID，将文本序列转换为数字ID序列作为发送信息。
在进一步的实施例中，发送信息在发送端基于注意力机制和线性神经网络对发送信息进行语义编码和信道编码，从而生成用于信道传输的通信信号的方法为：
将数字ID序列输入到嵌入层，通过嵌入层将每个单词ID转换成向量，得到向量符号序列；
基于注意力机制的编码层通过多头注意力机制得到向量符号序列中每个位置的单词向量与其他位置单词向量之间的重要依赖关系，获得每个位置的单词在语句中的含义，进而输出语句的语义符号序列；
将输出的语义符号序列导入带有线性修正单元激活函数线性神经网络，得到便于信道传输的通信信号；
其中，线性修正单元激活函数的表达式为：
f(z)＝max(0,z)
式中，max(·)表示计算括号内对象的最大值，z表示线性修正单元激活函数的输入。
在进一步的实施例中，将通信信号进行一对多传输，发送至每个接收端，每个接收端将接收的通信信号进行信道解码和语义解码，恢复出发送端发送的原语句的方法包括：
发送端将通信信号发送至每个接收端；其中，发送端与每个接收端通过信道建立传输关系；
将每个接收端接收的通信信号导入带有线性修正单元激活函数的线性神经网络进行转换，获得升维重塑的语义符号序列；
将升维重塑的语义符号序列导入基于注意力机制的编码层对语义特征进行逆运算解码，恢复出发送端发送的原语句。
在进一步的实施例中，将恢复出的原语句输入基于蒸馏双向语言表征预训练模型的语义识别器，根据用户的需求输出相应语句的方法为：
将恢复出的原语句导入蒸馏双向语言表征预训练模型；其中，原语句中包含发送给两个发送不同用户的语句，经过数十亿个语句的预训练的蒸馏双向语言表征预训练模型通过注意力机制计算得到每个语句的整体语义特征，并对比不同语句之间的整体语义特征，获得语句之间整体语义特征的差异性；
根据语句之间整体语义特征的差异性和预设的用户需求，输出相应的语句。
在进一步的实施例中，发送端的语义信道编码器以及每个接收端的信道语义解码器基于迁移学习方法进行多次迭代训练，调整一对多语义通信模型信息传输的有效性的方法包括：
在训练网络预设训练集，对发送端和第一个接收端进行多次训练，分别获得发送端和第一个接收端训练误差；其中，初始化网络训练迭代次数epoch等于1，迭代次数的上限值为80，学习率为0.001，并采用Adam优化算法作为网络训练优化器；
将发送端和第一个接收端训练误差导入误差损失函数计算并反向传播，分别获得发送端和第一个接收端的网络优化参数；其中，在迭代过程中判断误差损失函数是否收敛，或判断发送端和第一个接收端的迭代训练次数已达上限；
根据判断结果选择对第二个接收端进行多次训练，获得第二个接收端训练误差；其中，训练第二个接收端时导入第一个接收端最终迭代的训练参数，并冻结发送端的训练参数；
将第二个接收端训练误差导入误差损失函数计算并反向传播，分别获得第二个接收端的网络优化参数；其中，基于接收端的数量导入第二个接收端的网络优化参数依次进行循环训练获得若干个接收端的网络优化参数；
分别基于发送端、第一个接收端、第二个接收端、若干个接收端的网络优化参数调整一对多语义通信模型，进而使调整一对多语义通信模型保持有效性；
其中，误差损失函数采用交叉熵函数，计算式如下：
Figure BDA0003806532060000041
其中，s表示编码器的输入语句，
Figure BDA0003806532060000042
表示解码器的输出语句，α表示语义编码器中可训练参数，β表示信道编码器中可训练参数，χ表示信道解码器中可训练参数，δ表示语义解码器中可训练参数，q(wl)是第l个单词wl出现在输入语句s中的实际概率，p(wl)是第l个单词wl出现在输出语句
Figure BDA0003806532060000043
中的预测概率；当训练数据中所有批次的数据全部反向传播完成，为1个epoch。
第二方面本发明提供一种一对多的多用户语义通信模型，包括：
发送端，分别与发送端建立通讯关系且相互独立的多个接收端。
在进一步的实施例中，所述发送端由一个嵌入层，三个基于注意力机制的编码层和两个密集连接层集成；
其中，所述嵌入层用于将数字ID序列转换成向量符号序列，从而提高语义特征输入维度，以便于捕捉每个单词与其他单词之间的关系；
所述编码层用于语义提取，所述编码层通过多头自注意力机制，计算向量符号序列中每个位置的单词向量与其他位置单词向量之间的重要依赖关系，获取每个单词在语句中的含义，从而提取出整个语句的语义符号序列
Figure BDA0003806532060000051
所述密集连接层用于作为信道编码，所述密集连接层将编码层输出的语义特征通过线性神经网络降维重塑为符号序列
Figure BDA0003806532060000052
在进一步的实施例中，所述多个接收端处在不同的信道环境中，所以每个接收端接收到的信号的表达式分别为：
Y1＝H1X+W1
…
Yk＝HkX+Wk
…
Yn＝HnX+Wn
式中，X是信道的输入信号，Y1表示第一个接收端接收到的信号，Yk表示第k个接收端接收到的信号，Yn表示第n个接收端接收到的信号；Hk、Hn分别为不同接收器所关联线性信道的系数，Wk、Wn分别为独立同分布的高斯噪声。
在进一步的实施例中，所述接收端由两个密集连接层，三个基于注意力机制的解码层和一个分类层集成；
其中，两个密集连接层作为信道解码，所述密集连接层将接收到的通信信号通过线性神经网络升维重塑为语义符号序列；
所述解码层通过多头自主力机制对语义符号序列进行逆运算，并通过分类层运算输出原语句。
有益效果：本发明与现有技术相比具有以下优点：
(1)通过设计了一种一对多的多用户语义通信模型，提升系统模型训练速度的同时，提升了通信系统的性能增益，且直接利用源信息中的不同的语义特征(情感，目的，人物，语言等特征)进行区分不同用户需求和用户，简化了多用户通信的传输程序，提高了信息传输效率，进一步的拓展了语义通信在多用户通信方面的应用；
(2)系统模型结合迁移学习方法对处在不同信道环境的接收端进行训练，降低了训练成本，提高了训练速度。
附图说明
图1是本发明的流程图；
图2是本发明中发送端的模型框架图；
图3是本发明中接收端的模型框架图；
图4是一对多的多用户语义通信的整体模型框架；
图5是系统模型的训练框架图；
图6是采用本发明和现有其他基准两个接收端在不同信道条件下BLEU得分的对比的实施例一图；
图7是采用本发明和现有其他基准两个接收端在不同信道条件下BLEU得分的对比的实施例二图；
图8是采用迁移方法和未采用迁移方法的训练速度对比图。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
实施例1：本实施例的接收端为两个，发送端为一个，第一个接收端的用户设为用户1，第二个接收端的用户预设为用户2，本实施例的通信方法，具体包括：
根据预设的用户需求采集两种类型不同的文本语句；
将两种类型不同的文本语句两两组合，并转换为数字ID序列，作为发送端的发送信息；
发送端基于注意力机制和线性神经网络对发送信息进行语义编码和信道编码，从而生成用于信道传输的通信信号；
将通信信号进行一对多传输，发送至每个接收端。每个接收端将接收的通信信号进行信道解码和语义解码，恢复出发送端发送的原语句；
将恢复出的原语句输入基于蒸馏双向语言表征预训练模型的语义识别器，根据用户的需求输出相应语句；
其中，发送端的语义信道编码器以及每个接收端的信道语义解码器基于迁移学习方法进行多次迭代训练，调整一对多语义通信模型信息传输的有效性。
在本实施例中将两种类型不同的文本语句两两组合，并转换为文本序列，作为发送端的发送信息的方法为：
对所有文本语句进行分词处理，获得去除停用词的文本语句。将分词后得到的每个单词或符号赋予一个数字ID，构建出一个词汇表作为背景知识库K＝{“a”:1，“b”:2…，word:num，…}，其中word为分词后得到的单词或符号，num为单词对应的数字id。
将发送给用户1的语句与发送给用户2的语句两两组合，并将两个语句的前后顺序随机打乱，生成如下文本序列：
Figure BDA0003806532060000071
其中
Figure BDA0003806532060000072
表示发送给用户1的语句中的第L1个单词，
Figure BDA0003806532060000073
表示发送给用户2的语句中第L2个单词，<sep>是两个语句之间的分隔符号。随后通过查询背景知识库K中每个单词和符合的ID，将文本序列转换为数字ID序列作为发送信息。
发送端基于注意力机制和线性神经网络对发送信息进行语义编码和信道编码，从而生成用于信道传输的通信信号的方法为：
将发送信息输入到嵌入层，通过将每个单词ID转换成向量，得到向量符号序列；
基于注意力机制的编码层通过多头注意力机制得到向量符号序列中每个位置的单词向量与其他位置单词向量之间的重要依赖关系，获得每个位置的单词在语句中的含义，进而输出语句的语义符号序列；
将输出的语义符号序列导入带有线性修正单元激活函数线性神经网络，得到便于信道传输的通信信号；
其中，线性修正单元激活函数的表达式为：
f(z)＝max(0,z)
式中，max(·)表示计算括号内对象的最大值，z表示线性修正单元激活函数的输入。
将通信信号进行一对多传输，发送至每个接收端，每个接收端将接收的通信信号进行信道解码和语义解码，恢复出发送端发送的原语句的方法包括：
发送端通过信道传输，将通信信号发送至每个接收端；
将每个接收端接收的通信信号导入带有线性修正单元激活函数的线性神经网络进行转换，获得升维重塑的语义符号序列；
将升维重塑的语义符号序列导入基于注意力机制的编码层对语义特征进行逆运算解码，恢复出发送端发送的原语句。
将恢复出的原语句输入基于蒸馏双向语言表征预训练模型的语义识别器，根据用户的需求输出相应语句的方法为：
将恢复出的原语句导入蒸馏双向语言表征预训练模型；原语句中包含发送给两个发送不同用户的语句，经过数十亿个语句的预训练的蒸馏双向语言表征预训练模型通过注意力机制计算得到每个语句的整体语义特征；
根据语句之间整体语义特征的差异性和用户的需求，输出相应的语句。
发送端的语义信道编码器以及每个接收端的信道语义解码器基于迁移学习方法进行多次迭代训练，调整一对多语义通信模型信息传输的有效性的方法包括：
第一步，训练发送端和第一个接收端，首先随机初始化网络模型的可训练参数，初始化网络训练迭代次数epoch等于1，最大迭代次数为80，学习率为0.001，Adam优化算法作为网络训练优化器。将训练数据分批次输入网络训练，批次大小可以调节，每个批次的训练误差反向传播从而优化网络参数。误差损失函数采用交叉熵函数，计算式如下：
Figure BDA0003806532060000081
其中，s表示编码器的输入语句，
Figure BDA0003806532060000082
表示解码器的输出语句，α表示语义编码器中可训练参数，β表示信道编码器中可训练参数，χ表示信道解码器中可训练参数，δ表示语义解码器中可训练参数，q(wl)是第l个单词wl出现在输入语句s中的实际概率，p(wl)是第l个单词wl出现在输出语句
Figure BDA0003806532060000083
中的预测概率，当训练数据中所有批次的数据全部反向传播完成，即为1个epoch。
判断模型训练的损失函数是否收敛或迭代次数已达上限，若是，则进行第二步，若否，则将训练迭代次数加一后继续训练模型。
第二步，训练第二个接收端，首先加载第一步中完成预训练的发送端和第一个接收端，然后冻结发送端的参数，将第一个接收端的参数导入到第二个接收端中。最后，重复第一步中的步骤训练第二个接收端。
实施例2的接收端为两个，发送端为一个结合图2至图5进一步说明本实施例中的一种一对多的多用户语义通信模型，通信模型包括：
发送端，分别与发送端建立通讯关系且相互独立的两个接收端；
发送端由一个嵌入层，三个基于注意力机制的编码层和两个密集连接层集成；
其中，嵌入层用于将每个单词ID转换成向量符号序列，从而提高语义特征输入维度，以便于捕捉每个单词与其他单词之间的关系；
编码层用于语义提取，编码层通过多头自注意力机制，计算向量符号序列中每个位置的单词向量与其他位置单词向量之间的重要依赖关系，获取每个单词在语句中的含义，从而提取出整个语句的语义符号序列
Figure BDA0003806532060000091
密集连接层用于作为信道编码，密集连接层将编码层输出的语义特征通过线性神经网络降维重塑为符号序列
Figure BDA0003806532060000092
两个接收端处在不同的信道环境中，所以两个接收端接收到的信号的表达式为：
Y1＝H1X+W1
Y2＝H2X+W2
式中，X是信道的输入信号，Y1和Y2分别表示两个接收端接收到的信号，H1和H2为线性信道的系数，W1和W2为独立同分布的高斯噪声。
接收端由两个密集连接层，三个基于注意力机制的解码层和一个分类层集成；
其中，两个密集连接层作为信道解码，密集连接层将接收到的通信信号通过线性神经网络升维重塑为语义符号序列；
解码层通过多头自主力机制对语义符号序列进行逆运算，并通过分类层运算输出原语句。
实施例3：
结合图6至图8进一步说明本实施例在仿真实验中的应用，具有如下：
仿真条件与参数设置：
仿真实验是在Python3.7，Pytorch1.8.0的仿真平台上进行的。语义编码器和语义解码器分别由3层Transformer编码层和3层Transformer解码层组成，每一层的自注意力头数为8。信道编码器和信道解码器密集连接层的单元数分别为16和128。网络训练的最大迭代次数为80，学习率为0.001，选择Adam优化算法作为网络训练优化器，每个批次数据量为256。
仿真内容：
在本发明的仿真中，所有基准都有两个接收端，其中第一个接收端在AWGN信道中测试，第二个接收在瑞利衰落信道下进行测试。附图6和图7展示了不同基准的两个接收端在不同信道环境下的BLEU分数与信噪比的关系。两图中的横坐标表示不同信噪比(dB)，纵坐标表示BLEU分数。以矩形标示的折线表示采用本发明方法的BLEU分数曲线。以菱形标示的折线和以三角形标示的折线表示采用传统通信模型的BLEU分数曲线，其中信源编码采用Huffman编码，信道编码采用RS编码，调制方式为64-QAM，多址技术为CDMA。以圆形标示的折线表示利用TextCNN构建语义识别器的语义通信模型的BLEU分数曲线。信噪比的变化范围从0dB到18dB。可以观察到，在AWGN信道和Rayleigh衰落信道中，当信噪比变化时，本发明的BLEU分数变化相较于传统通信模型更加的平缓。这表明基于DNN的语义通信系统对不同的信道条件，尤其是低信噪比情况下，具有更强的鲁棒性。还可以看到，在AWGN信道和Rayleigh衰落信道中，本发明和另一个语义通信模型获得的BLEU分数比传统通信模型更高，这是因为语义通信系统中只传输相关的语义信息。尽管当SNR高于12dB时，传统通信模型在AWGN通道中的BLEU分数略高于所提出的模型，但在更复杂的瑞利衰落通道中，本发明比传统通信模型表现得更好。此外，由于本发明中采用的DistilBERT预训练模型已经经过数十亿数据的训练，而TextCNN模型只经过较少数据的训练，因此本发明能够获得比使用Text CNN识别器的语义通信模型更高的BLEU分数。
附图8是对第二个接收端重新训练时，采用本发明训练方法和未采用迁移学习方法的训练速度对比图。图7中横坐标表示训练迭代次数，纵坐标表示损失函数值。以矩形标示的折线表示采用迁移学习方法的收敛曲线，以圆形标示的折线表示未采用迁移学习方法的收敛曲线。通过比较两种方法得到的训练速度收敛曲线，可以看出采用迁移学习的方法训练速度明显快于未采用迁移学习的方法。采用迁移学习的训练方法仅仅在大约5个训练时期时就完成了收敛，而未采用迁移学习的方法直到20个训练时期时，损失函数才完成收敛。
综上所述，通过本发明设计了一种一对多的多用户语义通信模型，进一步的拓展了语义通信在多用户通信方面的应用；其次通过系统模型直接利用各用户信息的语义特征来区分不同的用户，简化了多用户通信的传输程序，提高了信息传输效率；最后系统模型结合迁移学习方法对处在不同信道环境的接收端进行训练，降低了训练成本，提高了训练速度。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种一对多的多用户语义通信方法，其特征在于，包括：
根据预设的用户需求采集多种类型不同的文本语句；
将类型不同的文本语句组合成文本序列，并转换为数字ID序列作为发送端的发送信息；
发送信息在发送端基于注意力机制和线性神经网络进行语义编码和信道编码，从而生成用于信道传输的通信信号；
将通信信号进行一对多传输，发送至每个接收端；
每个接收端将接收的通信信号进行信道解码和语义解码，恢复出发送端发送的原语句；
将恢复出的原语句输入基于蒸馏双向语言表征预训练模型的语义识别器，根据用户的需求输出相应语句；
其中，发送端的语义信道编码器以及每个接收端的信道语义解码器基于迁移学习方法进行多次迭代训练，调整一对多语义通信模型信息传输的有效性。
2.根据权利要求1所述的一对多的多用户语义通信方法，其特征在于，将类型不同的文本语句组合成文本序列，并转换为数字ID序列作为发送端的发送信息的方法为：
对所有文本语句进行分词处理，获得去除停用词的文本语句；
将分词后得到的每个单词或符号赋予一个数字ID，构建出一个词汇表作为背景知识库；其中背景知识库的表达集合为：K＝{“a”:1，“b”:2…，word:num，…}，word为分词后得到的单词或符号，num为单词对应的数字id；
将发送给不同用户的语句组合成一个长文本序列，并在组合过程中所有用户的语句的前后顺序随机打乱；其中，文本序列的表达集合为：
Figure FDA0003806532050000011
Figure FDA0003806532050000013
Figure FDA0003806532050000012
分别表示发送给不同用户的语句中的单词，<sep>是每个语句之间的分隔符号；随后通过查询背景知识库中每个单词和符合的ID，将文本序列转换为数字ID序列作为发送信息。
3.根据权利要求1所述的一对多的多用户语义通信方法，其特征在于，发送信息在发送端基于注意力机制和线性神经网络进行语义编码和信道编码，从而生成用于信道传输的通信信号的方法为：
将数字ID序列输入到嵌入层，通过嵌入层将每个单词ID转换成向量，得到向量符号序列；
基于注意力机制的编码层通过多头注意力机制得到向量符号序列中每个位置的单词向量与其他位置单词向量之间的重要依赖关系，获得每个位置的单词在语句中的含义，进而输出语句的语义符号序列；
将输出的语义符号序列导入带有线性修正单元激活函数线性神经网络，得到便于信道传输的通信信号；
其中，线性修正单元激活函数的表达式为：
f(z)＝max(0,z)
式中，max(·)表示计算括号内对象的最大值，z表示线性修正单元激活函数的输入。
4.根据权利要求1所述的一对多的多用户语义通信方法，其特征在于，将通信信号进行一对多传输，发送至每个接收端，每个接收端将接收的通信信号进行信道解码和语义解码，恢复出发送端发送的原语句的方法包括：
发送端将通信信号发送至每个接收端；其中，发送端与每个接收端通过信道建立传输关系；
将每个接收端接收的通信信号导入带有线性修正单元激活函数的线性神经网络进行转换，获得升维重塑的语义符号序列；
将升维重塑的语义符号序列导入基于注意力机制的编码层对语义特征进行逆运算解码，恢复出发送端发送的原语句。
5.根据权利要求1所述的一对多的多用户语义通信方法，其特征在于，将恢复出的原语句输入基于蒸馏双向语言表征预训练模型的语义识别器，根据用户的需求输出相应语句的方法为：
将恢复出的原语句导入蒸馏双向语言表征预训练模型；其中，原语句中包含发送给两个发送不同用户的语句，经过数十亿个语句的预训练的蒸馏双向语言表征预训练模型通过注意力机制计算得到每个语句的整体语义特征，并对比不同语句之间的整体语义特征，获得语句之间整体语义特征的差异性；
根据语句之间整体语义特征的差异性和预设的用户需求，输出相应的语句。
6.根据权利要求1所述的一对多的多用户语义通信方法，其特征在于，发送端的语义信道编码器以及每个接收端的信道语义解码器基于迁移学习方法进行多次迭代训练，调整一对多语义通信模型信息传输的有效性的方法包括：
在训练网络预设训练集，对发送端和第一个接收端进行多次训练，分别获得发送端和第一个接收端训练误差；其中，初始化网络训练迭代次数epoch等于1，迭代次数的上限值为80，学习率为0.001，并采用Adam优化算法作为网络训练优化器；
将发送端和第一个接收端训练误差导入误差损失函数计算并反向传播，分别获得发送端和第一个接收端的网络优化参数；其中，在迭代过程中判断误差损失函数是否收敛，或判断发送端和第一个接收端的迭代训练次数已达上限；
根据判断结果选择对第二个接收端进行多次训练，获得第二个接收端训练误差；其中，训练第二个接收端时导入第一个接收端最终迭代的训练参数，并冻结发送端的训练参数；
将第二个接收端训练误差导入误差损失函数计算并反向传播，分别获得第二个接收端的网络优化参数；其中，基于接收端的数量导入第二个接收端的网络优化参数依次进行循环训练获得若干个接收端的网络优化参数；
分别基于发送端、第一个接收端、第二个接收端、若干个接收端的网络优化参数调整一对多语义通信模型，进而使调整一对多语义通信模型保持有效性；
其中，误差损失函数采用交叉熵函数，计算式如下：
Figure FDA0003806532050000031
其中，s表示编码器的输入语句，
Figure FDA0003806532050000032
表示解码器的输出语句，α表示语义编码器中可训练参数，β表示信道编码器中可训练参数，χ表示信道解码器中可训练参数，δ表示语义解码器中可训练参数，q(wl)是第l个单词wl出现在输入语句s中的实际概率，p(wl)是第l个单词wl出现在输出语句
Figure FDA0003806532050000033
中的预测概率；当训练数据中所有批次的数据全部反向传播完成，为1个epoch。
7.一种一对多的多用户语义通信模型，其特征在于，包括：
发送端，分别与发送端建立通讯关系且相互独立的多个接收端。
8.根据权利要求7所述的一对多的多用户语义通信模型，其特征在于，所述发送端由一个嵌入层，三个基于注意力机制的编码层和两个密集连接层集成；
其中，所述嵌入层用于将数字ID序列转换成向量符号序列，从而提高语义特征输入维度，以便于捕捉每个单词与其他单词之间的关系；
所述编码层用于语义提取，所述编码层通过多头自注意力机制，计算向量符号序列中每个位置的单词向量与其他位置单词向量之间的重要依赖关系，获取每个单词在语句中的含义，从而提取出整个语句的语义符号序列
Figure FDA0003806532050000041
所述密集连接层用于作为信道编码，所述密集连接层将编码层输出的语义特征通过线性神经网络降维重塑为符号序列
Figure FDA0003806532050000042
9.根据权利要求8所述的一对多的多用户语义通信模型，其特征在于，所述多个接收端处在不同的信道环境中，所以每个接收端接收到的信号的表达式分别为：
Y1＝H1X+W1
…
Yk＝HkX+Wk
…
Yn＝HnX+Wn
X是信道的输入信号，Y1表示第一个接收端接收到的信号，Yk表示第k个接收端接收到的信号，Yn表示第n个接收端接收到的信号；Hk、Hn分别为不同接收器所关联线性信道的系数，Wk、Wn分别为独立同分布的高斯噪声。
10.根据权利要求7所述的一对多的多用户语义通信模型，其特征在于，所述接收端由两个密集连接层，三个基于注意力机制的解码层和一个分类层集成；
其中，两个密集连接层作为信道解码，所述密集连接层将接收到的通信信号通过线性神经网络升维重塑为语义符号序列；
所述解码层通过多头自主力机制对语义符号序列进行逆运算，并通过分类层运算输出原语句。
CN202210998292.7A 2022-08-19 2022-08-19 一种一对多的多用户语义通信模型及通信方法 Pending CN115309869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210998292.7A CN115309869A (zh) 2022-08-19 2022-08-19 一种一对多的多用户语义通信模型及通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210998292.7A CN115309869A (zh) 2022-08-19 2022-08-19 一种一对多的多用户语义通信模型及通信方法

Publications (1)

Publication Number Publication Date
CN115309869A true CN115309869A (zh) 2022-11-08

Family

ID=83863562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210998292.7A Pending CN115309869A (zh) 2022-08-19 2022-08-19 一种一对多的多用户语义通信模型及通信方法

Country Status (1)

Country Link
CN (1) CN115309869A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115955297A (zh) * 2023-03-14 2023-04-11 中国人民解放军国防科技大学 语义编码方法、语义编码装置、语义译码方法及装置
CN116884404A (zh) * 2023-09-08 2023-10-13 北京中电慧声科技有限公司 多任务导向的语音语义通信方法、装置及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115955297A (zh) * 2023-03-14 2023-04-11 中国人民解放军国防科技大学 语义编码方法、语义编码装置、语义译码方法及装置
CN116884404A (zh) * 2023-09-08 2023-10-13 北京中电慧声科技有限公司 多任务导向的语音语义通信方法、装置及系统
CN116884404B (zh) * 2023-09-08 2023-12-15 北京中电慧声科技有限公司 多任务导向的语音语义通信方法、装置及系统

Similar Documents

Publication Publication Date Title
Tong et al. Federated learning for audio semantic communication
CN110474716B (zh) 基于降噪自编码器的scma编解码器模型的建立方法
CN115309869A (zh) 一种一对多的多用户语义通信模型及通信方法
US11403528B2 (en) Self-tuning incremental model compression solution in deep neural network with guaranteed accuracy performance
CN111128137A (zh) 一种声学模型的训练方法、装置、计算机设备和存储介质
CN111326157A (zh) 文本生成方法、装置、电子设备和计算机可读介质
CN109361404B (zh) 一种基于半监督深度学习网络的ldpc译码系统及译码方法
CN111712835A (zh) 数据传输系统中的信道建模
CN109728824B (zh) 一种基于深度学习的ldpc码迭代译码方法
CN113381828B (zh) 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法
CN113300813B (zh) 基于注意力的针对文本的联合信源信道方法
CN110932734B (zh) 一种基于交替方向乘子法的深度学习信道译码方法
CN109783799B (zh) 一种基于语义依存图的关系提取方法
CN110569505A (zh) 一种文本输入方法及装置
CN109039534A (zh) 一种基于深度神经网络的稀疏码分多址信号检测方法
CN113257248B (zh) 一种流式和非流式混合语音识别系统及流式语音识别方法
CN109525254B (zh) 基于深度学习的卷积码软判决译码方法
CN109525253B (zh) 基于深度学习和集成方法的卷积码译码方法
CN111711455B (zh) 一种基于神经网络的极化码bp译码方法
Teng et al. Convolutional neural network-aided tree-based bit-flipping framework for polar decoder using imitation learning
Han et al. Semantic-aware speech to text transmission with redundancy removal
CN101467459B (zh) 信号的矢量量化字典生成方法、编解码器及编解码方法
WO2011071560A1 (en) Compressing feature space transforms
CN107181567B (zh) 一种基于门限的低复杂度mpa算法
CN115470799B (zh) 一种用于网络边缘设备的文本传输和语义理解一体化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination