CN115426075A - 语义通信的编码传输方法及相关设备 - Google Patents

语义通信的编码传输方法及相关设备 Download PDF

Info

Publication number
CN115426075A
CN115426075A CN202210786822.1A CN202210786822A CN115426075A CN 115426075 A CN115426075 A CN 115426075A CN 202210786822 A CN202210786822 A CN 202210786822A CN 115426075 A CN115426075 A CN 115426075A
Authority
CN
China
Prior art keywords
training
network model
potential representation
initial
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210786822.1A
Other languages
English (en)
Inventor
戴金晟
王思贤
谭凯林
牛凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Publication of CN115426075A publication Critical patent/CN115426075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0036—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation

Abstract

本申请提供一种语义通信的编码传输方法及相关设备，所述方法包括：所述发送端获取信源信息；所述发送端采用预先训练好的分析变换模型、超先验分析变换模型、超先验生成变换网络模型和信源信道联合编码网络模型模型将信源信息转换为编码信号和边信息，并将编码信号和边信息发送到接收端；接收端通过预先训练好的信源信道联合解码网络模型和生成变换网络模型根据边信息对编码信号进行解码重建，得到重建信源信息。

Description

语义通信的编码传输方法及相关设备
技术领域
本申请涉及数据传输技术领域，尤其涉及一种语义通信的编码传输方法及相关设备。
背景技术
语义通信(Semantic communications)近年来成为了推动信息与通信技术发展的一个新的方向，同时也是人工智能领域创新的热点。信源信道联合编码(Joint source-channel coding,JSCC)是信息论和编码理论中的一个经典课题。传统JSCC对信源编码和解码联合设计，寻求端到端的优化提升，但是多年来限制于实际通信架构，没有得到很好的发展。
通常，基于深度学习的信源信道联合编码(deep JSCC)利用深层神经网络，提取信源特征直接将其映射到连续的信道符号上，在端到端的图像传输系统上取得了超过传统分离式信源解码系统的性能。但是，当信源维度增加时，deep JSCC不能感知信源分布，且无法实现变长编码传输，deep JSCC的编码性能会严重下降，甚至不如传统分离式系统。
发明内容
有鉴于此，本申请的目的在于提出一种语义通信的编码传输方法及相关设备，用以解决或部分解决上述技术问题。
基于上述目的，本申请的第一方面提供了一种语义通信的编码传输方法，所述方法应用于语义通讯系统，所述语义通信系统包括：发送端和接收端，所述方法包括：
所述发送端获取信源信息；
所述发送端采用预先训练好的分析变换模型将所述信源信息映射到潜在空间，得到潜在表示；
所述发送端采用预先训练好的超先验分析变换模型提取所述潜在表示对应的边信息；
所述发送端通过预先训练好的超先验生成变换网络模型对所述边信息进行分布计算，得到第一潜在表示分布；
所述发送端通过预先构建的熵模型根据所述第一潜在表示分布对所述潜在表示进行条件熵计算，得到所述潜在表示中每个维度的熵值；
所述发送端通过预先构建的标量量化器对所述熵值进行放缩，得到所述潜在表示对应的符号数向量，其中，所述符号数向量被配置为确定所述潜在表示传输的码率；
所述发送端将所述符号数向量对应的码率信息加入所述边信息；
所述发送端通过预先训练好的信源信道联合编码网络模型将所述潜在表示映射为编码信号；
所述发送端将所述编码信号和所述边信息发送到所述接收端；
所述接收端通过所述超先验生成变换网络模型对所述边信息进行分布计算，得到第二潜在表示分布；
所述接收端通过预先训练好的信源信道联合解码网络模型根据所述第二潜在表示分布和所述边信息对所述编码信号进行解码，得到解码潜在表示；
所述接收端通过预先训练好的生成变换网络模型对所述解码潜在表示进行重建，得到重建信源信息。
本申请的第二方面提供了一种语义通信的编码传输装置，包括：
获取模块，被配置为所述发送端获取信源信息；
映射模块，被配置为所述发送端采用预先训练好的分析变换模型将所述信源信息映射到潜在空间，得到潜在表示；
提取模块，被配置为所述发送端采用预先训练好的超先验分析变换模型提取所述潜在表示对应的边信息；
分布模块，被配置为所述发送端通过预先训练好的超先验生成变换网络模型对所述边信息进行分布计算，得到第一潜在表示分布；
条件熵模块，被配置为所述发送端通过预先构建的熵模型根据所述第一潜在表示分布对所述潜在表示进行条件熵计算，得到所述潜在表示中每个维度的熵值；
符号数模块，被配置为所述发送端通过预先构建的标量量化器对所述熵值进行放缩，得到所述潜在表示对应的符号数向量，其中，所述符号数向量被配置为确定所述潜在表示传输的码率；
码率模块，被配置为所述发送端将所述符号数向量对应的码率信息加入所述边信息；
编码模块，被配置为所述发送端通过预先训练好的信源信道联合编码网络模型将所述潜在表示映射为编码信号；
发送模块，被配置为所述发送端将所述编码信号和所述边信息发送到所述接收端；
解码分布模块，被配置为所述接收端通过所述超先验生成变换网络模型对所述边信息进行分布计算，得到第二潜在表示分布；
解码模块，被配置为所述接收端通过预先训练好的信源信道联合解码网络模型根据所述第二潜在表示分布和所述边信息对所述编码信号进行解码，得到解码潜在表示；
重建模块，被配置为所述接收端通过预先训练好的生成变换网络模型对所述解码潜在表示进行重建，得到重建信源信息。
本申请的第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
本申请的第四方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行第一方面所述方法。
从上面所述可以看出，本申请提供的语义通信的编码传输方法及相关设备，通过分析变换模型将信源信息压缩为潜在表示，并采用信源信道联合编码网络模型根据该潜在表示生成编码信号，提供了信源信息的端到端可学习模型；通过熵模型将该潜在表示的码率与潜在表示的熵进行对应，提高了潜在表示的编码增益；通过边信息的传输将潜在表示的超先验信息发送到解码端，利用超先验信息的分布信息减少对应于特定信源样本的潜在表示边缘分布与对应于整个信源数据集合的边际分布之间的不匹配度，在增加少量边信息占用的比特资源的同时提高了信源信道联合解码网络模型的解码性能。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的语义通信的编码传输方法的流程示意图；
图2为本申请实施例的发送端中模型联合训练的流程示意图；
图3为本申请实施例的接收端中模型联合训练的流程示意图；
图4为本申请实施例的训练端中模型联合训练的流程示意图；
图5为本申请实施例的语义通信的编码传输装置的结构示意图；
图6为本申请实施例的电子设施的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术所述，语义通信(Semantic communications)近年来成为了推动信息与通信技术发展的一个新的方向，同时也是人工智能领域创新的热点。在传统通信当中，信源的传输仅考虑了语法信息，语义通信通过对图像等信源进行语义信息提取和语义信息度量，传输面向下游任务的语义信息，实现智能通信。
非线性变换编码(Nonlinear transform coding,NTC)在图像压缩领域已经成为最先进的线性变换编码的有力竞争者，并且在广泛认可的重建质量指标(如PSNR、MS-SSIM和LPIPS等)上取得了更好的率失真性能。目前主流的NTC算法用非线性变换网络将信源映射到子空间，然后引入熵模型在子空间上进一步学习超先验信息来表征子空间的各维度的分布，并将超先验信息作为边信息发送到接收端辅助熵解码器解码，与线性变换编码相比，NTC能够更好的获得信源分布特征。
信源信道联合编码(Joint source-channel coding,JSCC)是信息论和编码理论中的一个经典课题。传统JSCC对信源编码和解码联合设计，寻求端到端的优化提升，但是多年来限制于实际通信架构，没有得到很好的发展。几年来，随着人工智能的发展，基于深度学习的信源信道联合编码(Deep JSCC)利用深层神经网络，提取信源特征直接将其映射到连续的信道符号上，在端到端的图像传输系统上取得了超过传统分离式信源解码系统的性能，尤其是在较小分辨率的图像上，比如CIFAR10数据集(一种开源60000张32*32的彩色图片标签数据集)。但是当信源维度增加时，deep JSCC不能感知信源分布，且无法实现变长编码传输，性能会严重下降，甚至不如传统分离式系统。
本申请的实施例提供一种语义通信的编码传输方法，可以应用于语义通信系统，所述语义通信系统包括：发送端和接收端。
如图1所示，本实施例的方法包括：
步骤101，所述发送端获取信源信息。
在该步骤中，信源信息指的是所述发送端发送的信息，本实施例优选的信源信息可以的是图片信息。这样，为后续生成编码信号提供数据基础。
步骤102，所述发送端采用预先训练好的分析变换模型将所述信源信息映射到潜在空间，得到潜在表示。
在该步骤中，分析变换模型指的是可以完成潜在表示映射的模型，本实施例优选的可以是基于ANN(Artificial Neural Network，人工神经网络)的分析变换网络。潜在表示指的是信源信息之间潜在的语义结构，并用这种潜在的语义结构来表示信源信息。本实施例优选的潜在表示可以是信源信息的语义信息。这样，为后续生成编码信号提供数据基础。
步骤103，所述发送端采用预先训练好的超先验分析变换模型提取所述潜在表示对应的边信息。
在该步骤中，超先验分析变换模型指的是能够提取潜在表示对应边信息的模型，本实施例优选的超先验分析变换模型可以是由5层卷积网络组成的神经网络模型。这样，得到潜在表示的超先验信息，为后续接收端根据超先验信息提高解码性能提供数据基础。
步骤104，所述发送端通过将所述边信息输入预先训练好的超先验生成变换网络模型对所述潜在表示进行分布估计，得到第一潜在表示分布；
在该步骤中，超先验生成变换网络模型指的是能够根据边信息生成第一潜在表示分布的模型。本实施例优选的第一潜在表示分布可以是边信息对应的潜在表示的均值
Figure BDA0003728903440000061
和标准差
Figure BDA0003728903440000062
这样，为后续接收端减少对应于特定信源样本的潜在表示边缘分布与对应于整个信源数据集合的边际分布之间的不匹配度提供数据基础。
步骤105，所述发送端通过预先构建的熵模型根据所述第一潜在表示分布对所述潜在表示进行条件熵计算，得到所述潜在表示中每个维度的熵值。
在该步骤中，熵模型指的是能够通过计算得到潜在表示熵值的模型，本实施例优选的熵模型可以是条件熵模型
Figure BDA0003728903440000063
熵值
Figure BDA0003728903440000064
可以是
Figure BDA0003728903440000065
这样，为后续将该潜在表示的码率与潜在表示的熵进行对应提供了数据基础，提高了潜在表示的编码增益。
步骤106，所述发送端通过预先构建的标量量化器对所述熵值进行放缩，得到所述潜在表示对应的符号数向量，其中，所述符号数向量被配置为确定所述潜在表示传输的码率。
在该步骤中，标量量化器指的是将信号量量化为一维数据集合的模块，本实施例优选的标量量化器可以是将熵值进行放缩后进行量化的模块，其中，本实施例优选的熵值可以是浮点数，通过标量量化器把浮点数变成整数，标量量化器的输出是潜在表示对应符号数向量k。符号数向量k中的符号数
Figure BDA0003728903440000066
与熵值的对应关系为
Figure BDA0003728903440000067
其中，i为维度范围。这样，为后续编码信号的生成提供码率信息。
步骤107，所述发送端将所述符号数向量对应的码率信息加入所述边信息。
在该步骤中，码率信息指的是为潜在表示y中的维度yi分配的用于告诉接收端码率的比特。这样，实现了在增加少量边信息占用的比特资源的同时提高了信源信道联合解码网络模型的解码性能。
步骤108，所述发送端通过预先训练好的信源信道联合编码网络模型将所述潜在表示映射为编码信号。
在该步骤中，信源信道联合编码网络模型指的是将潜在表示中的每个维度映射为对应的信道符号的模型，本实施例优选的信源信道联合编码网络模型可以是动态结构的deep JSCC编码网络模型。通过分析变换模型将信源信息压缩为潜在表示，并采用信源信道联合编码网络模型根据该潜在表示生成编码信号，提供了信源信息的端到端可学习模型
步骤109，所述发送端将所述编码信号和所述边信息发送到所述接收端。
在该步骤中，可以理解的是，编码信号和边信息的发送过程是噪声干扰的。这样，为后续接收端对编码信号处理提供传输信道。
步骤110，所述接收端通过将所述边信息输入所述超先验生成变换网络模型对所述编码信号对应的潜在分布进行分布估计，得到第二潜在表示分布；
在该步骤中，第二潜在表示分布指的是接收端根据边信息得到的潜在表示的均值
Figure BDA0003728903440000071
和标准差
Figure BDA0003728903440000072
这样，为后续利用超先验信息的分布信息减少对应于特定信源样本的潜在表示边缘分布与对应于整个信源数据集合的边际分布之间的不匹配度提供数据基础。
步骤111，所述接收端通过预先训练好的信源信道联合解码网络模型根据所述第二潜在表示分布和所述边信息对所述编码信号进行解码，得到解码潜在表示。
在该步骤中，信源信道联合解码网络模型指的是能够将编码信号进行解码得到恢复的潜在表示的模型，本实施例优选的信源信道联合解码网络模型可以是动态结构的deepJSCC解码网络，解码潜在表示指的是编码信号经过解码后得到的恢复潜在表示，本实施例优选的解码潜在表示可以是根据第二潜在表示分布修正后的具有同一长度维度的潜在表示。这样，为后续重建信源信息提供了数据基础，利用超先验信息的分布信息减少对应于特定信源样本的潜在表示边缘分布与对应于整个信源数据集合的边际分布之间的不匹配度，在增加少量边信息占用的比特资源的同时提高了信源信道联合解码网络模型的解码性能。
步骤112，所述接收端通过预先训练好的生成变换网络模型对所述解码潜在表示进行重建，得到重建信源信息。
在该步骤中，生成变换网络模型指的是能够将潜在表示重建为信源信息的模型，本实施例优选的生成变换网络模型可以是基于ANN的生成变换网络。这样，利用端到端可学习的模型完成了信源信息的传输过程。
通过上述方案，通过分析变换模型将信源信息压缩为潜在表示，并采用信源信道联合编码网络模型根据该潜在表示生成编码信号，提供了信源信息的端到端可学习模型；通过熵模型将该潜在表示的码率与潜在表示的熵进行对应，提高了潜在表示的编码增益；通过边信息的传输将潜在表示的超先验信息发送到解码端，利用超先验信息的分布信息减少对应于特定信源样本的潜在表示边缘分布与对应于整个信源数据集合的边际分布之间的不匹配度，在增加少量边信息占用的比特资源的同时提高了信源信道联合解码网络模型的解码性能。
在一些实施例中，所述语义通信系统还包括：训练端，所述训练端分别与所述发送端和所述接收端通信连接；
在所述发送端获取信源信息之前，所述方法还包括：
所述训练端获取所述发送端和所述接收端的训练数据，并根据神经网络构建初始分析变换模型、初始超先验分析变换模型、初始超先验生成变换网络模型、初始信源信道联合编码网络模型、初始信源信道联合解码网络模型和初始生成变换网络模型；
所述训练端利用所述训练数据对所述初始分析变换模型、所述初始超先验分析变换模型、所述初始超先验生成变换网络模型、所述初始信源信道联合编码网络模型、所述初始信源信道联合解码网络模型和所述初始生成变换网络模型进行联合训练，得到与初始分析变换模型对应的所述分析变换模型、与初始超先验分析变换模型对应的所述超先验分析变换模型、与所述初始超先验生成变换网络模型对应的所述超先验生成变换网络模型、与所述初始信源信道联合编码网络模型对应的所述信源信道联合编码网络模型、与所述初始信源信道联合解码网络模型对应的所述信源信道联合解码网络模型和与所述初始生成变换网络模型对应的所述生成变换网络模型。
在上述方案中，本实施例可以采用端到端联合训练的方法对初始分析变换模型、初始超先验分析变换模型、初始超先验生成变换网络模型、初始信源信道联合编码网络模型、初始信源信道联合解码网络模型和初始生成变换网络模型进行训练。
可以理解的是，在得到与初始分析变换模型对应的所述分析变换模型、与初始超先验分析变换模型对应的所述超先验分析变换模型、与所述初始超先验生成变换网络模型对应的所述超先验生成变换网络模型、与所述初始信源信道联合编码网络模型对应的所述信源信道联合编码网络模型、与所述初始信源信道联合解码网络模型对应的所述信源信道联合解码网络模型和与所述初始生成变换网络模型对应的所述生成变换网络模型之后，可以采用在线传输对训练好的模型进行推理。
通过上述方案，为后续语义通信系统应用分析变换模型、超先验分析变换模型、超先验生成变换网络模型、信源信道联合编码网络模型、信源信道联合解码网络模型和生成变换网络模型提供模型基础。
在一些实施例中，如图2所示，所述联合训练的步骤至少包括：
步骤201，所述发送端获取训练集；
步骤202，所述发送端通过包括第一参数的所述初始分析变换模型对所述训练集中的原始图像进行参数化变换，得到训练潜在表示，并将所述训练潜在表示无损发送到所述接收端；
步骤203，所述发送端通过包括第二参数的所述初始超先验分析变换模型对所述训练潜在表示进行超先验提取，得到所述训练潜在表示对应的训练边信息以及所述训练边信息的第一训练熵值；
步骤204，所述发送端通过将所述训练边信息输入包含第三参数的所述初始超先验生成变换网络模型对所述训练潜在表示进行分布估计，得到训练第一潜在表示分布；
步骤205，所述发送端通过所述熵模型根据所述训练第一潜在表示分布对所述训练潜在表示进行条件熵计算，得到所述训练潜在表示中每个维度的第二训练熵值；
步骤206，所述发送端通过所述标量量化器对所述第二训练熵值进行放缩，得到所述训练潜在表示对应的训练符号数向量，其中，所述训练符号数向量被配置为确定所述训练潜在表示传输的第一训练码率；
步骤207，所述发送端将所述训练符号数向量对应的训练码率信息加入所述训练边信息；
步骤208，所述发送端通过包括第四参数的所述初始信源信道联合编码网络模型将所述训练潜在表示映射为训练编码信号；
步骤209，所述发送端将所述训练编码信号和所述训练边信息发送到所述接收端，其中，所述训练边信息为无损发送，且所述训练边信息对应的所述训练潜在表示的第二训练码率。
在上述方案中，本实施例可以使用Openimage(一种开源大型数据集，包含大约900万张图像，这些图像用图像级别的标签和目标边界框进行了标注)公开数据集进行训练，使用Kodak(一种开源彩色图片数据集)公开数据集进行验证，对训练集中的图像进行随机水平翻转、指定分辨率放缩，最后随机裁剪至256×256分辨率，对验证集图像可以保持原分辨率输入初始分析变换网络。
可以将原始图像对应的RGB图像向量x1输入基于tranformer的初始分析变换网络ga1，得到训练潜在表示y1＝ga(x1；φg)，其中φg是第一参数。
具体的，图像向量
Figure BDA0003728903440000101
被分割为
Figure BDA0003728903440000102
个没有重叠的图块，每一个图块的维度为12＝2×2×3，在图像空间上按照从左上到右下的顺序得到图块序列
Figure BDA0003728903440000103
图块分割后，将xp输入一个12→c全连接网络线性映射得到映射向量(patch embeddings)
Figure BDA0003728903440000104
将映射向量xe输入到初始分析变换模型N1层的transformer模块得到xe。其中，一个transformer模块是一个sequence-to-sequence网络，假设输入为X，流程如下：
O1＝X+MHSA(X)
O2＝O1+MLP(LayerNorm(O1))
其中，O1、O2分别是自注意力层(self-attention)和前向层的输出。MHSA是加入可学习的相对位置偏置参数的多头自注意力层，MLP包括一个隐藏层和一个带有GELU激活函数的映射层。将stage1输出的映射向量xe输入stage2，stage2包括一个图块合并模块和N2层的transformer模块。
具体的，映射向量xe的处理过程可以包括：初始分析变换模型中的图像合并模块首先将输入映射向量
Figure BDA0003728903440000105
进行子空间上的图块分割得到
Figure BDA0003728903440000106
然后再过一个4c→c全连接网络进行线性映射得到映射向量
Figure BDA0003728903440000107
将映射向量xe输入N2层的transformer模块，维度保持不变。接下来继续输入stage3和stage4，transformer的层数分别为N3，N4分析变换网络ga中的每个stage都包括一次下采样，所以最后输出的训练潜在表示
Figure BDA0003728903440000108
利用初始超先验分析变换模型ha1提取训练潜在表示y1的训练边信息z1，z1＝ha1y1,φh，其中φh是第二参数。初始超先验分析变换模型ha1可以由5层卷积网络组成，通道数为c，1-4层卷积网络后面可以接着ReLU激活函数，第3层和第5层卷积网络步长为2，所以ha1实现了两次下采样，
Figure BDA0003728903440000111
并计算训练边信息的第一训练熵值
Figure BDA0003728903440000112
利用熵模型
Figure BDA0003728903440000113
来估计训练潜在表示y1的第二训练熵值，其中，训练潜在表示y1也可以看作一个映射向量序列y1,y2,…,yl，每一个映射向量长度为c，
Figure BDA0003728903440000114
Figure BDA0003728903440000115
表示每个映射向量的平均熵值。
具体的，将训练边信息量化后得到量化训练边信息
Figure BDA0003728903440000116
经过初始生成网络hs1生成均值
Figure BDA0003728903440000117
和标准差
Figure BDA0003728903440000118
即训练第一潜在表示分布
Figure BDA0003728903440000119
其中θh是第三参数。初始生成网络hs有五层转置卷积网络，前四层通道数为c，1-4层转置卷积网络后连接ReLU(线性整流函数)激活函数，其中第3层和第5层转置卷积网络步长为2，实现上采样，而且第五层卷积网络通道数倍增为2c，输出
Figure BDA00037289034400001110
然后将前c个通道结果作为
Figure BDA00037289034400001111
后c个通道结果作为
Figure BDA00037289034400001112
对训练潜在表示进行量化，得到量化训练潜在表示
Figure BDA00037289034400001113
以
Figure BDA00037289034400001114
为条件的熵模型
Figure BDA00037289034400001115
是预设好的，假设
Figure BDA00037289034400001116
每个维度
Figure BDA00037289034400001117
都是条件独立的高斯分布。已知
Figure BDA00037289034400001118
的均值
Figure BDA00037289034400001119
和标准差
Figure BDA00037289034400001120
可以近似求得潜在表示每个维度yi的第二训练熵值
Figure BDA00037289034400001121
用一个放缩因子η乘以
Figure BDA00037289034400001122
来控制码率的范围区间，然后用一个标量量化器Q′得到每个yi在传输时分配到的符号数：
Figure BDA00037289034400001123
对应符号数向量
Figure BDA00037289034400001124
标量量化器Q′的范围为
Figure BDA0003728903440000121
所以同时还需为每个yi分配kq个比特作为训练码率信息来告诉接收端每个yi的训练码率。
在k1的指导下，可以采用动态结构的deep JSCC编码网络作为初始信源信道联合编码网络模型fe1，fe1能够将每个yi映射为
Figure BDA0003728903440000122
个信道符号得到si，即训练编码信号s1＝fe1y1,k1,φf，其中φf是第四参数。
具体的，共享transformer块利用自注意力机制调整yi以自来适应对应码率
Figure BDA0003728903440000123
首先设计一个可学习码率分词向量(rate token vector)集合
Figure BDA0003728903440000124
来指导码率信息，每一个yi在送入transformer块都添加一个对应的码率分词向量
Figure BDA0003728903440000125
使用对应的全连接网络把经过transformer块后的yi压缩至维度为
Figure BDA0003728903440000126
的向量，然后进行功率归一化得到si，初始信源信道联合编码网络模型输出结果训练编码信号s1＝[s1,s2,…,sl]。
在数字链路上传输训练边信息z1和训练编码信号s1。
具体的，可以对z1进行量化得到
Figure BDA0003728903440000127
接着对
Figure BDA0003728903440000128
进行熵编码(EE)和信道编码(CE)，然后送入信道传输，信道传输训练编码信号s1为第一训练码率，信道传输
Figure BDA0003728903440000129
的码率为第二训练码率。其中熵编码部分可以利用一个超先验熵模型
Figure BDA00037289034400001210
建模出
Figure BDA00037289034400001211
的分布以此来指导算数编码。接收端分别用信道译码(CD)和熵解码(ED)恢复
Figure BDA00037289034400001212
可以理解的是，在联合训练阶段，可以假设
Figure BDA00037289034400001213
是无损传输的，在线传输的时候才考虑对
Figure BDA00037289034400001214
的实际传输。
通过上述方案，通过初始分析变换模型将原始图片压缩为训练潜在表示，并采用初始信源信道联合编码网络模型根据该训练潜在表示生成训练编码信号，通过熵模型将该训练潜在表示的码率与训练潜在表示的熵进行对应，提高了训练潜在表示的编码增益，为后续提高接收端对训练潜在表示的解码性能提供数据基础。
在一些实施例中，如图3所示，所述联合训练的步骤至少还包括：
步骤301，所述接收端通过将所述训练边信息输入包含所述第三参数的所述初始超先验生成变换网络模型对所述训练编码信号对应的训练潜在表示进行分布估计，得到训练第二潜在表示分布；
步骤302，所述接收端通过包括第五参数的所述初始信源信道联合解码网络模型根据所述训练第二潜在表示分布和所述训练边信息对所述训练编码信号进行解码，得到训练解码潜在表示；
步骤303，所述接收端通过包括所述第六参数的生成变换网络模型对所述训练解码潜在表示进行重建，得到第一重建图像；
步骤304，所述接收端通过包括所述第六参数的生成变换网络模型对所述训练潜在表示进行重建，得到第二重建图像。
在上述方案中，训练编码信号的传输过程是有噪声干扰的，这样导致接收端接收到的训练编码信号是带噪信号
Figure BDA0003728903440000131
其中s1是发送端发送的训练编码信号，
Figure BDA0003728903440000132
是接收端接收的训练编码信号，n是信道噪声。
接收端可以根据训练边信息
Figure BDA0003728903440000133
经过初始生成变换网络hs1生成均值
Figure BDA0003728903440000134
和标准差
Figure BDA0003728903440000135
即训练第二潜在表示分布
Figure BDA0003728903440000136
其中θh是第三参数。
接收端同时也会收到训练边信息中的训练码率信息对应的训练符号数向量k1，根据训练符号数向量k1中的训练信道符号
Figure BDA0003728903440000137
用全连接网络把训练编码信号中的每个维度
Figure BDA0003728903440000138
解码到统一的长度的初始训练解码潜在表示
Figure BDA0003728903440000139
的对应维度
Figure BDA00037289034400001310
初始信源信道联合解码网络模型
Figure BDA00037289034400001311
中也部署了与初始信源信道联合编码网络模型fe1相同的码率分词向量(rate token vector)集合
Figure BDA00037289034400001312
以及，初始信源信道联合解码网络模型和初始信源信道联合编码网络模型一样，每一个
Figure BDA00037289034400001313
添加一个对应的码率分词向量
Figure BDA00037289034400001314
然后送入transformer块
Figure BDA00037289034400001315
进行重构。
具体的，可以通过初始信源信道联合解码网络模型中的多层感知机根据训练第二潜在表示分布对初始训练解码潜在表示进行细化修正得到细化训练解码潜在表示
Figure BDA00037289034400001316
其中，MLP是一个两层(3c→6c→c)的多层感知机，输入为根据初始训练解码潜在表示和训练第二潜在表示分布构建的合并向量
Figure BDA0003728903440000141
最终解码重建得到训练解码潜在表示
Figure BDA0003728903440000142
其中θf是第五参数。
利用初始生成变换网络gs1对训练解码潜在表示
Figure BDA0003728903440000143
进行图像重建得到第一重建图像
Figure BDA0003728903440000144
Figure BDA0003728903440000145
其中θg是第六参数。在联合训练阶段，本实施例还会从发送端的训练潜在表示y1来重建图像，得到无损传输的训练潜在表示y1对应的第二重建图像
Figure BDA0003728903440000146
Figure BDA0003728903440000147
通过上述方案，接收端通过对训练编码信号解码重建得到第一重建图像和第二重建图像，为后续损失函数的计算提供数据基础。
在一些实施例中，如图4所示，所述联合训练的步骤至少还包括：
步骤401，所述训练端基于所述原始图像、所述第一重建图像、所述第二重建图像、所述第一训练码率和所述第二训练码率构建损失函数；
步骤402，所述训练端根据所述损失函数对训练参数集进行更新并记录训练次数，其中，所述训练参数集包括所述第一参数、所述第二参数、所述第三参数、所述第四参数、所述第五参数和所述第六参数；
步骤403，所述训练端响应于确定所述训练次数等于预定次数，将初始分析变换模型作为所述分析变换模型、将初始超先验分析变换模型作为所述超先验分析变换模型、将所述初始超先验生成变换网络模型作为所述超先验生成变换网络模型、将所述初始信源信道联合编码网络模型作为所述信源信道联合编码网络模型、将所述初始信源信道联合解码网络模型作为所述信源信道联合解码网络模型和将所述初始生成变换网络模型作为所述生成变换网络模型。
在上述方案中，计算得到一次训练的损失函数后，可以采用反向传播的方式，采用Adam(adaptive moment estimation，适应性矩估计)优化算法计算损失函数对应的学习率，并根据学习率对训练参数集进行更新。
通过上述方案，采用联合训练的方式完成初始分析变换模型、初始超先验分析变换模型、初始超先验生成变换网络模型、初始信源信道联合编码网络模型、初始信源信道联合解码网络模型和初始生成变换网络模型的离线训练过程，为后续发送端和接收端使用分析变换模型、超先验分析变换模型、超先验生成变换网络模型、信源信道联合编码网络模型、信源信道联合解码网络模型和生成变换网络模型进行信源编码传输提供模型基础。
在一些实施例中，步骤401具体包括：
根据如下公式计算所述损失函数：
Figure BDA0003728903440000151
其中，
Figure BDA0003728903440000152
为所述原始图像与所述第一重建图像之间的第一图像质量失真指标，
Figure BDA0003728903440000153
为所述原始图像与所述第二重建图像之间的第二图像质量失真指标，Hy为根据所述第二训练熵值计算得到的平均熵值，Hz为根据所述第一训练熵值计算得到的平均熵值，λ为控制所述联合训练过程中码率和重建质量之间增益互换的超参数。
在上述方案中，当超参数λ越大，联合训练的过程中，训练参数集的优化方向更偏向码率，能够达到更低的码率；当超参数λ越小，联合训练的过程中，训练参数集的优化方向更偏向重建图像质量，能够达到更好的重建图像质量和更高码率。
通过上述方案，为联合训练的更新迭代提供了损失函数，使得初始分析变换模型、初始超先验分析变换模型、初始超先验生成变换网络模型、初始信源信道联合编码网络模型、初始信源信道联合解码网络模型和初始生成变换网络模型的优化具有可选择的优化方向。
在一些实施例中，根据如下公式计算所述第一质量失真指标或所述第二质量失真指标：
Figure BDA0003728903440000154
其中，n为所述原始图像对应的维度个数，x为所述原始图像，xi为所述原始图像的第i个维度，i为正整数且1≤i≤n，
Figure BDA0003728903440000155
为所述第一重建图像或所述第二重建图像，
Figure BDA0003728903440000156
为所述第一重建图像的第i个维度或所述第二重建图像的第i个维度。
在上述方案中，第一质量失真指标指的是原始图像和第一重建图像之间的图像质量失真指标，第二质量失真指标指的是原始图像和第二重建图像之间的图像质量失真指标，本实施例优选的图像质量失真指标可以是图像位图之间的均方误差。
通过上述方案，为损失函数的构建提供了图像重建质量的量化标准。
需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种语义通信的编码传输装置。
参考图5，所述编码传输装置，包括：
获取模块501，被配置为所述发送端获取信源信息；
映射模块502，被配置为所述发送端采用预先训练好的分析变换模型将所述信源信息映射到潜在空间，得到潜在表示；
提取模块503，被配置为所述发送端采用预先训练好的超先验分析变换模型提取所述潜在表示对应的边信息；
分布模块504，被配置为所述发送端通过将所述边信息输入预先训练好的超先验生成变换网络模型对所述潜在表示进行分布估计，得到第一潜在表示分布；
条件熵模块505，被配置为所述发送端通过预先构建的熵模型根据所述第一潜在表示分布对所述潜在表示进行条件熵计算，得到所述潜在表示中每个维度的熵值；
符号数模块506，被配置为所述发送端通过预先构建的标量量化器对所述熵值进行放缩，得到所述潜在表示对应的符号数向量，其中，所述符号数向量被配置为确定所述潜在表示传输的码率；
码率模块507，被配置为所述发送端将所述符号数向量对应的码率信息加入所述边信息；
编码模块508，被配置为所述发送端通过预先训练好的信源信道联合编码网络模型将所述潜在表示映射为编码信号；
发送模块509，被配置为所述发送端将所述编码信号和所述边信息发送到所述接收端；
解码分布模块510，被配置为所述接收端通过将所述边信息输入所述超先验生成变换网络模型对所述编码信号对应的潜在分布进行分布估计，得到第二潜在表示分布；
解码模块511，被配置为所述接收端通过预先训练好的信源信道联合解码网络模型根据所述第二潜在表示分布和所述边信息对所述编码信号进行解码，得到解码潜在表示；
重建模块512，被配置为所述接收端通过预先训练好的生成变换网络模型对所述解码潜在表示进行重建，得到重建信源信息。
在一些实施例中，所述装置还包括：
初始化模块513，所述训练端获取所述发送端和所述接收端的训练数据，并根据神经网络构建初始分析变换模型、初始超先验分析变换模型、初始超先验生成变换网络模型、初始信源信道联合编码网络模型、初始信源信道联合解码网络模型和初始生成变换网络模型；
联合训练模块514，所述训练端利用所述训练数据对所述初始分析变换模型、所述初始超先验分析变换模型、所述初始超先验生成变换网络模型、所述初始信源信道联合编码网络模型、所述初始信源信道联合解码网络模型和所述初始生成变换网络模型进行联合训练，得到与初始分析变换模型对应的所述分析变换模型、与初始超先验分析变换模型对应的所述超先验分析变换模型、与所述初始超先验生成变换网络模型对应的所述超先验生成变换网络模型、与所述初始信源信道联合编码网络模型对应的所述信源信道联合编码网络模型、与所述初始信源信道联合解码网络模型对应的所述信源信道联合解码网络模型和与所述初始生成变换网络模型对应的所述生成变换网络模型。
在一些实施例中，联合训练模块具体被配置为：
所述发送端获取训练集；
所述发送端通过包括第一参数的所述初始分析变换网络对所述训练集中的原始图像进行参数化变换，得到训练潜在表示，并将所述训练潜在表示无损发送到所述接收端；
所述发送端通过包括第二参数的所述初始超先验分析变换网络对所述训练潜在表示进行超先验提取，得到所述训练潜在表示对应的训练边信息以及所述训练边信息的第一训练熵值；
所述发送端通过包含第三参数的所述初始超先验生成变换网络模型对所述训练边信息进行分布计算，得到训练第一潜在表示分布；
所述发送端通过所述熵模型根据所述训练第一潜在表示分布对所述训练潜在表示进行条件熵计算，得到所述训练潜在表示中每个维度的第二训练熵值；
所述发送端通过所述标量量化器对所述第二训练熵值进行放缩，得到所述训练潜在表示对应的训练符号数向量，其中，所述训练符号数向量被配置为确定所述训练潜在表示传输的第一训练码率；
所述发送端将所述训练符号数向量对应的训练码率信息加入所述训练边信息；
所述发送端通过包括第四参数的所述初始信源信道联合编码网络模型将所述训练潜在表示映射为训练编码信号；
所述发送端将所述训练编码信号和所述训练边信息发送到所述接收端，其中，所述训练边信息为无损发送，且所述训练边信息对应的所述训练潜在表示的第二训练码率。
在一些实施例中，联合训练模块514具体还被配置为：
所述接收端通过将所述训练边信息输入包含所述第三参数的所述初始超先验生成变换网络模型对所述训练编码信号对应的训练潜在表示进行分布估计，得到训练第二潜在表示分布；
所述接收端通过包括第五参数的所述初始信源信道联合解码网络模型根据所述训练第二潜在表示分布和所述训练边信息对所述训练编码信号进行解码，得到训练解码潜在表示；
所述接收端通过包括所述第六参数的生成变换网络模型对所述训练解码潜在表示进行重建，得到第一重建图像；
所述接收端通过包括所述第六参数的生成变换网络模型对所述训练潜在表示进行重建，得到第二重建图像。
在一些实施例中，联合训练模块514具体包括：
构建单元，被配置为所述训练端基于所述原始图像、所述第一重建图像、所述第二重建图像、所述第一训练码率和所述第二训练码率构建损失函数；
更新单元，被配置为所述训练端根据所述损失函数对训练参数集进行更新并记录训练次数，其中，所述训练参数集包括所述第一参数、所述第二参数、所述第三参数、所述第四参数、所述第五参数和所述第六参数；
模型单元，被配置为所述训练端响应于确定所述训练次数等于预定次数，将初始分析变换模型作为所述分析变换模型、将初始超先验分析变换模型作为所述超先验分析变换模型、将所述初始超先验生成变换网络模型作为所述超先验生成变换网络模型、将所述初始信源信道联合编码网络模型作为所述信源信道联合编码网络模型、将所述初始信源信道联合解码网络模型作为所述信源信道联合解码网络模型和将所述初始生成变换网络模型作为所述生成变换网络模型。
在一些实施例中，构建单元具体被配置为：
根据如下公式计算所述损失函数：
Figure BDA0003728903440000191
其中，
Figure BDA0003728903440000192
为所述原始图像与所述第一重建图像之间的第一图像质量失真指标，
Figure BDA0003728903440000193
为所述原始图像与所述第二重建图像之间的第二图像质量失真指标，Hy为根据所述第二训练熵值计算得到的平均熵值，Hz为根据所述第一训练熵值计算得到的平均熵值，λ为控制所述联合训练过程中码率和重建质量之间增益互换的超参数。
在一些实施例中，构建单元中的所述第一质量失真指标或所述第二质量失真指标根据如下公式计算：
Figure BDA0003728903440000194
其中，n为所述原始图像对应的维度个数，x为所述原始图像，xi为所述原始图像的第i个维度，i为正整数且1≤i≤n，
Figure BDA0003728903440000195
为所述第一重建图像或所述第二重建图像，
Figure BDA0003728903440000196
为所述第一重建图像的第i个维度或所述第二重建图像的第i个维度。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的语义通信的编码传输方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的语义通信的编码传输方法。
图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的语义通信的编码传输方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的语义通信的编码传输方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的语义通信的编码传输方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种语义通信的编码传输方法，其特征在于，所述方法应用于语义通讯系统，所述语义通信系统包括：发送端和接收端，所述方法包括：
所述发送端获取信源信息；
所述发送端采用预先训练好的分析变换模型将所述信源信息映射到潜在空间，得到潜在表示；
所述发送端采用预先训练好的超先验分析变换模型提取所述潜在表示对应的边信息；
所述发送端通过将所述边信息输入预先训练好的超先验生成变换网络模型对所述潜在表示进行分布估计，得到第一潜在表示分布；
所述发送端通过预先构建的熵模型根据所述第一潜在表示分布对所述潜在表示进行条件熵计算，得到所述潜在表示中每个维度的熵值；
所述发送端通过预先构建的标量量化器对所述熵值进行放缩，得到所述潜在表示对应的符号数向量，其中，所述符号数向量被配置为确定所述潜在表示传输的码率；
所述发送端将所述符号数向量对应的码率信息加入所述边信息；
所述发送端通过预先训练好的信源信道联合编码网络模型将所述潜在表示映射为编码信号；
所述发送端将所述编码信号和所述边信息发送到所述接收端；
所述接收端通过将所述边信息输入所述超先验生成变换网络模型对所述编码信号对应的潜在分布进行分布估计，得到第二潜在表示分布；
所述接收端通过预先训练好的信源信道联合解码网络模型根据所述第二潜在表示分布和所述边信息对所述编码信号进行解码，得到解码潜在表示；
所述接收端通过预先训练好的生成变换网络模型对所述解码潜在表示进行重建，得到重建信源信息。
2.根据权利要求1所述的方法，其特征在于，所述语义通信系统还包括：训练端，所述训练端分别与所述发送端和所述接收端通信连接；
在所述发送端获取信源信息之前，所述方法还包括：
所述训练端获取所述发送端和所述接收端的训练数据，并根据神经网络构建初始分析变换模型、初始超先验分析变换模型、初始超先验生成变换网络模型、初始信源信道联合编码网络模型、初始信源信道联合解码网络模型和初始生成变换网络模型；
所述训练端利用所述训练数据对所述初始分析变换模型、所述初始超先验分析变换模型、所述初始超先验生成变换网络模型、所述初始信源信道联合编码网络模型、所述初始信源信道联合解码网络模型和所述初始生成变换网络模型进行联合训练，得到与初始分析变换模型对应的所述分析变换模型、与初始超先验分析变换模型对应的所述超先验分析变换模型、与所述初始超先验生成变换网络模型对应的所述超先验生成变换网络模型、与所述初始信源信道联合编码网络模型对应的所述信源信道联合编码网络模型、与所述初始信源信道联合解码网络模型对应的所述信源信道联合解码网络模型和与所述初始生成变换网络模型对应的所述生成变换网络模型。
3.根据权利要求2所述的方法，其特征在于，所述联合训练的步骤至少包括：
所述发送端获取训练集；
所述发送端通过包括第一参数的所述初始分析变换模型对所述训练集中的原始图像进行参数化变换，得到训练潜在表示，并将所述训练潜在表示无损发送到所述接收端；
所述发送端通过包括第二参数的所述初始超先验分析变换模型对所述训练潜在表示进行超先验提取，得到所述训练潜在表示对应的训练边信息以及所述训练边信息的第一训练熵值；
所述发送端通过将所述训练边信息输入包含第三参数的所述初始超先验生成变换网络模型对所述训练潜在表示进行分布估计，得到训练第一潜在表示分布；
所述发送端通过所述熵模型根据所述训练第一潜在表示分布对所述训练潜在表示进行条件熵计算，得到所述训练潜在表示中每个维度的第二训练熵值；
所述发送端通过所述标量量化器对所述第二训练熵值进行放缩，得到所述训练潜在表示对应的训练符号数向量，其中，所述训练符号数向量被配置为确定所述训练潜在表示传输的第一训练码率；
所述发送端将所述训练符号数向量对应的训练码率信息加入所述训练边信息；
所述发送端通过包括第四参数的所述初始信源信道联合编码网络模型将所述训练潜在表示映射为训练编码信号；
所述发送端将所述训练编码信号和所述训练边信息发送到所述接收端，其中，所述训练边信息为无损发送，且所述训练边信息对应的所述训练潜在表示的第二训练码率。
4.根据权利要求3所述的方法，其特征在于，所述联合训练的步骤至少还包括：
所述接收端通过将所述训练边信息输入包含所述第三参数的所述初始超先验生成变换网络模型对所述训练编码信号对应的训练潜在表示进行分布估计，得到训练第二潜在表示分布；
所述接收端通过包括第五参数的所述初始信源信道联合解码网络模型根据所述训练第二潜在表示分布和所述训练边信息对所述训练编码信号进行解码，得到训练解码潜在表示；
所述接收端通过包括所述第六参数的初始生成变换网络模型对所述训练解码潜在表示进行重建，得到第一重建图像；
所述接收端通过包括所述第六参数的初始生成变换网络模型对所述训练潜在表示进行重建，得到第二重建图像。
5.根据权利要求4所述的方法，其特征在于，所述联合训练的步骤至少还包括：
所述训练端基于所述原始图像、所述第一重建图像、所述第二重建图像、所述第一训练码率和所述第二训练码率构建损失函数；
所述训练端根据所述损失函数对训练参数集进行更新并记录训练次数，其中，所述训练参数集包括所述第一参数、所述第二参数、所述第三参数、所述第四参数、所述第五参数和所述第六参数；
所述训练端响应于确定所述训练次数等于预定次数，将初始分析变换模型作为所述分析变换模型、将初始超先验分析变换模型作为所述超先验分析变换模型、将所述初始超先验生成变换网络模型作为所述超先验生成变换网络模型、将所述初始信源信道联合编码网络模型作为所述信源信道联合编码网络模型、将所述初始信源信道联合解码网络模型作为所述信源信道联合解码网络模型和将所述初始生成变换网络模型作为所述生成变换网络模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一均方误差、第二均方误差、所述第一训练码率和所述第二训练码率构建损失函数，包括：
根据如下公式计算所述损失函数：
Figure FDA0003728903430000041
其中，
Figure FDA0003728903430000042
为所述原始图像与所述第一重建图像之间的第一图像质量失真指标，
Figure FDA0003728903430000043
为所述原始图像与所述第二重建图像之间的第二图像质量失真指标，Hy为根据所述第二训练熵值计算得到的平均熵值，Hz为根据所述第一训练熵值计算得到的平均熵值，λ为控制所述联合训练过程中码率和重建质量之间增益互换的超参数。
7.根据权利要求6所述的方法，其特征在于，根据如下公式计算所述第一质量失真指标或所述第二质量失真指标：
Figure FDA0003728903430000044
其中，n为所述原始图像对应的维度个数，x为所述原始图像，xi为所述原始图像的第i个维度，i为正整数且1≤i≤n，
Figure FDA0003728903430000045
为所述第一重建图像或所述第二重建图像，
Figure FDA0003728903430000046
为所述第一重建图像的第i个维度或所述第二重建图像的第i个维度。
8.一种语义通信的编码传输装置，其特征在于，包括：
获取模块，被配置为所述发送端获取信源信息；
映射模块，被配置为所述发送端采用预先训练好的分析变换模型将所述信源信息映射到潜在空间，得到潜在表示；
提取模块，被配置为所述发送端采用预先训练好的超先验分析变换模型提取所述潜在表示对应的边信息；
分布模块，被配置为所述发送端通过将所述边信息输入预先训练好的超先验生成变换网络模型对所述潜在表示进行分布估计，得到第一潜在表示分布；
条件熵模块，被配置为所述发送端通过预先构建的熵模型根据所述第一潜在表示分布对所述潜在表示进行条件熵计算，得到所述潜在表示中每个维度的熵值；
符号数模块，被配置为所述发送端通过预先构建的标量量化器对所述熵值进行放缩，得到所述潜在表示对应的符号数向量，其中，所述符号数向量被配置为确定所述潜在表示传输的码率；
码率模块，被配置为所述发送端将所述符号数向量对应的码率信息加入所述边信息；
编码模块，被配置为所述发送端通过预先训练好的信源信道联合编码网络模型将所述潜在表示映射为编码信号；
发送模块，被配置为所述发送端将所述编码信号和所述边信息发送到所述接收端；
解码分布模块，被配置为所述接收端通过将所述边信息输入所述超先验生成变换网络模型对所述编码信号对应的潜在分布进行分布估计，得到第二潜在表示分布；
解码模块，被配置为所述接收端通过预先训练好的信源信道联合解码网络模型根据所述第二潜在表示分布和所述边信息对所述编码信号进行解码，得到解码潜在表示；
重建模块，被配置为所述接收端通过预先训练好的生成变换网络模型对所述解码潜在表示进行重建，得到重建信源信息。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7任一所述方法。
CN202210786822.1A 2022-04-27 2022-07-04 语义通信的编码传输方法及相关设备 Pending CN115426075A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022104592883 2022-04-27
CN202210459288 2022-04-27

Publications (1)

Publication Number Publication Date
CN115426075A true CN115426075A (zh) 2022-12-02

Family

ID=84195959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210786822.1A Pending CN115426075A (zh) 2022-04-27 2022-07-04 语义通信的编码传输方法及相关设备

Country Status (1)

Country Link
CN (1) CN115426075A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115842593A (zh) * 2023-02-20 2023-03-24 北京邮电大学 一种语义相干光通信方法及系统
CN116209069A (zh) * 2023-04-25 2023-06-02 北京邮电大学 基于语义域的多址接入方法及相关设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115842593A (zh) * 2023-02-20 2023-03-24 北京邮电大学 一种语义相干光通信方法及系统
CN115842593B (zh) * 2023-02-20 2023-05-09 北京邮电大学 一种语义相干光通信方法及系统
CN116209069A (zh) * 2023-04-25 2023-06-02 北京邮电大学 基于语义域的多址接入方法及相关设备
US11895629B1 (en) 2023-04-25 2024-02-06 Beijing University Of Posts And Telecommunications Multiple access method and related device

Similar Documents

Publication Publication Date Title
US10880551B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
US20200104640A1 (en) Committed information rate variational autoencoders
CN109451308B (zh) 视频压缩处理方法及装置、电子设备及存储介质
CN115426075A (zh) 语义通信的编码传输方法及相关设备
US11869221B2 (en) Data compression using integer neural networks
CN111263161B (zh) 视频压缩处理方法、装置、存储介质和电子设备
CN111641826B (zh) 对数据进行编码、解码的方法、装置与系统
CN113473149A (zh) 用于无线图像传输的语义信道联合编码方法及装置
CN114448563B (zh) 语义编码传输方法及电子设备
EP3822916A1 (en) Image compression using normalizing flows
CN116567237A (zh) 视频编码及解码方法、装置、计算机设备和存储介质
US20230186927A1 (en) Compressing audio waveforms using neural networks and vector quantizers
CN113658122A (zh) 图像质量评价方法、装置、存储介质与电子设备
CN115941966A (zh) 一种视频压缩方法及电子设备
WO2022213825A1 (zh) 基于神经网络的端到端语音增强方法、装置
CN116391190A (zh) 使用生成式模型和潜在域量化的信号编解码
CN112639832A (zh) 识别生成网络的显著特征
CN111565314A (zh) 图像压缩方法、编解码网络训练方法、装置及电子设备
CN117616498A (zh) 使用神经网络和向量量化器压缩音频波形
CN117544276A (zh) 基于滑动窗口的语义通信编码传输方法、装置及设备
CN115802060A (zh) 语义通信视频传输方法及相关设备
CN115714627A (zh) 自适应语义通信传输方法及电子设备
CN117616753A (zh) 使用光流的视频压缩
CN117437915A (zh) 一种答复内容生成方法、装置、电子设备和可读介质
CN116935840A (zh) 上下文建模的语义通信编码传输和接收方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination