CN117544276A - 基于滑动窗口的语义通信编码传输方法、装置及设备 - Google Patents
基于滑动窗口的语义通信编码传输方法、装置及设备 Download PDFInfo
- Publication number
- CN117544276A CN117544276A CN202311338100.0A CN202311338100A CN117544276A CN 117544276 A CN117544276 A CN 117544276A CN 202311338100 A CN202311338100 A CN 202311338100A CN 117544276 A CN117544276 A CN 117544276A
- Authority
- CN
- China
- Prior art keywords
- vector
- channel
- sliding window
- rate
- modulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004891 communication Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000012512 characterization method Methods 0.000 claims abstract description 63
- 238000010606 normalization Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims description 54
- 230000004913 activation Effects 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 230000008447 perception Effects 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005562 fading Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
- H04L1/0013—Rate matching, e.g. puncturing or repetition of code symbols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
- H04L1/0003—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate by switching between different modulation schemes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本公开提供了一种基于滑动窗口的语义通信编码传输方法、装置及设备，包括：获取第一信源图像，利用滑动窗口编码器对所述第一信源图像进行编码处理，得到第一信源图像的第一语义层次表征向量；获取目标信道的信噪比，根据信噪比利用所述信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量；获取目标速率，根据所述目标速率通过速率调制网络对所述第一信道调制隐式表征向量的传输速率进行调节，得到第一信道输入向量；对第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，将第一功率归一化信道输入向量输入至所述目标信道。本公开实现了对信源语义信息的全局感知，提高语义信息的传输准确率。
Description
技术领域
本公开涉及语义通信技术领域，尤其涉及一种基于滑动窗口的语义通信编码传输方法、装置及设备。
背景技术
语义通信近年来成为了推动信息与通信技术发展的一个新的方向，同时也是人工智能领域创新的热点。在传统通信当中，信源的传输仅考虑了语法信息，语义通信通过对图像等信源进行语义信息提取和语义信息度量，传输面向下游任务的语义信息，实现智简通信。
传统通信系统一直根据香农分离原理进行设计和改进，但在实际系统中实现最优性能的条件难以达到，因此催动了联合编码技术的发展。信源信道联合编码是信息论和编码理论中的一个经典课题。当前联合编码方法，当信源维度增加时，基于深度学习的信源信道联合编码的模型容量不足以完全地感知信源分布，进而使得语义信息的传输准确率降低，系统性能会严重下降。
有鉴于此，如何实现对信源语义信息的全局感知，提高语义信息的传输准确率，成为了一个重要的研究问题。
发明内容
有鉴于此，本公开的目的在于提出一种基于滑动窗口的语义通信编码传输方法、装置及设备，用以解决或部分解决上述问题。
基于上述目的，本公开的第一方面提供了一种基于滑动窗口的语义通信编码传输方法，所述方法包括：
获取第一信源图像，利用滑动窗口编码器对所述第一信源图像进行编码处理，得到所述第一信源图像的第一语义层次表征向量；
获取目标信道的信噪比，根据所述信噪比，利用所述信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量，其中所述信道调制网络为对自适应网络进行训练，得到的根据信噪比对语义层次表征向量进行编码的网络；
获取目标速率，根据所述目标速率通过速率调制网络对所述第一信道调制隐式表征向量的传输速率进行调节，得到第一信道输入向量，其中速率调制网络为对自适应网络进行训练，得到的根据目标速率对信道调制隐式表征向量的传输速率进行调节的网络；
对所述第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，将所述第一功率归一化信道输入向量输入至所述目标信道。
基于同一发明构思，本公开的第二方面提出了一种基于滑动窗口的语义通信编码传输装置，包括：
图像获取模块，被配置为获取第一信源图像，利用滑动窗口编码器对所述第一信源图像进行编码处理，得到所述第一信源图像的第一语义层次表征向量；
信噪比获取模块，被配置为获取目标信道的信噪比，根据所述信噪比，利用所述信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量，其中所述信道调制网络为对自适应网络进行训练，得到的根据信噪比对语义层次表征向量进行编码的网络；
速率调节模块，被配置为获取目标速率，根据所述目标速率通过速率调制网络对所述第一信道调制隐式表征向量的传输速率进行调节，得到第一信道输入向量，其中速率调制网络为对自适应网络进行训练，得到的根据目标速率对信道调制隐式表征向量的传输速率进行调节的网络；
归一化处理模块，被配置为对所述第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，将所述第一功率归一化信道输入向量输入至所述目标信道。
基于同一发明构思，本公开的第三方面提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的基于滑动窗口的语义通信编码传输方法。
基于同一发明构思，本公开的第四方面提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的基于滑动窗口的语义通信编码传输方法。
从上述可以看出，本公开提出了一种基于滑动窗口的语义通信编码传输方法、装置及设备，通过利用滑动窗口编码器对获取到的第一信源图像进行编码处理，得到其对应的第一语义层次表征向量，所述第一语义层次表征向量表征了所述第一信源图像的语义特征，以供后续对抗信道噪声和衰落的影响。根据获取到的目标信道的噪声比，基于信道调制网络对所述第一语义层次表征向量进行信道编码，得到第一信道调制隐式表征向量，而后利用速率调制网络进行速率调节，得到第一信道输入向量，以适根据目标速率实现适时调整。对上述得到的第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，以适应目标信道，并输入至所述目标信道中进行传输。通过使第一语义层次表征向量分别经过信道调制网络及速率调节网络，提供了图像传输的信噪比自适应策略和速率自适应策略，提高了信源语义信息的感知度，实现了对信源语义信息的全局感知。通过信源语义编码及信道编码的双重编码，将经过编码后的第一信道传输向量传输至信道中，以供其他接收端接收所述第一信道传输向量，识别对应的语义信息，提高了语义信息的传输准确率。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例的基于滑动窗口的语义通信编码传输方法的流程图；
图2为本公开实施例的基于滑动窗口的语义通信编码传输装置的结构框图；
图3为本公开实施例的电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本公开涉及的名词解释如下：
JSCC：信源信道联合编码((Joint source-channel coding,JSCC)，是信息论和编码理论中的一个经典课题。
CNN：卷积神经网络(Convolution neural network,CNN)，具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
SwinJSCC：基于滑动窗口变换器的信源信道联合编码传输(Swin transformerfor deep joint source-channel coding,SwinJSCC)。
Swin Transformer：滑动窗口变换器(Transformer using shifted windows,Swin Transformer)。
Channel ModNet：信道调制网络。
Rate ModNet；速率调制网络。
CSI：信道状态信息(Channel state information,CSI)。
DIV2K：DIV2K是一个单图像超分辨率数据集，可用于通过低分辨率图像重建高分辨率图像。
基于上述描述，本实施例提出了一种基于滑动窗口的语义通信编码传输方法，如图1所示，所述方法包括：
步骤101，获取第一信源图像，利用滑动窗口编码器对所述第一信源图像进行编码处理，得到所述第一信源图像的第一语义层次表征向量。
具体实施时，获取需要进行传输的第一信源图像，利用训练完成的滑动窗口编码器对所述第一信源图像进行编码处理，进行信源编码，得到第一信源图像对应的第一语义层次表征向量，所述第一语义层次表征向量为表征所述第一信源图像的语义特征的向量。
预先对初始编码器进行训练得到滑动窗口编码器，本实施例中，训练集采用DIV2K公开数据集，并采用柯达和CLIC(深度学习图像压缩挑战赛)2021公开数据集进行验证。本实施例中，所有图像的分辨率均为128的倍数，以避免神经编解码器的填充。
步骤102，获取目标信道的信噪比，根据所述信噪比，利用所述信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量，其中所述信道调制网络为对自适应网络进行训练，得到的根据信噪比对语义层次表征向量进行编码的网络。
具体实施时，通过对自适应网络进行训练，得到信道调制网络，以增强对传输信道不断变化的特征的自适应性。获取输入的目标信道的信噪比，根据信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量。所述第一信道调制隐式表征向量为对第一语义层次表征向量进行信道编码后得到的向量，且所述第一信道调制隐式表征向量与所述目标信道的信噪比相适应。
步骤103，获取目标速率，根据所述目标速率通过速率调制网络对所述第一信道调制隐式表征向量的传输速率进行调节，得到第一信道输入向量，其中速率调制网络为对自适应网络进行训练，得到的根据目标速率对信道调制隐式表征向量的传输速率进行调节的网络。
具体实施时，通过对自适应网络进行训练，得到速率调制网络，使得能够实时自动调整以适应任何目标速率。获取目标速率，根据所述目标速率，利用速率调制网络对第一信道调制隐式表征向量的速率进行调节，得到第一信道输入向量，其中所述第一输入向量的速率与目标速率相适应。
步骤104，对所述第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，将所述第一功率归一化信道输入向量输入至所述目标信道。
具体实施时，对上述步骤得到的第一信道输入向量进行功率归一化，得到第一功率归一化信道输入向量，使得不同调制方式都能获得相同的平均功率，方便比较系统性能。
在将所述第一功率归一化信道输入向量传输至目标信道后，经过目标信道对所述第一功率归一化信道输入向量进行处理，得到第一噪声隐式表征向量。充分考虑了信道衰落情况，模拟真实的信道传输条件。
第一噪声隐式表征向量通过公式表示为：
其中，为第一噪声隐式表征向量，/>为第一功率归一化信道输入向量，n为噪声向量，其中噪声向量中的元素均为从高斯分布中独立采样得到的元素，即其中/>为平均噪声功率，h为信道状态信息向量。
通过上述方案，上述步骤101至步骤104应用于信源作为发送端时，通过利用滑动窗口编码器对获取到的第一信源图像进行编码处理，得到其对应的第一语义层次表征向量，所述第一语义层次表征向量表征了所述第一信源图像的语义特征，以供后续对抗信道噪声和衰落的影响。根据获取到的目标信道的噪声比，基于信道调制网络对所述第一语义层次表征向量进行信道编码，得到第一信道调制隐式表征向量，而后利用速率调制网络进行速率调节，得到第一信道输入向量，以适根据目标速率实现适时调整。对上述得到的第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，以适应目标信道，并输入至所述目标信道中进行传输。通过使第一语义层次表征向量分别经过信道调制网络及速率调节网络，提供了图像传输的信噪比自适应策略和速率自适应策略，提高了信源语义信息的感知度，实现了对信源语义信息的全局感知。通过信源语义编码及信道编码的双重编码，将经过编码后的第一信道传输向量传输至信道中，以供其他接收端接收所述第一信道传输向量，识别对应的语义信息，提高了语义信息的传输准确率。
在一些实施例中，所述滑动窗口编码器包括切片嵌入层、至少一个滑动窗口变换器模块及切片合并层，步骤101具体包括：
步骤1011，对所述第一信源图像进行分割处理，得到第一图像切片。
具体实施时，所述滑动窗口编码器包括切片嵌入层、至少一个滑动窗口变换器模块及切片合并层。对获取到的第一信源图像进行分割，本实施例中第一信源图像为RGB(red、green、blue)图像。
示例性地，第一信源图像为x，其中H为第一信源图像的像素的高度，W为第一信源图像的像素的宽度。将所述第一信源图像进行分割，得到第一图片切片，所述第一图片切片的像素数量为/>大小为C1。在图像空间中按照从左至右、从上到下的顺序进行排序。
步骤1012，将所述第一图像切片输入至所述滑动窗口编码器的切片嵌入层，得到第一嵌入向量。
具体实施时，将上述分割得到的第一图像切片输入至所述滑动窗口编码器的切片嵌入层，基于上述示例，得到的第一嵌入向量
步骤1013，将所述第一嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第一映射向量。
具体实施时，基于上述示例，将上述第一嵌入向量xe输入至滑动窗口变换器模块中，示例性地，所述滑动窗口变换器模块中包含N1个子模块，得到第一映射向量，将所述第一映射向量记为
步骤1014，将所述第一映射向量输入至所述滑动窗口编码器的切片合并层，经过所述切片合并层处理得到第一语义层次表征向量。
具体实施时，将第一映射向量进行子空间上的切片分割，利用切片合并层对分割后的第一映射向量进行映射，合并得到第一语义层次表征向量，所述第一语义层次表征向量
在一些实施例中，步骤1014具体包括：
步骤10141，利用切片合并层对所述第一映射向量进行下采样处理，得到第二嵌入向量。
步骤10142，将所述第二嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第二映射向量。
具体实施时，通过滑动窗口编码器中的切片合并层对第一映射向量进行下采样处理，得到第二嵌入向量，其中所述第二嵌入向量表示为其中/>将所述第二嵌入向量输入至所述滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第二映射向量/>示例性地，所述滑动窗口变换器模块中包含N2个子模块。
步骤10143，利用所述切片合并层对所述第二映射向量进行下采样处理，得到第三嵌入向量；
步骤10144，将所述第三嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第三映射向量。
具体实施时，通过滑动窗口编码器中的切片合并层对第二映射向量进行下采样处理，得到第三嵌入向量，其中所述第三嵌入向量表示为其中/>将所述第三嵌入向量输入至所述滑动窗口变换器模块中，得到第三映射向量示例性地，所述滑动窗口变换器模块中包含N3个子模块。
步骤10445，利用切片合并层对所述第三映射向量进行下采样处理，得到目标嵌入向量；
步骤10446，将所述目标嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第一语义层次表征向量。
具体实施时，通过滑动窗口编码器中的切片合并层对第三映射向量进行下采样处理，得到目标嵌入向量，其中所述目标嵌入向量表示为其中/>将所述目标嵌入向量输入至所述滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第一语义层次表征向量y′，/>示例性地，所述滑动窗口变换器模块中包含N4个子模块
在一些实施例中，所述信道调制网络包括至少一个信道全连接层，步骤102具体包括：
步骤1021，将所述第一语义层次表征向量依次输入至所述至少一个信道全连接层进行编码处理，得到第一目标信道点乘结果。
具体实施时，信道调制网络包括至少一个信噪比调制模块及至少一个信道全连接层，每个信噪比调制模块包括三层全连接网络。将所述第一语义层次表征向量依次输入至所述信道调制网络包括的每一个全连接层，进行点乘计算，得到第一目标信道点乘结果。
预先对自适应网络进行训练得到信道调制网络，本实施例中，训练集采用DIV2K公开数据集中的数据，并采用Kodak和CLIC2021公开数据集中的数据进行验证。
步骤1022，将所述第一目标信道点乘结果输入至第一激活函数，得到第一激活值。
步骤1023，将所述第一激活值与所述第一语义层次表征向量进行点乘处理，得到第一信道调制隐式表征向量。
具体实施时，将所述第一目标信道点乘结果输入至第一激活函数，经所述第一激活函数进行运算得到第一激活值，将所述第一激活值与所述第一语义层次表征向量进行点乘计算，得到第一信道调制隐式表征向量。
在一些实施例中，所述信道全连接层的数量为多个时，步骤1021具体包括：
步骤10211，基于所述信噪比确定信噪比调制向量，将所述第一语义层次表征向量输入至第一信道全连接层，与所述信噪比调制向量进行点乘处理，得到第一信道点乘结果。
具体实施时，信道调制网络中信噪比调制模块以信道的信噪比作为输入，计算得到信噪比调制向量。将所述第一语义层次表征向量输入至第一信道全连接层，与所述信噪比调制向量进行点乘处理，得到第一信道点乘结果。将所述第一信道点乘结果作为第二信道全连接层的输入进行后续处理。
步骤10212，将所述第一信道点乘结果作为下一信道全连接层的输入，重复上述点乘计算过程，直至经过全部信道全连接层，得到第一目标信道点乘结果。
具体实施时，示例性地，所述信道调制网络中包含八个全连接层，将所述第一信道点乘结果输入至第二信道全连接层，与信噪比向量进行点乘处理，得到第二信道点乘结果。重复上述步骤直至得到第八信道点乘结果，将所述第八信道点乘结果作为第一目标信道点乘结果。
通过上述方案，使得语义通信编码传输与信道的信噪比相适应，使得传输适应各种信道状态，保证了传输的正常进行。
在一些实施例中，所述速率调制网络包括至少一个速率全连接层及编码掩码模块，步骤103具体包括：
步骤1031，获取目标速率，将所述第一信道调制隐式表征向量依次输入至所述至少一个速率全连接层进行调节处理，得到目标速率点乘结果。
具体实施时，速率调制网络包括至少一个速率全连接层、至少一个速率调制模块及编码掩码模块，每个速率调制模块包括三层全连接网络。将第一信道调制隐式表征向量依次输入至每个速率全连接层，得到目标速率点乘结果。
预先对自适应网络进行训练得到速率调制网络，本实施例中，训练集采用DIV2K公开数据集中的数据，并采用Kodak和CLIC2021公开数据集中的数据进行验证。
步骤1032，将所述目标速率点乘结果输入至第二激活函数，得到第二激活值，将所述第二激活值作为速率表征值。
步骤1033，将所述速率表征值与所述第一信道调制隐式表征向量进行点乘处理，得到相关调制嵌入向量。
具体实施时，将所述目标速率点乘结果输入至第二激活函数，经所述第二激活函数进行运算得到第二激活值，将所述第二激活值作为速率表征值。将所述速率表征值与所述第一信道调制隐式表征向量进行点乘计算，得到相关调制嵌入向量，以供后续基于所述相关调制嵌入向量进行运算，得到输入目标信道的第一信道输入向量。
步骤1034，将所述速率表征值输入至编码掩码模块，得到第一初始辅助信息掩码；
步骤1035，对所述第一初始辅助信息掩码进行熵编码处理，生成并输出第一辅助信息掩码，以供其他信源接收第一辅助信息掩码，基于所述第一辅助信息掩码重建所述第一信源图像。
具体实施时，将所述速率表征值输入至速率调制网络中的编码掩码模块，得到第一初始辅助信息掩码。对所述第一初始辅助信息掩码进行熵编码处理，生成第一辅助信息掩码。将所述第一辅助信息掩码输出，以供后续其他信源接收所述第一辅助信息掩码，基于所述第一辅助信息掩码重建所述第一信源图像。
步骤1036，将所述第一初始辅助信息掩码与所述相关调制嵌入向量进行点乘处理，得到第一信道输入向量。
具体实施时，将所述第一初始辅助信息掩码与所述相关调制嵌入向量进行点乘计算，得到第一信道输入向量。后续将所述第一信道输入向量输入至目标信道中，以供接收端接收所述第一信道输入向量，基于所述第一信道输入向量得到重建的信源图像。
在一些实施例中，步骤1031具体包括：
步骤10311，将所述第一信道调制隐式表征向量输入至第一速率全连接层，与所述目标速率进行点乘处理，得到第一速率点乘结果。
具体实施时，速率调制网络中速率调制模块以目标速率作为输入，计算得到速率向量。将所述第一信道调制隐式表征向量输入至第一速率全连接层，与所述速率向量进行点乘处理，得到第一速率点乘结果。将所述第一速率点乘结果作为第二速率全连接层的输入进行后续处理。
步骤10312，将所述第一速率点乘结果作为下一速率全连接层的输入，重复上述点乘计算过程，直至经过全部速率全连接层，得到目标速率点乘结果。
具体实施时，示例性地，所述速率调制网络中包含八个全连接层，将所述第一速率点乘结果输入至第二速率全连接层，与速率向量进行点乘处理，得到第二速率点乘结果。重复上述步骤直至得到第八速率点乘结果，将所述第八速率点乘结果作为目标速率点乘结果。
通过上述方案，使得语义通信编码传输与信道的可用带宽相适应，实时调整传输速率，避免因可用带宽过大或过小造成传输出现问题，保证了可靠且一致性的传输，提高了在动态无线通信场景下的鲁棒性。
在一些实施例中，所述方法还包括：
步骤10A，接收到所述目标信道中其他信源发送的第二噪声隐式表征向量及第二辅助信息掩码。
具体实施时，作为发送端的信源同样可以作为接收端接收信息，当所述信源作为接收端时，接收目标信道中其他信源发送的第二噪声隐式表征向量及第二辅助信息掩码，以供后续根据所述第二噪声隐式表征向量及第二辅助信息掩码进行图像重建。
步骤10B，对所述第二辅助信息掩码进行熵解码处理，得到第二初始辅助信息掩码。
具体实施时，因第二辅助信息掩码在进行传输前首先进行了熵编码，因此在接收到所述第二辅助信息掩码后，进行熵解码处理，得到所述第二辅助信息掩码对应的第二初始辅助信息掩码。
步骤10C，利用所述第二初始辅助信息掩码对所述第二噪声隐式表征向量进行特征重建，得到重建的第二语义层次表征向量。
具体实施时，通过第二初始辅助信息掩码对所述第二噪声隐式表征向量采用零值填充法，进行掩码填充，以实现第二语义层次表征向量的重建，保证了重建的第二语义层次表征向量与所述第二噪声隐式表征向量的一致性。
步骤10D，将所述重建的第二语义层次表征向量输入至所述信道调制网络中，利用所述信道调制网络对所述第二语义层次表征向量进行解调处理，得到第二信道调制隐式表征向量。
步骤10E，利用滑动窗口解码器对所述第二信道调制隐式表征向量进行解码处理，得到重建的第二信源图像。
具体实施时，将重建的第二语义层次表征向量输入至信道调制网络，进行信道解码处理，得到第二信道调制隐式表征向量。再利用滑动窗口解码器对所述第二信道调制隐式表征向量进行信源解码，得到重建的第二信源图像。
在一些实施例中，步骤10D具体包括：
步骤10D1，将所述重建的第二语义层次表征向量依次输入至所述至少一个信道全连接层进行编码处理，得到第二目标信道点乘结果。
具体实施时，信道调制网络包括至少一个信噪比调制模块及至少一个信道全连接层，每个信噪比调制模块包括三层全连接网络。将所述重建的第二语义层次表征向量依次输入至所述信道调制网络包括的每一个全连接层，进行点乘计算，得到第二目标信道点乘结果。
步骤10D2，将所述第二目标信道点乘结果输入至第三激活函数，得到第三激活值。
步骤10D3，将所述第三激活值与所述重建的第二语义层次表征向量进行点乘处理，得到第二信道调制隐式表征向量。
具体实施时，将所述第二目标信道点乘结果输入至第三激活函数，经所述第三激活函数进行运算得到第三激活值，将所述第三激活值与所述重建的第二语义层次表征向量进行点乘计算，得到第二信道调制隐式表征向量。
在一些实施例中，所述信道全连接层的数量为多个时，步骤10D1具体包括：
步骤10D11，基于所述信噪比确定信噪比调制向量，将所述重建的第二语义层次表征向量输入至第一信道全连接层，与所述信噪比调制向量进行点乘处理，得到第一信道重建点乘结果。
具体实施时，信道调制网络中信噪比调制模块以信道的信噪比作为输入，计算得到信噪比调制向量。将所述重建的第二语义层次表征向量输入至第一信道全连接层，与所述信噪比调制向量进行点乘处理，得到第一信道重建点乘结果。将所述第一信道重建点乘结果作为第二信道全连接层的输入进行后续处理。
步骤10D12，将所述第一信道重建点乘结果作为下一信道全连接层的输入，重复上述点乘计算过程，直至经过全部信道全连接层，得到第二目标信道点乘结果。
具体实施时，示例性地，所述信道调制网络中包含八个全连接层，将所述第一信道重建点乘结果输入至第二信道全连接层，与信噪比向量进行点乘处理，得到第二信道重建点乘结果。重复上述步骤直至得到第八信道重建点乘结果，将所述第八信道重建点乘结果作为第二目标信道点乘结果。
通过上述方案，使得语义通信编码传输与信道的信噪比相适应，使得传输适应各种信道状态，保证了传输的正常进行。
在一些实施例中，所述滑动窗口解码器包括切片分割层及至少一个滑动窗口变换器模块，步骤10E具体包括：
步骤10E1，将所述第二信道调制隐式表征向量输入至滑动窗口解码器的滑动窗口变换器模块中，得到第四映射向量。
步骤10E2，将所述第四映射向量输入至所述滑动窗口解码器的切片分割层，利用切片分隔层对所述第四映射向量进行上采样处理，得到目标输出向量。
步骤10E3，将所述目标输出向量对应的图像切片进行合并处理，得到重建的第二信源图像。
具体实施时，第二信道调制隐式表征向量为其中/>将所述第二信道调制隐式表征向量输入至滑动窗口解码器的滑动窗口变换器模块中，得到第四映射向量/>示例性地，所述滑动窗口变换器模块中包含N4个子模块。
利用切片分隔层对所述第四映射向量进行上采样处理，得到目标输出向量，其中所述目标输出向量表示为x″，将所述目标输出向量对应的图像切片进行合并，得到重建的第二信源图像。
在一些实施例中，步骤10E2具体包括：
步骤10E21，利用切片分割层对所述第四映射向量进行上采样处理，得到第五嵌入向量。
步骤10E22，将所述第五嵌入向量输入至滑动窗口解码器的滑动窗口变换器模块中，得到第五映射向量。
步骤10E23，利用切片分割层对所述第五映射向量进行上采样处理，得到第六嵌入向量。
具体实施时，利用切片分隔层对所述第四映射向量进行上采样处理，得到第五嵌入向量，其中所述第五嵌入向量表示为将所述第五嵌入向量输入至滑动窗口解码器的滑动窗口变换器模块中，得到第五映射向量，其中所述第五映射向量表示为/>示例性地，所述滑动窗口变换器模块中包含N3个子模块。
利用切片分割层对所述第五映射向量进行上采样处理，得到第六嵌入向量，其中所述第六嵌入向量表示为
步骤10E24，将所述第六嵌入向量输入至滑动窗口解码器的滑动窗口变换器模块中，得到第六映射向量。
步骤10E25，利用切片分割层对所述第六映射向量进行上采样处理，得到目标输出向量。
具体实施时，将所述第六嵌入向量输入至滑动窗口解码器的滑动窗口变换器模块中，得到第六映射向量，其中所述第六映射向量表示为 示例性地，所述滑动窗口变换器模块中包含N2个子模块。
利用切片分割层对所述第六映射向量进行上采样处理，得到目标输出向量。
在一些实施例中，在对初始编码器、信道调制网络及速率调制网络进行训练时，采用损失函数以提高图像重建的质量，所述损失函数通过公式表示为：
其中，φ和θ分别包含了fe与fd的所有网络参数，fe为编码器，fe由滑动窗口编码器、信道调制网络及速率调试网络组成，fd为解码器，fd由滑动窗口解码器及信道调制网络组成。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种基于滑动窗口的语义通信编码传输装置。
参考图2，图2为实施例的基于滑动窗口的语义通信编码传输装置，包括：
图像获取模块201，被配置为获取第一信源图像，利用滑动窗口编码器对所述第一信源图像进行编码处理，得到所述第一信源图像的第一语义层次表征向量；
信噪比获取模块202，被配置为获取目标信道的信噪比，根据所述信噪比，利用所述信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量，其中所述信道调制网络为对自适应网络进行训练，得到的根据信噪比对语义层次表征向量进行编码的网络；
速率调节模块203，被配置为获取目标速率，根据所述目标速率通过速率调制网络对所述第一信道调制隐式表征向量的传输速率进行调节，得到第一信道输入向量，其中速率调制网络为对自适应网络进行训练，得到的根据目标速率对信道调制隐式表征向量的传输速率进行调节的网络；
归一化处理模块204，被配置为对所述第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，将所述第一功率归一化信道输入向量输入至所述目标信道。
在一些实施例中，所述滑动窗口编码器包括切片嵌入层、至少一个滑动窗口变换器模块及切片合并层，所述图像获取模块201具体包括：
图像分割单元，被配置为对所述第一信源图像进行分割处理，得到第一图像切片；
第一嵌入向量确定单元，被配置为将所述第一图像切片输入至所述滑动窗口编码器的切片嵌入层，得到第一嵌入向量；
第一映射向量确定单元，被配置为将所述第一嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第一映射向量；
第一语义层次表征向量确定单元，被配置为将所述第一映射向量输入至所述滑动窗口编码器的切片合并层，经过所述切片合并层处理得到第一语义层次表征向量。
在一些实施例中，所述第一语义层次表征向量确定单元具体被配置为：
利用切片合并层对所述第一映射向量进行下采样处理，得到第二嵌入向量；
将所述第二嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第二映射向量；
利用所述切片合并层对所述第二映射向量进行下采样处理，得到第三嵌入向量；
将所述第三嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第三映射向量；
利用切片合并层对所述第三映射向量进行下采样处理，得到目标嵌入向量；
将所述目标嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第一语义层次表征向量。
在一些实施例中，所述信道调制网络包括至少一个信道全连接层，所述信噪比获取模块202具体包括：
信道编码单元，被配置为将所述第一语义层次表征向量依次输入至所述至少一个信道全连接层进行编码处理，得到第一目标信道点乘结果；
激活值确定单元，被配置为将所述第一目标信道点乘结果输入至第一激活函数，得到第一激活值；
点乘计算单元，被配置为将所述第一激活值与所述第一语义层次表征向量进行点乘处理，得到第一信道调制隐式表征向量。
在一些实施例中，响应于所述信道全连接层的数量为多个，所述信道编码单元具体被配置为：
基于所述信噪比确定信噪比调制向量，将所述第一语义层次表征向量输入至第一信道全连接层，与所述信噪比调制向量进行点乘处理，得到第一信道点乘结果；
将所述第一信道点乘结果作为下一信道全连接层的输入，重复上述点乘计算过程，直至经过全部信道全连接层，得到目标信道点乘结果。
在一些实施例中，所述速率调制网络包括至少一个速率全连接层及编码掩码模块，所述速率调节模块203，具体包括：
速率调节单元，被配置为获取目标速率，将所述第一信道调制隐式表征向量依次输入至所述至少一个速率全连接层进行调节处理，得到目标速率点乘结果；
速率表征值确定单元，被配置为将所述目标速率点乘结果输入至第二激活函数，得到第二激活值，将所述第二激活值作为速率表征值；
点乘计算单元，被配置为将所述速率表征值与所述第一信道调制隐式表征向量进行点乘处理，得到相关调制嵌入向量；
编码掩码单元，被配置为将所述速率表征值输入至编码掩码模块，得到第一初始辅助信息掩码；
熵编码单元，被配置为对所述第一初始辅助信息掩码进行熵编码处理，生成并输出第一辅助信息掩码，以供其他信源接收第一辅助信息掩码，基于所述第一辅助信息掩码重建所述第一信源图像；
信道输入向量确定单元，被配置为将所述第一初始辅助信息掩码与所述相关调制嵌入向量进行点乘处理，得到第一信道输入向量。
在一些实施例中，所述装置还包括信源重建模块，所述信源重建模块具体包括：
向量接收单元，被配置为接收到所述目标信道中其他信源发送的第二噪声隐式表征向量及第二辅助信息掩码；
熵解码单元，被配置为对所述第二辅助信息掩码进行熵解码处理，得到第二初始辅助信息掩码；
特征重建单元，被配置为利用所述第二初始辅助信息掩码对所述第二噪声隐式表征向量进行特征重建，得到重建的第二语义层次表征向量；
解调单元，被配置为将所述重建的第二语义层次表征向量输入至所述信道调制网络中，利用所述信道调制网络对所述第二语义层次表征向量进行解调处理，得到第二信道调制隐式表征向量；
解码单元，被配置为利用滑动窗口解码器对所述第二信道调制隐式表征向量进行解码处理，得到重建的第二信源图像。
在一些实施例中，所述滑动窗口解码器包括切片分割层及至少一个滑动窗口变换器模块，所述解码单元具体被配置为：
将所述第二信道调制隐式表征向量输入至滑动窗口解码器的滑动窗口变换器模块中，得到第四映射向量；
将所述第四映射向量输入至所述滑动窗口解码器的切片分割层，利用切片分隔层对所述第四映射向量进行上采样处理，得到目标输出向量；
将所述目标输出向量对应的图像切片进行合并处理，得到重建的第二信源图像。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的基于滑动窗口的语义通信编码传输方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于滑动窗口的语义通信编码传输方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的基于滑动窗口的语义通信编码传输方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于滑动窗口的语义通信编码传输方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于滑动窗口的语义通信编码传输方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于滑动窗口的语义通信编码传输方法，其特征在于，包括：
获取第一信源图像，利用滑动窗口编码器对所述第一信源图像进行编码处理，得到所述第一信源图像的第一语义层次表征向量；
获取目标信道的信噪比，根据所述信噪比，利用所述信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量，其中所述信道调制网络为对自适应网络进行训练，得到的根据信噪比对语义层次表征向量进行编码的网络；
获取目标速率，根据所述目标速率通过速率调制网络对所述第一信道调制隐式表征向量的传输速率进行调节，得到第一信道输入向量，其中速率调制网络为对自适应网络进行训练，得到的根据目标速率对信道调制隐式表征向量的传输速率进行调节的网络；
对所述第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，将所述第一功率归一化信道输入向量输入至所述目标信道。
2.根据权利要求1所述的方法，其特征在于，所述滑动窗口编码器包括切片嵌入层、至少一个滑动窗口变换器模块及切片合并层，
所述利用滑动窗口编码器对所述第一信源图像进行编码处理，得到所述第一信源图像的第一语义层次表征向量，包括：
对所述第一信源图像进行分割处理，得到第一图像切片；
将所述第一图像切片输入至所述滑动窗口编码器的切片嵌入层，得到第一嵌入向量；
将所述第一嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第一映射向量；
将所述第一映射向量输入至所述滑动窗口编码器的切片合并层，经过所述切片合并层处理得到第一语义层次表征向量。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一映射向量输入至所述滑动窗口编码器的切片合并层，经过所述切片合并层处理得到第一语义层次表征向量，包括：
利用切片合并层对所述第一映射向量进行下采样处理，得到第二嵌入向量；
将所述第二嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第二映射向量；
利用所述切片合并层对所述第二映射向量进行下采样处理，得到第三嵌入向量；
将所述第三嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第三映射向量；
利用切片合并层对所述第三映射向量进行下采样处理，得到目标嵌入向量；
将所述目标嵌入向量输入至滑动窗口编码器的至少一个滑动窗口变换器模块中，得到第一语义层次表征向量。
4.根据权利要求1所述的方法，其特征在于，所述信道调制网络包括至少一个信道全连接层，
所述根据所述信噪比，利用所述信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量，包括：
将所述第一语义层次表征向量依次输入至所述至少一个信道全连接层进行编码处理，得到第一目标信道点乘结果；
将所述第一目标信道点乘结果输入至第一激活函数，得到第一激活值；
将所述第一激活值与所述第一语义层次表征向量进行点乘处理，得到第一信道调制隐式表征向量。
5.根据权利要求4所述的方法，其特征在于，响应于所述信道全连接层的数量为多个，
所述将所述第一语义层次表征向量依次输入至所述至少一个信道全连接层进行编码处理，得到目标信道点乘结果，包括：
基于所述信噪比确定信噪比调制向量，将所述第一语义层次表征向量输入至第一信道全连接层，与所述信噪比调制向量进行点乘处理，得到第一信道点乘结果；
将所述第一信道点乘结果作为下一信道全连接层的输入，重复上述点乘计算过程，直至经过全部信道全连接层，得到目标信道点乘结果。
6.根据权利要求4所述的方法，其特征在于，所述速率调制网络包括至少一个速率全连接层及编码掩码模块，
所述获取目标速率，根据所述目标速率通过速率调制网络对所述第一信道调制隐式表征向量的传输速率进行调节，得到第一信道输入向量，包括：
获取目标速率，将所述第一信道调制隐式表征向量依次输入至所述至少一个速率全连接层进行调节处理，得到目标速率点乘结果；
将所述目标速率点乘结果输入至第二激活函数，得到第二激活值，将所述第二激活值作为速率表征值；
将所述速率表征值与所述第一信道调制隐式表征向量进行点乘处理，得到相关调制嵌入向量；
将所述速率表征值输入至编码掩码模块，得到第一初始辅助信息掩码；
对所述第一初始辅助信息掩码进行熵编码处理，生成并输出第一辅助信息掩码，以供其他信源接收第一辅助信息掩码，基于所述第一辅助信息掩码重建所述第一信源图像；
将所述第一初始辅助信息掩码与所述相关调制嵌入向量进行点乘处理，得到第一信道输入向量。
7.根据权利要求1所述的方法，其特征在于，还包括：
接收到所述目标信道中其他信源发送的第二噪声隐式表征向量及第二辅助信息掩码；
对所述第二辅助信息掩码进行熵解码处理，得到第二初始辅助信息掩码；
利用所述第二初始辅助信息掩码对所述第二噪声隐式表征向量进行特征重建，得到重建的第二语义层次表征向量；
将所述重建的第二语义层次表征向量输入至所述信道调制网络中，利用所述信道调制网络对所述第二语义层次表征向量进行解调处理，得到第二信道调制隐式表征向量；
利用滑动窗口解码器对所述第二信道调制隐式表征向量进行解码处理，得到重建的第二信源图像。
8.根据权利要求7所述的方法，其特征在于，所述滑动窗口解码器包括切片分割层及至少一个滑动窗口变换器模块，
所述利用滑动窗口解码器对所述第二信道调制隐式表征向量进行解码处理，得到重建的第二信源图像，包括：
将所述第二信道调制隐式表征向量输入至滑动窗口解码器的滑动窗口变换器模块中，得到第四映射向量；
将所述第四映射向量输入至所述滑动窗口解码器的切片分割层，利用切片分隔层对所述第四映射向量进行上采样处理，得到目标输出向量；
将所述目标输出向量对应的图像切片进行合并处理，得到重建的第二信源图像。
9.一种基于滑动窗口的语义通信编码传输装置，其特征在于，包括：
图像获取模块，被配置为获取第一信源图像，利用滑动窗口编码器对所述第一信源图像进行编码处理，得到所述第一信源图像的第一语义层次表征向量；
信噪比获取模块，被配置为获取目标信道的信噪比，根据所述信噪比，利用所述信道调制网络对所述第一语义层次表征向量进行编码处理，得到第一信道调制隐式表征向量，其中所述信道调制网络为对自适应网络进行训练，得到的根据信噪比对语义层次表征向量进行编码的网络；
速率调节模块，被配置为获取目标速率，根据所述目标速率通过速率调制网络对所述第一信道调制隐式表征向量的传输速率进行调节，得到第一信道输入向量，其中速率调制网络为对自适应网络进行训练，得到的根据目标速率对信道调制隐式表征向量的传输速率进行调节的网络；
归一化处理模块，被配置为对所述第一信道输入向量进行功率归一化处理，得到第一功率归一化信道输入向量，将所述第一功率归一化信道输入向量输入至所述目标信道。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的基于滑动窗口的语义通信编码传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311338100.0A CN117544276A (zh) | 2023-10-16 | 2023-10-16 | 基于滑动窗口的语义通信编码传输方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311338100.0A CN117544276A (zh) | 2023-10-16 | 2023-10-16 | 基于滑动窗口的语义通信编码传输方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117544276A true CN117544276A (zh) | 2024-02-09 |
Family
ID=89785022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311338100.0A Pending CN117544276A (zh) | 2023-10-16 | 2023-10-16 | 基于滑动窗口的语义通信编码传输方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117544276A (zh) |
-
2023
- 2023-10-16 CN CN202311338100.0A patent/CN117544276A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10565499B2 (en) | Autoencoding image residuals for improving upsampled images | |
| US10880551B2 (en) | Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA) | |
| KR20230074137A (ko) | 머신 러닝 시스템들을 이용한 인스턴스 적응적 이미지 및 비디오 압축 | |
| JP6245888B2 (ja) | エンコーダおよび符号化方法 | |
| CN114448563B (zh) | 语义编码传输方法及电子设备 | |
| CN113473149A (zh) | 用于无线图像传输的语义信道联合编码方法及装置 | |
| CN111641826B (zh) | 对数据进行编码、解码的方法、装置与系统 | |
| WO2023005740A1 (zh) | 图像编码、解码、重建、分析方法、系统及电子设备 | |
| CN115426075A (zh) | 语义通信的编码传输方法及相关设备 | |
| CN116636217A (zh) | 使用神经网络编码图像和解码码流的方法和装置 | |
| WO2023050720A1 (zh) | 图像处理方法、图像处理装置、模型训练方法 | |
| CN116962657B (zh) | 彩色视频生成方法、装置、电子设备及存储介质 | |
| CN116600119B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| CN117436408A (zh) | 一种语义通信方法、装置、设备以及存储介质 | |
| CN117544276A (zh) | 基于滑动窗口的语义通信编码传输方法、装置及设备 | |
| WO2023050433A1 (zh) | 视频编解码方法、编码器、解码器及存储介质 | |
| US11483577B2 (en) | Processing of chroma-subsampled video using convolutional neural networks | |
| CN117616753A (zh) | 使用光流的视频压缩 | |
| CN113592009A (zh) | 图像语义分割方法、装置、存储介质与电子设备 | |
| US20230229894A1 (en) | Method and apparatus for compression and training of neural network | |
| WO2023169319A1 (zh) | 一种特征图编码、特征图解码方法及装置 | |
| US20240121398A1 (en) | Diffusion-based data compression | |
| CN115802060A (zh) | 语义通信视频传输方法及相关设备 | |
| CN117036177A (zh) | 图像恢复模型的确定方法、图像恢复方法及装置 | |
| KR20240088426A (ko) | 딥러닝 알고리즘 기반 영상 보정을 수행하는 화면 기반 통신 방법 및 장치와 이를 위한 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |