CN114640423B - 分布式语义信源信道联合编码传输方法及相关设备 - Google Patents

分布式语义信源信道联合编码传输方法及相关设备 Download PDF

Info

Publication number
CN114640423B
CN114640423B CN202210039335.9A CN202210039335A CN114640423B CN 114640423 B CN114640423 B CN 114640423B CN 202210039335 A CN202210039335 A CN 202210039335A CN 114640423 B CN114640423 B CN 114640423B
Authority
CN
China
Prior art keywords
distributed
obtaining
independent
image information
graphs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210039335.9A
Other languages
English (en)
Other versions
CN114640423A (zh
Inventor
牛凯
戴金晟
张平
司中威
董超
王思贤
杨可
谭凯林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210039335.9A priority Critical patent/CN114640423B/zh
Publication of CN114640423A publication Critical patent/CN114640423A/zh
Application granted granted Critical
Publication of CN114640423B publication Critical patent/CN114640423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种分布式语义信源信道联合编码传输方法及相关设备。所述方法包括：获取独立同分布的两个图像信源；将所述独立同分布的两个图像信源输入预先训练的分布式编码模型；在所述分布式编码模型，分别将所述两个图像信源进行编码，得到两个归一化特征向量；根据所述两个归一化特征向量，得到两个校准图；根据上述两个校准图，得到两个重建图像。本申请实施例将两个独立同分布的图像信源输入预先训练的分布式编码模型，最终得到了重建图像。

Description

分布式语义信源信道联合编码传输方法及相关设备
技术领域
本申请涉及深度学习与通信技术领域，尤其涉及一种分布式语义信源信道联合编码传输方法及相关设备。
背景技术
随着移动终端和无线网络的快速发展，多摄像头监控系统、物联网网络、三维场景采集、立体图像传输等多节点通信应用备受关注。主要的挑战在于边缘设备和中心服务器之间的计算能力和功率预算的非对称分布，这使得传统的分离通信系统的不再适用。另外，现有的基于DNN的DSC(distributed source coding)方法是利用相关无损图像作为边信息来实现高效的重建图像，但当边信息有损时，重建图像的质量将得不到保障。
发明内容
有鉴于此，本申请的目的在于提出一种分布式语义信源信道联合编码传输方法及相关设备。
基于上述目的，本申请提供了一种分布式语义信源信道联合编码传输方法，其特征在于，包括：
获取独立同分布的两个图像信源；
将所述独立同分布的两个图像信源输入预先训练的分布式编码模型；
在所述分布式编码模型，分别将所述两个图像信源进行编码，得到两个归一化特征向量；根据所述归一化特征向量，得到两个校准图；根据所述两个校准图，得到两个重建图像。
可选的，所述分别将所述两个图像信源进行编码，得到两个归一化特征向量，包括：
将所述两个图像信源分别经过两个第一卷积神经网络，映射得到两个复数符号；
将两个所述复数符号分别进行功率归一化处理，得到两个归一化特征向量。
可选的，通过以下公式将两个所述复数符号分别进行功率归一化处理：
其中，表示所述两个复数符号中的某一个，k表示对应所述复数符号的维度，P表示功率。
可选的，所述分布式编码模型的训练过程，包括：
获取训练用两个独立同分布的图像信源；
将所述训练用两个独立同分布的图像信源输入待训练的分布式编码模型，得到两个训练用重建图像；
将所述训练用两个独立同分布的图像信源与对应的所述两个训练用重建图像分别进行比较，计算共同经验失真损失；
利用所述共同经验失真损失对所述待训练的分布式编码模型进行训练，得到所述分布式编码模型。
可选的，通过以下公式计算所述经验失真损失，包括：
其中，L表示经验失真损失，E表示期望，d(·,·)表示所述两个图像信源和所述两个重建图像之间的失真度量函数，α表示所述训练用两个图像信源之间的相对重要性。
可选的，所述根据所述两个归一化特征向量，得到两个校准图，包括：
将所述两个归一化特征向量分别通过两个独立的加性高斯白噪声信道，得到两个有噪符号；
根据所述两个有噪符号，得到所述两个校准图。
其中，通过以下公式将所述两个归一化特征向量分别通过两个独立的加性高斯白噪声信道：
其中，所述表示所述两个有噪符号中的某一个，/>表示对应的所述复数符号，n表示对应的所述加性高斯白噪声信道的均值为零，方差为/>的复高斯噪声。
可选的，所述根据所述两个有噪符号，得到所述两个校准图，包括：
分别获取两个独立的所述加性高斯白噪声信道的信噪比；
将所述两个有噪符号通过第二卷积神经网络，得到两个第二特征图；
将所述两个第二特征图平均池化，得到两个池化向量；
将两个所述信噪比分别加入所述两个池化向量中，分别得到两个融合向量；
根据所述两个融合向量得到两个交叉注意力图；
根据所述两个交叉注意力图和所述两个第二特征图得到两个校准图。
可选的，根据所述两个校准图，得到两个重建图像，包括：
将所述两个校准图经过第三神经网络，得到所述两个重建图像。
基于同一发明构思，本申请还提供了一种分布式语义信源信道联合编码传输装置，其特征在于，包括：
联合信源信道编码器，用于获取独立同分布的两个图像信源；
联合信源信道编码器，用于将所述独立同分布的两个图像信源输入分布式编码模型；
联合信源信道编码器，用于在所述分布式编码模型，分别将所述两个图像信源进行编码，得到两个归一化特征向量；
联合信源信道解码器，用于根据所述两个归一化特征向量，得到两个校准图；
联合信源信道解码器，用于根据所述两个校准图，得到两个重建图像。
基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。
从上面所述可以看出，本申请提供的分布式语义信源信道联合编码传输方法及相关设备，通过分布式编码模型对两个独立同分布的图像信源进行编码，通过带噪信道后对带噪符号进行解码，得到两个重建图像。通过在信源信道联合编码方案上进行分布式编码的设计，将大量计算转移到接收端实现了低复杂度的编码，显著提高了无线通信系统的频谱效率，使互不通信的相关信源压缩达到了有互相通信的压缩效率。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的分布式语义信源信道联合编码传输方法流程图；
图2为本申请实施例的分布式语义信源信道联合编码传输装置示意图；
图3为本申请实施例的SNR自适应层的具体结构；
图4为本申请实施例的SNR自适应交叉注意力机制具体的框架；
图5为本申请实施例的电子设备结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术部分所述，现有的基于卷积神经网络的分布式源编码方法是利用相关无损图像作为边信息来实现高效的有损压缩，但若边信息存在损失，重建图像的质量会大打折扣。
此外，随着移动终端和无线网络的快速发展，多摄像头监控系统、物联网网络、三维场景采集、立体图像传输等多节点通信需求大幅增加，但其边缘设备和中心服务器之间的计算能力和功率预算呈非对称分布，使得传统的分离通信系统不再能很好的适用。
综合上述考虑，本申请提出一种分布式语义信源信道联合编码传输方法，基于预先训练的分布式编码模型，将两个独立同分布的两个图像信源输入模型中，对两个图像信源进行编解码运算，最终得到两个重建图像，模型中的分布式编码结构有效提升了重建图像的质量。
以下，通过具体的实施例来详细说明本申请的技术方案。
参考图2，左下角高楼样图表示任一取景点，从该取景点用两个可能视场重叠的摄像机捕捉多对具有相关性的图像，其中某个取景点捕捉的多张图像构成无限集X，另一个取景点捕捉的多张图像构成无限集Y，x和y表示从可能的无限集X和Y中抽取出的样本。所述图像1，即x，通过联合信源信道编码器(JSCE)处理后，得到图像1对应的复数符号，图像2，即y，通过联合信源信道编码器2(JSCE2)处理后，得到图像2对应的复数符号；图像1对应的复数符号经过信道1后得到图像1对应的有噪符号(ηx)，图像2对应的复数符号经过信道2后得到图像2对应的有噪符号(ηy)；图像1对应的有噪符号与图像2对应的有噪符号共同经过联合信源信道解码器后，得到图像1对应的重建图像和图像2对应的重建图像/>
本申请实施例的分布式语义信源信道联合编码传输方法还包括SNR反馈机制，联合信源信道编码器实时获取信道1的信噪比，对自身神经网络中的每一层参数进行实时更新，联合信源信道编码器2实时获取信道2的信噪比，对自身神经网络中的每一层参数进行实时更新，联合信源信道解码器实时获取信道1和信道2的信噪比，对自身神经网络中的每一层参数进行实时更新，另外，实时获取的信道1和信号2的信噪比也会同时反馈到解码器中的SNR自适应交叉注意力机制模块，对图像1和图像2的重建起到辅助作用。
其中，联合信源信道编码器1和联合信源信道编码器2中的网络结构是一样的。下面对本申请实施例的分布式语义信源信道联合编码传输方法进行详述：
参考图1，本申请实施例的分布式语义信源信道联合编码传输方法，包括以下步骤：
步骤S101，获取独立同分布的两个图像信源。
在本步骤中，所述独立同分布的两个图像信源，来源于由两个可能视场重叠的摄像机捕捉的一对具有相关性的图像，可在任意场景下采集。
步骤S102，将所述独立同分布的两个图像信源输入预先训练的分布式编码模型。
在本步骤中，可选的，分布式编码模型的训练过程，包括：
获取训练用两个独立同分布的图像信源；
在本实施例中，采用从KITTI Stereo 2012中的1578对Stereo图片和KITTIStereo 2015中的789个场景作为数据集。这里的一对图片表示它们有同一地点的不同位置的摄像机拍摄的同一时刻的两张图片。选取了其中1576对图像作为训练集，790对图片作为测试集。在训练和测试之前，所有的图片都会经过中心裁剪，并且将分辨率都变为128×256。
将所述训练用两个独立同分布的图像信源输入待训练的分布式编码模型，得到两个训练用重建图像；
在本实施例中，将分布式信源的带宽比设为0.052。
将所述训练用两个独立同分布的图像信源与对应的所述两个训练用重建图像分别进行比较，计算共同经验失真损失；
可选的，通过以下公式计算所述经验失真损失，包括：
其中，L表示经验失真损失，E表示期望，d(·,·)表示所述两个图像信源和所述两个重建图像之间的失真度量函数，α表示所述训练用两个图像信源之间的相对重要性。
在本实施例中，α＝1，即在本实施例中，两个图像信源是同等重要的。
利用所述共同经验失真损失对所述待训练的分布式编码模型进行训练，得到所述分布式编码模型。
在一些可选的实施例中，利用峰值信噪比来对训练结果进行评估，即最后比较训练用两个独立同分布的图像信源和对应的两个训练用重建图像的峰值信噪比，此时选用均方误差作为损失函数来对待训练的分布式编码模型进行训练。
在一些可选的实施例中，利用多尺度结构相似性来对训练结果进行评估，即最后比较训练用两个独立同分布的图像信源和对应的两个训练用重建图像的多尺度结构相似性，此时选用1-MS-SSIM作为损失函数来对待训练的分布式编码模型进行训练。
在一些可选的实施例中，分布式编码模型在Adam优化器上进行250K次迭代训练，学习速率为1×10-4，每一批数据量的大小都为12，即一次送入12对训练用图像信源对待训练的分布式编码模型进行训练。训练时加性高斯白噪声信道的信噪比在[-3dB,14dB]范围内。
步骤S103，在所述分布式编码模型，分别将所述两个图像信源进行编码，得到两个归一化特征向量。
在本步骤中，可选的，所述分别将所述两个图像信源进行编码，得到两个归一化特征向量，包括：
将所述两个图像信源分别经过两个第一卷积神经网络，映射得到两个复数符号；
在本步骤中，参考图2，第一卷积神经网络由6层构成，图像信源X和Y均经过第一卷积神经网络，因两者步骤相同，此处以图像信源X为例。图像信源X经过卷积层Conv7-64得到第一卷积特征图，所述第一卷积特征图经过三层卷积层Conv3-256步长为2的下采样后得到第二卷积特征图，所述第二卷积特征图再经过卷积层Conv3-256得到第三卷积特征图，所述第三卷积特征图经过卷积层Conv3*-C*，对上述步骤中得到的特征图进行压缩后得到复数符号。
上述卷积层的简称ConvK-Cout表示该卷积层是由K×K的卷积块进行卷积操作的，输出Cout个通道，另外，每个卷积层中都包含归一化层、ReLU激活函数和SNR自适应层，图2中↑和↓分别表示上采样和下采样，步长S＝2，“*”表示将特征图压缩或解压。
上述SNR自适应层的结构参考图3，以图像信源x为例，经过每个卷积层卷积后，需再经过平均池化，与图2中信道1的信噪比相连，经过线性网络，再与该特征图自身相融合，得到结合信噪比的特征图。其中的线性网络包括两层全连接层和ReLU函数。此外，在第二卷积神经网络和第三卷积神经网络中的每一层卷积层中也包含归一化层，ReLU激活函数和SNR自适应层，SNR自适应层中的处理步骤与上述步骤一致。
上述加入SNR自适应层的目的是为了使得一个模型便能处理不同信噪比信道传输的图像。此种技术方案有效降低了训练和存储的成本，也使得最后的结果更加准确。
将两个所述复数符号分别进行功率归一化处理，得到两个归一化特征向量。
在本步骤中，可选的，通过以下公式将两个所述复数符号分别进行功率归一化处理：
其中，表示所述两个复数符号中的某一个，k表示对应所述复数符号的维度，P表示功率。
图像信源x和y对应的两个复数符号计算公式均为上式，因此此处公式并未明确下标。上述功率归一化处理的步骤由图2中的“功率归一化”模块完成。
步骤S104，根据所述两个归一化特征向量，得到两个校准图。
在本步骤中，可选的，所述根据所述两个归一化特征向量，得到两个校准图，包括：
将所述两个归一化特征向量分别通过两个独立的加性高斯白噪声信道，得到两个有噪符号；
在本步骤中，两个独立的加性高斯白噪声信道分别对应图2中的信道1和信道2。
其中，通过以下公式将所述两个归一化特征向量分别通过两个独立的加性高斯白噪声信道：
其中，所述表示所述两个有噪符号中的某一个，/>表示对应的所述复数符号，n表示对应的所述加性高斯白噪声信道的均值为零，方差为/>的复高斯噪声。
本申请假定传输图像信源x和y的信道是独立的，因此它们的信道质量可以是不同的，就会拥有不同的信噪比SNR，此处的信噪比SNR便会通过SNR反馈机制反馈给步骤S103中的SNR自适应层，对每一层的神经网络进行调整，以实现根据信道条件来调整编解码方式的目的。而对于传输的两个图像信源x和y来说，两个图像进行独立的编码，互不影响，且编解码时能根据自身信道对应的SNR实时更新神经网络每一层的参数，利于提升最终重建图像的质量。
根据所述两个有噪符号，得到所述两个校准图。
在本步骤中，可选的，所述根据所述两个有噪符号，得到所述两个校准图，包括：
分别获取两个所述加性高斯白噪声信道的信噪比；
将所述两个有噪符号通过第二卷积神经网络，得到两个第二特征图；
在本步骤中，参考图4，两个有噪符号分别表示为 其中，H、W、C分别为图像的长宽和特征图的通道数，Fx表示由图像信源x得到的第二特征图，Fy表示由图像信源y得到的第二特征图。
第二卷积神经网络包括卷积层Conv3*-256，此处的“*”表示对所述有噪符号进行压缩，得到第二特征图。
将所述两个第二特征图平均池化，得到两个池化向量；
在本步骤中，将特征图平均池化的目的是为了使图像信源x和y与其分别对应的信噪比相结合。
将两个所述信噪比分别加入所述两个池化向量中，分别得到两个融合向量；
在本步骤中，信噪比SNR定义为
其中，μ表示信噪比，P表示功率，σ2表示复高斯噪声的方差。
所述池化向量包括第一池化向量和第二池化向量，第一池化向量对应的图像信源为图像信源x，第二池化向量对应的图像信源为图像信源y。
池化向量与信噪比相结合，目的是为了使得解码时能根据自身信道对应的SNR实时更新神经网络的参数，利于提升最终重建图像的质量。
根据所述两个融合向量得到两个交叉注意力图；
在本步骤中，参考图4：
将所述两个融合向量映射到查询层(Wq)，得到第一查询向量和第二查询向量；
将所述两个融合向量映射到键层(Wk)，得到第一键向量和第二键向量；
将所述两个融合向量映射到值层(Wv)，得到第一值向量和第二值向量；
将所述第一查询向量与所述第二键向量相乘，得到第一交叉注意力图；
将所述第二查询向量与所述第一键向量相乘，得到第二交叉注意力图。
计算交叉注意力图的公式为：
Ax＝QxKy T和Ay＝QyKx T
其中，Ax表示第一交叉注意力图，Ay表示第一交叉注意力图，Qx表示第一查询向量，Ky表示第二键向量，Qy表示第二查询向量，Kx表示第一键向量。
交叉注意力图用来计算两个第二特征图之间的相关性，用于后续解码过程中，将相关特征图进行校准，实现两个特征图之间的信息交互。
根据所述两个交叉注意力图和所述两个第二特征图得到两个校准图；
根据所述第一交叉注意力图、所述第一值向量和所述图像信源x对应的第二特征图，得到第一校准图；
根据所述第二交叉注意力图、所述第二值向量和所述图像信源y对应的第二特征图，得到第二校准图；
在本步骤中，得到两个校准图之前，会先得到两个中间校准图
所述两个中间校准图的计算公式为：
其中，表示两个中间校准图中的一个，/>表示两个融合向量的其中一个，σ1表示用于归一化的softmax算子，C表示有噪符号的通道数，A表示交叉注意力图，V表示值，Wo∈RC×C，表示一个线性层。注意，公式中的每个符号之间都是互相对应的关系，即若/>为第一校准图，则其余的所有符号表示的均为图像信源x所对应的值。
所述两个中间校准图经过线性处理并与自身加和后，得到两个校准图，计算公式为：
其中，表示两个校准图中的一个，/>表示两个中间校准图中的一个，/>表示两个融合向量的其中一个，σ2是ReLU激活函数，/>表示线性层，表示线性层，/>表示偏置，b2∈RC表示偏置，Ch表示隐藏层的大小，C表示有噪符号的通道数，1表示所有值都为1的矩阵，/>表示归一化函数。
参考图2，上述步骤中得到的两个所述第二特征图作为SNR自适应交叉注意力机制模块的输入，所述两个校准图作为SNR自适应交叉注意力机制模块的输出。
步骤S105，根据所述两个校准图，得到两个重建图像。
可选的，根据所述两个校准图，得到两个重建图像，包括：
将所述两个校准图经过第三神经网络，得到所述两个重建图像。
在本步骤中，参考图2，所述两个校准图经过三层卷积层Conv3-256步长为2的上采样后得到上采样特征图，所述上采样特征图再经过卷积层Conv7*-3得到两个重建图像。在本步骤中的“*”表示将上采样特征图进行解压。
本实施例实现了分布式语义信源信道的联合编码，通过获取独立同分布的两个图像信源，将其输入预先训练的分布式编码模型，在模型中，分别将所述两个图像信源进行编码，得到两个归一化特征向量，根据所述两个归一化特征向量，得到两个重建图像。
随着移动终端和无线网络的快速发展，多摄像头监控系统、物联网网络、三维场景采集、立体图像传输等多节点通信应用需求显著提升。但随之而来的挑战在于边缘设备和中心服务器之间的计算能力和功率预算的非对称分布，这使得传统的分离通信系统的不再适用。在过去的编码方法中，该领域技术人员通常利用相关无损图像作为边信息来实现高效的重建图像，此种方法虽然也能实现图像的重建，但其存在当边信息有损时，重建图像的质量将得不到保障的问题。
而本申请采用分布式语义信源信道联合编码传输方法对图像进行重建，相比较上述方法而言，在边信息有损的时候也能实现图像的重建且能保证质量，且本申请通过在信源信道联合编码方案上进行分布式编码的设计，将大量计算转移到接收端实现了低复杂度的编码，显著提高了无线通信系统的频谱效率，使互不通信的信息相关的信源压缩达到了有互相通信的压缩效率。
综上，本申请提出的分布式语义信源信道联合编码传输方法及相关设备能满足移动终端和无线网络款速发展带来的多节点通信需求，在边信息有损时也能保证重建图像的质量，且显著提高了无线通信系统的频谱效率。
需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种分布式语义信源信道联合编码传输装置。
参考图2，所述分布式语义信源信道联合编码传输装置，包括：
联合信源信道编码器，用于获取独立同分布的两个图像信源；
联合信源信道编码器，用于将所述独立同分布的两个图像信源输入分布式编码模型；
联合信源信道编码器，用于在所述分布式编码模型，分别将所述两个图像信源进行编码，得到两个归一化特征向量；
联合信源信道解码器，用于根据所述两个归一化特征向量，得到两个校准图；
联合信源信道解码器，用于根据所述两个校准图，得到两个重建图像。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的分布式语义信源信道联合编码传输方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的分布式语义信源信道联合编码传输方法。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的分布式语义信源信道联合编码传输方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种分布式语义信源信道联合编码传输方法，其特征在于，包括：
获取独立同分布的两个图像信源；
将所述独立同分布的两个图像信源输入预先训练的分布式编码模型；
在所述分布式编码模型，分别将所述两个图像信源进行编码，得到两个归一化特征向量；根据所述两个归一化特征向量，得到两个校准图；根据所述两个校准图，得到两个重建图像；
所述根据所述两个归一化特征向量，得到两个校准图，包括：
将所述两个归一化特征向量分别通过两个加性高斯白噪声信道，得到两个有噪符号；
根据所述两个有噪符号，得到所述两个校准图；
其中，通过以下公式将所述两个归一化特征向量分别通过两个独立的加性高斯白噪声信道：
其中，所述表示所述两个有噪符号中的某一个，/>表示对应的复数符号，/>表示对应的所述加性高斯白噪声信道的均值为零，方差为/>的复高斯噪声；
所述根据所述两个有噪符号，得到所述两个校准图，包括：
分别获取两个所述独立的加性高斯白噪声信道的信噪比；
将所述两个有噪符号通过第二卷积神经网络，得到两个第二特征图；
将所述两个第二特征图平均池化，得到两个池化向量；
将两个所述信噪比分别加入所述两个池化向量中，分别得到两个融合向量；
根据所述两个融合向量得到两个交叉注意力图；
根据所述两个交叉注意力图和所述两个第二特征图得到两个校准图。
2.根据权利要求1所述的方法，其特征在于，所述分别将所述两个图像信源进行编码，得到两个归一化特征向量，包括：
将所述两个图像信源分别经过两个第一卷积神经网络，映射得到两个复数符号；
将两个所述复数符号分别进行功率归一化处理，得到两个归一化特征向量。
3.根据权利要求2所述的方法，其特征在于，通过以下公式将两个所述复数符号分别进行功率归一化处理：
其中，表示所述两个复数符号中的某一个，k表示对应所述复数符号的维度，/>表示功率。
4.根据权利要求1所述的方法，其特征在于，所述分布式编码模型的训练过程，包括：
获取训练用两个独立同分布的图像信源；
将所述训练用两个独立同分布的图像信源输入待训练的分布式编码模型，得到两个训练用重建图像；
将所述训练用两个独立同分布的图像信源与对应的所述两个训练用重建图像分别进行比较，计算共同经验失真损失；
利用所述共同经验失真损失对所述待训练的分布式编码模型进行训练，得到所述分布式编码模型。
5.根据权利要求4所述的方法，其特征在于，通过以下公式计算所述经验失真损失，包括：
其中，L表示经验失真损失，E表示期望，表示所述两个图像信源和所述两个重建图像之间的失真度量函数，/>表示所述训练用两个独立同分布的图像信源之间的相对重要性。
6.根据权利要求1所述的方法，其特征在于，根据所述两个校准图，得到两个重建图像，包括：
将所述两个校准图经过第三神经网络，得到所述两个重建图像。
7.一种分布式语义信源信道联合编码传输装置，其特征在于，包括：
联合信源信道编码器，用于获取独立同分布的两个图像信源；
联合信源信道编码器，用于将所述独立同分布的两个图像信源输入分布式编码模型；
联合信源信道编码器，用于在所述分布式编码模型，分别将所述两个图像信源进行编码，得到两个归一化特征向量；
联合信源信道解码器，用于根据所述两个归一化特征向量，得到两个校准图；
联合信源信道解码器，用于根据所述两个校准图，得到两个重建图像；
所述联合信源信道解码器进一步用于：
将所述两个归一化特征向量分别通过两个加性高斯白噪声信道，得到两个有噪符号；
根据所述两个有噪符号，得到所述两个校准图；
其中，通过以下公式将所述两个归一化特征向量分别通过两个独立的加性高斯白噪声信道：
其中，所述表示所述两个有噪符号中的某一个，/>表示对应的复数符号，/>表示对应的所述加性高斯白噪声信道的均值为零，方差为/>的复高斯噪声；
所述联合信源信道解码器进一步用于：
分别获取两个所述独立的加性高斯白噪声信道的信噪比；
将所述两个有噪符号通过第二卷积神经网络，得到两个第二特征图；
将所述两个第二特征图平均池化，得到两个池化向量；
将两个所述信噪比分别加入所述两个池化向量中，分别得到两个融合向量；
根据所述两个融合向量得到两个交叉注意力图；
根据所述两个交叉注意力图和所述两个第二特征图得到两个校准图。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的方法。
CN202210039335.9A 2022-01-13 2022-01-13 分布式语义信源信道联合编码传输方法及相关设备 Active CN114640423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210039335.9A CN114640423B (zh) 2022-01-13 2022-01-13 分布式语义信源信道联合编码传输方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210039335.9A CN114640423B (zh) 2022-01-13 2022-01-13 分布式语义信源信道联合编码传输方法及相关设备

Publications (2)

Publication Number Publication Date
CN114640423A CN114640423A (zh) 2022-06-17
CN114640423B true CN114640423B (zh) 2023-07-25

Family

ID=81946075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210039335.9A Active CN114640423B (zh) 2022-01-13 2022-01-13 分布式语义信源信道联合编码传输方法及相关设备

Country Status (1)

Country Link
CN (1) CN114640423B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102655588A (zh) * 2012-04-24 2012-09-05 浙江工商大学 用于视频图像传输的信源信道联合解码方法
CN108932705A (zh) * 2018-06-27 2018-12-04 北京工业大学 一种基于矩阵变量变分自编码器的图像处理方法
CN109933682A (zh) * 2019-01-11 2019-06-25 上海交通大学 一种基于语义与内容信息结合的图像哈希检索方法及系统
CN110474716A (zh) * 2019-08-14 2019-11-19 安徽大学 基于降噪自编码器的scma编解码器模型的建立方法
GB202107733D0 (en) * 2021-05-28 2021-07-14 Imp College Innovations Ltd Communication system for conveying data from an information source across a communication channel
CN113347323A (zh) * 2021-05-31 2021-09-03 同济大学 一种基于像素自相关性的KMV-Cast伪模拟视频传输去噪方法
CN113473149A (zh) * 2021-05-14 2021-10-01 北京邮电大学 用于无线图像传输的语义信道联合编码方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331445B2 (en) * 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US8020082B2 (en) * 2006-03-15 2011-09-13 The Texas A & M University System Source-channel approach to channel coding with side information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102655588A (zh) * 2012-04-24 2012-09-05 浙江工商大学 用于视频图像传输的信源信道联合解码方法
CN108932705A (zh) * 2018-06-27 2018-12-04 北京工业大学 一种基于矩阵变量变分自编码器的图像处理方法
CN109933682A (zh) * 2019-01-11 2019-06-25 上海交通大学 一种基于语义与内容信息结合的图像哈希检索方法及系统
CN110474716A (zh) * 2019-08-14 2019-11-19 安徽大学 基于降噪自编码器的scma编解码器模型的建立方法
CN113473149A (zh) * 2021-05-14 2021-10-01 北京邮电大学 用于无线图像传输的语义信道联合编码方法及装置
GB202107733D0 (en) * 2021-05-28 2021-07-14 Imp College Innovations Ltd Communication system for conveying data from an information source across a communication channel
CN113347323A (zh) * 2021-05-31 2021-09-03 同济大学 一种基于像素自相关性的KMV-Cast伪模拟视频传输去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向6G的语义通信;牛凯,戴金晟,张平等;《移动通信》;第45卷(第04期);85-90 *

Also Published As

Publication number Publication date
CN114640423A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
Hu et al. Learning end-to-end lossy image compression: A benchmark
CN110490296A (zh) 一种构造卷积神经网络（cnn）模型的方法和系统
WO2018068532A1 (zh) 图像编解码装置、图像处理系统、图像编解码方法和训练方法
JP2020191077A (ja) 画像コーディング方法及び装置並びに画像デコーディング方法及び装置
CN111641826B (zh) 对数据进行编码、解码的方法、装置与系统
CN112598721A (zh) 基于归一化回归函数单目深度估计系统训练方法和网络
CN112289338B (zh) 信号处理方法及装置、计算机设备以及可读存储介质
Ayzik et al. Deep image compression using decoder side information
CN114418121A (zh) 模型训练方法、对象处理方法及装置、电子设备、介质
CN115426075A (zh) 语义通信的编码传输方法及相关设备
CN114071141A (zh) 一种图像处理方法及其设备
Harell et al. Rate-distortion in image coding for machines
CN114640423B (zh) 分布式语义信源信道联合编码传输方法及相关设备
CN117014633A (zh) 一种跨模态数据压缩方法、装置、设备及介质
CN117218507A (zh) 图像处理模型训练方法、图像处理方法、装置及电子设备
Milani A distributed source autoencoder of local visual descriptors for 3D reconstruction
CN113948096A (zh) 多声道音频信号编解码方法和装置
Omara et al. nomp: A new sparse solution to enhance the ssim levels of omp-based encoded images
WO2023169303A1 (zh) 编解码方法、装置、设备、存储介质及计算机程序产品
Lee et al. Feature map compression for video coding for machines based on receptive block based principal component analysis
Samarathunga et al. Region of interest scalable image compression using semantic communications
Meng et al. Convolutional auto-encoder based multiple description coding network
CN117544276A (zh) 基于滑动窗口的语义通信编码传输方法、装置及设备
Banitalebi et al. A perceptual based motion compensation technique for video coding
CN115511740A (zh) 图像处理方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant