CN113938254B - 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法 - Google Patents
一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法 Download PDFInfo
- Publication number
- CN113938254B CN113938254B CN202111227886.XA CN202111227886A CN113938254B CN 113938254 B CN113938254 B CN 113938254B CN 202111227886 A CN202111227886 A CN 202111227886A CN 113938254 B CN113938254 B CN 113938254B
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- channel
- convolution
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 88
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000000750 progressive effect Effects 0.000 claims abstract description 50
- 238000007906 compression Methods 0.000 claims abstract description 34
- 230000006835 compression Effects 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 42
- 238000012360 testing method Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000011056 performance test Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 239000010410 layer Substances 0.000 abstract description 161
- 108091006146 Channels Proteins 0.000 abstract description 100
- 238000013459 approach Methods 0.000 abstract description 2
- 230000035772 mutation Effects 0.000 abstract description 2
- 239000002356 single layer Substances 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法，本发明基于注意力机制的渐进增强型传输网络，该网络第一层接收的图像信息可以在接收端独立解码，在压缩率较高的情况下，若第一次传输接收信号恢复的图片质量较差，则通过第二次传输来增强图片信息；渐进增强型网络的接收部分可以组合两次传输的信息，逼近相同压缩率下单次传输的最优性能；在信道压缩率受限的情景下，本发明通过多层传输提升接收端图片的峰值信噪比性能，网络结构可以拓展至L(L≥2)层；本发明具有逼近单层最优传输的性能，同时基于卷积神经网络的信源信道联合编码方法具有卓越的对抗信道突变的能力。
Description
技术领域
本发明涉及无线移动通信技术领域，特别是涉及种基于注意力机制的分层信源信道联合编码传输系统及其传输方法。
背景技术
深度学习与通信技术融合的智能通信技术涵盖了物理层的各个方面。基于卷积神经网络的信源信道联合编码技术可以应用于无线图像传输领域，高效地实现含噪图片的压缩与恢复。
随着深度学习与物理层通信结合，通过数据驱动的方式直接利用神经网络构造信源信道联合编码模块。基于数据驱动的方案尽管训练难度大，但是在特定的信源信道联合编码的场景下可以获得超越传统分离信源信道编码技术的最优解。与传统分离数字通信系统相比，基于卷积神经网络的信源信道联合编码技术有效地避免了阈值效应，具有良好的鲁棒性。本专利提出通过融合注意力机制的卷积神经网络进行信源信道联合编码，基于渐进增强型网络结构的分层信源信道联合编码方案可以有效应用于带宽受限的应用场景。
传统的分离信源信道编码采用模块化设计，图像压缩模块采用传统的图像压缩算法(WebP,BPG,JPEG)，信道编码模块采用接近信道容量的信道码(Polar，LDPC)。基于模块化设计的传统分离信源信道编码图片传输系统具有明显的悬崖效应，难以适应信道条件迅速变化的场景。其中信道编码针对特定的信道条件进行优化，如果信道质量低于目标信道质量，接收端恢复的图片质量将非常低。传统图像传输方案存在一个临界信噪比，低于这个临界信噪比，图片恢复性能非常差。高于这个临界信噪比，图片质量不会随着信道的改善而改善，因此传统算法的SNR-PSNR性能曲线呈现阶梯状特征。
随着基于深度学习的图片压缩技术不断发展，采用卷积神经网络可以高效地实现图片压缩与恢复。卷积神经网络仿照视觉成像的原理，叠加多个卷积层与分类层，对事物做出符合人类认识的判定。学界提出了信源信道联合编码的卷积神经网络框架，通过调节网络参数动态调整图像压缩率以适应信道带宽变化范围大的应用场景，信源信道联合编码网络，信号直接受到加性噪声的干扰，接收端图像的峰值信噪比与信道信噪比是线性相关的，解决了分离信源信道编码的悬崖效应问题。
基于深度学习的信源信道联合编码技术需要知道信噪比信息才能达到最佳训练性能。需要为编码器与解码器设定训练与测试SNR值作为先验信息，译码阶段接收端将基于指定SNR值加载特定的网络权重参数，可以达到最佳性能。因此由发射机发送已知的导频信号，接收机通过将导频信号作为解码器的额外输入，接收机通过导频信号估计信噪比，利用估计出的信噪比值实现自适应地对传输图像进行解码，导频信号产生了额外开销。通过在信源信道联合编码模型中引入注意力机制，可以有效提升网络的鲁棒性，以适应信道信噪比快速变化的应用场景。注意力机制是利用人类视觉在处理图像时对关注的信息进行自我增强同时抑制其他无效信息，由此派生出的处理大量信息时自主选择最关键信息的处理方式。通过在原卷积特征学习模块之间添加注意力特征模块，起到对输入图像进行二次采样的作用，对所针对的目标进行强化。
同时，在信道带宽限制较大的应用场景下，传统压缩方案压缩后的图像难以直接发送。卷积神经网络是从信号处理衍生过来的一种对数字信号处理的方式，发展到图像信号处理上演变成一种专门用来处理具有矩阵特征的网络结构的处理方式，卷积网络在图像处理上具有无可比拟的优势。卷积神经网络可以方便地实现对图像的压缩，随着传输带宽降低，压缩率增加，传输信息减少，接收机恢复的图像质量急剧下降。在带宽受限的情景下，难以通过提高压缩率的方式提升接收端恢复的图像性能，可以通过分层传输的方式来提升接收端的图片质量。
混合数模(Hybrid Digital Analog，HDA)传输方式融合了数字传输和类模拟传输的优点，HDA首先应用数字方式来压缩和传输某些信息，然后通过SparseCast方法以未编码的方式进行传输。SparseCast作为一种模拟混合图像传输技术，将编码网络归一化层输出的值作为星座点的实部和虚部。通过将这种伪模拟的传输方式应用于图片、视频传输可以解决传统图像传输系统具有阈值效应的问题。常见的信源信道联合编码应用场景是无线图片传输，其性能指标为接收端图像的失真程度，常使用峰值信噪比作为性能指标。峰值信噪比可以客观评价接收端恢复的图像与原始图像之间的差异。
综上所述，目前对于信源信道联合编码和解码的研究一方面需要为发射机和接收机提供信噪比信息以提升系统的鲁棒性，另一方面需要通过分层传输方式解决压缩率提高以后带来的信道带宽占用增加的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法，用以在通信昂贵或紧急的情景下，第一次传输仅发送部分低压缩率的图像信息用于节约信道资源，若接收端恢复图片质量较差，通过第二次传输的方式对图片信息进行增强，结合两次传输图像信息用于提升接收端恢复的图片性能。
为了实现上述目的，本发明采用如下技术方案：
一种基于注意力机制的分层信源信道联合编码传输系统，所述传输系统包括L层基于卷积神经网络的渐进增强型网络，每一层基于卷积神经网络的渐进增强型网络均包括编码器、信道模型以及解码器；
所述编码器设置在发送端，其网络的输入为图像，并对该输入图片进行压缩，其网络的输出为复数星座符号；
所述信道模型为高斯白噪声信道模型，并且预先设置有信道信噪比信息，其输入为所述复数星座符号，并对该复数星座符号添加噪声；
所述解码器设置在接收端，当所述传输系统的总层数L为1时，其网络的输入为所述添加了噪声的复数星座符号，当所述传输系统的总层数L大于或者等于2时，其中某一层渐进增强型网络，其解码器的输入包括当前层和以上所有层中信道模型输出的复数星座符号以及所述信道信噪比信息，所述解码器的输出为恢复后的图像；
所述传输系统在训练时，其具有的L层渐进增强型网络进行联合训练，并且所述编码器和所述解码器因训练而修改网络参数，而所述信道模型不因训练而修改网络参数，其中，所述每一层渐进增强型网络的损失函数为其编码器的输入图像与其解码器的输出图像之间的平均均方误差，所述传输系统总的损失函数为各层渐进增强型网络损失函数的加权和，并且每一层网络的损失函数均具有相同的权重；
其中，所述编码器和所述解码器中均包括多个注意力特征模块，所述的注意力特征模块根据预先设置的信道信噪比信息对图片特征信息进行因子预测以及特征重新校准。
进一步的，所述编码器包括五个依次连接的特征学习模块，并且在该五个依次连接的特征学习模块之间还设置有注意力特征模块，所述的五个依次连接的特征学习模块均包括一层卷积层，广义除法归一化层以及激活函数，其中，第一层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为9*9，步进大小为2；第二层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为2；第三层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第四层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第五层特征学习模块中卷积层的参数为：卷积核数目为c，卷积核大小为5*5，步进大小为1，其中，c用于设置编码器的压缩率参数。
进一步的，所述解码器包括五个依次连接的特征学习模块，并且在该五个依次连接的特征学习模块之间还设置有注意力特征模块，所述的五个依次连接的特征学习模块均包括一层卷积层，其中，第一层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第二层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第三层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第四层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为2；第五层特征学习模块中卷积层的参数为：卷积核数目为3，卷积核大小为9*9，步进大小为2。
进一步的，所述编码器和所述解码器中的注意力特征模块包括平均池化层、第一全连接层、第二全连接层以及特征校准层，其中，在所述平均池化层和第一全连接层之间还设置有信噪比信息拼接层；
所述平均池化层首先将将输入特征图的每一个通道求平均得到平均数值，然后通过全局平均池化获取全局特征，最后通过池化层对获取的图像特征进行缩减；
所述信噪比信息拼接层用于将缩减后得到的图像信息与信噪比信息进行拼接；
所述第一全连接层的激活函数为ReLU，用于因子预测；
所述第二全连接层的激活函数为sigmoid，用于因子预测；
所述特征校准层将所述第二全连接层输出的因子矩阵与平均池化层的输入特征信息进行相乘，通过信道信噪比信息，实现特征重新校准。
进一步的，在所述编码器中第五特征学习模块之后依次连接有维数重排模块和功率归一化模块，其中，在所述功率归一化模块之后还连接有SparseCast模块，该SparseCast模块将功率归一化模块输出的值作为星座映射点的实部和虚部，将图像像素点映射为高斯白噪声信道的输入符号。
一种基于注意力机制的分层信源信道联合编码传输方法，包括如下步骤：
步骤S1、首先，构建所述传输系统以及所述基于卷积神经网络的渐进增强型网络，然后，为编码器与解码器生成一组均匀分布的信道信噪比信息作为先验信息，最后，设定传输策略，具体包括：
当所述渐进增强型网络的网络层数L＝2时，两层网络联合训练，系统总损失函数为：
公式中，N表示数据集的图片总数(i∈{1，2，…，N})；为输入信源，其中，n表示输入图像信息的维度；/>为第一层中解码器的译码输出；/>为第二层的解码器的译码输出。
当所述渐进增强型网络的网络层数为L时，L层网络进行联合训练，系统总损失函数为：
公式中，N表示数据集的图片总数(i∈{1，2，…，N})；为输入信源，其中，n表示输入图像信息的维度；L表示网络的总层数(l∈{1，2,…，L})；/>为第l层的解码器l的译码输出。
步骤S2、训练阶段，首先设置信道带宽，压缩率，信噪比范围，最大迭代次数以及提前停止训练的条件，然后将训练集中的图像输入至所述L层基于卷积神经网络的渐进增强型网络中进行训练，当损失函数收敛，停止训练；
步骤S3、测试阶段，将测试集输入步骤S2中经过训练后的L层基于卷积神经网络的渐进增强型网络中，若通过性能测试，则保存所述训练后的L层基于卷积神经网络的渐进增强型网络，若不通过，则回到步骤S2中进行训练，直至通过步骤S3的测试；
步骤S4、使用阶段，具体包括：
步骤S401、输入信源为其中，n表示输入图像信息的维度，通过第l(l=1，2，…，L)层编码器中进行编码操作，得到编码输出，然后该编码输出经过维数重排以及功率归一化操作，最后，再经过SparseCast映射，编码输出被映射为星座符号z，得到最终的编码网络输出/>表达式为：/>其中μ表示信道的信噪比信息，p表示信道传输的图像信息维数；
步骤S402、通过高斯白噪声信道模型对编码信息添加噪声：
步骤S403、将前l(l=1，2，…，L)层经过信道后的含噪输出通过Concatenate函数按照数组的最后一维进行拼接以及信道信噪比信息作为解码器的输入，所述解码器进行上采样，恢复图像信息表达为：
本发明的有益效果是：
本发明在信道压缩率受限的情景下，渐进增强型编码网络结构通过多层传输提升接收端图片的峰值信噪比性能，网络结构可以拓展至L(L≥2)层；在信道带宽受限的情景下，本发明具有逼近单层最优传输的性能，同时基于卷积神经网络的信源信道联合编码方法具有卓越的对抗信道突变的能力。
附图说明
图1为实施例1中提供的一种基于注意力机制的分层信源信道联合编码传输系统的结构示意图；
图2为实施例1中提供的编码器与解码器网络结构的示意图；
图3为实施例1中提供的编码器与解码器网络中的特征学习模块的示意图；
图4为实施例1中提供的编码器与解码器网络中的注意力特征模块的示意图；
图5为实施例1中提供的渐进增强型传输网络的第l(l＝1，2，…，L)层编码器与解码器网络结构图；
图6为高斯白噪声信道下，压缩率为1/6采用渐进增强型网络结构所对应的检测性能图；
图7为高斯白噪声信道下，压缩率为1/8采用渐进增强型网络结构所对应的检测性能图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1-图5，本实施例提供一种基于注意力机制的分层信源信道联合编码传输系统，该系统的结构如图1所示。
具体的说，该系统由L层基于卷积神经网络的渐进增强型网络构成，第l(l∈{1，2，…，L})层网络包含可训练的编码器、解码器以及不可训练的信道模型。输入信源为图片，通过编码器进行压缩，信道模型采用高斯白噪声信道模型。接收端通过解码器实现对含噪声信号的恢复，并且采用注意力机制，提升信源信道联合编码系统的鲁棒性，网络输出为恢复的图像信息，编码系统性能指标为峰值信噪比。
具体的说，该编码方法采用渐进增强型分层传输结构，基于编码器、信道模型以及解码器三个核心模块实现渐进增强型网络结构。编码器网络输入图片使用向量x表示，其中n表示输入图像信息的维度(n＝H×W×C)；网络输出图片使用向量z表示，其中p表示输出数组的维度，编码器通过编码网络将输入的图像信息x转换为复数星座点z。
编码器包含5层特征学习模块与4层注意力机制模块，每个特征学习模块由卷积层(SignalConv2D)与广义除法归一化层(GDN)以及激活函数组成。通过F×F×K|S表征卷积层的参数，F表示卷积层的滤波器大小，K表示卷积层的滤波器数量，S表示采样步幅。
编码器中5个特征学习模块的参数分别表示为：9×9×256|2↓，5×5×256|2↓，5×5×256|1，5×5×256|1，5×5×c|1，下箭头表示编码网络的特征学习模块的下采样步幅，参数c用于设置编码网络的压缩率参数，压缩率计算公式为c/96。
注意力特征模块首先通过平均池化(Averagepooling)聚合图片的空间信息，然后连接图片的SNR值和图像信息以实现上下文提取，具体包含两个全连接(FC)层。第一个全连接层具有16个神经元，激活函数为ReLU，第二个全连接层具有16个神经元，激活函数为Sigmoid。最后将原始特征矩阵与重新加权后的特征矩阵相乘，借助特定范围的SNR值重新校准原始图片矩阵的特征。
解码器中5层由卷积层组成的特征学习模块的参数分别表示为：5×5×256|1，5×5×256|1，5×5×256|1，5×5×256|2↑，9×9×3|2↑，上箭头表示解码器的特征学习模块的上采样步幅。第l层渐进增强型网络中，网络输入定义为x，网络输出定义为zl，通过5层卷积神经网络与4层注意力机制模块实现的编码过程表示为其中μ表示信道的信噪比信息，p表示信道传输的图像信息维数。第l(l＝1，2，…，L)层网络的压缩率计算公式为r＝pl/n＝c/96(l∈{1，2，…，L})，包含L层渐进增强型网络的分层信源信道联合编码系统总压缩率为p1/n+p2/n+…+pl/n＝c*L/96，(l＝1，2，…，L)。
通过高斯白噪声信道模型对编码信息添加噪声：
第L层译码网络的输入为前l(l∈{1，2，…，L})层经过信道后的含噪信息与信道信噪比信息通过Concatenate函数按照数组的最后一维进行拼接定义译码输出为/>各层解码器通过5层卷积神经网络组成的特征学习模块与注意力机制模块进行上采样恢复图像信息，译码网络网络表达式：第l(l＝1，2，…，L)层渐进增强型网络可以独立恢复出图像信息，在信道条件较差的情况下，通过增加渐进增强型网络层数实现对图像信息进行增强，提升接收端图像恢复性能。
第l(l＝1，2，…，L)层网络输出的损失函数定义为初始输入图像x与解码器网络输出之间的平均均方误差，每一层的均方误差计算方式：/>其中，N表示测试数据集中图片数目，/>
根据分层信源信道联合编码对L层网络进行联合训练，对每一层网络赋予相同的权重，系统总损失函数可以表示为：
具体的说，渐进增强型传输网络通过第l(l＝1，2，…，L)层的编码器以压缩率kl＝pl/n，(l＝1，2，…，L)对维度大小为n＝H×W×C的图像数据序列x进行压缩，图像数据经过编码器压缩后得到的图像信息维度为pl，定义pl＝p1，kl＝k1，(l＝2，…，L)。编码网络归一化层输出的图像信息是一维浮点数，通过SparseCast以伪模拟传输方式将一维图像信息映射为星座点的实部和虚部。每两个浮点数分别映射为一个星座点的实部与虚部，解码器对二维含噪信号进解调，得到第一层传输后的恢复信号 通过该信号可独立恢复出图像信息。渐进增强型网络结构的第l(l＝2，3，…，L)层与第l＝1层采用同样的传输结构，分别以压缩率kl(l＝2，3，…，L)对图像信息进行第l＝2，3，…，L次传输与解调，第l＝2，3，…，L层传输得到的信号在接收端与第l＝1层传输后的解调信号/>通过Concatenate函数按照数组的最后一维进行拼接，合并后的图像信息通过解码器得到图像当层数L＝2时，渐进增强型网络系统总压缩率为2k1，包含L层渐进增强型传输网络的分层信源信道联合编码系统的总压缩率为L*k1。
实施例2
本实施例在实施例1的基础之上提供一种基于渐进增强型网络结构的分层信源信道联合编码传输方法，基于卷积神经网络利用信源信道联合编码进行无线图像传输，网络包含编码器、信道模型以及解码器三个核心模块，在网络中，通过联合训练多个编码器和解码器提升接收端图片的重建质量，具体如下步骤：
步骤A、为编码器与解码器生成一组均匀分布的信噪比数组作为先验信息。信噪比信息用于特征注意力模块对图片特征信息进行因子预测，特征重新校准。构造由可训练的编码器与解码器以及不可训练的信道层构成的网络，构造损失函数。
基于性能需求选择下列传输策略：
渐进增强型网络结构中，当网络层数L＝2时，为保障第一次传输性能与两次综合传输性能，损失函数由两部分组成，进行联合训练。联合训练的效果优于首先训练并固化第一层网络中的参数权重，然后对第二层网络进行训练。本专利采用联合训练的方式，这两部分在损失函数中的赋值权重相同，定义损失函数如下：
当渐进增强型网络结构的分层信源信道联合编码系统的网络层数为L时，损失函数定义如下：
步骤B、训练阶段，针对信道带宽，设置压缩率，即编码器最后一层卷积层参数以及解码器第一层卷积层的卷积核数目参数。设置训练信噪比范围(SNR_low，SNR_high)。设置最大迭代次数，以及提前停止训练的条件，判断损失函数收敛即停止训练。
步骤C、测试阶段，将解码器输出的图像信息取出作为接收端恢复的信息，恢复图像与原始图像之间的失真可以表示为：
具体的说，在本实施例的步骤A中，步骤A中的编码器包括如下步骤：
步骤A1、功率归一化层，将输入图像像素值从[0，255]归一化到[0，1]。
步骤A2、特征学习模块，通过叠加多个卷积神经网络层提取图像特征信息，调整卷积核参数以实现压缩率动态调整。
步骤A3、注意力特征模块，基于输入的信噪比值软信息对特征信息进行标记，通过在步骤A2的特征学习模块后连接一个额外的全连接网络，用来对特征学习模块之间的输出进行权重计算。
步骤A4、分别重复执行步骤A2中的特征学习模块与步骤A3中的注意力特征模块3次。
步骤A5、重复执行步骤A2中的特征学习模块1次。
步骤A6、维数转换，归一化层使得设计得到的星座满足功率归一化的条件，为了得到发射功率归一化后的星座符号z，需要在编码器后连接一个归一化层，即让归一化层的输出z满足E[|x|2]＝1。
具体的说，在本实施例的步骤A2中，特征学习模块包括如下步骤：
步骤A2.1、将依据设置训练信噪比范围生成符合均匀分布的信噪比数组作为先验信息输入网络，构建适用于一定SNR范围的网络。
步骤A2.2、由Conv2D构建卷积神经网络。通过调整最后一层卷积层的卷积核数目c，实现调整压缩率。
步骤A中的5层卷积神经网络的参数说明如下：
第一层卷积层参数为：卷积核数目为256，卷积核大小为9×9，步进大小为2；
第二层卷积层参数为：卷积核数目为256，卷积核大小为5×5，步进大小为2；
第三层卷积层参数为：卷积核数目为256，卷积核大小为5×5，步进大小为1；
第四层卷积层参数为：卷积核数目为256，卷积核大小为5×5，步进大小为1；
第五层卷积层参数为：卷积核数目为c，卷积核大小为5×5，步进大小为1。
步骤A2.3、卷积层Conv2D的激活函数采用广义除法归一化层(GDN)，广义除法归一化层起到将输入图像数据进行高斯化的作用，通过将信道输入信号整形为类高斯分布的信号，达到提升信道容量的作用。
步骤A2.4、使用PreLU激活函数，防止网络出现过拟合。
具体的说，在本实施例中，注意力特征模块在维数通道的基础上对图像进行加权计算，对于不同的通道特征，给予强行设计的注意力模型，注意力特征模块包含三个部分：(a)上下文提取，(b)因子预测，(c)特征重新校准。注意力特征模块是连接在特征学习模块之后的一个额外的神经网络，两类模块级联，进行同步训练。整个模型使用梯度方法进行优化。注意力特征模块基于信道的软信息SNR来缩放特征，将计算资源分配给更重要的任务，达到适应信噪比快速变化的环境，同时发射机无需额外发送导频信号用于信噪比估计。注意力特征模块是在特征学习模块的输出向量之上叠加了一个新的函数，用于对层次之间的输出进行权重计算，注意力特征模块可以看作原卷积神经网络层之间的一个额外的权重模型。
具体的说，在本实施例中，注意力特征模块包括如下步骤：
步骤A3.1、输入信息维数为(height,width,channel_num)，输入的特征信息通过平均池化层(GlobalAveragePooling2D)，将输入特征图的每一个通道求平均得到平均数值，通过全局平均池化获取全局特征，通过池化层对获取的图像特征进行缩减。
步骤A3.2、将步骤A2.1中缩减后得到的图像信息与信噪比信息进行拼接。
步骤A3.3、通过激活函数为“ReLU”的全连接层，进行因子预测，该层的输出维数为channel_num/16。
步骤A3.4、通过激活函数为“sigmoid”的全连接层，进行因子预测，该层的输出维数为channel_num。
步骤A3.5、将步骤A3.3中得到的因子矩阵与输入特征信息进行相乘，通过在原图像信息上覆盖一层新的经过信噪比权重标记后的图像，将图片中的特征强调地标记出，实现特征重新校准。保障了注意力特征模块输出既保留了原始输入图像的特征信息，又体现了信噪比信息属性。
具体的说，在本实施例中，采用了SparseCast映射技术，具体是将编码网络归一化层输出的值作为星座映射点的实部和虚部，直接将图像像素点映射为高斯白噪声信道的输入符号。与传统QAM调制相比，SparseCast作为一种模拟混合图像传输技术，样本可以取连续的取值，不局限于一组量化的离散值或者固定的星座点。将SparseCast的这种伪模拟传输方式应用于图片，视频传输，可以解决传统图片传输系统的阈值问题。解码器通过译码网络直接从噪声信道输出恢复图像。
具体的说，在本实施例中，步骤B中的网络训练阶段包括如下步骤：
步骤B1、导入训练数据集，生成训练数据，训练标签。训练数据包含图片数据与正态分布的信噪比数据。图片数据可以表示为其中n＝H×W×C表示图片的大小信息。
步骤B2、设置回调函数，设置初始学习率为0.001，下降因子为0.5，等待迭代4次性能无提升则降低学习率，学习率降低下限为0.00001。
步骤B3、使用model.fit()进行模型训练，在每个训练阶段结束时，使用验证集上的度量指标进行性能评估，以选择在验证集上达到最佳性能的模型，并且调整算法超参数以获得最佳结果。
训练过程编码器对输入图片数据x进行压缩，可以表示为：其中k表示AWGN信道内传输的复数信号的维数。编码网络训练阶段通过迭代数据并迭代调整参数θ，使得fθ可以正确地对编码器进行建模。将压缩后的图片信息经过AWGN信道可以表示为信道是不可训练层。通过训练解码器将信道层输出的含噪图像信息进行译码输，译码过程由可训练的译码网络完成，可以表示为/>译码网络训练阶段通过迭代数据并迭代调整参数θ，使得gφ可以正确地对解码器进行建模。
步骤B中的5层卷积神经网络的参数说明如下：
第一层卷积层参数为：卷积核数目为256，卷积核大小为5×5，步进大小为1；
第二层卷积层参数为：卷积核数目为256，卷积核大小为5×5，步进大小为1；
第三层卷积层参数为：卷积核数目为256，卷积核大小为5×5，步进大小为1；
第四层卷积层参数为：卷积核数目为256，卷积核大小为5×5，步进大小为2；
第五层卷积层参数为：卷积核数目为3，卷积核大小为9×9，步进大小为2。
具体的说，在本实施例中，步骤C中的网络测试阶段包括如下步骤：
步骤C1、导入测试数据集，生成测试数据，测试标签。测试数据包含图片数据与正态分布的信噪比数据。
步骤C2、设置测试信噪比范围与间隔，在每个测试信噪比点测试10次取平均值作为性能输出参数。
步骤C3、基于区别于测试数据，测试标签，使用model.evaluate()进行性能测试。
为了验证本发明的正确性，因此进行了仿真实验，具体如下：
仿真示例一：仿真条件如下表1所示：
| 分层方案 | 渐进增强型网络结构 | 压缩率参数() | 16 |
| 数据集 | Cifar10 | Batch size | 128 |
| 初始学习率 | 0.001 | 最大迭代次数 | 1280 |
| 学习率下界 | 0.00001 | 信噪比范围 | [0,20] |
仿真示例二：仿真条件如下表2所示：
| 分层方案 | 渐进增强型网络结构 | 压缩率参数() | 8 |
| 数据集 | Cifar10 | Batch size | 128 |
| 初始学习率 | 0.001 | 最大迭代次数 | 1280 |
| 学习率下界 | 0.00001 | 信噪比范围 | [0,20] |
图6所示给出了基于表1条件下，本专利提出的渐进增强型网络结构的第一层传输图片性能与两次传输组合后的图片性能。图7所示给出了基于表2条件下，本专利提出的渐进增强型网络结构的第一层传输图片性能与两次传输组合后的图片性能。可以看出本专利提出的基于注意力机制的渐进增强型网络结构性能均可以逼近单次传输的最优性能，同时在信道带宽受限的情景下，可以通过分层传输的方式，最大限度地提升接收端的图片性能。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (6)
1.一种基于注意力机制的分层信源信道联合编码传输系统，其特征在于，所述传输系统包括L层基于卷积神经网络的渐进增强型网络，每一层基于卷积神经网络的渐进增强型网络均包括编码器、信道模型以及解码器；
所述编码器设置在发送端，其网络的输入为图像，并对该输入图像进行压缩，其网络的输出为复数星座符号；
所述信道模型为高斯白噪声信道模型，并且预先设置有信道信噪比信息，其输入为所述复数星座符号，并对该复数星座符号添加噪声；
所述解码器设置在接收端，当所述传输系统的总层数L为1时，其网络的输入为所述添加了噪声的复数星座符号，当所述传输系统的总层数L大于或者等于2时，其中某一层渐进增强型网络，其解码器的输入包括当前层和以上所有层中信道模型输出的复数星座符号以及所述信道信噪比信息，所述解码器的输出为恢复后的图像；
所述传输系统在训练时，其具有的L层渐进增强型网络进行联合训练，并且所述编码器和所述解码器因训练而修改网络参数，而所述信道模型不因训练而修改网络参数，其中，所述每一层渐进增强型网络的损失函数为其编码器的输入图像与其解码器的输出图像之间的平均均方误差，所述传输系统总的损失函数为各层渐进增强型网络损失函数的加权和，并且每一层网络的损失函数均具有相同的权重；
其中，所述编码器和所述解码器中均包括多个注意力特征模块，所述的注意力特征模块根据预先设置的信道信噪比信息对图像特征信息进行因子预测以及特征重新校准。
2.根据权利要求1所述的一种基于注意力机制的分层信源信道联合编码传输系统，其特征在于，所述编码器包括五个依次连接的特征学习模块，并且在该五个依次连接的特征学习模块之间还设置有注意力特征模块，所述的五个依次连接的特征学习模块均包括一层卷积层，广义除法归一化层以及激活函数，其中，第一层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为9*9，步进大小为2；第二层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为2；第三层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第四层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第五层特征学习模块中卷积层的参数为：卷积核数目为c，卷积核大小为5*5，步进大小为1，其中，c用于设置编码器的压缩率参数。
3.根据权利要求2所述的一种基于注意力机制的分层信源信道联合编码传输系统，其特征在于，所述解码器包括五个依次连接的特征学习模块，并且在该五个依次连接的特征学习模块之间还设置有注意力特征模块，所述的五个依次连接的特征学习模块均包括一层卷积层，其中，第一层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第二层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第三层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为1；第四层特征学习模块中卷积层的参数为：卷积核数目为256，卷积核大小为5*5，步进大小为2；第五层特征学习模块中卷积层的参数为：卷积核数目为3，卷积核大小为9*9，步进大小为2。
4.根据权利要求3所述的一种基于注意力机制的分层信源信道联合编码传输系统，其特征在于，所述编码器和所述解码器中的注意力特征模块包括平均池化层、第一全连接层、第二全连接层以及特征校准层，其中，在所述平均池化层和第一全连接层之间还设置有信噪比信息拼接层；
所述平均池化层首先将输入特征图的每一个通道求平均得到平均数值，然后通过全局平均池化获取全局特征，最后通过平均池化层对获取的图像特征进行缩减；
所述信噪比信息拼接层用于将缩减后得到的图像信息与信道信噪比信息进行拼接；
所述第一全连接层的激活函数为ReLU，用于因子预测；
所述第二全连接层的激活函数为sigmoid，用于因子预测；
所述特征校准层将所述第二全连接层输出的因子矩阵与平均池化层的输入的图像特征信息进行相乘，通过信道信噪比信息，实现特征重新校准。
5.根据权利要求4所述的一种基于注意力机制的分层信源信道联合编码传输系统，其特征在于，在所述编码器中第五特征学习模块之后依次连接有维数重排模块和功率归一化模块，其中，在所述功率归一化模块之后还连接有SparseCast模块，该SparseCast模块将功率归一化模块输出的值作为星座映射点的实部和虚部，将图像像素点映射为高斯白噪声信道的输入符号。
6.应用权利要求1所述的一种基于注意力机制的分层信源信道联合编码传输系统的传输方法，其特征在于，包括如下步骤：
步骤S1、首先，构建所述传输系统以及所述基于卷积神经网络的渐进增强型网络，然后，为编码器与解码器生成一组均匀分布的信道信噪比信息作为先验信息，最后，设定传输策略，具体包括：
当所述渐进增强型网络的网络层数L＝2时，两层网络联合训练，系统总损失函数为：
公式中，N表示数据集的图像总数，i∈{1，2，…，N}；为输入信源，其中，n表示输入图像信息的维度；/>为第一层中解码器的译码输出；/>为第二层中解码器的译码输出，
当所述渐进增强型网络的网络层数为L时，L层网络进行联合训练，系统总损失函数为：
公式中，N表示数据集的图像总数，i∈{1，2，…，N}；为输入信源，其中，n表示输入图像信息的维度；L表示网络的总层数，l∈{1，2，…，L}；/>为第l层中解码器的译码输出；
步骤S2、训练阶段，首先设置信道带宽，压缩率，信噪比范围，最大迭代次数以及提前停止训练的条件，然后将训练集中的图像输入至所述L层基于卷积神经网络的渐进增强型网络中进行训练，当损失函数收敛，停止训练；
步骤S3、测试阶段，将测试集输入步骤S2中经过训练后的L层基于卷积神经网络的渐进增强型网络中，若通过性能测试，则保存所述训练后的L层基于卷积神经网络的渐进增强型网络，若不通过，则回到步骤S2中进行训练，直至通过步骤S3的测试；
步骤S4、使用阶段，具体包括：
步骤S401、输入信源为其中，n表示输入图像信息的维度，通过第l层编码器中进行编码操作，得到编码输出，然后该编码输出经过维数重排以及功率归一化操作，最后，再经过SparseCast映射，编码输出被映射为复数星座符号，得到最终的编码网络输出表达式为：/>其中μ表示信道的信噪比信息，p表示信道传输的图像信息维数，fθl表示编码器函数；
步骤S402、通过高斯白噪声信道模型对编码信息添加噪声：wl表示噪声；
步骤S403、将前l层经过信道后的含噪输出通过Concatenate函数按照数组的最后一维进行拼接以及信道信噪比信息作为解码器的输入，所述解码器进行上采样，恢复图像信息表达为：/> 表示解码器函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111227886.XA CN113938254B (zh) | 2021-10-21 | 2021-10-21 | 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111227886.XA CN113938254B (zh) | 2021-10-21 | 2021-10-21 | 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113938254A CN113938254A (zh) | 2022-01-14 |
| CN113938254B true CN113938254B (zh) | 2024-02-02 |
Family
ID=79280879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111227886.XA Active CN113938254B (zh) | 2021-10-21 | 2021-10-21 | 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113938254B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115470799B (zh) * | 2022-11-03 | 2023-04-07 | 电子科技大学 | 一种用于网络边缘设备的文本传输和语义理解一体化方法 |
| CN116456094B (zh) * | 2023-06-15 | 2023-09-05 | 中南大学 | 一种分布式视频混合数字模拟传输方法及相关设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4477915A (en) * | 1982-10-13 | 1984-10-16 | U.S. Philips Corporation | Differential pulse code modulation transmission system |
| CN101478373A (zh) * | 2009-01-16 | 2009-07-08 | 北京航空航天大学 | 一种信源信道编码联合优化的自适应差错控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2607111A (en) * | 2021-05-28 | 2022-11-30 | Imp College Innovations Ltd | Communication system for conveying data from an information source across a communication channel |
-
2021
- 2021-10-21 CN CN202111227886.XA patent/CN113938254B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4477915A (en) * | 1982-10-13 | 1984-10-16 | U.S. Philips Corporation | Differential pulse code modulation transmission system |
| CN101478373A (zh) * | 2009-01-16 | 2009-07-08 | 北京航空航天大学 | 一种信源信道编码联合优化的自适应差错控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113938254A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113938254B (zh) | 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法 | |
| CN110311718B (zh) | 一种大规模mimo信道状态信息反馈中的量化和逆量化方法 | |
| CN110350958B (zh) | 一种基于神经网络的大规模mimo的csi多倍率压缩反馈方法 | |
| CN111641832B (zh) | 编码方法、解码方法、装置、电子设备及存储介质 | |
| CN112737985A (zh) | 基于深度学习的大规模mimo信道联合估计和反馈方法 | |
| CN110351568A (zh) | 一种基于深度卷积网络的视频环路滤波器 | |
| CN113516601B (zh) | 基于深度卷积神经网络与压缩感知的图像恢复方法 | |
| CN110870310A (zh) | 图像编码方法和装置 | |
| CN111199521A (zh) | 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法 | |
| CN113079378B (zh) | 图像处理方法、装置和电子设备 | |
| CN113497941A (zh) | 图像滤波方法、编码方法及相关设备 | |
| CN115865145A (zh) | 一种基于Transformer的大规模MIMO信道状态信息反馈方法 | |
| CN110752894A (zh) | 一种基于cnn的ldpc码盲信道译码方法及译码器 | |
| US20210281860A1 (en) | Systems and methods for distributed quantization of multimodal images | |
| CN112085667B (zh) | 一种基于伪模拟视频传输的去分块效应方法和装置 | |
| CN113660020A (zh) | 一种无线通信信道信息传输方法、系统和解码器 | |
| Bao et al. | ADJSCC-l: SNR-adaptive JSCC networks for multi-layer wireless image transmission | |
| An et al. | Channel estimation for one-bit massive MIMO based on improved cGAN | |
| Liu et al. | An Efficient and Robust Underwater Image Compression Scheme Based on Autoencoder | |
| CN112261685B (zh) | 一种基于卷积神经网络的mimo信号检测方法 | |
| Huang et al. | A novel convolutional neural network architecture of deep joint source-channel coding for wireless image transmission | |
| CN117714244B (zh) | 基于神经网络的无线信号重建方法、装置、接收机及系统 | |
| Barron | Systematic hybrid analog/digital signal coding | |
| CN117459737B (zh) | 一种图像预处理网络的训练方法和图像预处理方法 | |
| CN115512199A (zh) | 一种基于图注意和非对称卷积网络的图像压缩模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |