CN115860054B - 基于生成对抗网络的稀疏码本多址编解码系统 - Google Patents
基于生成对抗网络的稀疏码本多址编解码系统 Download PDFInfo
- Publication number
- CN115860054B CN115860054B CN202210869574.7A CN202210869574A CN115860054B CN 115860054 B CN115860054 B CN 115860054B CN 202210869574 A CN202210869574 A CN 202210869574A CN 115860054 B CN115860054 B CN 115860054B
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- encoder
- attention
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 230000007246 mechanism Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 13
- 238000013461 design Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012856 packing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 61
- 238000000034 method Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种基于生成对抗网络的稀疏码本多址编解码系统，涉及网络编码技术领域。所述稀疏码本多址编解码系统包括SCMA TPGAN系统的编码端和SCMA TPGAN系统解码端，该基于生成对抗网络的稀疏码本多址编解码系统，可以减少网络模型参数量和运算量，生成对抗网络在约束信息生成方面表现出了较好的潜力，针对稀疏码多址码本接入系统的误码率性能的问题，基于生成对抗网络框架，提出通过构建PatchGAN作为判别器网络。PatchGAN与SRGAN的判别器网络部分相比，PatchGAN输出的是一个N×N的矩阵。在SRGAN可以提高重建信息质量的基础上，将输入信息以信息块的形式进行处理，可以减少参数量和运算量，以解决收敛慢的问题。
Description
技术领域
本发明涉及网络编码技术领域，具体为一种基于生成对抗网络的稀疏码本多址编解码系统。
背景技术
人们对通信日益增长的需求促使了无线通信技术的更新换代。在下一代5G通信系统中，无线通信预计能支持更大的网络带宽、更低的时延、更高的用户密度等需求，从而对自动驾驶、物联网等多个场景提供支持，而非正交多址技术则是满足这些需求的关键技术之一。非正交多址通过将不同用户的信号非正交地叠加在一起，从而提升了信道容量和可同时接入的用户数。在接收端其需要进行多用户检测将不同用户的信号分开，所以可以视为是用运算量的增加来换取容量的提升。稀疏码分多址(SCMA)作为一种非正交多址技术，由于其具有频谱效率较高等多个优点，已经吸引到了学术界和工业界的广泛关注。
然而作为一种新兴的技术，稀疏码分多址被研究的时间较短因此在理论框架、运算复杂度等方面还有诸多的不足之处，其在使用的过程中上行瑞利衰落信道中稀疏码分多址系统的误码率性能较低，从而降低设备实际的使用效果。为了提高上行瑞利衰落信道中稀疏码分多址系统的误码率性能，我们提出了一种基于生成对抗网络的稀疏码本多址编解码系统。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于生成对抗网络的稀疏码本多址编解码系统，解决了上述背景技术提到的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于生成对抗网络的稀疏码本多址编解码系统，所述稀疏码本多址编解码系统包括SCMA TPGAN系统的编码端和SCMA TPGAN系统解码端；
所述SCMA TPGAN系统的编码端，使用Transformer作为生成对抗网络模型的生成器，所述Transformer模型包含一个编码器和一个解码器，Transformer中的编码器和解码器分别包含6个相同的层，位于编码器中的层，由一个自注意力子层和一个前向神经网络子层组成；
所述SCMA TPGAN系统解码端为卷积神经网络作为生成对抗网络模型的判别器，所述判别器网络由卷积层、批归一化层、激活层和最大池化层交替构成。
可选的，所述Transformer模型是基于编码器－解码器的构架，构架是由编码组件、解码组件和连接层组成。
可选的，所述编码器包括自注意力机制层和前馈神经网络层。
可选的，所述解码组件由六个完全一样的层组成，所述解码器同样有着两个子层，在解码器中，两个子层间增加了一个Masked多头注意力层，解码到当前位置时，对解码器输入当前位置之前的信息保留，当前位置之后的信息进行屏蔽。
可选的，Transformer编码器的算法包括以下步骤：
S1、将数据向量矩阵词嵌入得到t＝[t1,t2…,tn]，经过位置编码，用不同频率的sin函数和cos函数直接计算，输入词嵌入向量t＝[t1,t2…,tn]加上位置编码x＝[x1,x2,…,xn]所得到加入位置信息的词嵌入仍然记为x＝[x1+t1,x2+22,…,xn+tn]，向量x就是Trasformer的输入；
S2、将向量x输入层，head数为2，此时的Mulit Head(Q，K，V)记为Z的维数是n×dmodel与X的维数一样，dmodel设置的是向量Query、Key和Value的维数；每个批次输入序列长度是不一致的，长度不足的序列需要用0进行填充，使不同长度的序列进行对齐，因为被填充“0”的位置没有有效信息，注意力机制不需要学习这些位置上的信息，所以在模型设计中使用“Padding Mask”方式实现，即对需要填充的位置赋予一个负无穷大的数值，这样经Soft max函数计算后结果就是一个趋近0的值，不会影响Attention的结果；
S3、利用残差网络和层归一化调整特征信息以提高系统的准确度，进入Add&Norm，通过一次残差连接和层归一化，得到的结果仍然记为x；
S4、先升维度，因为在高维空间里各类信息更容易区分，变换为更高维度进行提取特征，再降维度；
S5、再进入Add&Norm，通过一次残差网络和层归一化调整特征值作为Transformer编码器的最终输出值。作为编码器的输出，仍记为x，并作为下一个编码器的输入，模型总共设计6个编码器堆叠，最后也就是最上层编码器输出值记为x；
S6、对输出的结果x做全连接，经Soft max变换之后，得到词典库上的概率分布，输出最大的概率，并与真实值进行交叉熵损失函数，得到与真实值的差距值，并利用优化算法进行训练。
可选的，所述卷积层和最大池化层的步幅均设置为2。
可选的，所述SCMA TPGAN系统解码端基于PatchGAN网络来设计鉴别网络模型，将PatchGAN设计成全卷积的形式，当信号经过各层卷积后，不会直接输入到全连接层或者是激活函数中，需使用卷积将输入映射为N*N的矩阵。
可选的，所述矩阵中的每一个元素只有正确的或者是生成的这两种选择。
可选的，所述Transformer的核心为多头注意力层，多头注意力是基于放缩点积注意力，注意力机制描述为一个查询(Query)到一组键值对的映射，计算表达式为
(三)有益效果
本发明提供了一种基于生成对抗网络的稀疏码本多址编解码系统。具备以下有益效果：
(1)该基于生成对抗网络的稀疏码本多址编解码系统，可以减少网络模型参数量和运算量，生成对抗网络在约束信息生成方面表现出了较好的潜力，针对稀疏码多址码本接入系统的误码率性能的问题，基于生成对抗网络框架，提出通过构建PatchGAN作为判别器网络。PatchGAN与SRGAN的判别器网络部分相比，PatchGAN输出的是一个N×N的矩阵。在SRGAN可以提高重建信息质量的基础上，将输入信息以信息块的形式进行处理，可以减少参数量和运算量，以解决收敛慢的问题。
(2)该基于生成对抗网络的稀疏码本多址编解码系统，可以增强编码器的鲁棒性，Transformer模型是一个完全基于注意力机制并能够同时处理整个信息输入的编码器－解码器模型。该网络引入的注意力机制，可以把序列中两处信息位置的距离缩小为常量计算，以方便学习不同信号之间的上下文联系。
(3)该基于生成对抗网络的稀疏码本多址编解码系统，改善SCMA误码率性能，SCMA系统中，接收端采用最优的最大似然检测会有非常高的复杂度，SCMA系统的容量和误码率性能很大程度上取决于码本，码本设计本质上是一个优化问题。为了降低算法的复杂度同时不影响算法准确性，引入深度学习方法，使用深度学习优化改进的消息传递算法，构造生成对抗网络模型。生成对抗网络包括输入层、隐藏层、输出层，相邻层间神经元相互连接，采用ReLU等新的激活函数，在训练阶段采用随机梯度下降等优化算法，使得即使隐藏层数目较多时，网络仍能保持很好的性能。建立一种完全基于深度神经网络的新型端到端通信架构，对通信系统整体优化和配置。通过训练优化因子图上设置的权重，从而提高SCMA系统可靠性。
附图说明
图1为本发明Transformer模型的结构示意图；
图2为本发明基于PathGAN的多用户检测网络结构示意图；
图3为本发明PatchGAN训练流程图；
图4为本发明的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
请参阅图1-图4，本发明提供一种技术方案：一种基于生成对抗网络的稀疏码本多址编解码系统，稀疏码本多址编解码系统包括SCMA TPGAN系统的编码端和SCMA TPGAN系统解码端。
为了构造SCMA TPGAN系统的编码端，使用Transformer作为生成对抗网络模型的生成器。Transformer模型中整个网络结构完全是由注意力机制(Attention)来实现，因此Transformer模型是一个完全基于注意力机制并能够同时处理整个文本输入的编码器-解码器模型。该网络引入的注意力机制，可以把序列中两个单词位置的距离缩小为常量计算，从而方便学习单词之间的上下文联系。
如图1所示，Transformer模型包含一个编码器和一个解码器，Transformer中的编码器和解码器分别包含6个相同的层，位于编码器中的层，由一个自注意力子层和一个前向神经网络子层组成。Transformer模型是一种基于自我关注机制的新颖神经网络体系结构，其中注意力机制模块不是逐个按顺序地处理表征，而是同时接收一段表征进行处理，该模型具有并行性的特点。整个模型是基于编码器-解码器(Encoder-Decoder)的构架，结构是由编码组件、解码组件和连接层组成。
编码器内含自注意力机制(Self-attention)层和前馈神经网络层，其中，自注意力机制不仅能关注当前的词，还能关注其他之间词的联系从而获取到上下文的语义。编码器结构完全相同，但并不共享参数。解码组件也是由六个完全一样的层组成，解码器同样有这两个子层，但不同的是，在这两个子层间增加了一个Masked多头注意力层，解码到当前位置时，对解码器输入当前位置之前的信息保留，当前位置之后的信息进行屏蔽。为使整个模型结构达到更好的深度网络效果，在每一层中应用残差网络和正则化层的方法，残差网络就是将输入也链接到输出，使得训练更加有效，并进行层标准化。
Transformer的核心为多头注意力层，多头注意力是基于放缩点积注意力，注意力机制描述为一个查询(Query)到一组键值对的映射，计算表达式为：其中，Q是Query的嵌入矩阵，K是Key的嵌入矩阵，V是每个Key对应的Value组成的矩阵。Attention输出的还是一个矩阵，行向量对应Query中的每个单词，通过将Key的Value向量加权求和得到，权重系数是根据Query和Key之间的关系确定，在注意力计算中是计算目标语句与源语句之间的关系，其中Key-Value为源语句，Query为目标语句。为了可以将注意力的计算转化为矩阵运算，采用点积的形式求相似度，计算更快，但当dk太大时，点积计算得到的内积会太大，将导致Softmax结果非0即1，因此引入缩放因子/>来对内积进行缩放，放缩点积注意力表达式为：其中，/>表示缩放因子。
其中，Mask表示掩码，其作用为掩盖一些值，使这些值在参数更新时不作为有效信息。多头注意力机制可以设置很多的Q、K、V矩阵和实际值矩阵。这样方式的优势是它可以训练的参数更多，能提升模型考虑到不同位置的注意力的能力，其次对于注意力可以赋予多个子空间信息。
Query、Key、Value先经过线性变换，接着在进入放缩点积注意力，需要进行h次，每一次变换计作一头，其中，每次Query、Key、Value进行线性变换的参数W是不一样的。在编码器的第一层，输入句子x＝(x1,…xn)中每个词的嵌入向量Z＝(z1,…zn)叠加，在第一层结束后得到的Z向量直接赋值给Query、Key、Value，即Q＝K＝V＝Z，对每一个head计算自注意力机制，其计算表达式如下：headi＝Attention(QWi Q,KWi k,VWi V)。其中，Wi Q、Wi k、Wi V为参数矩阵，dmodel＝512，/>Wi Q、Wi k、Wi V分别对Q，K，V进行线性映射，映射到不同的维度并且保持数值不变，可以学习到不同维度的注意力，提高模型的准确性。h为模型头的总头数，以上参数矩阵均由模型学习得到，有h个头表示有h个维度，每个维度为一个向量。多头注意力机制的结果是将h次的自注意力结果拼接(Concat)，之后进行线性变换所得到的。多头注意力机制进行了h次计算，可以使模型学习到不同的子空间里的相关信息，能够充分提取内部关系。同时，通过降低维度来减少总计算消耗，其计算表达式为：MulitHead(Q,K,V)＝Concat(head1,head2,...,headh)W0其中，各个head的Attention会串接起来，然后再经过一次线性映射得到某一层的输出，使得输出与输入具有相同的尺寸，最后得到一个维度为n×(hdv)的序列。多头注意力机制在保持参数总量不变时，将同样的Query、Key、Value映射到原来的高维空间的不同子空间中进行注意力的计算，注意力在不同子空间中分布的不一样，多头注意力机制实际上是找出序列之间不同关联的关系，最后再使用Concat将合并不同子空间中的注意力信息。这样降低了计算每个head注意力时的每个向量维度，在某种意义上防止了过拟合。
Transformer编码器的算法包括以下步骤：
S1、将数据向量矩阵词嵌入得到t＝[t1,t2…,tn]，经过位置编码，用不同频率的sin函数和cos函数直接计算，输入词嵌入向量t＝[t1,t2…,tn]加上位置编码x＝[x1,x2,…,xn]所得到加入位置信息的词嵌入仍然记为x＝[x1+t1,x2+22,…,xn+tn]，向量x就是Trasformer的输入；
S2、将向量x输入层，head数为2，此时的Mulit Head(Q，K，V)记为Z的维数是n×dmodel与X的维数一样，dmodel设置的是向量Query、Key和Value的维数；每个批次输入序列长度是不一致的，长度不足的序列需要用0进行填充，使不同长度的序列进行对齐，因为被填充“0”的位置没有有效信息，注意力机制不需要学习这些位置上的信息，所以在模型设计中使用“Padding Mask”方式实现，即对需要填充的位置赋予一个负无穷大的数值，这样经Soft max函数计算后结果就是一个趋近0的值，不会影响Attention的结果；
S3、利用残差网络和层归一化调整特征信息以提高系统的准确度，进入Add&Norm，通过一次残差连接和层归一化，得到的结果仍然记为x；
S4、先升维度，因为在高维空间里各类信息更容易区分，变换为更高维度进行提取特征，再降维度；
S5、再进入Add&Norm，通过一次残差网络和层归一化调整特征值作为Transformer编码器的最终输出值。作为编码器的输出，仍记为x，并作为下一个编码器的输入，模型总共设计6个编码器堆叠，最后也就是最上层编码器输出值记为x；
S6、对输出的结果x做全连接，经Soft max变换之后，得到词典库上的概率分布，输出最大的概率，并与真实值进行交叉熵损失函数，得到与真实值的差距值，并利用优化算法进行训练。
本实施例中，如图2所示，马尔可夫鉴别器(PatchGAN)卷积神经网络作为生成对抗网络模型的判别器，该判别器网络由卷积层、批归一化层、激活层和最大池化层交替构成，卷积层和最大池化层的步幅均设置为2，以增大输出特征的感受野，批归一化层的使用可以提高判别器网络的泛化能力。网络的隐藏层数设置为4，每个隐藏层中的节点数为256。
基于PatchGAN来设计鉴别网络模型，PatchGAN的鉴别网络不同于原始GAN网络的设计，而是将PatchGAN设计成全卷积的形式，当信号经过各层卷积后，不会直接输入到全连接层或者是激活函数中，而是使用卷积将输入映射为N*N的矩阵，这个矩阵中的每一个元素，只有正确的或者是生成的这两种选择，也就是鉴别器所输出的标签是N*N的矩阵，矩阵中的每一个元素是正确的或者是生成的，和原始GAN网络中的最后用以评价生成器的生成图像的评价值是同等的。该过程通过逐次叠加层叠的卷积层，最终输出一个N*N矩阵的结果来实现，矩阵中的每一个元素所代表的是原信息中的一个补丁块的评价值。
整个的训练流程如图3所示，在PatchGAN网络中，输入为512*512，卷积核所采用的大小为4*4，选择步长大小为2，激活函数采用Leaky Relu函数，从中可以看出最后一层的输出通道数为512->1，该处的通道变化即形成了一个N*N*1的矩阵特征图。PatchGAN中的鉴别网络用N*N的矩阵来评价整幅图，同时PatchGAN标签也需要设置成N*N的格式，这样就可以对损失进行计算，用N*N的矩阵来评价整幅图可以关注图像中更多的区域。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于生成对抗网络的稀疏码本多址编解码系统，其特征在于：所述稀疏码本多址编解码系统包括SCMA TPGAN系统的编码端和SCMA TPGAN系统解码端；
所述SCMA TPGAN系统的编码端，使用Transformer作为生成对抗网络模型的生成器，所述Transformer模型包含一个编码器和一个解码器，Transformer中的编码器和解码器分别包含6个相同的层，位于编码器中的层，由一个自注意力子层和一个前向神经网络子层组成；
所述SCMA TPGAN系统解码端为卷积神经网络作为生成对抗网络模型的判别器，所述判别器网络由卷积层、批归一化层、激活层和最大池化层交替构成；
Transformer编码器的算法包括以下步骤：
S1、将数据向量矩阵词嵌入得到t＝[t1,t2…,tn]，经过位置编码，用不同频率的sin函数和cos函数直接计算，输入词嵌入向量t＝[t1,t2…,tn]加上位置编码x＝[x1,x2,…,xn]所得到加入位置信息的词嵌入仍然记为x＝[x1+t1,x2+22,…,xn+tn]，向量x就是Trasformer的输入；
S2、将向量x输入层，head数为2，此时的Mulit Head(Q，K，V)记为Z的维数是n×dmodel与X的维数一样，dmodel设置的是向量Query、Key和Value的维数；每个批次输入序列长度是不一致的，长度不足的序列需要用0进行填充，使不同长度的序列进行对齐，在模型设计中使用“Padding Mask”方式实现，即对需要填充的位置赋予一个负无穷大的数值，这样经Softmax函数计算后结果就是一个趋近0的值，不会影响Attention的结果；
S3、利用残差网络和层归一化调整特征信息以提高系统的准确度，进入Add&Norm，通过一次残差连接和层归一化，得到的结果仍然记为x；
S4、先升维度，变换为更高维度进行提取特征，再降维度；
S5、再进入Add&Norm，通过一次残差网络和层归一化调整特征值作为Transformer编码器的最终输出值，作为编码器的输出，仍记为x，并作为下一个编码器的输入，模型总共设计6个编码器堆叠，最后也就是最上层编码器输出值记为x；
S6、对输出的结果x做全连接，经Soft max变换之后，得到词典库上的概率分布，输出最大的概率，并与真实值进行交叉熵损失函数，得到与真实值的差距值，并利用优化算法进行训练；
所述SCMA TPGAN系统解码端基于PatchGAN网络来设计鉴别网络模型，将PatchGAN设计成全卷积的形式，当信号经过各层卷积后，不会直接输入到全连接层或者是激活函数中，需使用卷积将输入映射为N*N的矩阵；
所述矩阵中的每一个元素只有正确的或者是生成的这两种选择；
所述Transformer的核心为多头注意力层，多头注意力是基于放缩点积注意力，注意力机制描述为一个查询(Query)到一组键值对的映射，计算表达式为Attention(Q，K，V)＝softmak(QKT)V；
所述Q是Query的嵌入矩阵；所述K是Key的嵌入矩阵；所述V是每个Key对应的Value组成的矩阵；表示缩放因子。
2.根据权利要求1所述的基于生成对抗网络的稀疏码本多址编解码系统，其特征在于：所述Transformer模型是基于编码器－解码器的构架，构架是由编码组件、解码组件和连接层组成。
3.根据权利要求2所述的基于生成对抗网络的稀疏码本多址编解码系统，其特征在于：所述编码器包括自注意力机制层和前馈神经网络层。
4.根据权利要求3所述的基于生成对抗网络的稀疏码本多址编解码系统，其特征在于：所述解码组件由六个完全一样的层组成，所述解码器同样有着两个子层，在解码器中，两个子层间增加了一个Masked多头注意力层，解码到当前位置时，对解码器输入当前位置之前的信息保留，当前位置之后的信息进行屏蔽。
5.根据权利要求1所述的基于生成对抗网络的稀疏码本多址编解码系统，其特征在于：所述卷积层和最大池化层的步幅均设置为2。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210869574.7A CN115860054B (zh) | 2022-07-21 | 2022-07-21 | 基于生成对抗网络的稀疏码本多址编解码系统 |
| PCT/CN2022/114723 WO2024016424A1 (zh) | 2022-07-21 | 2022-08-25 | 基于生成对抗网络的稀疏码本多址编解码系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210869574.7A CN115860054B (zh) | 2022-07-21 | 2022-07-21 | 基于生成对抗网络的稀疏码本多址编解码系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115860054A CN115860054A (zh) | 2023-03-28 |
| CN115860054B true CN115860054B (zh) | 2023-09-26 |
Family
ID=85660355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210869574.7A Active CN115860054B (zh) | 2022-07-21 | 2022-07-21 | 基于生成对抗网络的稀疏码本多址编解码系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115860054B (zh) |
| WO (1) | WO2024016424A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117972440A (zh) * | 2024-04-01 | 2024-05-03 | 长春理工大学 | 一种基于生成对抗网络的失衡心率数据集处理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110290387A (zh) * | 2019-05-17 | 2019-09-27 | 北京大学 | 一种基于生成模型的图像压缩方法 |
| CN112257694A (zh) * | 2020-12-22 | 2021-01-22 | 北京航空航天大学 | 一种旋转机械振动信号的稀疏约束生成对抗网络实现方法 |
| CN112396674A (zh) * | 2020-10-21 | 2021-02-23 | 浙江工业大学 | 一种基于轻量生成对抗网络的快速事件图像填补方法及系统 |
| CN113381828A (zh) * | 2021-06-08 | 2021-09-10 | 哈尔滨工业大学 | 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法 |
| WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3945498A1 (en) * | 2020-07-30 | 2022-02-02 | Tata Consultancy Services Limited | Audio-speech driven animated talking face generation using a cascaded generative adversarial network |
| DE102020215461A1 (de) * | 2020-12-08 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Trainieren eines Bildgenerators |
| CN112541877B (zh) * | 2020-12-24 | 2024-03-19 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
-
2022
- 2022-07-21 CN CN202210869574.7A patent/CN115860054B/zh active Active
- 2022-08-25 WO PCT/CN2022/114723 patent/WO2024016424A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110290387A (zh) * | 2019-05-17 | 2019-09-27 | 北京大学 | 一种基于生成模型的图像压缩方法 |
| WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
| CN112396674A (zh) * | 2020-10-21 | 2021-02-23 | 浙江工业大学 | 一种基于轻量生成对抗网络的快速事件图像填补方法及系统 |
| CN112257694A (zh) * | 2020-12-22 | 2021-01-22 | 北京航空航天大学 | 一种旋转机械振动信号的稀疏约束生成对抗网络实现方法 |
| CN113381828A (zh) * | 2021-06-08 | 2021-09-10 | 哈尔滨工业大学 | 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024016424A1 (zh) | 2024-01-25 |
| CN115860054A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110209801B (zh) | 一种基于自注意力网络的文本摘要自动生成方法 | |
| CN110263912B (zh) | 一种基于多目标关联深度推理的图像问答方法 | |
| Zhang et al. | A unified multi-task semantic communication system for multimodal data | |
| CN112733768B (zh) | 基于双向特征语言模型的自然场景文本识别方法及装置 | |
| CN112084841B (zh) | 跨模态的图像多风格字幕生成方法及系统 | |
| CN111325660B (zh) | 一种基于文本数据的遥感图像风格转换方法 | |
| CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
| CN112801280A (zh) | 视觉深度自适应神经网络的一维卷积位置编码方法 | |
| CN115860054B (zh) | 基于生成对抗网络的稀疏码本多址编解码系统 | |
| CN111210382B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN116050401B (zh) | 基于Transformer问题关键词预测的多样性问题自动生成方法 | |
| CN114445420A (zh) | 编解码结构结合注意力机制的图像分割模型及其训练方法 | |
| CN111027681B (zh) | 时序数据处理模型训练方法、数据处理方法、装置及存储介质 | |
| Liu et al. | Spiking-diffusion: Vector quantized discrete diffusion model with spiking neural networks | |
| CN110069756B (zh) | 一种考虑用户评价的资源或服务推荐方法 | |
| CN117238019A (zh) | 基于时空相对变换的视频人脸表情类别识别方法和系统 | |
| CN110717342B (zh) | 一种基于transformer的距离参量对齐翻译方法 | |
| CN115496134B (zh) | 基于多模态特征融合的交通场景视频描述生成方法和装置 | |
| CN115331073A (zh) | 一种基于TransUnet架构的影像自监督学习方法 | |
| CN115690449A (zh) | 一种基于局部特征增强和并行解码器的图像标注方法 | |
| CN113672727B (zh) | 一种金融文本实体关系抽取方法及系统 | |
| CN115270917A (zh) | 一种两阶段处理多模态服装图像生成方法 | |
| CN115115028A (zh) | 一种基于生成对抗网络的混合数据生成方法 | |
| CN114529908A (zh) | 一种离线手写化学反应式图像识别技术 | |
| CN113936333A (zh) | 一种基于人体骨架序列的动作识别算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |