CN114710415B - 一种冗余编码的无源消息可靠传输与处理系统 - Google Patents
一种冗余编码的无源消息可靠传输与处理系统 Download PDFInfo
- Publication number
- CN114710415B CN114710415B CN202210559254.1A CN202210559254A CN114710415B CN 114710415 B CN114710415 B CN 114710415B CN 202210559254 A CN202210559254 A CN 202210559254A CN 114710415 B CN114710415 B CN 114710415B
- Authority
- CN
- China
- Prior art keywords
- module
- user
- gradient
- channel
- channel estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 title claims abstract description 14
- 238000003379 elimination reaction Methods 0.000 claims abstract description 42
- 230000008030 elimination Effects 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000005215 recombination Methods 0.000 claims abstract description 25
- 230000006798 recombination Effects 0.000 claims abstract description 24
- 230000002776 aggregation Effects 0.000 claims abstract description 17
- 238000004220 aggregation Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 69
- 238000013139 quantization Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 241000623377 Terminalia elliptica Species 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 18
- 230000006854 communication Effects 0.000 abstract description 13
- 238000004891 communication Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 9
- 230000011664 signaling Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
- H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
- H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
- H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
- H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
- H04B7/0619—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
- H04B7/0636—Feedback format
- H04B7/0639—Using selective indices, e.g. of a codebook, e.g. pre-distortion matrix index [PMI] or for beam selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/0202—Channel estimation
- H04L25/024—Channel estimation channel estimation algorithms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W74/00—Wireless channel access
- H04W74/08—Non-scheduled access, e.g. ALOHA
- H04W74/0833—Random access procedures, e.g. with 4-step access
- H04W74/0841—Random access procedures, e.g. with 4-step access with collision treatment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Algebra (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种冗余编码的无源消息可靠传输与处理系统，能够有效降低联邦学习的通信资源开销。本发明包括发射端进行多用户无源信息对应的调制码字的冗余编码发送，以及多用户本地梯度的处理和发送，接收端进行无源信道估计与码本解调、冲突消除、信息重组和信道增强，利用消除冲突后的增强信道进行数据检测，然后进行解扰乱、星座解调和解量化，进行梯度聚合和模型更新。本发明整体采用的免授权无源消息传输方式，降低联邦学习中用户接入的信令开销；同时所述发射端对本地梯度的处理，能够实现接入用户数的过载，从而节省通信资源开销，提高联邦学习中通信过程的传输效率，实现可靠的无源信息传输和高效的联邦学习。
Description
技术领域
本发明涉及数据可靠传输技术领域，具体涉及一种冗余编码的无源消息可靠传输与处理系统。
背景技术
随着智能物联网终端的快速发展和用户隐私保护的迫切需求，分布式机器学习（如：联邦学习）得到广泛的关注。联邦学习由一个中心节点和多个用户共同参与训练一个神经网络。用户的数据保存在本地，避免了数据隐私泄露的问题，同时用户智能终端的计算资源也得到有效使用。然而，由于参与联邦学习的用户数量相当大，用户与中心节点的消息交互过程将会给通信网络带来巨大的负担。因此，如何实现低通信开销的联邦学习是亟待解决的关键问题。
由于联邦学习的目标是对每个用户的梯度向量进行加权平均，无需识别用户的身份。因此，传统的有源的多址接入方法会增加不必要的通信开销。
发明内容
有鉴于此，本发明提出了一种冗余编码的无源消息可靠传输与处理系统，能够有效降低联邦学习的通信资源开销。
为实现上述目的，本发明的一种冗余编码的无源消息可靠传输与处理系统，包括多个用户的发射端和一个中心节点的接收端；对于每个用户的发射端中：将无源信息等分为多个信息段，分别根据每段无源信息选择调制码本中的调制码字，相同用户产生多个调制码字以实现冗余编码；对本地梯度进行稀疏化，对非零梯度值进行量化和星座符号调制，再根据无源信息对应的置换矩阵打乱顺序，得到发送梯度向量；多个用户同时上行发送由多个调制码字和发送梯度向量构成的数据帧；接收端中：进行无源信道估计与码本解调、冲突消除、信息重组和信道增强，利用消除冲突后的增强信道进行数据检测，然后进行解扰乱、星座解调和解量化，进行多用户本地梯度的聚合得到全局梯度，然后利用全局梯度进行模型更新。
其中，每个用户发射端均包括本地训练模块、稀疏化模块、量化模块、星座调制模块、信息分段与置换矩阵产生模块、扰乱模块、码本调制模块和数据帧生成模块；其中，对于发射端的每个用户：所述本地训练模块，用于根据本地数据集进行神经网络训练，得到本地梯度；所述稀疏化模块，用于根据预设门限T 0将所述本地梯度稀疏化，得到稀疏化的本地梯度；所述量化模块，用于根据量化码本对所述稀疏化的本地梯度中的非零元素进行量化，得到每个非零元素在量化码本中的量化索引，进而得到由未量化的零元素和非零元素的量化索引构成的索引梯度向量；所述星座调制模块，用于将所述索引梯度向量中的非零元素对应的量化索引调制成为星座符号，零元素不进行星座调制，进而得到由零元素和非零元素对应的星座符号构成的星座梯度向量；所述信息分段与置换矩阵产生模块，用于将每个用户的无源信息等分成N段，每段信息包含J比特；将每个用户NJ比特的无源信息映射为该用户的置换矩阵；输出N段信息到码本调制模块，输出置换矩阵到扰乱模块；所述扰乱模块，用于将置换矩阵与所述星座梯度向量相乘，得到发送梯度向量；所述码本调制模块，用于根据调制码本将N段信息分别映射为N个调制码字，其中调制码本中的调制码字的总数为2 J ；所述数据帧生成模块，用于将码本调制模块输出的N个调制码字依次排列在数据帧的头部，将扰乱模块输出的发送梯度向量排列在调制码字之后，得到发送数据帧。
其中，所述接收端根据接收调制码字和调制码本进行无源信道估计和码本解调，然后进行冲突消除、信息重组和信道增强，得到每个用户的无源信息、置换矩阵和增强后的信道估计值；然后根据多用户增强后的信道估计值和接收梯度向量进行数据检测，根据置换矩阵和数据检测模块输出的发送梯度向量的估计进行解扰乱，然后进行星座解调和解量化，得到每个用户的本地梯度的估计，然后进行梯度聚合得到全局梯度，根据全局梯度完成模型更新。
其中，所述接收端包括无源信道估计与码本解调模块、冲突消除模块、信息重组模块、信道增强模块、数据检测模块、解扰乱模块、星座解调与解量化模块、梯度聚合模块以及模型更新模块；
所述无源信道估计和码本解调模块，用于根据调制码本和每个接收调制码字，进行多用户与中心节点之间的信道的一次估计，得到多个信道估计值，然后多个信道估计值构成一个信道估计值集合；一共N个接收调制码字，进行N次估计，得到N个信道估计值集合，输出到冲突消除模块；得到N个信道估计值集合中每个信道估计值对应的一段J比特的无源信息，输出到信息重组模块；
所述冲突消除模块，找到N个信道估计值集合中信道估计值数量最多的一个集合，判定该集合中的信道估计值个数等于用户数K，即不发生冲突，将这K个信道估计值作为K个用户的基准信道估计值；然后对于其余N-1个信道估计值集合中的任意一个信道估计值，计算该信道估计值与K个基准信道估计值的欧式距离，得到K个欧式距离，设定其中最小的欧氏距离的编号是k，1≤k≤K，当最小的欧氏距离小于预设值T 1时，则判定该信道估计值与第k个基准信道估计值是同一类，当最小的欧氏距离大于预设值T 1时，则判定该信道估计值是冲突用户信道叠加的估计值，不能与任何一个基准信道估计值判定为同一类；然后，对于冲突用户信道叠加的估计值进行串行干扰消除，消除冲突，得到冲突用户各自信道的估计值，然后根据所述欧氏距离的计算与判断操作，将冲突用户各自信道的估计值与相应的基准信道估计值进行归类；最终得到K类消除冲突的信道估计值，每一类表示为一个消除冲突的信道估计值集合，得到K个消除冲突的信道估计值集合，对应K个用户，其中，每一个消除冲突的信道估计值集合都包含N个消除冲突的信道估计值，分别对应N次估计，所述K个消除冲突的信道估计值集合输出到信息重组模块和信道增强模块；
所述信息重组模块，用于根据无源信道估计和码本解调模块，以及冲突消除模块的输出，得到K个消除冲突的信道估计值集合中每一个集合对应的NJ比特无源信息；根据每一个集合即每个用户的NJ比特无源信息得到该用户的置换矩阵，输出到解扰乱模块；
所述信道增强模块，用于对K个消除冲突的信道估计值集合中每一个集合的N个消除冲突的信道估计值求平均，得到K个用户增强后的信道估计值；
所述数据检测模块，用于根据K个用户增强后的信道估计值和接收梯度向量，进行发送梯度向量检测，得到发送梯度向量的估计；
所述解扰乱模块，用于将信息重组模块输出的每个用户的置换矩阵的转置乘以该用户发送梯度向量的估计，得到该用户星座梯度向量的估计；
所述星座解调与解量化模块，用于根据发射端的星座调制方式，将星座梯度向量的估计中的非零元素映射为该元素在星座调制集合中的索引，零元素不进行星座解调，得到索引梯度向量的估计，然后根据发射端的量化码本，将索引梯度向量的估计中非零元素对应的索引映射为量化码本中的量化码字，得到本地梯度的估计；
所述梯度聚合模块，用于计算多用户本地梯度的估计的平均值，得到全局梯度；
所述模型更新模块，用于根据梯度聚合模块得到的全局梯度进行模型参数的更新。
其中，系统参数{J, K, N}的取值是{J=12, K≤20, N≥2}、{J=14, K≤30, N≥2}、{J=15, K≤40, N≥2}或{J=17, K≤80, N≥2}。
有益效果：
本发明包括发射端进行多用户无源信息对应的调制码字的冗余编码发送，以及多用户本地梯度的处理和发送，接收端进行无源信道估计与码本解调、冲突消除、信息重组和信道增强，利用消除冲突后的增强信道进行数据检测，然后进行解扰乱、星座解调和解量化，进行梯度聚合和模型更新，整体采用的免授权无源消息传输方式，适合联邦学习只需要多用户进行梯度聚合，无需识别用户身份的特点，能够有效降低联邦学习的通信资源开销，提高联邦学习中通信过程的传输效率，实现可靠的无源消息传输和高效的联邦学习。
本发明对于每个用户，发射端将无源信息等分为多个信息段，分别根据每段无源信息选择调制码本中的调制码字，相同用户产生多个调制码字以实现冗余编码，从而在接收端实现用户冲突消除，实现可靠的数据传输；同时，对本地梯度进行稀疏化，对非零梯度值进行量化和星座符号调制，再根据无源信息打乱顺序，得到发送梯度向量，进而多个用户同时上行发送由多个调制码字和发送梯度向量构成的数据帧；其中扰乱模块使接收端数据检测模块待恢复的每一列信号更稀疏，从而实现用户过载情况下的可靠数据检测，节省通信资源开销。
本发明接收端进行无源信道估计与码本解调、冲突消除、信道增强和信息重组，利用消除冲突后的增强信道进行发送梯度向量检测，然后进行解扰乱、星座解调、解量化，进行多用户本地梯度的聚合得到全局梯度，然后利用全局梯度进行模型更新，实现高效的联邦学习。
附图说明
图1为本发明一种冗余编码的无源消息可靠传输与处理系统示意图。
图2为本发明消除冲突的数据帧结构。
图3为根据本发明仿真实验得到的性能评估对比图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种冗余编码的无源消息可靠传输与处理系统，用于实现高效的联邦学习，其基本思想是利用联邦学习无需识别用户身份的特点，包括发射端进行多用户无源信息对应的调制码字的冗余编码发送，以及多用户本地梯度的处理和发送，接收端进行无源信道估计与码本解调、冲突消除、信息重组和信道增强，利用消除冲突后的增强信道进行数据检测，然后进行解扰乱、星座解调和解量化，进行梯度聚合和模型更新，整体采用的免授权无源消息传输方式，降低联邦学习中用户接入的信令开销；同时所述发射端对本地梯度的处理，能够实现接入用户数的过载，从而节省通信资源开销，提高联邦学习中通信过程的传输效率，实现可靠的无源信息传输和高效的联邦学习。
本发明的一种冗余编码的无源消息可靠传输与处理系统，如图1所示，包括K个用户的发射端和1个中心节点接收端，所有用户和中心节点以联邦学习的方式共同训练一个神经网络；每个用户发射端均包括本地训练模块、稀疏化模块、量化模块、星座调制模块、信息分段与置换矩阵产生模块、扰乱模块、码本调制模块和数据帧生成模块；所述接收端包括无源信道估计与码本解调模块、冲突消除模块、信息重组模块、信道增强模块、数据检测模块、解扰乱模块、星座解调与解量化模块、梯度聚合模块以及模型更新模块；其中，所述接收端根据接收调制码字和调制码本进行无源信道估计和码本解调，然后进行冲突消除、信息重组和信道增强，得到每个用户的无源信息、置换矩阵和增强后的信道；然后根据多用户增强后的信道和接收梯度向量进行数据检测，得到发送梯度向量的估计；然后根据置换矩阵和数据检测模块输出的发送梯度向量的估计进行解扰乱，得到星座梯度向量的估计，然后进行星座解调和解量化，得到每个用户的本地梯度的估计，然后进行梯度聚合得到全局梯度，根据全局梯度完成模型更新。
设定联邦学习的训练阶段共包括T轮次训练，以第t（1≤t≤T）轮次训练为例，下面详述本发明所述系统。为了便于描述，如无特殊说明，符号表述中将训练轮次t省略。具体地，对于发射端的每个用户：
所述本地训练模块，用于根据本地数据集进行神经网络训练，得到本地梯度；其
中，
表示第k个用户的本地梯度，
，W为本地梯度的
维度；
所述稀疏化模块，用于根据预设门限T 0将所述本地梯度稀疏化，即将本地梯度
中小于预设门限T 0的元素置为0，∀k∈{1,2,…,K}，得到稀疏化的本地梯度；
所述量化模块，用于根据量化码本对所述稀疏化的本地梯度中的非零元素进行量化，得到每个非零元素在量化码本中的量化索引，进而得到由未量化的零元素和量化得到的非零元素的量化索引构成的索引梯度向量；其中，量化位数和量化码本预先设定，且收发端已知，具体地，所述量化模块根据本地梯度元素的分布，设计非均匀标量量化码本；
所述星座调制模块，用于将所述索引梯度向量中的非零元素对应的量化索引调制
成为星座符号，零元素不进行星座调制，进而得到由零元素和非零元素对应的星座符号构
成的星座梯度向量
；所述星座调制模块采用星座调制集合的维度与量
化码本的维度相同，因此每个量化索引对应唯一的星座符号；
所述信息分段与置换矩阵产生模块，用于将每个用户的无源信息等分为N段（设定
无源信息能等分），每段信息包含J比特；同时，该模块将每个用户NJ比特的无源信息映射为
该用户的置换矩阵，输出置换矩阵到扰乱模块，输出N段无源信息到码本调制模块；具体而
言，对于第k个用户，该用户对应的NJ比特无源信息表示为
，其
中，N段无源信息中的每一段表示为
，
，上述NJ比特
无源信息对应的置换矩阵表示为
，其中，所述置换矩阵的每一行和每一列
只有一个元素是1，其他元素是0，且置换矩阵的转置乘以它自身等于单位阵；
所述扰乱模块，用于将置换矩阵与所述星座梯度向量相乘，得到发送梯度向量，所
述发送梯度向量表示为
；
所述发射端的稀疏化模块、量化模块、星座调制模块和扰乱模块不改变本地梯度的维度W；
所述码本调制模块，用于根据调制码本将N段无源信息分别映射为N个调制码字；所有用户使用相同的调制码本，且收发端已知调制码本，所述调制码本包括2 J 个L长的调制码字，其中一个码字携带J比特信息；
本实施例中，所述调制码本表示为
，其中A的各个列之间线性无
关，对于第k个用户，其第n段无源信息
唯一地对应调制码本A中的一列调制码字，所述
对应的调制码字表示为
，其中
；根据每个用户的N段无源信
息，一共得到N个调制码字；
所述数据帧生成模块，用于将码本调制模块输出的N个调制码字依次排列在数据
帧的头部，将扰乱模块输出的发送梯度向量排列在调制码字之后，得到发送数据帧；所有用
户同时发送各自的发送数据帧，实现免授权的多用户上行传输，第k个用户的发送数据帧表
示为向量
，消除冲突的数据帧结构如图2所示。
考虑N个调制码字和发送梯度向量的传输发生在一个信道相干时间内，第k个用户
与中心节点的上行信道表示为
。因此，针对第n次多用户调制码字的上行传输
过程，
，中心节点的第n个接收调制码字
表示为：
其中，第k个用户的第n个调制码字对应的选择向量
只有一个元素为
1，其他元素为0，且选择向量
与无源信息
一一对应，表示从调制码本中选择一个调
制码字；
因此，每个用户的等效信道矩阵
只有一行元素非零，
其他行都是零元素；K个用户叠加的等效信道矩阵
具有行稀疏的
特性，V表示多用户调制码字的上行传输过程中的接收机热噪声；
针对第n次多用户调制码字的上行传输过程，当有超过一个用户选择了相同的调制码字时，则所述用户发生了冲突，此时根据第n个接收调制码字和调制码本只能得到冲突用户信道叠加值的估计，不能得到冲突用户各自的信道估计值；所述系统通过设计调制码本维度2 J ，用户数K，以及N的大小，在接收端实现用户冲突的消除；其中，N次多用户调制码字的上行传输过程等效为一种冗余编码；典型的实现冲突消除的参数{J, K, N}为：{J=12, K≤20, N≥2}、{J=14, K≤30, N≥2}、{J=15, K≤40, N≥2}或{J=17, K≤80, N≥2}，K和N的取值是整数；所述参数设计的准则是：每个用户每次随机从调制码本中选择一个调制码字，对于任意一次多用户调制码字的上行传输过程，出现用户冲突的概率小于0.05。在一优选实施例中，设置J=12, K=20, 当N=1时，出现冲突的概率是0.0452，当N=2时，两次多用户调制码字的上行传输过程同时出现冲突的概率是0.002。因此，在这一优选实施例中，设置N=2，即每个用户的发送数据帧的头部包含两个调制码字，以实现接收端的冲突消除。
针对多用户的发送梯度向量的上行传输过程，中心节点的接收梯度向量
表示为：
其中，
和
分别表示第k个用户的上行信道和发送梯度向量，
表示多用户
的发送梯度向量的上行传输过程中的接收机热噪声。
对于接收端，根据公式（1），已知接收调制码字和调制码本，能够恢复K个用户叠加
的等效信道矩阵S；由于S有行稀疏的特性，采用压缩感知恢复算法来估计S非零行的值。具
体地，所述无源信道估计与码本解调模块，用于根据调制码本，以及每个接收调制码字，通
过压缩感知算法，得到多用户与中心节点之间的信道估计值，输出给冲突消除模块；同时，
得到各个信道估计值对应的调制码字在调制码本中的索引，进而得到每个信道估计值对应
的J比特信息，完成码本解调，所述信道估计值和每个信道估计值对应的J比特信息输出给
信息重组模块；由于每个用户的发送数据帧包含N个调制码字，因此无源信道估计过程得到N个信道估计值集合，其中，根据第n个接收调制码字得到的第n个信道估计值集合表示为
，
；不失一般性的，设定每个用户的发送数据帧长
度不超过信道相干时间，则相同用户的N个调制码字经过的信道是相同的；
针对所述无源信道估计过程得到的第n个信道估计值集合，当不发生冲突时，即所
有用户的第n个调制码字是不同的，则
包含K个信道估计值，即
，对应K个用
户；当发生冲突时，即有超过1个用户的第n个调制码字是相同的，则
包含的信道估计值
个数小于实际用户数，即
；所述每个信道估计值
对应唯一的选择向量的估
计
，由于每个选择向量对应唯一的J比特无源信息，因此所述码本解调过程将每个信道
估计值对应唯一的J比特无源信息，输出给信息重组模块；
所述冲突消除模块，首先计算N个信道估计值集合各自的元素个数，判定元素个数
最多的一个集合包含K个元素，即：不发生用户冲突；不失一般性的，设定
包含K个元
素，作为K个基准信道估计值，然后，针对
（
）中的任意一个元素，计算该元
素到
中K个基准信道估计值的欧氏距离，得到K个欧式距离；当该元素到
中第k个基
准信道估计值的欧氏距离是最小的，1≤k≤K，且小于等于预设值T 1，则判定该元素与
是
同一类；当该元素到
中K个元素的最小的欧氏距离仍然大于预设值T 1，说明该元素是冲
突用户信道叠加的估计值，不能与任何一个基准信道估计值判定为同一类；T 1是一个较小
的门限，典型值为0.1；针对冲突用户信道叠加的估计值，以
为基准，通过串行干扰消
除，消除冲突，得到冲突用户各自信道的估计值，然后根据所述欧氏距离的计算与判断操
作，将冲突用户各自信道的估计值与相应的基准信道估计值进行归类；冲突消除模块最终
得到K类消除冲突的信道估计值，每一类表示为一个消除冲突的信道估计值集合，得到K个
消除冲突的信道估计值集合，对应K个用户，其中，每一个消除冲突的信道估计值集合都包
含N个消除冲突的信道估计值，第k个消除冲突的信道估计值集合表示为
；所述冲突消除模块依赖于冲突消除的系统参数{J, K, N}
的设计；以欧氏距离为归类准则的原因是：每个用户的发送数据帧长度不超过信道相干时
间，因此相同用户的N个调制码字经过的信道是相同的，且不同用户的信道特性明显不同，
因此欧氏距离小于预设值T 1的信道估计值对应同一个用户；
为了详细说明冲突消除过程，以N=2为例，设定第一次多用户调制码字上行传输过
程未发生冲突，接收端得到K个信道估计值，表示为：
；设定第
二次多用户调制码字上行传输过程发生用户冲突，接收端得到K-1个信道估计值，表示为：
；根据
得到K个初始集合，每个初始集合中仅有一个元
素，表示为
，
；然后，对于
，计算
与
中K个元素的欧氏距离，表示为
，设定其中最小的欧式距离为
，当
则将
与
归为一类，同时将
加入集合
中；
当最小的欧式距离
，则
是冲突用户信道叠加的估计值，不能被加
入任何一个初始集合；设定冲突用户信道叠加的估计值为
，且初始集合中的
和
没有新加入的
中的元素，则
是对信道叠加值
的估计；
下面是串行消除步骤，得到
，
，得到
和
是对两个冲突用户各自信道的估计值，分别加入集合
和
；
所述信息重组模块，对于冲突消除模块输出的第k个用户的消除冲突的信道估计
值集合
，根据码本解调过程的输出，得到
中每个元素对
应的J比特信息；对
，
对应的J比特信息表示为
，经过信息重组后得到NJ比特无源信息，表示为：
；进而，根据第k个用户的NJ比特无源信息的估计
得到该用
户的置换矩阵，输出到解扰乱模块；所述信息重组模块中，得到的无源信息作为接收端的输
出；
所述信道增强模块，用于对冲突消除模块得到的每一个用户的N个消除冲突的信道估计值求平均，得到每一个用户增强后的信道估计值；
由于无源信道估计过程会受到噪声的影响，信道增强模块能降低噪声的影响，提
高每一个用户信道估计的准确度；具体地，对冲突消除模块得到的第k个用户的消除冲突的
信道估计值集合
中的N个消除冲突的信道估计值求平均，得到
增强后的信道估计值
，从而克服噪声对信道估计的影响；K个增强后
的信道估计值输出到数据检测模块；
所述数据检测模块，用于根据K个用户增强后的信道估计值和接收梯度向量，进行数据检测，采用压缩感知算法，得到每个用户发送梯度向量的估计；
所述解扰乱模块，用于根据信息重组模块输出的置换矩阵，通过将每个用户的置换矩阵的转置乘以该用户发送梯度向量的估计，得到每个用户的星座梯度向量的估计；
所述星座解调与解量化模块，用于根据发射端的星座调制方式，将星座梯度向量
的估计中的非零元素映射为该元素在星座调制集合中的索引，零元素不进行星座解调，得
到索引梯度向量的估计，然后根据发射端的量化码本，将索引梯度向量的估计中非零元素
对应的索引映射为量化码本中的量化码字，得到本地梯度的估计
，
；
所述梯度聚合模块，将K个用户的本地梯度的估计
相加，然后再除以估计到的
本地梯度的个数K，得到全局梯度，表示为
；
所述模型更新模块，将全局梯度乘以学习率，进行神经网络参数的更新，完成模型
更新，中心节点处神经网络参数
的更新规则为：
（3）
其中，
表示上一轮次迭代的网络参数，β表示学习率，中心节点将更新后的
模型参数
广播给所有用户，开始下一轮次的训练。
由于所有用户采用共同的调制码本，因此所述接收端无法识别每个用户的身份，因此该系统传输的是无源的消息。
为了说明本发明所提出的方法的优越性，进行如下仿真实验说明本发明的效果：
仿真中，联邦学习相关的参数设置如下：中心节点与多用户共同训练一个卷积神经网络，其结构采用LeNet（对于LeNet的详细结构，参见文献“译名：梯度学习在文档识别中的应用”，其作者、英文名称及出处为“Y. Lecun, L. Bottou, Y. Bengio and P.Haffner, "Gradient-based learning applied to document recognition," inProceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998, doi:10.1109/5.726791. ”），包括两个卷积层、两个下抽样层（池化层）、三个全连接层、以及线性整流函数作为激活函数；数据集采用Fashion-MNIST，将60000个训练图像独立同分布的分配给100个用户，且保证每个用户的数据样本数量相同；每个训练轮次，随机选择20个用户参与到模型训练中；模型训练采用自适应矩估计（Adam）优化器；学习率0.001；本地网络训练的训练轮次为10，批量大小设为5；
通信参数设置如下：信噪比20 dB；
星座调制采用16-QAM；量化码本的维度是16，采用Lloyd算法（对于Lloyd算法，参见文献“译名：脉冲编码调制中的最小二乘量化”，其作者、英文名称及出处为“Lloyd，S.P.，“Least Squares Quantization in PCM，”IEEE Transactions on Information Theory，Vol. IT-28， March，1982，pp. 129–137. ”）；中心节点天线数是M=15，用户数K=20（M<K,即：用户过载）；调制码本中每个调制码字的长度为100，一共有4096个码字，每个调制码字携带12比特信息，调制码本A中的元素服从独立同分布的复高斯分布；发射端稀疏化模块的预设门限T 0=0.01；多用户的信道元素服从独立同分布的复高斯分布；接收端的冲突消除模块中欧氏距离判据的预设值T 1=0.1；接收端无源信道估计模块采用多观测矢量的近似消息传递算法（对于多观测矢量的近似消息传递算法，参见文献“译名：基于压缩感知的自适应主动用户检测和信道估计”，其作者、英文名称及出处为“M. Ke, Z. Gao, Y. Wu, X. Gaoand R. Schober, "Compressive Sensing-Based Adaptive Active User Detection andChannel Estimation: Massive Access Meets Massive MIMO," IEEE Transactions onSignal Processing, vol. 68, pp. 764-779, 2020.”），本仿真实验得到的性能评估对比图如图3所示，具体而言，图3说明，用户数超过中心节点天线数的过载场景下，所提方案在测试集上的准确率在5个训练轮次后逼近基准方案；基准方案设定本地梯度完美已知；仿真中，20轮次迭代出现了1次用户冲突，图3结果说明所提方案没有受到用户冲突的影响，即：所提方案能消除冲突，验证了消除冲突数据帧结构的有效性。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种冗余编码的无源消息可靠传输与处理系统，其特征在于，包括多个用户的发射端和一个中心节点的接收端；对于每个用户的发射端中：将无源信息等分为多个信息段，分别根据每段无源信息选择调制码本中的调制码字，相同用户产生多个调制码字以实现冗余编码；对本地梯度进行稀疏化，对非零梯度值进行量化和星座符号调制，再根据无源信息对应的置换矩阵打乱顺序，得到发送梯度向量；多个用户同时上行发送由多个调制码字和发送梯度向量构成的数据帧；接收端中：进行无源信道估计与码本解调、冲突消除、信息重组和信道增强，利用消除冲突后的增强信道进行数据检测，然后进行解扰乱、星座解调和解量化，进行多用户本地梯度的聚合得到全局梯度，然后利用全局梯度进行模型更新。
2.如权利要求1所述的系统，其特征在于，每个用户发射端均包括本地训练模块、稀疏化模块、量化模块、星座调制模块、信息分段与置换矩阵产生模块、扰乱模块、码本调制模块和数据帧生成模块；其中，对于发射端的每个用户：所述本地训练模块，用于根据本地数据集进行神经网络训练，得到本地梯度；所述稀疏化模块，用于根据预设门限T 0将所述本地梯度稀疏化，得到稀疏化的本地梯度；所述量化模块，用于根据量化码本对所述稀疏化的本地梯度中的非零元素进行量化，得到每个非零元素在量化码本中的量化索引，进而得到由未量化的零元素和非零元素的量化索引构成的索引梯度向量；所述星座调制模块，用于将所述索引梯度向量中的非零元素对应的量化索引调制成为星座符号，零元素不进行星座调制，进而得到由零元素和非零元素对应的星座符号构成的星座梯度向量；所述信息分段与置换矩阵产生模块，用于将每个用户的无源信息等分成N段，每段信息包含J比特；将每个用户NJ比特的无源信息映射为该用户的置换矩阵；输出N段信息到码本调制模块，输出置换矩阵到扰乱模块；所述扰乱模块，用于将置换矩阵与所述星座梯度向量相乘，得到发送梯度向量；所述码本调制模块，用于根据调制码本将N段信息分别映射为N个调制码字，其中调制码本中的调制码字的总数为2 J ；所述数据帧生成模块，用于将码本调制模块输出的N个调制码字依次排列在数据帧的头部，将扰乱模块输出的发送梯度向量排列在调制码字之后，得到发送数据帧。
3.如权利要求1所述的系统，其特征在于，所述接收端根据接收调制码字和调制码本进行无源信道估计和码本解调，然后进行冲突消除、信息重组和信道增强，得到每个用户的无源信息、置换矩阵和增强后的信道估计值；然后根据多用户增强后的信道估计值和接收梯度向量进行数据检测，根据置换矩阵和数据检测模块输出的发送梯度向量的估计进行解扰乱，然后进行星座解调和解量化，得到每个用户的本地梯度的估计，然后进行梯度聚合得到全局梯度，根据全局梯度完成模型更新。
4.如权利要求2或3所述的系统，其特征在于，所述接收端包括无源信道估计与码本解调模块、冲突消除模块、信息重组模块、信道增强模块、数据检测模块、解扰乱模块、星座解调与解量化模块、梯度聚合模块以及模型更新模块；
所述无源信道估计和码本解调模块，用于根据调制码本和每个接收调制码字，进行多用户与中心节点之间的信道的一次估计，得到多个信道估计值，然后多个信道估计值构成一个信道估计值集合；一共N个接收调制码字，进行N次估计，得到N个信道估计值集合，输出到冲突消除模块；得到N个信道估计值集合中每个信道估计值对应的一段J比特的无源信息，输出到信息重组模块；
所述冲突消除模块，找到N个信道估计值集合中信道估计值数量最多的一个集合，判定该集合中的信道估计值个数等于用户数K，即不发生冲突，将这K个信道估计值作为K个用户的基准信道估计值；然后对于其余N-1个信道估计值集合中的任意一个信道估计值，计算该信道估计值与K个基准信道估计值的欧式距离，得到K个欧式距离，设定其中最小的欧氏距离的编号是k，1≤k≤K，当最小的欧氏距离小于预设值T 1时，则判定该信道估计值与第k个基准信道估计值是同一类，当最小的欧氏距离大于预设值T 1时，则判定该信道估计值是冲突用户信道叠加的估计值，不能与任何一个基准信道估计值判定为同一类；然后，对于冲突用户信道叠加的估计值进行串行干扰消除，消除冲突，得到冲突用户各自信道的估计值，然后根据所述欧氏距离的计算与判断操作，将冲突用户各自信道的估计值与相应的基准信道估计值进行归类；最终得到K类消除冲突的信道估计值，每一类表示为一个消除冲突的信道估计值集合，得到K个消除冲突的信道估计值集合，对应K个用户，其中，每一个消除冲突的信道估计值集合都包含N个消除冲突的信道估计值，分别对应N次估计，所述K个消除冲突的信道估计值集合输出到信息重组模块和信道增强模块；
所述信息重组模块，用于根据无源信道估计和码本解调模块，以及冲突消除模块的输出，得到K个消除冲突的信道估计值集合中每一个集合对应的NJ比特无源信息；根据每一个集合即每个用户的NJ比特无源信息得到该用户的置换矩阵，输出到解扰乱模块；
所述信道增强模块，用于对K个消除冲突的信道估计值集合中每一个集合的N个消除冲突的信道估计值求平均，得到K个用户增强后的信道估计值；
所述数据检测模块，用于根据K个用户增强后的信道估计值和接收梯度向量，进行发送梯度向量检测，得到发送梯度向量的估计；
所述解扰乱模块，用于将信息重组模块输出的每个用户的置换矩阵的转置乘以该用户发送梯度向量的估计，得到该用户星座梯度向量的估计；
所述星座解调与解量化模块，用于根据发射端的星座调制方式，将星座梯度向量的估计中的非零元素映射为该元素在星座调制集合中的索引，零元素不进行星座解调，得到索引梯度向量的估计，然后根据发射端的量化码本，将索引梯度向量的估计中非零元素对应的索引映射为量化码本中的量化码字，得到本地梯度的估计；
所述梯度聚合模块，用于计算多用户本地梯度的估计的平均值，得到全局梯度；
所述模型更新模块，用于根据梯度聚合模块得到的全局梯度进行模型参数的更新。
5.如权利要求4所述的系统，其特征在于，系统参数{J, K, N}的取值是{J=12, K≤20,N≥2}、{J=14, K≤30, N≥2}、{J=15, K≤40, N≥2}或{J=17, K≤80, N≥2}。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210559254.1A CN114710415B (zh) | 2022-05-23 | 2022-05-23 | 一种冗余编码的无源消息可靠传输与处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210559254.1A CN114710415B (zh) | 2022-05-23 | 2022-05-23 | 一种冗余编码的无源消息可靠传输与处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114710415A CN114710415A (zh) | 2022-07-05 |
| CN114710415B true CN114710415B (zh) | 2022-08-12 |
Family
ID=82177052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210559254.1A Active CN114710415B (zh) | 2022-05-23 | 2022-05-23 | 一种冗余编码的无源消息可靠传输与处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114710415B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109951438A (zh) * | 2019-01-15 | 2019-06-28 | 中国科学院信息工程研究所 | 一种分布式深度学习的通信优化方法及系统 |
| CN111401552A (zh) * | 2020-03-11 | 2020-07-10 | 浙江大学 | 一种基于调整批量大小与梯度压缩率的联邦学习方法和系统 |
| CN111695674A (zh) * | 2020-05-14 | 2020-09-22 | 平安科技（深圳）有限公司 | 联邦学习方法、装置、计算机设备及可读存储介质 |
| CN111901829A (zh) * | 2020-07-10 | 2020-11-06 | 江苏智能交通及智能驾驶研究院 | 基于压缩感知和量化编码的无线联邦学习方法 |
| CN113315604A (zh) * | 2021-05-25 | 2021-08-27 | 电子科技大学 | 一种联邦学习自适应梯度量化方法 |
| WO2022003562A1 (en) * | 2020-06-29 | 2022-01-06 | King Abdullah University Of Science And Technology | Statistical-based gradient compression method for distributed training system |
-
2022
- 2022-05-23 CN CN202210559254.1A patent/CN114710415B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109951438A (zh) * | 2019-01-15 | 2019-06-28 | 中国科学院信息工程研究所 | 一种分布式深度学习的通信优化方法及系统 |
| CN111401552A (zh) * | 2020-03-11 | 2020-07-10 | 浙江大学 | 一种基于调整批量大小与梯度压缩率的联邦学习方法和系统 |
| CN111695674A (zh) * | 2020-05-14 | 2020-09-22 | 平安科技（深圳）有限公司 | 联邦学习方法、装置、计算机设备及可读存储介质 |
| WO2022003562A1 (en) * | 2020-06-29 | 2022-01-06 | King Abdullah University Of Science And Technology | Statistical-based gradient compression method for distributed training system |
| CN111901829A (zh) * | 2020-07-10 | 2020-11-06 | 江苏智能交通及智能驾驶研究院 | 基于压缩感知和量化编码的无线联邦学习方法 |
| CN113315604A (zh) * | 2021-05-25 | 2021-08-27 | 电子科技大学 | 一种联邦学习自适应梯度量化方法 |
Non-Patent Citations (2)
| Title |
|---|
| Compressive Sensing Based Grant-Free Random Access for Massive MTC;Yikun Mei等;《2020 International Conference on UK-China Emerging Technologies (UCET)》;20200821;全文 * |
| 一种面向边缘计算的高效异步联邦学习机制;芦效峰 等;《计算机研究与发展》;20201231;第2571-2582页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114710415A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ye et al. | DeepNOMA: A unified framework for NOMA using deep multi-task learning | |
| Hu et al. | Robust semantic communications with masked VQ-VAE enabled codebook | |
| CN108462517B (zh) | 一种基于机器学习的mimo链路自适应传输方法 | |
| Ye et al. | Deep Learning Based End-to-End Wireless Communication Systems Without Pilots. | |
| RU2603280C1 (ru) | Системы и способы для множественного доступа с разреженным кодом | |
| CN110113288B (zh) | 一种基于机器学习的ofdm解调器的设计和解调方法 | |
| CN112637093B (zh) | 一种基于模型驱动深度学习的信号检测方法 | |
| CN110289898B (zh) | 一种大规模mimo系统中基于1比特压缩感知的信道反馈方法 | |
| CN111555781B (zh) | 一种基于深度学习注意力机制的大规模mimo信道状态信息压缩及重建方法 | |
| CN113381828B (zh) | 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法 | |
| CN109474388B (zh) | 基于改进梯度投影法的低复杂度mimo-noma系统信号检测方法 | |
| US20080137763A1 (en) | Candidate list generation and interference cancellation framework for mimo detection | |
| CN111628833B (zh) | 基于卷积神经网络的mimo天线数目估计方法 | |
| CN109787926A (zh) | 一种数字信号调制方式识别方法 | |
| Aref et al. | Deep learning-aided successive interference cancellation for MIMO-NOMA | |
| Khadr et al. | Machine learning-based massive augmented spatial modulation (ASM) for IoT VLC systems | |
| Ye et al. | Bilinear convolutional auto-encoder based pilot-free end-to-end communication systems | |
| Zhang et al. | Pilot-assisted MIMO-V-OFDM systems: Compressed sensing and deep learning approaches | |
| CN116192307A (zh) | 非高斯噪声下分布式协同的多天线协作频谱智能感知方法、系统、设备及介质 | |
| CN109547376A (zh) | 一种基于调制特性的高斯混合模型的调制识别方法 | |
| CN115037338A (zh) | 一种通信信号传输方法及设备 | |
| CN114710415B (zh) | 一种冗余编码的无源消息可靠传输与处理系统 | |
| CN105049107B (zh) | 基于证据理论与物理层网络编码结合的满分集多天线双向中继接收方法 | |
| Wu et al. | Deep learning aided cyclostationary feature analysis for blind modulation recognition in massive MIMO systems | |
| CN107017929B (zh) | Mimo系统信号发送和接收方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231207 Address after: Room 1401, 14th Floor, Building 6, Courtyard 8, Kegu 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100176 Patentee after: Beijing Institute of Technology Measurement and Control Technology Co.,Ltd. Address before: 100081 No. 5 South Main Street, Haidian District, Beijing, Zhongguancun Patentee before: BEIJING INSTITUTE OF TECHNOLOGY |