CN114499755B - 基于互信息量估计的几何与概率联合星座整形方法及系统 - Google Patents

基于互信息量估计的几何与概率联合星座整形方法及系统 Download PDF

Info

Publication number
CN114499755B
CN114499755B CN202210010298.9A CN202210010298A CN114499755B CN 114499755 B CN114499755 B CN 114499755B CN 202210010298 A CN202210010298 A CN 202210010298A CN 114499755 B CN114499755 B CN 114499755B
Authority
CN
China
Prior art keywords
mutual information
training
information quantity
probability
estimator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210010298.9A
Other languages
English (en)
Other versions
CN114499755A (zh
Inventor
义理林
牛泽坤
梁家熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210010298.9A priority Critical patent/CN114499755B/zh
Publication of CN114499755A publication Critical patent/CN114499755A/zh
Application granted granted Critical
Publication of CN114499755B publication Critical patent/CN114499755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/32—Carrier systems characterised by combinations of two or more of the types covered by groups H04L27/02, H04L27/10, H04L27/18 or H04L27/26
    • H04L27/34—Amplitude- and phase-modulated carrier systems, e.g. quadrature-amplitude modulated carrier systems
    • H04L27/3405—Modifications of the signal space to increase the efficiency of transmission, e.g. reduction of the bit error rate, bandwidth, or average power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/32—Carrier systems characterised by combinations of two or more of the types covered by groups H04L27/02, H04L27/10, H04L27/18 or H04L27/26
    • H04L27/34—Amplitude- and phase-modulated carrier systems, e.g. quadrature-amplitude modulated carrier systems
    • H04L27/345—Modifications of the signal space to allow the transmission of additional information
    • H04L27/3461—Modifications of the signal space to allow the transmission of additional information in order to transmit a subchannel
    • H04L27/3483—Modifications of the signal space to allow the transmission of additional information in order to transmit a subchannel using a modulation of the constellation points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/32—Carrier systems characterised by combinations of two or more of the types covered by groups H04L27/02, H04L27/10, H04L27/18 or H04L27/26
    • H04L27/34—Amplitude- and phase-modulated carrier systems, e.g. quadrature-amplitude modulated carrier systems
    • H04L27/36—Modulator circuits; Transmitter circuits
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明提供一种基于互信息量估计的几何与概率联合星座整形方法及系统，涉及通信系统技术领域，包括：步骤S1：根据通信信道输入输出，构建并训练互信息量估计器神经网络，分别预训练几何整形编码器神经网络和概率生成器，使基于互信息量估计器计算的互信息量最大化；步骤S2：迭代训练互信息量估计器、几何整形编码器神经网络和概率生成器神经网络至收敛，使基于互信息量估计器计算的互信息量最大化，获得几何整形星座图以及各个星座点的概率值，即该信道条件下的几何与概率联合整形。本发明能够通过互信息量估计计算当前整形的互信息量，然后通过梯度反向传播和梯度下降，迭代地训练几何整形和概率整形的编码器，显式的提升互信息量。

Description

基于互信息量估计的几何与概率联合星座整形方法及系统
技术领域
本发明涉及通信系统技术领域，具体地，涉及一种基于神经网络编码器的星座整形方法，尤其涉及一种基于互信息量估计的几何与概率联合星座整形方法及系统。
背景技术
正交振幅调制在加性高斯白噪声信道中于香农极限有着1.53dB的容量间隙，而产生容量间隙的原因是正交振幅调制为方形调制，方形调制不是最适应信道噪声的调制格式。在通信领域，通常采用星座整形的方式来提升系统的互信息量，以接近香农极限，星座整形分为几何整形和概率整形。但是，单独使用几何整形与概率整形，对通信系统的互信息量的提升能力有限，且当前的整形方法没有从信息论的角度出发，无法证明系统的信息量达到了当前调制方式的极限。
公开号为CN111628789A的发明专利，公开了一种基于混合概率整形和几何整形的信号生成方法及装置，包括：生成最优几何整形信号星座图；接收原始比特流，将原始比特流分为两分支，基于给定概率整形深度和最优几何整形信号星座图将上分支经CCDM编码映射成满足Maxwell-Boltzmann分布的符号序列，对符号序列和下分支的组合进行LDPC编码获得奇偶校验比特序列，对奇偶校验比特序列和下分支进行组合形成折叠索引比特序列；将符号序列转换为幅度比特序列，对折叠索引比特序列和幅度比特序列进行重组和符号映射，生成混合概率整形和几何整形的信号。
针对上述发明的技术，本发明认为，麦克斯韦-玻尔兹曼分布只能证明在加性高斯白噪声信道中得到互信息量最大的概率整形方案，在其他的信道中无法证明其互信息量是否最大。
发明内容
针对现有技术中的缺陷，本发明提供一种基于互信息量估计的几何与概率联合星座整形方法及系统。
根据本发明提供的一种基于互信息量估计的几何与概率联合星座整形方法及系统，所述方案如下：
第一方面，提供了一种基于互信息量估计的几何与概率联合星座整形方法，所述方法包括：
步骤S1：根据通信信道输入输出，构建并训练互信息量估计器神经网络，分别预训练几何整形编码器神经网络和概率生成器，使基于互信息量估计器计算的互信息量最大化；
步骤S2：迭代训练互信息量估计器、几何整形编码器神经网络和概率生成器神经网络至收敛，使基于互信息量估计器计算的互信息量最大化，获得几何整形星座图以及各个星座点的概率值，即该信道条件下的几何与概率联合整形；
其中，所述步骤S1包括：
神经网络构建步骤：构建互信息量估计器，几何整形编码器和概率生成器；
互信息量估计器训练步骤：通过信道输入符号和信道输出符号训练互信息量估计器；
几何整形编码器预训练步骤：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练几何整形编码器；
概率生成器预训练步骤：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练概率生成器；
所述步骤S2包括如下步骤：
几何整形编码器训练步骤：基于梯度下降法，保持概率生成器不变，训练几何整形编码器和互信息量估计器；
概率生成器训练步骤：基于梯度下降法，保持几何整形编码器不变，训练概率生成器和互信息量估计器；
迭代训练几何整形编码器和概率生成器直至收敛。
优选地，在神经网络构建步骤中，几何整形编码器、概率生成器、互信息量估计器和解码器以如下方式构建：
几何整形编码器为神经网络，输入数据为原始比特，输出数据为处理后的符号，每种符号代表着星座图中的一个星座点；
互信息量估计器为神经网络，输入数据为信道输入符号和信道输出符号，输出数据为用于计算互信息量的标量；
概率生成器为神经网络，输入数据为固定向量，输出数据为不同星座点所对应的输出概率权重；
其中，几何整形编码器输出的处理后的符号、互信息量估计器输入的信道输入符号、互信息量估计器输入的信道输出符号以及解码器输入的信道输出符号四者维度一致，概率生成器输出的概率权重维度等于几何整形编码器输出星座点的种类的数量。
优选地，所述互信息量估计器训练步骤中使用计算互信息量的公式作为损失函数，公式为：
L＝-Ep(x,z)[T(x,z)]+log(Ep(x)p(z)[eT(x,z)])
其中，T表示互信息量估计器的神经网络函数；x表示输入比特的向量；z表示信道输出的向量；p(x,z)表示x和z的联合概率分布；p(x)p(z)表示x和z的边际概率分布；Ep(x,z)[T(x,z)]表示当x和z取联合分布的情况下T(x,z)的期望值；Ep(x)p(z)[eT(x,z)]表示当x和z取边际分布的情况下eT(x,z)的期望值；L表示损失函数；
利用梯度反向传播计算梯度，利用梯度下降更新网络参数，训练互信息量估计器损失函数，每个互信息量估计器训练步骤中，要求互信息量估计器重复多次训练。
优选地，在步骤S1的几何整形编码器训练步骤中，将原始比特输入几何整形编码器中得到输出符号，经过功率归一化得到信道输入符号，经过信道得到信道输出符号，使用计算互信息量的公式作为损失函数，通过梯度反向传播和梯度下降的方法训练几何整形编码器神经网络；
在步骤S1中，互信息量估计器训练步骤和几何整形编码器训练步骤迭代进行，二者使用相同的损失函数，损失值收敛时停止训练。
优选地，在步骤S1的概率生成器训练步骤中，概率生成器神经网络通过Gumbel-Softmax函数进行激活，公式为：
Figure BDA0003457083350000031
其中，Gi为满足位置系数为0，尺度系数为1的Gumbel分布随机变量，temperature为温度常数，softmax为softmax函数，αi为不同星座点对应权重值，x为通过Gumbel-Softmax公式得到的不同星座点的输出情况；
将Gumbel-Softmax的输出值与对应星座点符号相乘，再将所有相乘的结果相加，得到概率整形的输出符号，经过功率归一化得到信道输入符号，再通过信道得到信道输出符号，使用计算互信息量的公式作为损失函数，通过梯度反向传播和梯度下降的方法训练概率生成器神经网络，在每个概率生成器训练周期中，训练概率生成器1次；
在步骤S1中，互信息量估计器训练步骤和概率生成器训练步骤迭代进行，二者使用相同的损失函数，损失值收敛时停止训练。
优选地，在步骤S2的几何整形编码器训练步骤中，根据概率生成器所得到的不同星座点的发送概率训练几何整形编码器，使用计算互信息量的函数为损失函数，通过梯度反向传播和梯度下降迭代地训练几何整形编码器和互信息量估计器，每个迭代周期先训练多次互信息量估计器，再训练1次几何整形编码器，直至系统互信息量增加。
优选地，在步骤S2的几何整形编码器训练步骤中，根据几何整形编码器生成的星座图训练概率生成器，使用计算互信息量的函数为损失函数，通过梯度反向传播和梯度下降迭代地训练概率生成器和互信息量估计器，每个迭代周期先训练多次互信息量估计器，再训练1次概率生成器，直至系统互信息量增加；
步骤S2共迭代多次几何整形编码器的训练和概率生成器的训练直至收敛。
第二方面，提供了一种基于互信息量估计的几何与概率联合星座整形系统，所述系统包括：
模块M1：根据通信信道输入输出，构建并训练互信息量估计器神经网络，分别预训练几何整形编码器神经网络和概率生成器，使基于互信息量估计器计算的互信息量最大化；
模块M2：迭代训练互信息量估计器、几何整形编码器神经网络和概率生成器神经网络至收敛，使基于互信息量估计器计算的互信息量最大化，获得几何整形星座图以及各个星座点的概率值，即该信道条件下的几何与概率联合整形；
其中，所述模块M1包括：
神经网络构建模块：构建互信息量估计器，几何整形编码器和概率生成器；
互信息量估计器训练模块：通过信道输入符号和信道输出符号训练互信息量估计器；
几何整形编码器预训练模块：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练几何整形编码器；
概率生成器预训练模块：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练概率生成器；
所述模块M2包括如下模块：
几何整形编码器训练模块：基于梯度下降法，保持概率生成器不变，训练几何整形编码器和互信息量估计器；
概率生成器训练模块：基于梯度下降法，保持几何整形编码器不变，训练概率生成器和互信息量估计器；
迭代训练几何整形编码器和概率生成器直至收敛。
优选地，在神经网络构建模块中，几何整形编码器、概率生成器、互信息量估计器和解码器以如下方式构建：
几何整形编码器为神经网络，输入数据为原始比特，输出数据为处理后的符号，每种符号代表着星座图中的一个星座点；
互信息量估计器为神经网络，输入数据为信道输入符号和信道输出符号，输出数据为用于计算互信息量的标量；
概率生成器为神经网络，输入数据为固定向量，输出数据为不同星座点所对应的输出概率权重；
其中，几何整形编码器输出的处理后的符号、互信息量估计器输入的信道输入符号、互信息量估计器输入的信道输出符号以及解码器输入的信道输出符号四者维度一致，概率生成器输出的概率权重维度等于几何整形编码器输出星座点的种类的数量。
优选地，所述互信息量估计器训练步骤中使用计算互信息量的公式作为损失函数，公式为：
L＝-Ep(x,z)[T(x,z)]+log(Ep(x)p(z)[eT(x,z)])
其中，T表示互信息量估计器的神经网络函数；x表示输入比特的向量；z表示信道输出的向量；p(x,z)表示x和z的联合概率分布；p(x)p(z)表示x和z的边际概率分布；Ep(x,z)[T(x,z)]表示当x和z取联合分布的情况下T(x,z)的期望值；Ep(x)p(z)[eT(x,z)]表示当x和z取边际分布的情况下eT(x,z)的期望值；L表示损失函数；
利用梯度反向传播计算梯度，利用梯度下降更新网络参数，训练互信息量估计器损失函数，每个互信息量估计器训练模块中，要求互信息量估计器重复多次训练。
与现有技术相比，本发明具有如下的有益效果：
1、本发明方法通过互信息量估计进行训练，在训练过程中显式地增加互信息量；
2、本发明方法的发端几何整形和概率整形都由神经网络实现，可以对任意信道进行星座整形；
3、本发明方法设计了一套迭代训练几何整形和概率整形的方式，可以保证在训练过程中系统的互信息量始终处于上升的趋势。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程图；
图2为本发明中步骤S1基于互信息量整形的几何整形流程图；
图3为本发明中步骤S2基于互信息量估计的概率整形流程图；
图4为本发明中步骤S3几何整形编码器神经网络和概率生成器神经网络的迭代训练流程图；
图5为本发明在加性高斯白噪声信道的8dB信噪比下的热力图；
图6为本发明在加性高斯白噪声信道的12dB信噪比下的热力图；
图7为本发明在加性高斯白噪声信道的16dB信噪比下的热力图；
图8为本发明在加性高斯白噪声信道的20dB信噪比下的热力图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于互信息量估计的几何与概率联合星座整形方法，星座整形是通过编码的方式正交幅度调制的信号星座点的分布重新设计，改善传输性能，达到提高信道容量的目的。星座整形分为几何整形和概率整形，几何整形改变星座点的分布，概率整形改变星座点发送的概率。
一种基于互信息量估计的几何与概率联合星座整形方法，该方法包括：
步骤S1：根据通信信道输入输出，构建并训练互信息量估计器神经网络，分别预训练几何整形编码器神经网络和概率生成器，使基于互信息量估计器计算的互信息量最大化；
步骤S2：迭代训练互信息量估计器、几何整形编码器神经网络和概率生成器神经网络至收敛，使基于互信息量估计器计算的互信息量最大化，获得几何整形星座图以及各个星座点的概率值，即该信道条件下的几何与概率联合整形；
其中，步骤S1包括：
神经网络构建步骤：构建互信息量估计器，几何整形编码器和概率生成器；
互信息量估计器训练步骤：通过信道输入符号和信道输出符号训练互信息量估计器；
几何整形编码器预训练步骤：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练几何整形编码器；
概率生成器预训练步骤：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练概率生成器；
步骤S2包括如下步骤：
几何整形编码器训练步骤：基于梯度下降法，保持概率生成器不变，训练几何整形编码器和互信息量估计器；
概率生成器训练步骤：基于梯度下降法，保持几何整形编码器不变，训练概率生成器和互信息量估计器；
迭代训练几何整形编码器和概率生成器直至收敛。
接下来，对本发明进行更为具体的描述。
本发明中使用信道传输信息的通信系统如下，原始比特经由发端编码器编码成为符号，符号经过功率归一化得到信道输入的符号，将信道输入的符号输入信道后得到信道输出的符号。本发明实例基于互信息量估计的几何与概率联合整形方法，参照图1所示，包括以下步骤：
步骤S1：基于互信息量估计进行几何整形编码器神经网络预训练；
步骤S2：基于互信息量估计进行概率生成器神经网络预训练；
步骤S3：将得到的几何整形编码器神经网络和概率生成器神经网络进行迭代训练。
其中，步骤S1的实现如图2所示，具体如下：
神经网络构建步骤：构建几何整形编码器和互信息量估计器。构建几何整形编码器神经网络和互信息量估计器神经网络。几何整形编码器神经网络和互信息量估计器神经网络均为全连接神经网络，由输入层、隐藏层和输出层构成。几何整形编码器神经网络的输入为原始比特，输出数据为处理后的符号，每种符号代表着星座图中的一个星座点。互信息量估计器的输入数据为信道输入符号和信道输出符号，输出数据为用于计算互信息量的标量。
互信息量估计器训练步骤：通过信道输入符号和信道输出符号训练互信息量估计器。
发端生成原始比特，几何整形编码器神经网络输入原始比特输出处理后的符号，处理后的信号进行功率归一化得到信道输入的符号，经过信道得到信道输出的符号，互信息量估计器输入信道输入的信号和信道输出的符号，输出用于计算互信息量的标量。通过估计互信息量的公式，可以通过此标量计算得到原始比特和信道输出的信号之间的互信息量，公式为：
Figure BDA0003457083350000081
其中，X表示信道输入的信号，Z表示信道输出的信号，I(X；Z)表示原始比特和信道输出的信号之间的互信息量，IM表示经过估计互信息量公式计算出来的互信息量估计值，T表示互信息量估计器的神经网络函数，F表示所有凸函数的集合，x表示输入互信息量估计器的信道输入的信号的向量，z表示输入互信息量估计器的信道的输出信号的向量，p(x,z)表示x和z的联合概率分布，p(x)p(z)表示x和z的边际概率分布，Ep(x,z)[T(x,z)]表示当x和z取联合分布的情况下T(x,z)的期望值，Ep(x)p(z)[eT(x,z)]表示当x和z取边际分布的情况下eT (x,z)的期望值。当T取得使IM最大的神经网络的函数的时候，IM等于互信息量的下界。其中，T表示互信息量估计器的神经网络函数；x表示输入比特的向量；z表示信道输出的向量；L表示损失函数。
训练互信息量估计器的目的，寻找到使得IM最大的神经网络，从而得到一个最接近互信息量的估计值，即互信息量的下界。因此，训练互信息量估计器的损失函数，可以用IM的相反数来表示。损失函数的公式为：
L＝-Ep(x,z)[T(x,z)]+log(Ep(x)p(z)[eT(x,z)])
其中，T表示互信息量估计器的神经网络函数；x表示输入比特的向量；z表示信道输出的向量；p(x,z)表示x和z的联合概率分布；p(x)p(z)表示x和z的边际概率分布；Ep(x,z)[T(x,z)]表示当x和z取联合分布的情况下T(x,z)的期望值；Ep(x)p(z)[eT(x,z)]表示当x和z取边际分布的情况下eT(x,z)的期望值；L表示损失函数。
根据损失函数通过梯度反向传播和梯度下降对互信息量估计器进行训练，训练的目的是让互信息量估计器对于两种不同的变量分布，互信息量估计值尽可能精确，因此需要不断训练神经网络以找到最大值，这个最大值代表着两种不同的变量分布的下界。在本发明中，信道输入的符号与信道输出的符号之间的互信息量估计值就是系统当前的互信息量。互信息量估计器训练步骤每一批次重复训练互信息量估计器20次以上。
几何整形编码器训练步骤：通过最大化互信息量估计器计算得到的互信息量，训练几何整形编码器。将原始比特输入几何整形编码器中得到输出符号，经过功率归一化得到信道输入符号，经过信道得到信道输出符号，使用计算互信息量的公式作为损失函数，通过梯度反向传播和梯度下降的方法训练几何整形编码器神经网络。在每个几何整形编码器训练步骤中，训练几何整形编码器1次。
步骤S1需要迭代训练，迭代地执行互信息量估计器训练步骤和几何整形编码器训练步骤，直至互信息量估计值收敛。
步骤S2的实现如图3所示，具体如下：
神经网络构建步骤：构建概率生成器。概率生成器为全连接神经网络，输入数据为固定向量，输出数据为不同星座点所对应的输出概率权重。概率生成器输出的概率权重维度等于几何整形编码器输出星座点的种类的数量。
互信息量估计器训练步骤：使用步骤S1中的互信息量估计器，通过信道输入符号和信道输出符号训练互信息量估计器。S2使用步骤S1训练得到的互信息量估计器，不需要对互信息量估计器重新初始化，互信息量估计器的训练与步骤S1中的训练步骤是相同的。互信息量估计器训练步骤每一批次重复训练互信息量估计器20次以上。
概率生成器训练步骤：通过最大化互信息量估计器计算得到的互信息量，训练概率生成器。概率生成器神经网络输出为不同星座点所对应的输出概率权重，经过Gumbel-Softmax转化为带有随机性的输出概率，Gumbel-Softmax公式为：
Figure BDA0003457083350000091
其中，Gi为满足位置系数为0，尺度系数为1的Gumbel分布随机变量，temperature为温度常数，softmax为softmax函数，αi为不同星座点对应权重值，x为通过Gumbel-Softmax公式得到的不同星座点的输出情况。
将Gumbel-Softmax的输出值与对应星座点符号相乘，再将所有相乘的结果相加，得到概率整形的输出符号，经过功率归一化得到信道输入符号，再通过信道得到信道输出符号，使用计算互信息量的公式作为损失函数，通过梯度反向传播和梯度下降的方法训练概率生成器神经网络，在每个概率生成器训练周期中，训练概率生成器1次。
在步骤S2中，互信息量估计器训练步骤和概率生成器训练步骤迭代进行，二者使用相同的损失函数，损失值收敛时停止训练。此时，系统完成了预训练，接下来的步骤是进一步的训练。
步骤S3的实现参照图4所示，具体如下：
几何整形编码器训练步骤：在概率整形的基础上迭代训练几何整形编码器和互信息量估计器。几何整形编码器训练步骤如图4所示，在概率生成器生成特定概率星座点的基础上迭代训练几何整形编码器和互信息量估计器，通过调整星座点位置使得系统的互信息量增加。
具体的实现如下：首先保存几何整形编码器的网络参数，并且计算当前系统的互信息量，设定这个值为maxMI。在生成原始比特的阶段，对原始比特的出现概率进行修改，使得几何整形编码器调制后不同星座点的出现概率和概率生成器的概率相吻合。使用计算互信息量的函数为损失函数，通过梯度反向传播和梯度下降迭代地训练几何整形编码器和互信息量估计器，每个迭代周期先训练20次互信息量估计器，再训练1次几何整形编码器，训练100个周期。
每5个迭代周期计算一次系统的互信息量记为nowMI，如果此时系统互信息量大于保存的互信息量，训练提前结束并且将几何整形编码器参数保存为此刻的状态，将maxMI设置为nowMI；若训练100个周期后nowMI始终低于maxMI，则将几何整形编码器的参数还原为保存的参数，并且重新训练100个周期，直到nowMI大于maxMI。
概率生成器训练步骤：在几何整形的基础上迭代训练概率生成器和互信息量估计器。概率生成器训练步骤如图4所示，在几何整形编码器生成的星座图的基础上迭代训练概率生成器和互信息量估计器，通过不同星座点的发送概率使得系统的互信息量增加。
具体的实现如下：首先保存概率生成器的网络参数，且读取几何整形编码器训练阶段保存的maxMI。通过几何整形编码器得到当前的几何整形星座图，和当前的概率生成器输出并经过Gumbel-Softmax激活层得到的概率相乘得到输出符号，然后进行功率归一化并且输入信道，得到信道的输入符号和信道的输出符号。然后。使用计算互信息量的函数为损失函数，通过梯度反向传播和梯度下降迭代地训练概率生成器和互信息量估计器，每个迭代周期先训练20次互信息量估计器，再训练1次概率生成器，训练100个周期。
每5个迭代周期计算一次系统的互信息量记为nowMI，如果此时系统互信息量大于保存的互信息量，训练提前结束并且将概率生成器参数保存为此刻的状态，将maxMI设置为nowMI；若训练100个周期后nowMI始终低于maxMI，则将概率生成器的参数还原为保存的参数，并且重新训练100个周期，直到nowMI大于maxMI。
步骤S3共迭代进行100次几何整形编码器的训练和概率生成器的训练，每次训练都会得到一种使系统互信息量更高的编码方式。
步骤S4：使用几何整形编码器和概率整形编码器在信道进行传输。经过步骤S3后得到在当前信道下训练至最优的几何整形编码器与概率整形编码器，使用当前星座整形方式进行传输，即可满足在当前信道中星座整形的互信息量最高。
本发明还包括一种基于互信息量估计的几何与概率联合星座整形系统，该系统包括：
模块M1：基于互信息量估计的几何整形的编码器神经网络预训练。模块M1包括以下模块：神经网络构建模块：构建几何整形编码器和互信息量估计器。互信息量估计器训练模块：通过信道输入符号和信道输出符号训练互信息量估计器。几何整形编码器训练模块：通过最大化互信息量估计器计算得到的互信息量，训练几何整形编码器。
模块M2：基于互信息量估计的概率生成器神经网络预训练。模块M2包括以下模块：神经网络构建模块：构建概率生成器。互信息量估计器训练模块：使用步骤S1中的互信息量估计器，通过信道输入符号和信道输出符号训练互信息量估计器。概率生成器训练模块：通过最大化互信息量估计器计算得到的互信息量，训练概率生成器。
模块M3：几何整形编码器神经网络和概率生成器神经网络的迭代训练。模块M3包括以下模块：几何整形编码器训练模块：在概率整形的基础上迭代训练几何整形编码器和互信息量估计器。概率生成器训练模块：在几何整形的基础上迭代训练概率生成器和互信息量估计器。
模块M4：使用几何整形编码器和概率整形编码器在信道进行传输。经过模块M4后得到在当前信道下训练至最优的几何整形编码器与概率整形编码器，使用当前星座整形方式进行传输，即可满足在当前信道中星座整形的互信息量最高。
本发明实例还给出了在加性高斯白噪声信道中使用本系统进行仿真的结果图，展示了本发明一个实施例的基于互信息量估计的几何与概率联合整形系统在加性高斯白噪声信道的不同信噪比下的热力图，每个热力点表示一个星座点，热力点的亮度表示星座点发送的权重，亮度越高表示权重越大。图5表示信噪比为8dB的热力图，图6表示信噪比为12dB的热力图，图7表示信噪比为16dB的热力图，图8表示信噪比为20dB的热力图。当信噪比较小的时候，中心位置的星座点的发送权重较大，周围的较小。随着信噪比的增加，周围的星座点的权重逐渐增加，直到和中心位置星座点的权重相同。
本发明实施例提供了一种基于互信息量估计的几何与概率联合星座整形方法及系统，所要解决的技术问题在于实现在各种信道下的高互信息量的通信，通过互信息量估计计算当前整形的互信息量，然后通过梯度反向传播和梯度下降，迭代地训练几何整形和概率整形的编码器，显式的提升互信息量。
本发明引入了新的损失函数，通过互信息量估计来显式的评判系统的互信息量；使用神经网络作为发端编码器，神经网络具有通用逼近性，可以在任意信道下得到互信息量最大的整形方案；本发明设计了一套迭代地训练几何整形编码器和概率整形的概率生成器的方案，保证每次训练都对系统的互信息量有所提升。通过该方法得到的星座整形方案，其互信息量可以超过在相同信道下单独使用几何整形或者概率整形的互信息量。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (2)

1.一种基于互信息量估计的几何与概率联合星座整形方法，其特征在于，包括：
步骤S1：根据通信信道输入输出，构建并训练互信息量估计器神经网络，分别预训练几何整形编码器神经网络和概率生成器，使基于互信息量估计器计算的互信息量最大化；
步骤S2：迭代训练互信息量估计器、几何整形编码器神经网络和概率生成器神经网络至收敛，使基于互信息量估计器计算的互信息量最大化，获得几何整形星座图以及各个星座点的概率值，即该信道条件下的几何与概率联合整形；
其中，所述步骤S1包括：
神经网络构建步骤：构建互信息量估计器，几何整形编码器和概率生成器；
互信息量估计器训练步骤：通过信道输入符号和信道输出符号训练互信息量估计器；
几何整形编码器预训练步骤：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练几何整形编码器；
概率生成器预训练步骤：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练概率生成器；
所述步骤S2包括如下步骤：
几何整形编码器训练步骤：基于梯度下降法，保持概率生成器不变，训练几何整形编码器和互信息量估计器；
概率生成器训练步骤：基于梯度下降法，保持几何整形编码器不变，训练概率生成器和互信息量估计器；
迭代训练几何整形编码器和概率生成器直至收敛；
在神经网络构建步骤中，几何整形编码器、概率生成器、互信息量估计器和解码器以如下方式构建：
几何整形编码器为神经网络，输入数据为原始比特，输出数据为处理后的符号，每种符号代表着星座图中的一个星座点；
互信息量估计器为神经网络，输入数据为信道输入符号和信道输出符号，输出数据为用于计算互信息量的标量；
概率生成器为神经网络，输入数据为固定向量，输出数据为不同星座点所对应的输出概率权重；
其中，几何整形编码器输出的处理后的符号、互信息量估计器输入的信道输入符号、互信息量估计器输入的信道输出符号以及解码器输入的信道输出符号四者维度一致，概率生成器输出的概率权重维度等于几何整形编码器输出星座点的种类的数量；
所述互信息量估计器训练步骤中使用计算互信息量的公式作为损失函数，公式为：
L＝-Ep(x,z)[T(x,z)]+log(Ep(x)p(z)[eT(x,z)])
其中，T表示互信息量估计器的神经网络函数；x表示输入比特的向量；z表示信道输出的向量；p(x,z)表示x和z的联合概率分布；p(x)p(z)表示x和z的边际概率分布；Ep(x,z)[T(x,z)]表示当x和z取联合分布的情况下T(x,z)的期望值；Ep(x)p(z)[eT(x,z)]表示当x和z取边际分布的情况下eT(x,z)的期望值；L表示损失函数；
利用梯度反向传播计算梯度，利用梯度下降更新网络参数，训练互信息量估计器损失函数，每个互信息量估计器训练步骤中，要求互信息量估计器重复多次训练；
在步骤S1的几何整形编码器预训练步骤中，将原始比特输入几何整形编码器中得到输出符号，经过功率归一化得到信道输入符号，经过信道得到信道输出符号，使用计算互信息量的公式作为损失函数，通过梯度反向传播和梯度下降的方法训练几何整形编码器神经网络；
在步骤S1中，互信息量估计器训练步骤和几何整形编码器预训练步骤迭代进行，二者使用相同的损失函数，损失值收敛时停止训练；
在步骤S1的概率生成器预训练步骤中，概率生成器神经网络通过Gumbel-Softmax函数进行激活，公式为：
Figure FDA0004233226050000021
其中，Gi为满足位置系数为0，尺度系数为1的Gumbel分布随机变量，temperature为温度常数，softmax为softmax函数，αi为不同星座点对应权重值，x为通过Gumbel-Softmax公式得到的不同星座点的输出情况；
将Gumbel-Softmax的输出值与对应星座点符号相乘，再将所有相乘的结果相加，得到概率整形的输出符号，经过功率归一化得到信道输入符号，再通过信道得到信道输出符号，使用计算互信息量的公式作为损失函数，通过梯度反向传播和梯度下降的方法训练概率生成器神经网络，在每个概率生成器训练周期中，训练概率生成器1次；
在步骤S1中，互信息量估计器训练步骤和概率生成器预训练步骤迭代进行，二者使用相同的损失函数，损失值收敛时停止训练；
在步骤S2的几何整形编码器训练步骤中，根据概率生成器所得到的不同星座点的发送概率训练几何整形编码器，使用计算互信息量的函数为损失函数，通过梯度反向传播和梯度下降迭代地训练几何整形编码器和互信息量估计器，每个迭代周期先训练多次互信息量估计器，再训练1次几何整形编码器，直至系统互信息量增加；
在步骤S2的概率生成器训练步骤中，根据几何整形编码器生成的星座图训练概率生成器，使用计算互信息量的函数为损失函数，通过梯度反向传播和梯度下降迭代地训练概率生成器和互信息量估计器，每个迭代周期先训练多次互信息量估计器，再训练1次概率生成器，直至系统互信息量增加；
步骤S2共迭代多次几何整形编码器的训练和概率生成器的训练直至收敛。
2.一种基于互信息量估计的几何与概率联合星座整形系统，其特征在于，包括：
模块M1：根据通信信道输入输出，构建并训练互信息量估计器神经网络，分别预训练几何整形编码器神经网络和概率生成器，使基于互信息量估计器计算的互信息量最大化；
模块M2：迭代训练互信息量估计器、几何整形编码器神经网络和概率生成器神经网络至收敛，使基于互信息量估计器计算的互信息量最大化，获得几何整形星座图以及各个星座点的概率值，即该信道条件下的几何与概率联合整形；
其中，所述模块M1包括：
神经网络构建模块：构建互信息量估计器，几何整形编码器和概率生成器；
互信息量估计器训练模块：通过信道输入符号和信道输出符号训练互信息量估计器；
几何整形编码器预训练模块：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练几何整形编码器；
概率生成器预训练模块：通过梯度下降法最大化基于互信息量估计器计算得到的互信息量，训练概率生成器；
所述模块M2包括如下模块：
几何整形编码器训练模块：基于梯度下降法，保持概率生成器不变，训练几何整形编码器和互信息量估计器；
概率生成器训练模块：基于梯度下降法，保持几何整形编码器不变，训练概率生成器和互信息量估计器；
迭代训练几何整形编码器和概率生成器直至收敛；在神经网络构建模块中，几何整形编码器、概率生成器、互信息量估计器和解码器以如下方式构建：
几何整形编码器为神经网络，输入数据为原始比特，输出数据为处理后的符号，每种符号代表着星座图中的一个星座点；
互信息量估计器为神经网络，输入数据为信道输入符号和信道输出符号，输出数据为用于计算互信息量的标量；
概率生成器为神经网络，输入数据为固定向量，输出数据为不同星座点所对应的输出概率权重；
其中，几何整形编码器输出的处理后的符号、互信息量估计器输入的信道输入符号、互信息量估计器输入的信道输出符号以及解码器输入的信道输出符号四者维度一致，概率生成器输出的概率权重维度等于几何整形编码器输出星座点的种类的数量；
所述互信息量估计器训练模块中使用计算互信息量的公式作为损失函数，公式为：
L＝-Ep(x,z)[T(x,z)]+log(Ep(x)p(z)[eT(x,z)])
其中，T表示互信息量估计器的神经网络函数；x表示输入比特的向量；z表示信道输出的向量；p(x,z)表示x和z的联合概率分布；p(x)p(z)表示x和z的边际概率分布；Ep(x,z)[T(x,z)]表示当x和z取联合分布的情况下T(x,z)的期望值；Ep(x)p(z)[eT(x,z)]表示当x和z取边际分布的情况下eT(x,z)的期望值；L表示损失函数；
利用梯度反向传播计算梯度，利用梯度下降更新网络参数，训练互信息量估计器损失函数，每个互信息量估计器训练模块中，要求互信息量估计器重复多次训练；
在模块M1的几何整形编码器预训练模块中，将原始比特输入几何整形编码器中得到输出符号，经过功率归一化得到信道输入符号，经过信道得到信道输出符号，使用计算互信息量的公式作为损失函数，通过梯度反向传播和梯度下降的方法训练几何整形编码器神经网络；
在模块M1中，互信息量估计器训练模块的训练步骤和几何整形编码器预训练模块的预训练步骤迭代进行，二者使用相同的损失函数，损失值收敛时停止训练；
在模块M1的概率生成器预训练模块的预训练步骤中，概率生成器神经网络通过Gumbel-Softmax函数进行激活，公式为：
Figure FDA0004233226050000041
其中，Gi为满足位置系数为0，尺度系数为1的Gumbel分布随机变量，temperature为温度常数，softmax为softmax函数，αi为不同星座点对应权重值，x为通过Gumbel-Softmax公式得到的不同星座点的输出情况；
将Gumbel-Softmax的输出值与对应星座点符号相乘，再将所有相乘的结果相加，得到概率整形的输出符号，经过功率归一化得到信道输入符号，再通过信道得到信道输出符号，使用计算互信息量的公式作为损失函数，通过梯度反向传播和梯度下降的方法训练概率生成器神经网络，在每个概率生成器训练周期中，训练概率生成器1次；
在模块M1中，互信息量估计器训练模块的训练步骤和概率生成器预训练模块的预训练步骤迭代进行，二者使用相同的损失函数，损失值收敛时停止训练；
在模块M2的几何整形编码器训练模块中，根据概率生成器所得到的不同星座点的发送概率训练几何整形编码器，使用计算互信息量的函数为损失函数，通过梯度反向传播和梯度下降迭代地训练几何整形编码器和互信息量估计器，每个迭代周期先训练多次互信息量估计器，再训练1次几何整形编码器，直至系统互信息量增加；
在模块M2的概率生成器训练模块中，根据几何整形编码器生成的星座图训练概率生成器，使用计算互信息量的函数为损失函数，通过梯度反向传播和梯度下降迭代地训练概率生成器和互信息量估计器，每个迭代周期先训练多次互信息量估计器，再训练1次概率生成器，直至系统互信息量增加；
模块M2共迭代多次几何整形编码器的训练和概率生成器的训练直至收敛。
CN202210010298.9A 2022-01-05 2022-01-05 基于互信息量估计的几何与概率联合星座整形方法及系统 Active CN114499755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210010298.9A CN114499755B (zh) 2022-01-05 2022-01-05 基于互信息量估计的几何与概率联合星座整形方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210010298.9A CN114499755B (zh) 2022-01-05 2022-01-05 基于互信息量估计的几何与概率联合星座整形方法及系统

Publications (2)

Publication Number Publication Date
CN114499755A CN114499755A (zh) 2022-05-13
CN114499755B true CN114499755B (zh) 2023-06-27

Family

ID=81510424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210010298.9A Active CN114499755B (zh) 2022-01-05 2022-01-05 基于互信息量估计的几何与概率联合星座整形方法及系统

Country Status (1)

Country Link
CN (1) CN114499755B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116155393A (zh) * 2023-02-20 2023-05-23 北京理工大学 一种基于自动编码器的几何-概率成形光信号产生方法
CN115955279B (zh) * 2023-03-14 2023-06-02 南京信息工程大学 一种基于可变自编码器的信道匹配非网格化编码调制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474346A (zh) * 2018-11-22 2019-03-15 北京邮电大学 一种基于几何-概率成形的光信号生成方法及装置
CN111628789A (zh) * 2020-05-26 2020-09-04 复旦大学 一种基于混合概率整形和几何整形的信号生成方法及装置
CN112910562A (zh) * 2021-01-15 2021-06-04 清华大学深圳国际研究生院 一种基于概率整形的通信方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11630989B2 (en) * 2020-03-09 2023-04-18 International Business Machines Corporation Mutual information neural estimation with Eta-trick

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474346A (zh) * 2018-11-22 2019-03-15 北京邮电大学 一种基于几何-概率成形的光信号生成方法及装置
CN111628789A (zh) * 2020-05-26 2020-09-04 复旦大学 一种基于混合概率整形和几何整形的信号生成方法及装置
CN112910562A (zh) * 2021-01-15 2021-06-04 清华大学深圳国际研究生院 一种基于概率整形的通信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
概率整形技术在带宽受限光纤通信信道中的性能研究;王瑞;奚秀娟;黎梦雪;陶理;谭辉;;舰船科学技术(05);第140-142+193页 *

Also Published As

Publication number Publication date
CN114499755A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114499755B (zh) 基于互信息量估计的几何与概率联合星座整形方法及系统
Vangala et al. A comparative study of polar code constructions for the AWGN channel
CN111712835A (zh) 数据传输系统中的信道建模
Rached et al. Unified importance sampling schemes for efficient simulation of outage capacity over generalized fading channels
CN110932734B (zh) 一种基于交替方向乘子法的深度学习信道译码方法
CN109361404A (zh) 一种基于半监督深度学习网络的ldpc译码系统及译码方法
CN110730008B (zh) 一种基于深度学习的rs码置信传播译码方法
CN105763203A (zh) 一种基于硬可靠度信息的多元ldpc码译码方法
CN106941394B (zh) 极化码编码的scma的联合检测译码方法及装置
US8952834B1 (en) Methods and systems for low weight coding
CN106130689A (zh) 一种非线性自反馈混沌神经网络信号盲检测方法
CN106464421B (zh) 一种数据发送方法和装置
CN103888391A (zh) 基于双Sigmoid混沌神经网络的信号盲检测方法
CN104393877A (zh) 基于加权的非规则ldpc码线性规划译码方法
CN111711455A (zh) 一种基于神经网络的极化码bp译码方法
CN101051875B (zh) 一种用于产生验证标准无线接收机性能的信号的方法及其装置
Chen et al. A novel FIR filter based on stochastic logic
CN104202052A (zh) 一种提高信噪比的Sigma-Delta调制器自适应混合优化方法
Zhang et al. A model-driven deep learning network for quantized GFDM receiver
CN113794479B (zh) 极化调节卷积码的生成方法及相关设备
Abderrahmane Design of a new interleaver using cross entropy method for turbo coding
CN114900198A (zh) 一种极化调整卷积码编码的方法与装置
CN101127575A (zh) 一种均匀分布随机数发生器及均匀分布随机数产生方法
Khan et al. Link to system interfacing for multiple input and multiple output wireless system using maximum likelihood receiver
WO2024057817A1 (ja) 無線信号処理システム及び無線信号処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant