CN108092669B - 一种基于离散余弦变换的自适应数据压缩方法及系统 - Google Patents
一种基于离散余弦变换的自适应数据压缩方法及系统 Download PDFInfo
- Publication number
- CN108092669B CN108092669B CN201711468356.8A CN201711468356A CN108092669B CN 108092669 B CN108092669 B CN 108092669B CN 201711468356 A CN201711468356 A CN 201711468356A CN 108092669 B CN108092669 B CN 108092669B
- Authority
- CN
- China
- Prior art keywords
- data
- sampling point
- learning
- domain signal
- signal sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于离散余弦变换的自适应数据压缩方法及系统。以离散余弦变换（DCT）为核心，利用其能量集中的特性，对频域系数进行选择和处理，将数据分为大系数数据块和小系数数据块，小系数数据块用较少的比特表示，而将更多的比特用于能量高、重要的系数的表示上面；同时，为了使该算法能够自适应地找到最佳的比特分配，学习最优的码本，算法还引入了启发式算法、Lloyd‑Max量化、编码等常用的压缩编码方法的选择和使用。本发明能够降低传输带宽，同时降低传输设备的成本，提升传输速率。
Description
技术领域
本发明涉及数据压缩技术领域，尤其是LTE基站系统通用公共射频接口(CPRI)的信号样点数据(简称IQ数据，同时I路数据指信号样点数据的实部数据，Q路数据指信号样点数据的虚部数据)的压缩方法及装置，具体为一种基于离散余弦变换的自适应数据压缩方法及系统。
背景技术
随着移动通信技术的发展，高速大容量的数据传输是一个必然的趋势。数据量的增大，对基站的光纤数据传输速度也提出了更高要求。当单根光纤无法满足传输速率时，只能通过提高光纤速率或增加光纤数量的方法实现高速数据传输。这两种方式都会增加设备成本。
LTE(LongTermEvolution，长期演进)基站是一种分布式基站设备，由基带单元设备(Base BandUnit，BBU)及射频远端设备(Remote RF Unit，RRU)构成。RRU与BBU之间通过光纤连接，采用通用公共射频接口协议进行数据交互。LTE系统中要实现BBU和多个RRU间的网络化组网连接将占用大量的传输带宽，目前的传输接入网传输带宽难以满足，针对基带处理单元和射频拉远单元之间的IQ数据进行压缩是非常值得研究的降低接口带宽的方法。
LTE旨在提升无线网络的数据传输速率，降低用户平面和控制平面延迟。为了满足这些需求，LTE采用了新技术和调制方法，支持以OFDM(OrthogonalFrequencyDivisionMultiplexing，正交频分复用技术)和MIMO(Multiple InputMultipleOutput，多输入多输出)技术为核心的无线网络技术。OFDM信号是随机幅度和相位信号的叠加，往往具有较高的峰均平均功率比(PAPR)，大部分的信号峰值在很小的范围内，只有很少的信号峰值起伏很大。
LTE系统CPIR接口的IQ数据的大部分的信号峰值在很小的范围内，只有很少的信号峰值起伏很大，如果采取普通的相同位数编码，信号的最大值决定了编码的位数，而其余小幅值信号编码时高位均为0。这样编码效率极其低下，并且增加了传输负担。
在此背景下我们提出一种算法。该算法是以离散余弦变换(DCT)为核心，利用其能量集中的特性，对频域系数进行选择和处理，将数据分为大系数数据块和小系数数据块，小系数数据块用较少的比特表示，而将更多的比特用于能量高、重要的系数的表示上面。同时，为了使该算法能够自适应地找到最佳的比特分配，学习最优的码本，算法还引入了启发式算法、Lloyd-Max量化、编码等常用的压缩编码方法的选择和使用。算法流程大致如图3所示，对于用于图像压缩的二维离散余弦变换，对于LTE基带信号，我们可以采用行列分离的算法，即I路数据和Q路数据分别进行离散余弦变换，这样就可以直接利用一维DCT快速运算子程序或硬件结构，实现起来比较容易。
发明内容
本发明的目的在于提供一种基于离散余弦变换的自适应数据压缩方法及系统，降低传输带宽，同时降低传输设备的成本，提升传输速率。
为实现上述目的，本发明的技术方案是：一种基于离散余弦变换的自适应数据压缩方法，包括如下步骤，
步骤S1：设定第一缓存区，分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到缓存区容量时，完成缓存，进行下一步处理；
步骤S2：将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本，进行下一步操作；
步骤S3：将处理后的三块学习样本输入学习模块，根据学习模块设定的动作选择库选择动作进行Lloyd-Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本；
步骤S4：数据压缩：将待发送的IQ时域信号样点数据输入第二缓存区，缓存完成后对信号进行离散余弦变换，转换为频域信号样点数据，对变换后的频域信号样点数据进行分块处理，平均分成三块数据；将分块后的三块数据根据学习模块输入的三个最优码本分别进行量化，编码，然后发送；
步骤S5：数据解压：将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；将解码后的三块频域信号合并成一块数据；将合并后的频域信号数据进行反DCT变换，从而还原信号。
在本发明一实施例中，所述动作选择库中包含着不同的压缩比率对应的分别对三块数据量化的比特数。
在本发明一实施例中，所述步骤S3的具体实现过程如下，
步骤S31：将处理过的三块数据作为学习样本输入学习模块，并采用Q学习算法来学习最优码本；
步骤S32：根据需求输入压缩比率，根据压缩比率得出学习模块的状态动作表；
步骤S33：初始化Q函数值表中的所有Q函数值，Q函数值初值的选取为任意值；
步骤S34：对于初始状态压缩比率sn，通过查询Q函数值表，依据动作选择策略，选择动作组压缩比特an作为初始状态；初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块数据进行Lloyd-Max最优量化；
步骤S35：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值；
步骤S36：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表；
Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]
其中，α是学习因子，其作用是控制学习的速度；智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值；
步骤S37：学习模块将不断根据新的状态选择动作，重复步骤S34，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束；最终得到三块数据所对应的最优码本。
在本发明一实施例中，所述步骤S4的具体实现过程如下，
步骤S41：将待发送的IQ数据发送至第二缓存区，待第二缓存区存储完毕之后对缓存区内的IQ数据执行下一步处理，并清空第二缓存区，准备下一次缓存；
步骤S42：对缓存的IQ两路数据块分别进行DCT变换；
步骤S43：将DCT变换后的频域数据平均分为三块，输入至压缩编码模块中；
步骤S44：根据先前从学习模块中接收到的三个最优码本分别对三块数据进行量化；
步骤S45：对量化后的数据进行编码，打包，然后通过光纤传送至数据解压模块。
在本发明一实施例中，所述步骤S5的具体实现过程如下，
步骤S51：根据学习模块输入的三个最优码本对接收到的三块数据码字进行解码；
步骤S52：将解码后的三块数据进行合并，合并成一块数据；
步骤S53：对合并后的数据进行离散余弦逆变换，将频域数据还原成时域数据；
步骤S54：将还原后的数据输入至射频处理单元。
本发明还提供了一种基于离散余弦变换的自适应数据压缩系统，包括离线学习模块，该离线学习模块包括第一缓存区、第一时频变换区、第一数据分块区、量化学习区；
所述第一缓存区，用于分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到第一缓存区容量时，完成缓存，发送至第一时频变换区；
所述第一时频变换区，用于将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据；
所述第一数据分块区，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本；
所述量化学习区，将处理后的三块学习样本，根据离线学习模块设定的动作选择库选择动作进行Lloyd-Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本。
在本发明一实施例中，所述量化学习区具体实现如下，
步骤S01：将处理过的三块数据作为学习样本输入离线学习模块，并采用Q学习算法来学习最优码本；
步骤S02：根据需求输入压缩比率，根据压缩比率得出离线学习模块的状态动作表；
步骤S03：初始化Q函数值表中的所有Q函数值，Q函数值初值的选取为任意值；
步骤S04：对于初始状态压缩比率sn，通过查询Q函数值表，依据动作选择策略，选择动作组压缩比特an作为初始状态；初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块数据进行Lloyd-Max最优量化；
步骤S05：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值；
步骤S06：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表；
Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]
其中，α是学习因子，其作用是控制学习的速度；智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值；
步骤S07：离线学习模块将不断根据新的状态选择动作，重复步骤S34，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束；最终得到三块数据所对应的最优码本。
在本发明一实施例中，还包括数据压缩模块，该数据压缩模块包括第二缓存区、第二时频变换区、第二数据分块区、量化编码区；
所述第二缓存区，用于分别缓存待发送的IQ时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到第一缓存区容量时，完成缓存，发送至第二时频变换区；
所述第二时频变换区，用于将第二缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据；
所述第二数据分块区，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块；
所述量化编码区，将分块后的三块数据根据离线学习模块输入的三个最优码本分别进行量化，编码，然后发送。
在本发明一实施例中，还包括包括数据解压模块，该数据解压模块包括解码区、数据合并区、第三时频变换区；
所述解码区，将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；
所述数据合并区，将解码后的三块频域信号合并成一块数据；
所述第三时频变换区，将合并后的频域信号数据进行反DCT变换，从而还原信号。
相较于现有技术，本发明具有以下有益效果：本发明能够降低传输带宽，同时降低传输设备的成本，提升传输速率。
附图说明
图1为本发明实施场景结构图。
图2为本发明所提供的IQ数据压缩方法的时频分析说明图。
图3为本发明所提供的IQ数据压缩方法的具体实施方式的流程图。
图4为本发明所提供的IQ数据压缩方法学习模块的整体框架示意图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明的一种基于离散余弦变换的自适应数据压缩方法，包括如下步骤，
步骤S1：设定第一缓存区，分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到缓存区容量时，完成缓存，进行下一步处理；
步骤S2：将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本，进行下一步操作；
步骤S3：将处理后的三块学习样本输入学习模块，根据学习模块设定的动作选择库选择动作进行Lloyd-Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本；
步骤S4：数据压缩：将待发送的IQ时域信号样点数据输入第二缓存区，缓存完成后对信号进行离散余弦变换，转换为频域信号样点数据，对变换后的频域信号样点数据进行分块处理，平均分成三块数据；将分块后的三块数据根据学习模块输入的三个最优码本分别进行量化，编码，然后发送；所述动作选择库中包含着不同的压缩比率对应的分别对三块数据量化的比特数；
步骤S5：数据解压：将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；将解码后的三块频域信号合并成一块数据；将合并后的频域信号数据进行反DCT变换，从而还原信号。
所述步骤S3的具体实现过程如下，
步骤S31：将处理过的三块数据作为学习样本输入学习模块，并采用Q学习算法来学习最优码本；
步骤S32：根据需求输入压缩比率，根据压缩比率得出学习模块的状态动作表；
步骤S33：初始化Q函数值表中的所有Q函数值，Q函数值初值的选取为任意值；
步骤S34：对于初始状态压缩比率sn，通过查询Q函数值表，依据动作选择策略，选择动作组压缩比特an作为初始状态；初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块数据进行Lloyd-Max最优量化；
步骤S35：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值；
步骤S36：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表；
Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]
其中，α是学习因子，其作用是控制学习的速度；智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值；
步骤S37：学习模块将不断根据新的状态选择动作，重复步骤S34，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束；最终得到三块数据所对应的最优码本。
所述步骤S4的具体实现过程如下，
步骤S41：将待发送的IQ数据发送至第二缓存区，待第二缓存区存储完毕之后对缓存区内的IQ数据执行下一步处理，并清空第二缓存区，准备下一次缓存；
步骤S42：对缓存的IQ两路数据块分别进行DCT变换；
步骤S43：将DCT变换后的频域数据平均分为三块，输入至压缩编码模块中；
步骤S44：根据先前从学习模块中接收到的三个最优码本分别对三块数据进行量化；
步骤S45：对量化后的数据进行编码，打包，然后通过光纤传送至数据解压模块。
所述步骤S5的具体实现过程如下，
步骤S51：根据学习模块输入的三个最优码本对接收到的三块数据码字进行解码；
步骤S52：将解码后的三块数据进行合并，合并成一块数据；
步骤S53：对合并后的数据进行离散余弦逆变换，将频域数据还原成时域数据；
步骤S54：将还原后的数据输入至射频处理单元。
本发明还提供了一种基于离散余弦变换的自适应数据压缩系统，包括离线学习模块，该离线学习模块包括第一缓存区、第一时频变换区、第一数据分块区、量化学习区；
所述第一缓存区，用于分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到第一缓存区容量时，完成缓存，发送至第一时频变换区；
所述第一时频变换区，用于将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据；
所述第一数据分块区，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本；
所述量化学习区，将处理后的三块学习样本，根据离线学习模块设定的动作选择库选择动作进行Lloyd-Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本；具体实现步骤如下，
步骤S01：将处理过的三块数据作为学习样本输入离线学习模块，并采用Q学习算法来学习最优码本；
步骤S02：根据需求输入压缩比率，根据压缩比率得出离线学习模块的状态动作表；
步骤S03：初始化Q函数值表中的所有Q函数值，Q函数值初值的选取为任意值；
步骤S04：对于初始状态压缩比率sn，通过查询Q函数值表，依据动作选择策略，选择动作组压缩比特an作为初始状态；初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块数据进行Lloyd-Max最优量化；
步骤S05：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值；
步骤S06：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表；
Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]
其中，α是学习因子，其作用是控制学习的速度；智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值；
步骤S07：离线学习模块将不断根据新的状态选择动作，重复步骤S34，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束；最终得到三块数据所对应的最优码本。
所述基于离散余弦变换的自适应数据压缩系统，还包括数据压缩模块，该数据压缩模块包括第二缓存区、第二时频变换区、第二数据分块区、量化编码区；
所述第二缓存区，用于分别缓存待发送的IQ时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到第一缓存区容量时，完成缓存，发送至第二时频变换区；
所述第二时频变换区，用于将第二缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据；
所述第二数据分块区，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块；
所述量化编码区，将分块后的三块数据根据离线学习模块输入的三个最优码本分别进行量化，编码，然后发送。
所述基于离散余弦变换的自适应数据压缩系统，还包括包括数据解压模块，该数据解压模块包括解码区、数据合并区、第三时频变换区；
所述解码区，将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；
所述数据合并区，将解码后的三块频域信号合并成一块数据；
所述第三时频变换区，将合并后的频域信号数据进行反DCT变换，从而还原信号。
以下为本发明的具体实施过程。
本发明设计的数据压缩方法部署方式是基于如图1所示的分布式基站架构，回传网络由一对连接BBU和RRU的光网络构成，其中一个方向用于上行链路传输，另一个方向用于下行链路传输。在下行方向，压缩处理模块位于基站端，解压缩模块位于射频拉远端；在基站端，BBU生成原始基带数据，经过压缩处理后由光网络传输到射频拉远端，由解压缩模块解压后送给RRU。与之相反，在上行方向，压缩模块位于RRU端，而解压缩模块位于BBU端。
无论在上行还是下行方向，压缩和解压缩模块均使用相同的配置和结构。下面只针对下行链路方向的数据压缩和解压缩进行分析，另一个方向的压缩方法与之对应。
本发明实施例的发送端处理IQ数据的方法的流程图如图3所示，包括如下步骤：
步骤一：先设定一个缓存区，用于缓存学习样本数据。
步骤二：将样本IQ数据输入至缓存区，缓存区存储完成之后将缓存区的样本数据经过离散余弦变换为频域数据，变换后的频域数据动态范围分布不均。
步骤三：将变换后的频域数据平均分为三块，作为学习样本输入至学习模块。
学习模块流程图如图3所示，下面以20M带宽，64QAM调制信号，为例进行详细说明，LTE系统中20M带宽对应的采样频率为30.72Mbps，对应的RB资源数为100，缓存区暂时设为一个无线帧大小，按照3GPP协议的规定，一个无线帧被定义为持续时间长度为10ms的帧，所以缓存区数据样点数为30.72Mbps*10ms＝307200。
学习过程包括如下步骤：
步骤一：将处理过的三块频域数据作为学习样本输入学习模块。这里采用Q学习算法来学习最优码本，Q学习是强化学习的主要算法之一，Q学习基于的一个关键假设是智能体和环境的交互可看作为一个Markov决策过程(MDP)，即智能体当前所处的状态和所选择的动作，决定一个固定的状态转移概率分布、下一个状态、并得到一个即时回报。Q学习的目标是寻找一个策略可以最大化将来获得的报酬。
步骤二：根据系统需求输入压缩比率，根据压缩率得出学习模块的状态动作表。以2倍压缩比率为例，由于LTE系统在64QAM调制下IQ数据采样宽度为16bit，所以当压缩比率为2时，就是将16bit数据压缩为8bit数据，设三块频域数据所对应的压缩比特数分别为N1，N2，N3，三块频域数据的数据量都相同，所以N1+N2+N3＝8*3＝24，则在2倍压缩压缩比率下相应的动作表如表格1所示。
表格1
步骤三：初始化Q函数值表中的所有Q函数值。Q函数值初值的选取可以为任意值。为了加快学习的速度，可以依据一定的经验知识对一函数值的初值进行赋值，使Q函数值表更符合网络的运行规律，避免不必要的学习过程，提高学习效率。
步骤四：对于初始状态sn(压缩比率)，通过查询Q函数值表，依据动作选择策略，选择动作组an(压缩比特)作为当前状态下。初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块频域数据进行Lloyd-Max最优量化。
步骤五：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值。
步骤六：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表。
Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]
这里的α是学习因子，其作用是控制学习的速度。智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值。
步骤七：学习模块将不断根据新的状态选择动作，重复步骤四，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束。最终得到三块数据所对应的最优码本。
步骤八：输出最优码本至压缩解压模块。
压缩模块接收到最优码本之后，便可以开始压缩解压的过程，具体流程图如图4所示。首先是进行压缩过程，具体步骤如下：
步骤一：将待发送的IQ数据发送至之前设定好的缓存区，待缓存区存储完毕之后将缓存区内的IQ数据输入至频域变换模块，清空缓存区，准备下一次缓存。
步骤二：在频域变换模块中对缓存的IQ两路数据块分别进行DCT变换。
步骤三：将变换后的频域数据平均分为三块，输入至压缩编码模块中。
步骤四：根据先前从学习模块中接收到的三个最优码本分别对三块数据进行量化。
步骤五：对量化后的数据进行编码，打包，然后通过光纤传送至数据解压模块。
压缩后的数据码字传送至射频处理单元之前的解压模块，对数据码字进行解码，具体步骤如下：
步骤一：根据学习模块输入的三个最优码本对接收到的三块数据码字进行解码。
步骤二：将解码后的三块数据进行合并，合并成一块数据。
步骤三：对合并后的数据进行离散余弦逆变换，将频域数据还原成时域数据。
步骤四：将还原后的数据输入至射频处理单元。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (9)
1.一种基于离散余弦变换的自适应数据压缩方法，其特征在于：包括如下步骤，
步骤S1：设定第一缓存区，分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到缓存区容量时，完成缓存，进行下一步处理；
步骤S2：将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本，进行下一步操作；
步骤S3：将处理后的三块学习样本输入学习模块，根据学习模块设定的动作选择库选择动作进行Lloyd-Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本；
步骤S4：数据压缩：将待发送的IQ时域信号样点数据输入第二缓存区，缓存完成后对信号进行离散余弦变换，转换为频域信号样点数据，对变换后的频域信号样点数据进行分块处理，平均分成三块数据；将分块后的三块数据根据学习模块输入的三个最优码本分别进行量化，编码，然后发送；
步骤S5：数据解压：将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；将解码后的三块频域信号合并成一块数据；将合并后的频域信号数据进行反DCT变换，从而还原信号。
2.根据权利要求1所述的一种基于离散余弦变换的自适应数据压缩方法，其特征在于：所述动作选择库中包含着不同的压缩比率对应的分别对三块数据量化的比特数。
3.根据权利要求1所述的一种基于离散余弦变换的自适应数据压缩方法，其特征在于：所述步骤S3的具体实现过程如下，
步骤S31：将处理过的三块数据作为学习样本输入学习模块，并采用Q学习算法来学习最优码本；
步骤S32：根据需求输入压缩比率，根据压缩比率得出学习模块的状态动作表；
步骤S33：初始化Q函数值表中的所有Q函数值，Q函数值初值的选取为任意值；
步骤S34：对于初始状态压缩比率sn，通过查询Q函数值表，依据动作选择策略，选择动作组压缩比特an作为初始状态；初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块数据进行Lloyd-Max最优量化；
步骤S35：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值；
步骤S36：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表；
Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]
其中，α是学习因子，其作用是控制学习的速度；智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值；
步骤S37：学习模块将不断根据新的状态选择动作，重复步骤S34，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束；最终得到三块数据所对应的最优码本。
4.根据权利要求3所述的一种基于离散余弦变换的自适应数据压缩方法，其特征在于：所述步骤S4的具体实现过程如下，
步骤S41：将待发送的IQ数据发送至第二缓存区，待第二缓存区存储完毕之后对缓存区内的IQ数据执行下一步处理，并清空第二缓存区，准备下一次缓存；
步骤S42：对缓存的IQ两路数据块分别进行DCT变换；
步骤S43：将DCT变换后的频域数据平均分为三块，输入至压缩编码模块中；
步骤S44：根据先前从学习模块中接收到的三个最优码本分别对三块数据进行量化；
步骤S45：对量化后的数据进行编码，打包，然后通过光纤传送至数据解压模块。
5.根据权利要求4所述的一种基于离散余弦变换的自适应数据压缩方法，其特征在于：所述步骤S5的具体实现过程如下，
步骤S51：根据学习模块输入的三个最优码本对接收到的三块数据码字进行解码；
步骤S52：将解码后的三块数据进行合并，合并成一块数据；
步骤S53：对合并后的数据进行离散余弦逆变换，将频域数据还原成时域数据；
步骤S54：将还原后的数据输入至射频处理单元。
6.一种基于离散余弦变换的自适应数据压缩系统，其特征在于：包括离线学习模块，该离线学习模块包括第一缓存区、第一时频变换区、第一数据分块区、量化学习区；
所述第一缓存区，用于分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到第一缓存区容量时，完成缓存，发送至第一时频变换区；
所述第一时频变换区，用于将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据；
所述第一数据分块区，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本；
所述量化学习区，将处理后的三块学习样本，根据离线学习模块设定的动作选择库选择动作进行Lloyd-Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本。
7.根据权利要求6所述的一种基于离散余弦变换的自适应数据压缩系统，其特征在于：所述量化学习区具体实现如下，
步骤S01：将处理过的三块数据作为学习样本输入离线学习模块，并采用Q学习算法来学习最优码本；
步骤S02：根据需求输入压缩比率，根据压缩比率得出离线学习模块的状态动作表；
步骤S03：初始化Q函数值表中的所有Q函数值，Q函数值初值的选取为任意值；
步骤S04：对于初始状态压缩比率sn，通过查询Q函数值表，依据动作选择策略，选择动作组压缩比特an作为初始状态；初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块数据进行Lloyd-Max最优量化；
步骤S05：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值；
步骤S06：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表；
Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]
其中，α是学习因子，其作用是控制学习的速度；智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值；
步骤S07：离线学习模块将不断根据新的状态选择动作，重复步骤S34，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束；最终得到三块数据所对应的最优码本。
8.根据权利要求6所述的一种基于离散余弦变换的自适应数据压缩系统，其特征在于：还包括数据压缩模块，该数据压缩模块包括第二缓存区、第二时频变换区、第二数据分块区、量化编码区；
所述第二缓存区，用于分别缓存待发送的IQ时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到第一缓存区容量时，完成缓存，发送至第二时频变换区；
所述第二时频变换区，用于将第二缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据；
所述第二数据分块区，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块；
所述量化编码区，将分块后的三块数据根据离线学习模块输入的三个最优码本分别进行量化，编码，然后发送。
9.根据权利要求8所述的一种基于离散余弦变换的自适应数据压缩系统，其特征在于：还包括包括数据解压模块，该数据解压模块包括解码区、数据合并区、第三时频变换区；
所述解码区，将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；
所述数据合并区，将解码后的三块频域信号合并成一块数据；
所述第三时频变换区，将合并后的频域信号数据进行反DCT变换，从而还原信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711468356.8A CN108092669B (zh) | 2017-12-28 | 2017-12-28 | 一种基于离散余弦变换的自适应数据压缩方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711468356.8A CN108092669B (zh) | 2017-12-28 | 2017-12-28 | 一种基于离散余弦变换的自适应数据压缩方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108092669A CN108092669A (zh) | 2018-05-29 |
| CN108092669B true CN108092669B (zh) | 2020-06-16 |
Family
ID=62180505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711468356.8A Expired - Fee Related CN108092669B (zh) | 2017-12-28 | 2017-12-28 | 一种基于离散余弦变换的自适应数据压缩方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108092669B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109495415B (zh) * | 2018-10-12 | 2021-05-14 | 武汉邮电科学研究院有限公司 | 基于数字余弦变换和分段量化的数字移动前传方法及链路 |
| CN110691242B (zh) * | 2019-09-16 | 2020-08-28 | 华中科技大学 | 一种大幅面遥感图像无损压缩方法 |
| CN112468427A (zh) * | 2020-11-24 | 2021-03-09 | 西南交通大学 | 一种基于二维离散余弦变换的数字移动前传信号量化方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1102030A (zh) * | 1993-04-13 | 1995-04-26 | 三星电子株式会社 | 可按照频域能量特性改变量化级的编码方法及其装置 |
| CN1438767A (zh) * | 2002-02-16 | 2003-08-27 | 三星电子株式会社 | 利用小波包变换压缩音频信号的方法和装置 |
| CN104702369A (zh) * | 2013-12-06 | 2015-06-10 | 中兴通讯股份有限公司 | 一种处理信号样点数据的方法及装置 |
-
2017
- 2017-12-28 CN CN201711468356.8A patent/CN108092669B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1102030A (zh) * | 1993-04-13 | 1995-04-26 | 三星电子株式会社 | 可按照频域能量特性改变量化级的编码方法及其装置 |
| CN1438767A (zh) * | 2002-02-16 | 2003-08-27 | 三星电子株式会社 | 利用小波包变换压缩音频信号的方法和装置 |
| CN104702369A (zh) * | 2013-12-06 | 2015-06-10 | 中兴通讯股份有限公司 | 一种处理信号样点数据的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 小波图像压缩编码算法及应用研究;马大玮;《中国博士学位论文全文数据库（电子期刊）》;20040315;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108092669A (zh) | 2018-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9729215B2 (en) | OFDM signal compression | |
| US8638845B2 (en) | Channel state information compressing apparatus and method, channel state information expanding apparatus and method, computer programs, receiver, and transmitter | |
| CN108092669B (zh) | 一种基于离散余弦变换的自适应数据压缩方法及系统 | |
| CN102291773B (zh) | 一种数据压缩方法和设备 | |
| CN113424467B (zh) | 通信系统及用于通信比特符号的方法 | |
| WO2016041204A1 (en) | Methods for compressing and decompressing iq data, and associated devices | |
| CN102255692A (zh) | 一种数据压缩方法和设备 | |
| WO2019001697A1 (en) | SUB-BAND COMPRESSION DOMAIN PROCESSING FOR UPLINK MIMO SYSTEMS | |
| KR100904404B1 (ko) | 멀티스케일 무선 통신 | |
| CN104702369A (zh) | 一种处理信号样点数据的方法及装置 | |
| Su et al. | A novel DCT-based compression scheme for 5G vehicular networks | |
| CN103534959A (zh) | 使用线性变换的回程通信的信号压缩 | |
| CN107437976B (zh) | 一种数据处理方法及设备 | |
| CN102307372B (zh) | 一种基于Lloyd-Max量化器的数据压缩方法和设备 | |
| CN103138868A (zh) | Lte系统中数据处理方法 | |
| WO2007111198A1 (ja) | 送信方法及び送信装置 | |
| WO2024113821A1 (zh) | 数据压缩方法、数据解压缩方法、装置、系统及存储介质 | |
| Lee et al. | A simple and efficient IQ data compression method based on latency, EVM, and compression ratio analysis | |
| CN104868942A (zh) | 通信设备和通信系统 | |
| You | Near-lossless compression/decompression algorithms for digital data transmitted over fronthaul in C-RAN | |
| CN110612672A (zh) | 用于使用低位模数转换器进行数据检测的设备和方法 | |
| He et al. | A compression scheme for LTE baseband signal in C-RAN | |
| Feng | Data Compression Scheme of Fronthaul Network Based on LTE. | |
| Thulajanaik et al. | An Adaptive Compression Technique for Efficient Video Reconstruction in Future Generation Wireless Network. | |
| Sheikh et al. | Energy efficient image transmission through orthogonal frequency division multiplexing (OFDM) based multiple input multiple output (MIMO) systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200616 Termination date: 20211228 |