CN116567269A - 一种基于信噪分离的频谱监测数据压缩方法 - Google Patents

一种基于信噪分离的频谱监测数据压缩方法 Download PDF

Info

Publication number
CN116567269A
CN116567269A CN202310472610.0A CN202310472610A CN116567269A CN 116567269 A CN116567269 A CN 116567269A CN 202310472610 A CN202310472610 A CN 202310472610A CN 116567269 A CN116567269 A CN 116567269A
Authority
CN
China
Prior art keywords
data
signal
spectrum
noise
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310472610.0A
Other languages
English (en)
Inventor
刘红杰
陈鹏
洪卫军
郭健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJNG KNOWLEDGEABLE POWERISE TECHNOLOGY DEVELOPMENT CO LTD
Beijing Boshi Guanglian Technology Co ltd
Original Assignee
BEIJNG KNOWLEDGEABLE POWERISE TECHNOLOGY DEVELOPMENT CO LTD
Beijing Boshi Guanglian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJNG KNOWLEDGEABLE POWERISE TECHNOLOGY DEVELOPMENT CO LTD, Beijing Boshi Guanglian Technology Co ltd filed Critical BEIJNG KNOWLEDGEABLE POWERISE TECHNOLOGY DEVELOPMENT CO LTD
Priority to CN202310472610.0A priority Critical patent/CN116567269A/zh
Publication of CN116567269A publication Critical patent/CN116567269A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93Run-length coding
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于信噪分离的频谱监测数据压缩方法,属于综合数字移动通信领域。一种基于信噪分离的频谱监测数据压缩方法,通过提取频谱包络对信号段和噪声段进行分离,利用DCT变换对数据进行压缩处理;压缩步骤如下:步骤一,频谱监测数据建模;步骤二,基于均方根的功率谱包络估计;步骤三,频谱分段;步骤四:数据压缩;本发明解决了无线电监测系统运行中海量频谱监测数据的存储和传输问题,通过提取频谱包络对信号段和噪声段进行分离,利用DCT变换对数据进行压缩处理,决绝了传统数据压缩对信号和噪声统一处理的问题,提高了无线电监测系统频谱监测数据的传输、存储效率。

Description

一种基于信噪分离的频谱监测数据压缩方法
技术领域
本发明涉及综合数字移动通信技术领域,尤其涉及一种基于信噪分离的频谱监测数据压缩方法。
背景技术
现有数据压缩算法依据恢复数据与原数据之间是否存在失真,可分为无损压缩和有损压缩两种。
无损压缩可以在不丢失信息的前提下,减少原始数据所占的内存空间,进而提高其传输、存储效率;无损压缩虽然不会造成信源失真,但其压缩率仅为40%左右,不适合大量频谱监测数据的压缩;而有损压缩虽然有更高的压缩率但其对复杂环境中波形的压缩能力较弱,且压缩率仅为80%;利用多帧频谱序列之间时序上的相关性进行频谱帧分段、压缩,该算法有低复杂度、易实现的优点,但在80%的压缩率下仍然有10%的百分比均方根误差。
发明内容
为了实现上述目的,本发明采用了如下技术方案:
一种基于信噪分离的频谱监测数据压缩方法,通过提取频谱包络对信号段和噪声段进行分离,利用DCT变换对数据进行压缩处理。优选地,压缩步骤如下:
步骤一,频谱监测数据建模;
步骤二,基于均方根的功率谱包络估计;
步骤三,频谱分段;
步骤四:数据压缩。
进一步地,所述步骤一频谱监测数据建模为:使用监测接收机或频谱分析仪设备对一定时间和频段范围内的电磁频谱进行扫描监测,得到该频段背景信号的功率谱数据。
更进一步地,每一个一定时间时隙的频谱监测结果P是由N点扫描数据afi构成的一维序列:
P=[af1,af2,...,afN]
其中,fj为第j个扫描频点,j=1,2,...,N。
进一步地,所述步骤二基于均方根的功率谱包络为:
S1、监测接收机或频谱分析仪设备设备会将所监测的频谱划分为32768个频点;
S2、针对每一条接收到的频谱监测数据,首先定义一个长度为len的一维滑动窗口;S3、窗内数据的初始化值为全零,之后对窗内的频谱监测数据进行均方根运算,记录运算结果后滑动窗口向前滑动1个单位;
S4、窗内数据与频谱监测数据重叠的部分会替换掉窗内数据;
S5、计算窗内数据的均方根值;
S6、检查是否所有数据都已被窗口扫描过;若是,则跳转回步骤S3,否则继续下一步;
S7、得到功率谱的包络估计曲线。
进一步地,步骤S5中的m个频谱监测数据的均方根值计算公式如式:
其中,afm为第m个监测频点,rms为计算得到的均方根值;
包络估计结果如式:
ENV=[rms1,rms2,...,rmsm]
其中,ENV为由m个均方根值组成的m维向量,rms1为第m个均方根计算结果。
更进一步地,所述步骤三频谱分段为:依据步骤二的包络的结果计算划分阈值,将整个频谱监测频段分为信号段和噪声段;阈值由包络结果加3求得,大于或等于此阈值的频谱数据被划分为信号段,而低于此阈值的频谱数据被划分为噪声段。
再进一步地,
所述阈值计算公式如式:
其中,TH为阈值计算结果,rmsm为第m个均方根计算结果;
信号与噪声划分阈值见图3;
大于或等于此阈值的频谱数据被划分为信号段,而低于此阈值的频谱数据被划分为噪声段,如式所示。
其中ENV为求得的频谱数据包络,x为ENV中的元素,TH为求得的阈值,signal为信号集,noise为噪声集。
进一步地,所述步骤四数据压缩为:首先通过信号集与噪声集数据的“索引”提取原始监测数据p中的信号段与噪声段,其次对信号段和噪声段分别进行DCT变换并分别进行不同程度的量化,最后通过熵编码进行压缩;熵编码过程由游程编码与LZMA编码结合,将量化后数据的熵冗余降低。
更进一步地,所述DCT变换公式如式所示:
其中,N为频谱监测数据序列长度;f(i)为频谱监测数据序列中第i个元素,i=0…N-1;c(u)为DCT变换系数,u=0…N-1;F(u)为一维DCT变换结果。
与现有技术相比,本发明提供了一种基于信噪分离的频谱监测数据压缩方法,具备以下有益效果:
1、该基于信噪分离的频谱监测数据压缩方法,提高了频谱监测数据的传输效率和节省数据存储空间,能够显著节省频谱监测数据的存储空间,提升传输效率。
2、本发明通过提取频谱包络对信号段和噪声段进行分离,利用DCT变换对数据进行压缩处理,决绝了传统数据压缩对信号和噪声统一处理的问题,提高了频谱监测数据的传输、存储效率。
3、本发明数据压缩整体方法流程,其中包括频谱监测数据建模、基于均方根的功率谱包络估计、频谱分段及数据压缩过程;解决了无线电监测系统运行中海量频谱监测数据的存储和传输问题,通过提取频谱包络对信号段和噪声段进行分离,利用DCT变换对数据进行压缩处理,决绝了传统数据压缩对信号和噪声统一处理的问题,提高了无线电监测系统频谱监测数据的传输、存储效率。
附图说明
图1为本发明提出的一种基于信噪分离的频谱监测数据压缩方法的频谱监测结果图;
图2为本发明提出的一种基于信噪分离的频谱监测数据压缩方法的频谱数据上包络估计结果图;
图3为本发明提出的一种基于信噪分离的频谱监测数据压缩方法的信号与噪声划分阀值;
图4为本发明提出的一种基于信噪分离的频谱监测数据压缩方法的频谱数据分段;
图5为本发明提出的一种基于信噪分离的频谱监测数据压缩方法的整体流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
参照图1-5,一种基于信噪分离的频谱监测数据压缩方法,通过提取频谱包络对信号段和噪声段进行分离,利用DCT变换对数据进行压缩处理。
压缩步骤如下:
步骤一,频谱监测数据建模;
步骤一频谱监测数据建模为:使用监测接收机或频谱分析仪设备对一定时间和频段范围内的电磁频谱进行扫描监测,得到该频段背景信号的功率谱数据。
每一个一定时间时隙的频谱监测结果P是由N点扫描数据afi构成的一维序列:
P=[af1,af2,...,afN]
其中,fj为第j个扫描频点,j=1,2,...,N。
实际监测过程中获取到的功率谱数据是对数功率谱,监测接收机扫描得到的包含完整目标频段的电磁环境对数功率谱数据,参照图1。
步骤二,基于均方根的功率谱包络估计;
步骤二基于均方根的功率谱包络为:
S1、监测接收机或频谱分析仪设备设备会将所监测的频谱划分为32768个频点;
S2、针对每一条接收到的频谱监测数据,首先定义一个长度为len的一维滑动窗口;S3、窗内数据的初始化值为全零,之后对窗内的频谱监测数据进行均方根运算,记录运算结果后滑动窗口向前滑动1个单位;
S4、窗内数据与频谱监测数据重叠的部分会替换掉窗内数据;
S5、计算窗内数据的均方根值;
S6、检查是否所有数据都已被窗口扫描过;若是,则跳转回步骤S3,否则继续下一步;
S7、得到功率谱的包络估计曲线。
步骤S5中的m个频谱监测数据的均方根值计算公式如式:
其中,afm为第m个监测频点,rms为计算得到的均方根值;
包络估计结果如式:
ENV=[rms1,rms2,...,rmsm]
其中,ENV为由m个均方根值组成的m维向量,rms1为第m个均方根计算结果,频谱数据上包络估计结果见图2。
步骤三,频谱分段;
步骤三频谱分段为:依据步骤二的包络的结果计算划分阈值,将整个频谱监测频段分为信号段和噪声段;阈值由包络结果加3求得,大于或等于此阈值的频谱数据被划分为信号段,而低于此阈值的频谱数据被划分为噪声段。
阈值计算公式如式:
其中,TH为阈值计算结果,rmsm为第m个均方根计算结果;
信号与噪声划分阈值见图3;
大于或等于此阈值的频谱数据被划分为信号段,而低于此阈值的频谱数据被划分为噪声段,如式所示。
其中ENV为求得的频谱数据包络,x为ENV中的元素,TH为求得的阈值,signal为信号集,noise为噪声集;频谱数据分段结果见图4。
步骤四:数据压缩。
步骤四数据压缩为:首先通过信号集与噪声集数据的“索引”提取原始监测数据p中的信号段与噪声段,其次对信号段和噪声段分别进行DCT变换并分别进行不同程度的量化,最后通过熵编码进行压缩;熵编码过程由游程编码与LZMA编码结合,将量化后数据的熵冗余降低。
更进一步地,DCT变换公式如式所示:
其中,N为频谱监测数据序列长度;f(i)为频谱监测数据序列中第i个元素,i=0…N-1;c(u)为DCT变换系数,u=0…N-1;F(u)为一维DCT变换结果。
本发明中总体执行步骤如下:
Step1获取一帧频谱监测数据P;
Step2通过rms包络估计算法求得的P上包络ENV;
Step3计算ENV的均值并加3,得到阈值TH;
Step4通过阈值TH将ENV划为signal和noise两子集,并获取它们的“索引”;
Step5通过“索引”获取原频谱监测数据P中的信号段和噪声段;
Step6对噪声段数据和信号段数据分别进行DCT变换和量化;
Step7对量化后的数据进行熵编码,得到压缩结果;
仿真实验流程:
1、使用Signal hound的BB60C实时频谱分析仪对包含GSM-R频段的880MHz-960MHz频段的频谱进行扫描监测,为保证后续频谱分析的有效性,扫描步进为2.441KHz,因此每帧有32768个扫描数据点。
2、通过压缩比和百分比均方根误差来衡量算法性能,CR的计算公式如式
其中,Dorig为原始数据占用的内存空间,Dcomp为压缩后数据占用的内存空间。
PRD的计算公式如式所示:
其中,xi为原始频谱监测数据,为恢复出的频谱监测数据。
3、压缩比与数据恢复误差测试,随机选取了5帧频谱监测数据作为压缩处理的样本,对每一帧进行压缩与恢复,并统计它们的CR与PRD,如表1所示。
表1压缩效果统计
压缩比稳定在12左右,且PRD<4%,表明整体的压缩效果较为理想,误差在可接受的范围内且该压缩比满足了GSM-R系统日常频谱监测数据的传输、存储需求。
提高了频谱监测数据的传输效率和节省数据存储空间,并仿真了算法全过程,压缩比稳定在12-13之间,能够显著节省频谱监测数据的存储空间,提升传输效率,且PRD误差小于4%,恢复后的数据失真较小,保障了恢复数据的可靠性。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于信噪分离的频谱监测数据压缩方法,其特征在于,通过提取频谱包络对信号段和噪声段进行分离,利用DCT变换对数据进行压缩处理。
2.根据权利要求1所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,
压缩步骤如下:
步骤一,频谱监测数据建模;
步骤二,基于均方根的功率谱包络估计;
步骤三,频谱分段;
步骤四:数据压缩。
3.根据权利要求2所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,所述步骤一频谱监测数据建模为:使用监测接收机或频谱分析仪设备对一定时间和频段范围内的电磁频谱进行扫描监测,得到该频段背景信号的功率谱数据。
4.根据权利要求3所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,每一个一定时间时隙的频谱监测结果P是由N点扫描数据构成的一维序列:
其中,fj为第j个扫描频点,j=1,2,...,N。
实际监测过程中获取到的功率谱数据是对数功率谱,监测接收机扫描得到的包含完整目标频段的电磁环境对数功率谱数据,参照图1。
5.根据权利要求2所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,所述步骤二基于均方根的功率谱包络为:
S1、监测接收机或频谱分析仪设备设备会将所监测的频谱划分为32768个频点;
S2、针对每一条接收到的频谱监测数据,首先定义一个长度为len的一维滑动窗口;S3、窗内数据的初始化值为全零,之后对窗内的频谱监测数据进行均方根运算,记录运算结果后滑动窗口向前滑动1个单位;
S4、窗内数据与频谱监测数据重叠的部分会替换掉窗内数据;
S5、计算窗内数据的均方根值;
S6、检查是否所有数据都已被窗口扫描过;若是,则跳转回步骤S3,否则继续下一步;
S7、得到功率谱的包络估计曲线。
6.根据权利要求2所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,
步骤S5中的m个频谱监测数据的均方根值计算公式如式:
其中,为第m个监测频点,rms为计算得到的均方根值;
包络估计结果如式:
ENV=[rms1,rms2,...,rmsm]
其中,ENV为由m个均方根值组成的m维向量,rms1为第m个均方根计算结果。频谱数据上包络估计结果见图2。
7.根据权利要求6所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,所述步骤三频谱分段为:依据步骤二的包络的结果计算划分阈值,将整个频谱监测频段分为信号段和噪声段;阈值由包络结果加3求得,大于或等于此阈值的频谱数据被划分为信号段,而低于此阈值的频谱数据被划分为噪声段。
8.根据权利要求7所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,
所述阈值计算公式如式:
其中,TH为阈值计算结果,rmsm为第m个均方根计算结果;
信号与噪声划分阈值见图3;
大于或等于此阈值的频谱数据被划分为信号段,而低于此阈值的频谱数据被划分为噪声段,如式所示。
其中ENV为求得的频谱数据包络,x为ENV中的元素,TH为求得的阈值,signal为信号集,noise为噪声集。频谱数据分段结果见图4。
9.根据权利要求2所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,所述步骤四数据压缩为:首先通过信号集与噪声集数据的“索引”提取原始监测数据p中的信号段与噪声段,其次对信号段和噪声段分别进行DCT变换并分别进行不同程度的量化,最后通过熵编码进行压缩;熵编码过程由游程编码与LZMA编码结合,将量化后数据的熵冗余降低。
10.根据权利要求9所述的基于信噪分离的频谱监测数据压缩方法,其特征在于,
所述DCT变换公式如式所示:
其中,N为频谱监测数据序列长度;f(i)为频谱监测数据序列中第i个元素,i=0…N-1;c(u)为DCT变换系数,u=0…N-1;F(u)为一维DCT变换结果。
CN202310472610.0A 2023-04-27 2023-04-27 一种基于信噪分离的频谱监测数据压缩方法 Pending CN116567269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310472610.0A CN116567269A (zh) 2023-04-27 2023-04-27 一种基于信噪分离的频谱监测数据压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310472610.0A CN116567269A (zh) 2023-04-27 2023-04-27 一种基于信噪分离的频谱监测数据压缩方法

Publications (1)

Publication Number Publication Date
CN116567269A true CN116567269A (zh) 2023-08-08

Family

ID=87502873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310472610.0A Pending CN116567269A (zh) 2023-04-27 2023-04-27 一种基于信噪分离的频谱监测数据压缩方法

Country Status (1)

Country Link
CN (1) CN116567269A (zh)

Similar Documents

Publication Publication Date Title
CN116828070B (zh) 一种智慧电网数据优化传输方法
CN101038303A (zh) 一种电力波形记录数据的压缩方法
CN115883670B (zh) 一种医疗数据分析采集方法及装置
CN112149652A (zh) 用于高光谱图像有损压缩的空谱联合深度卷积网络方法
CN113328755B (zh) 一种面向边缘计算的压缩数据传输方法
CN115063326B (zh) 基于图像压缩的红外夜视图像高效通讯方法
CN117041359A (zh) 一种信息数据高效压缩传输方法
CN115204043A (zh) 一种基于多模态分解和深度学习的北大西洋涛动预测方法
US20160316204A1 (en) Method and system for image compression using image block characteristics
CN103701468B (zh) 基于正交小波包变换与旋转门算法的数据压缩与解压方法
CN116567269A (zh) 一种基于信噪分离的频谱监测数据压缩方法
CN117478891A (zh) 一种建筑施工智慧管理系统
CN117014015A (zh) 一种小颗T-Core热压电感器数据存储方法
Li et al. Adaptive two-step procedure of providing desired visual quality of compressed image
CN111107360B (zh) 一种光谱-空间维联合的高光谱图像无损压缩方法及系统
CN114371501A (zh) 海量地震源数据seg d分段分类混合压缩方法
KR101089725B1 (ko) 무손실 영상 압축을 위한 임계 필터의 설계 방법, 그 필터를 이용한 무손실 영상 압축 장치 및 방법
CN101777191B (zh) 一种基于信噪分离的成像光谱图像快速矢量量化编码方法
Chen et al. A linear predictive coding based compression algorithm for fronthaul link in C-RAN
CN104302017A (zh) 一种传感器网络中针对小波数据压缩的预处理方法
CN117459187B (zh) 基于光纤网络的高速数据传输方法
Ardhapurkar et al. Electrocardiogram compression by linear prediction and wavelet sub-band coding techniques
CN117668477B (zh) 一种海洋大数据智能轻量化处理方法及系统
Ballesteros et al. Lossless encoders in Compression of Arrhythmia signals
CN117439613A (zh) 一种基于特征参数的sar原始数据压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination