CN114221663B - 一种基于字符编码的实时频谱数据压缩及恢复的方法 - Google Patents
一种基于字符编码的实时频谱数据压缩及恢复的方法Info
- Publication number
- CN114221663B CN114221663B CN202111487404.4A CN202111487404A CN114221663B CN 114221663 B CN114221663 B CN 114221663B CN 202111487404 A CN202111487404 A CN 202111487404A CN 114221663 B CN114221663 B CN 114221663B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- character
- data
- signal
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种基于字符编码的实时频谱数据压缩及恢复的方法,包括以下步骤:步骤一,获取监测频段范围内各信号频谱;步骤二,进行第一次字符编码,将信号频谱数据转换为字符串;步骤三,将信号频谱与代表频谱进行字符串相似度匹配;步骤四,依据相似度匹配结果,进行第二次字符编码,将代表频谱编号转化为标签字符,存储标签字符或信号频谱及标签字符;步骤五,频谱数据恢复;本发明通过两次字符编码,将所有的数据转化为字符进行存储,从数据的存储形式上缩减了数据容量,并用一帧代表频谱代替若干帧与代表频谱极其相似的信号频谱的聚类思想,减少了在采集监测频段数据过程中的大量数据冗余,极大的缩减了存储的数据量。
Description
技术领域
本发明涉及无线电电磁频谱数据智能化处理技术领域,具体为一种基于字符编码的实时频谱数据压缩及恢复的方法。
背景技术
在无线电监测领域,无线电频谱数据是能够反映各频段占用状况、各行业内业务使用需求的重要支撑对象,同时也是进行频谱数据信息挖掘、频段安全管理、异常状况排查和应用监测平台管理的重要依据,因此对无线电频谱数据的存储成为了监测过程中重要的一环,随着无线电各频段的业务需求不断增加,大范围内的对无线电频谱数据进行采集已无法避免,但多台站、长时间、宽频段采集到的数据是海量的,对存储空间的要求越来越高,海量的频谱数据对于实时分析和信息提取过程的时间效率带来巨大的挑战,同时,海量数据的传输也会带来高负荷的网络传输压力;综合上述问题,急需一种频谱数据处理方法实现对海量的数据进行压缩存储;目前,无线电频谱数据的处理上一般采用有损压缩算法进行数据的存储,这类压缩算法的压缩比与数据的失真率呈现出正比关系,较高的压缩率也就意味着数据失真更为严重,并且没有对频谱对象中的信号和噪声进行精细化分级分类地实施压缩,本发明人对此进行了重大改进以克服现有技术上的缺陷;
本发明人在发明专利201810753478.X中提出了对频谱数据计算最小相似系数的方案,在该过程中,需将频谱数据进行区间划分、计算均值和方差以及获取正态分布函数和直方图的操作,对于浮点型的实时频谱数据,在进行运算时需要消耗大量的时间成本,压缩过程的执行效率较低;
本发明人在发明专利201810488543.0中提出了对若干组分段频谱数据进行聚类分析的方案,将产生的K个聚类中心进行两两相似性简约处理,即在处理的过程中,模式集中的模式序列在动态的减少,两两之间而言,更能代表监测数据的模式被保留下来,但是依旧存在部分高相似模式序列被简约掉的可能,这种动态的模式简约方案一定程度缩减了模式集中的特征模式序列,造成了部分高可用数据的丢失。
发明内容
本发明的目的在于提供一种基于字符编码的实时频谱数据压缩及恢复的方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于字符编码的实时频谱数据压缩及恢复的方法,包括以下步骤:步骤一,获取监测频段范围内各信号频谱;步骤二,进行第一次字符编码,将信号频谱数据转换为字符串;步骤三,信号频谱与代表频谱进行字符串相似度匹配;步骤四,依据相似度匹配结果,进行第二次字符编码,将代表频谱编号转化为标签字符,存储标签字符或信号频谱及标签字符;步骤五,频谱数据恢复;
其中在上述步骤一中,采集实时频谱数据中各信号带宽内的信号频谱;
其中在上述步骤二中,对步骤一中所获取的各信号频谱对应的频谱数据进行第一次字符编码,将频谱数据转化为字符串;
其中在上述步骤三中,在频谱数据实时压缩存储过程中,将步骤二中得到的信号频谱字符串与对应代表频谱库中的代表频谱字符串进行相似度匹配;
其中在上述步骤四中,实时压缩存储过程中,根据步骤三的相似度匹配结果,若相似,则进行第二次字符编码,将代表频谱在代表频谱库中的编号转化为对应的标签字符,存储该标签字符代替直接存储信号频谱实现压缩存储,否则,向代表频谱库添加信号频谱作为新的代表频谱,并对新代表频谱的编号进行第二次编码,存储编码后的标签字符;类似的,在实时压缩传输过程中,若信号频谱与代表频谱适配,则发送端只发送该标签,否则,发送端发送信号频谱字符串及标签;
其中在上述步骤五中,在频谱数据还原时,根据已存储的代表频谱标签,首先对其进行第一次字符解码,得到代表频谱编号,再利用该编号从代表频谱库中检索出对应的代表频谱字符串,最后将该字符串进行第二次字符解码,将其还原为具体的信号频谱数据。
优选的,所述步骤一中,监测频段中所有的信号带宽作为先验条件,依据每个信号的带宽范围,对实时扫频数据中的各个信号频谱数据分别进行采集。
优选的,所述步骤一中,采集的监测频段数据为浮点型数据,进行第一次频谱数据字符编码时需要使用连续的整型数据映射为字符,因此在进行数据采集时,需要将浮点型数据的小数点依据具体的精度向右移动固定位数,得到相应的整型数据。
优选的,所述步骤二中,第一次字符编码的具体方法为:首先利用所述整型数据,采用一种字符编码方式,将转换后的频谱数据电平值一一映射为字符,进而将信号频谱电平值转换为信号频谱字符串,这些由电平值转换的字符具备唯一辨识性和连续性的特点。
优选的,所述步骤三中,相似度匹配的具体方法为:
1)、依据信号带宽,自适应地获取匹配参数,;
2)、依次对信号频谱字符串与代表频谱库中的代表频谱字符串各字符进行比较,计算对应位置上两字符差值的绝对值;
3)、两字符相同时,即为0,则表示两字符匹配成功;
4)、两字符不相同时,若小于等于设定的第一阈值,则判定该位置两字符匹配成功,且对第一阈值内匹配成功的频点个数进行计数,若大于第一阈值且小于等于设定的第二阈值,则仍判定该位置两字符匹配成功,对满足该条件的频点个数进行计数,若大于第二阈值,则直接表示两字符串不相似,跳过步骤5);
5)、完成上述对字符串的所有频点遍历比较之后,若字符串中各字符满足第一、第二阈值的频点个数,分别小于等于匹配参数,,则表示两字符串相似,否则两字符串不相似;
以上匹配算法中,第一阈值表示两频谱数据对应频点匹配成功允许出现的差值,第二阈值表示对应频点允许出现的差值的最大值,由于信号频谱在传输时波动的程度不同,在进行相似度匹配时,第一阈值旨在控制受波动较小的频点数据偏差,也存在偶然发生的少数频点受影响较大导致数据偏差较大的情况,因此设定第二阈值控制允许数据偏差的最大值;
由于不同的监测频段,信号带宽的不同,信号频谱中满足第一、第二阈值的频点个数也需做出调整,依据大量实验经验得出,信号频谱中各频点满足第一阈值的频点个数约占信号带宽的70%,满足第二阈值的频点个数约占信号带宽的40%,在进行上述字符串比较之前,会自适应的获取匹配参数,。
优选的,所述步骤四中,对代表频谱库中的编号进行第二次字符编码的具体方法为:选择一种字符编码方式将代表频谱在代表频谱库中的整型编号数据一一映射为字符。
优选的,所述步骤五中,根据已存储的代表频谱标签,首先对其进行第一次字符解码,解码方式与第二次字符编码方式相对应,将标签字符用对应编码方式转换为整型编号,再利用该编号从代表频谱库中检索出对应的代表频谱字符串,最后将该字符串进行第二次字符解码,类似的,解码方式与第一次编码方式相对应,用对应编码方式将各个字符反向映射为具体的信号频谱数据。
与现有技术相比,本发明具有以下有益效果:本发明通过两次字符编码,将所有的数据转化为字符进行存储,从数据的存储形式上缩减了数据容量,并使用一帧代表频谱代替若干帧与代表频谱极其相似的信号频谱的聚类思想,减少了在采集监测频段数据过程中的大量数据冗余,极大的缩减了存储的数据量。
附图说明
图1为本发明的方法流程图;
图2为本发明实施例中步骤三的相似度匹配流程图;
图3为本发明实施例中信号频谱与代表频谱失配的数据说明示意图;
图4为本发明实施例中信号频谱与代表频谱适配的数据说明示意图;
图5为本发明实施例中第一、第二阈值的说明示意图;
图6为本发明实施例中某信号对应的代表频谱库中的若干代表频谱示意图;
图7为本发明实施例中87-108MHz频段原频谱数据、压缩后恢复数据以及恢复前后的误差数据示意图;
图8为本发明实施例中357-378MHz频段原频谱数据、压缩后恢复数据以及恢复前后信号部分的误差数据示意图;
图9为本发明实施例中403-424MHz频段原频谱数据、压缩后恢复数据以及恢复前后信号部分的误差数据示意图;
图10为本发明实施例中475-496MHz频段原频谱数据、压缩后恢复数据以及恢复前后信号部分的误差数据示意图;
图11为本发明实施例中858-879MHz频段原频谱数据、压缩后恢复数据以及恢复前后信号部分的误差数据示意图;
图12为本发明实施例中930-960MHz频段原频谱数据、压缩后恢复数据以及恢复前后信号部分的误差数据示意图;
表1为本发明实施例中匹配参数建议值数据表;
表2为本发明实施例中在87-108MHz测试频段下,第一、第二阈值分别为2、3,不同数据量的压缩结果数据表;
表3为本发明实施例中在403-424MHz测试频段下,采用相同数据量(5.99GB),不同的压缩精度的结果数据表;
表4为本发明实施例中在不同监测频段下,数据的压缩率、平均方根误差以及标准化均方根误差的结果数据表。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-12,表1-4,本发明提供的一种实施例:一种基于字符编码的实时频谱数据压缩及恢复的方法,如图1所示,包括以下步骤:步骤一,获取监测频段范围内各信号频谱;步骤二,进行第一次字符编码,将信号频谱数据转换为字符串;步骤三,信号频谱与代表频谱进行字符串相似度匹配;步骤四,依据相似度匹配结果,进行第二次字符编码,将代表频谱编号转化为标签字符,存储标签字符或信号频谱及标签字符;步骤五,频谱数据恢复;
其中在上述步骤一中,采集实时频谱数据中各信号带宽内的信号频谱,本实施中由EM100设备实时接收无线电信号,并将接收到的无线电信号生成数据报,并通过LAN发送至普通PC机,PC机基于SCPI通信协议与EM100设备进行通信,接收到数据报后按照协议进行解析,获取无线电信号的频率、频谱数据值,对若干监测频段进行数据压缩,分别为:87-108MHz、357-378MHz、403-424MHz、475-496MHz、858-879MHz、930-960MHz,步长为25kHz,各监测频段中所有的信号带宽作为先验条件给定已知,依据每个信号的带宽范围,对实时扫频数据中的各个信号频谱数据并行采集;采集的监测频段数据为浮点型数据,进行第一次频谱数据字符编码时需要连续的整型数据映射为字符,因此在进行数据采集时,需要将浮点型数据的小数点依据具体的精度向右移动固定位数,得到对应的整型数据;
其中在上述步骤二中,对步骤一中所获取的各信号频谱对应的频谱数据进行第一次字符编码,将频谱数据转化为字符串,第一次字符编码的具体方法为:根据步骤一转化得到的整型频谱数据,通过实时频谱数据出现的最大值及最小值计算出监测频段下频谱数据的数据范围[a,b],对其进行归一化处理,对所有整型数据减去该数据范围的最小值a,将频谱数据的数据范围控制在[0,b-a]之内,再采用一种字符编码方式,将转换后的频谱数据电平值一一映射为字符,进而将信号频谱电平数据转换为信号频谱字符串,这些字符具备唯一辨识性和连续性的特点;
本实施例以电平值范围为[-10,40]的实时频谱数据为例,其中ASCII字符集作为编码字符集,由于进行第一次字符编码的电平数据需大于等于0且为整型,因此对实时数据进行处理时,需将所有数据减去频谱范围的最小值-10,计算后的实时数据电平值范围为[0,50],由于控制字符会对数据处理造成干扰,需排除ASCII编码前32个控制字符,因此选择ASCII字符编码第32个字符之后的50个字符作为本实施例的转换字符,即处理后可进行第一次字符编码的频谱数据电频值范围为[32,82];
其中在上述步骤三中,在频谱数据实时压缩存储过程中,在第一帧数据处理之前,该信号对应的代表频谱库为空,对第一帧实时频谱数据进行处理时,各信号位置上的信号频谱不进行字符串比较,直接将信号频谱作为第一个代表频谱存入该位置上的代表频谱库,当第一帧数据处理完毕之后,各信号位置的代表频谱数据库均非空,将信号频谱与代表频谱库中的代表频谱进行相似度匹配;由于信号频谱与代表频谱均为监测频段在某一信号范围的频谱片段,所以两频谱字符串的长度一致且均为该信号的带宽,如图2所示,将信号频谱与对应代表频谱库中的代表频谱字符串进行相似度匹配,其中,表示信号频段中的第个信号频谱,表示第个信号频谱对应代表频谱库中的第个代表频谱,相似度匹配的具体方法为:
1)、依据信号带宽,自适应的获取匹配参数,;在本实施例中,设定第一、第二阈值分别为2、3,依据信号频谱带宽获取频点匹配参数,分别为7,4;
2)、计算信号频谱与代表频谱字符串中所有对应字符的差值的绝对值数组;计算该帧数据在还原前后的偏差效果,对应的信号区域差值范围在第一、第二阈值范围内,且计算的两频谱数据各误差值均在允许的范围内;
3)、遍历差值数组,对依次进行以下处理,判别对应字符是否匹配成功;
4)、当时,则表示该字符匹配成功;
5)、当时,若小于等于第一阈值,则判定该位置两字符匹配成功,且对第一阈值内匹配成功的频点个数进行计数,计算方式如下:
(1)
(2)
若大于第一阈值且小于等于第二阈值,则仍判定该位置两字符匹配成功,对满足该条件的频点个数进行计数,计算方式如下:
(3)
(4)
若大于第二阈值,如图3所示,则表示两字符串不相似,忽略步骤(6);
6)、完成上述对差值数据的遍历处理后,若字符串中各字符满足上述两条件的频点个数,分别小于等于匹配参数,,如图4所示,则表示两字符串相似,否则两字符串不相似;
其中,如图5所示,第一阈值表示两频谱数据对应频点匹配成功允许出现的差值,第二阈值表示对应频点允许出现的差值最大值,由于信号频谱在传输时波动的程度不同,在进行相似度匹配时,第一阈值旨在控制受波动较小的频点数据偏差,也存在偶然发生的少数频点受影响较大导致数据偏差较大的情况,因此设定第二阈值控制允许数据偏差的最大值;大于第二阈值则直接表示两字符串失配;
由于不同的监测频段,信号带宽的不同,信号频谱中满足第一、第二阈值的频点个数也需做出调整,依据大量实验经验得出,信号频谱中各频点满足第一阈值的频点个数约占信号带宽的70%,满足第二阈值的频点个数约占信号带宽的40%,在进行上述字符串比较之前,需要自适应地获取匹配参数,,对于不同监测频段的匹配参数本实施例给出建议值如表1所示;
其中在上述步骤四中,根据步骤三的相似度匹配结果,若适配,则对代表频谱在代表频谱库中的标号进行第二次字符编码,即选择一种字符编码方式将代表频谱在代表频谱库中的整型编号数据一一映射为字符,得到其标签字符,以UTF-8编码为例,某代表频谱在代表频谱库中的编号为“65”,将该编号值映射为UTF-8编码对应的字符‘A’,直接存储标签字符‘A’代替存储信号频谱数据实现压缩存储,否则,向代表频谱库添加该信号频谱作为新的代表频谱,并对新代表频谱的编号进行第二次字符编码得到标签字符并存储,据此可以建立各个信号位置上的信号库TABLE_FPS;
其中在上述步骤五中,在频谱数据还原时,根据已存储的代表频谱标签,首先对其进行第一次字符解码,解码方式与第二次字符编码方式相对应,将标签字符用对应编码方式转换为整型编号,再利用该编号从代表频谱库TABLE_TYPICAL中检索出对应的代表频谱字符串,如图6所示,为抽取的某代表频谱库中若干代表频谱字符串转换的频谱图,最后将该字符串进行第二次字符解码,类似的,解码方式与第一次编码方式相对应,用对应编码方式将各个字符反向映射为具体的信号频谱数据;
由步骤四中建立的代表频谱库TABLE_TYPICA,先验条件已知的监测频段中各信号带宽数据表TABLE_STEP,以及处理信号频谱时顺序存储每一帧实时频谱所有信号位置的代表频谱标签字符组成的字符串的信号库TABLE_FPS,由这三者可实现压缩后数据的还原,具体步骤如下:
1)、利用信号库TABLE_FPS的一个元组中所有信号位置对应的代表频谱标签字符串,使用对应编码方式进行第一次解码,解码方式对应于第二次字符编码方式,得到所有信号位置对应代表频谱库中的代表标签编号;
2)、利用代表频谱编号值,在对应的代表频谱库中检索,得到对应信号位置上的代表频谱字符串;
3)、对应于第一次字符编码,使用对应字符编码方案将代表频谱字符串解码为信号频谱数据,完成第二次字符解码;
4)、利用已知监测频段各信号带宽数据表TABLE_STEP,在忽略噪声的前提下,以相同的方式对所有信号频段进行上述方式的恢复,然后将所有恢复的频谱数据按照对应信号频段范围组成一帧频谱数据;
5)、利用TABLE_FPS中每一帧数据存储的时间戳的连续性,根据数据恢复的具体需求对某一帧数据或某一时间周期内数据进行上述方法的恢复;
结果分析:对不同的监测频段进行数据分析,如图7-12所示,分别为对87-108MHz,357-378MHz,403-424MHz,475-496MHz,858-879MHz,930-960MHz进行实验处理后,原始频谱图,数据压缩后恢复的信号频谱图,以及信号部分二者的差值数据散点图,对实时频谱数据与通过代表频谱恢复后的频谱数据做出对比得出,信号频谱范围内的数据还原度较高,可满足各工程应用;
实验前后压缩率的计算公式为:
(5)
其中CR表示数据的压缩率,表示进行压缩处理后各文件的大小,表示实时采集的频谱数据的大小;
均方跟误差PRD的计算公式为:
(6)
其中是原始的单个频谱的数据点的值,是压缩后的单个频谱的数据点的值,是单个信号频谱范围内频点的个数;
标准化均方根误差SRD的计算公式为:
(7)
其中是原始的单个频点的数据点的值,是原始的单个频点的数据的平均值,是压缩的单个频谱的数据点的值,是单个信号频谱范围内频点的个数,平均PRD和平均SRD是所有频谱数据PRD和SRD的平均值;
基于相同的监测频段,控制相同的相似度匹配参数,如表2所示,在87-108MHz监测频段下,第一,第二阈值分别为2,3;自适应匹配参数,分别为7,4,随着压缩的数据量的增加,压缩率变化差异较小,由此知本发明压缩率与处理的频谱数据大小无关;
基于相同的监测频段,控制进行压缩处理的数据量一定(5.99GB),第一,第二阈值不同,如表3所示,在403-424MHz测试频段下,随着阈值逐渐增加,压缩率呈现出缓慢的减小趋势;由此可说明频谱数据的差值维持在较小的范围内,对于第一、第二阈值的变化敏感性较弱,但依旧存在逐渐减小的趋势;
基于不同的监测频段,依据表1所示的信号带宽信息,及表4所示的压缩率,结合本发明仅对信号数据进行处理可知:监测频段中信号所占的比例越大,需要进行相似度匹配的数据量越多,压缩率越高,同时PRD和SRD越高,压缩率与信号带宽在监测频段中的占比数量成正比关系;
基于不同的监测频段,信号的带宽也有所差异,信号带宽越大,需处理的信号中数据量越大,压缩率越高,同时相应的PRD和SRD越高;
在不考虑噪声的情况下,只对信号频谱数据做字符化和相似性频谱聚类的操作,可以实现对数据量的大幅缩减,同时也保证了数据的精度损失,在各监测频段中取得了较好的实验效果。
基于上述,本发明的优点在于,本发明在采集到实时频谱数据后,首先将浮点型电平值规范化为整型数据,再将其通过字符编码一一映射为对应的字符,本质上将对浮点型数据的处理转移到对字符串的处理上,提升了发明201810753478.X中处理效率不足的问题;相较于发明201810488543.0,本发明在代表频谱的存储上动态对匹配成功的信号频谱做计数,与信号频谱匹配成功的次数越大,则其作为代表的权重越大,显然本发明在动态缩减代表的处理上做的更好;同时本发明还具备以下的优点:
1、在进行数据采集和处理阶段,对监测频段中所有的信号频谱,开启对应数据量的线程并行处理,相比于对整个频段进行计算,提高了处理效率;
2、本发明进行了两次字符编码,将频谱数据帧中所有信号频谱转换为字符串进行处理,同时将代表频谱库中所有的编号值转换为标签字符进行存储,从频谱数据的存储形式上减少了存储数据量;完全替代了对原始频谱数据存储过程中,需要对每一个数字字符,数据符号、小数点、频段数据之间的间隔符等冗余粗暴的存储方式;
3、本发明中将所有需要计算处理的浮点型或整型数据转换为字符,简化了数据的计算方式,缩减了数据的处理时间;避免了实时压缩处理时间效率上不足的问题;
4、监测频段中使用了聚类思想,用代表频谱代替若干帧与其极其相似的信号频谱;利用了相同频段下频谱数据具有较高稳定性的特点;避免了存储大量的冗余数据;
5、对信号频谱和代表频谱进行相似度匹配时,利用多个参数考虑到信号受波动范围的不同情况,全面反映了两字符串的相似性;并且该匹配方案依据监测频段的信号特征自适应的适用于各种其它业务频道。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其它的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (7)
1.一种基于字符编码的实时频谱数据压缩及恢复的方法,包括以下步骤:步骤一,获取监测频段范围内各信号频谱;步骤二,进行第一次字符编码,将信号频谱数据转换为字符串;步骤三,信号频谱与代表频谱进行字符串相似度匹配;步骤四,依据相似度匹配结果,进行第二次字符编码,将代表频谱编号转化为标签字符,存储标签字符或信号频谱及标签字符;步骤五,频谱数据恢复;其特征在于:
其中在上述步骤一中,采集实时频谱数据中各信号带宽范围内的信号频谱;并行地,对一帧频谱数据中各信号频谱执行后续操作:
其中在上述步骤二中,对步骤一中所获取的各信号频谱对应的频谱数据进行第一次字符编码,将信号频谱电平数据转化为字符串;
其中在上述步骤三中,在频谱数据实时压缩存储过程中,将步骤二中得到的信号频谱字符串与对应代表频谱库中的代表频谱字符串进行相似度匹配;
其中在上述步骤四中,实时压缩存储过程中,根据步骤三的相似度匹配结果,若适配,则进行第二次字符编码,将代表频谱在代表频谱库中的编号转化为对应的标签字符,存储该标签字符代替直接存储信号频谱实现压缩存储,否则,向代表频谱库添加信号频谱作为新的代表频谱,并对新代表频谱的编号进行第二次编码,存储编码后的标签字符;类似的,在实时压缩传输过程中,若信号频谱与代表频谱适配,则发送端只发送该标签,否则,发送端发送信号频谱字符串及标签;
其中在上述步骤五中,在频谱数据恢复时,根据已存储的代表频谱标签,首先对标签字符进行第一次字符解码,得到代表频谱编号,再利用该编号从代表频谱库中检索出对应的代表频谱字符串,最后将该字符串进行第二次字符解码,将其还原为具体的信号频谱数据。
2.根据权利要求1所述的一种基于字符编码的实时频谱数据压缩及恢复的方法,其特征在于:所述步骤一中,监测频段中所有的信号带宽作为先验条件,依据每个信号的带宽范围,对实时扫频数据中的各个信号频谱数据分别进行采集。
3.根据权利要求1所述的一种基于字符编码的实时频谱数据压缩及恢复的方法,其特征在于:所述步骤一中,采集的监测频段数据为浮点型数据,进行第一次频谱数据字符编码时需要使用连续的整型数据映射为字符,因此在进行数据采集时,需要将浮点型数据的小数点依据具体的精度向右移动固定位数,得到相应的整型数据。
4.根据权利要求3所述的一种基于字符编码的实时频谱数据压缩及恢复的方法,其特征在于:所述步骤二中,第一次字符编码的具体方法为:首先利用所述整型数据,采用一种字符编码方式,将转换后的频谱数据电平值一一映射为字符,进而将信号频谱电平值转换为信号频谱字符串,这些由电平值转换的字符具备唯一辨识性和连续性的特点。
5.根据权利要求1所述的一种基于字符编码的实时频谱数据压缩及恢复的方法,其特征在于:所述步骤三中,相似度匹配的具体方法为:
1)、依据信号带宽,自适应地获取匹配参数,;
2)、依次对信号频谱字符串与代表频谱库中的代表频谱字符串各字符进行比较,计算对应位置上两字符差值的绝对值;
3)、两字符相同时,即为0,则表示两字符匹配成功;
4)、两字符不相同时,若小于等于设定的第一阈值,则判定该位置两字符匹配成功,且对第一阈值内匹配成功的频点个数进行计数,若大于第一阈值且小于等于设定的第二阈值,则仍判定该位置两字符匹配成功,对满足该条件的频点个数进行计数,若大于第二阈值,则直接表示两字符串不相似,跳过步骤5);
5)、完成上述对字符串的所有频点遍历比较之后,若字符串中各字符满足第一、第二阈值的频点个数,分别小于等于匹配参数,,则表示两字符串相似,否则两字符串不相似;
以上匹配算法中,第一阈值表示两频谱数据对应频点匹配成功允许出现的差值,第二阈值表示对应频点允许出现的差值的最大值,由于信号频谱在传输时波动的程度不同,在进行相似度匹配时,第一阈值旨在控制受波动较小的频点数据偏差,也存在偶然发生的少数频点受影响较大导致数据偏差较大的情况,因此设定第二阈值控制允许数据偏差的最大值;
由于不同的监测频段,信号带宽的不同,信号频谱中满足第一、第二阈值的频点个数也需做出调整,依据大量实验经验得出,信号频谱中各频点满足第一阈值的频点个数约占信号带宽的70%,满足第二阈值的频点个数约占信号带宽的40%,在进行上述字符串比较之前,会自适应的获取匹配参数,。
6.根据权利要求1所述的一种基于字符编码的实时频谱数据压缩及恢复的方法,其特征在于:所述步骤四中,对代表频谱库中的编号进行第二次字符编码的具体方法为:选择一种字符编码方式将代表频谱在代表频谱库中的整型编号数据一一映射为字符。
7.根据权利要求1所述的一种基于字符编码的实时频谱数据压缩及恢复的方法,其特征在于:所述步骤五中,根据已存储的代表频谱标签,首先对其进行第一次字符解码,解码方式与第二次字符编码方式相对应,将标签字符用对应编码方式转换为整型编号,再利用该编号从代表频谱库中检索出对应的代表频谱字符串,最后将该字符串进行第二次字符解码,类似的,解码方式与第一次编码方式相对应,用对应编码方式将各个字符反向映射为具体的信号频谱数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111487404.4A CN114221663B (zh) | 2021-12-07 | 2021-12-07 | 一种基于字符编码的实时频谱数据压缩及恢复的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111487404.4A CN114221663B (zh) | 2021-12-07 | 2021-12-07 | 一种基于字符编码的实时频谱数据压缩及恢复的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114221663A CN114221663A (zh) | 2022-03-22 |
| CN114221663B true CN114221663B (zh) | 2025-10-28 |
Family
ID=80700190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111487404.4A Active CN114221663B (zh) | 2021-12-07 | 2021-12-07 | 一种基于字符编码的实时频谱数据压缩及恢复的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114221663B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116782206B (zh) * | 2023-08-23 | 2023-10-24 | 南京中科齐信科技有限公司 | 基于量子通信的列车车载无线自组网络安全方法及系统 |
| CN117032726B (zh) * | 2023-10-10 | 2023-12-22 | 北京海格神舟通信科技有限公司 | 一种用于实时绘制频谱图的方法及系统 |
| CN118193470B (zh) * | 2024-03-26 | 2024-10-18 | 广州亿达信息科技有限公司 | 核酸质谱数据的解压方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112989815A (zh) * | 2021-03-23 | 2021-06-18 | 平安国际智慧城市科技股份有限公司 | 基于信息交互的文本相似度识别方法、装置、设备及介质 |
| CN113094559A (zh) * | 2021-04-25 | 2021-07-09 | 百度在线网络技术(北京)有限公司 | 信息匹配方法、装置、电子设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9128915B2 (en) * | 2012-08-03 | 2015-09-08 | Oracle International Corporation | System and method for utilizing multiple encodings to identify similar language characters |
| CN111026655B (zh) * | 2019-11-29 | 2023-06-30 | 深圳震有科技股份有限公司 | 一种系统稳定性测试方法、终端及存储介质 |
-
2021
- 2021-12-07 CN CN202111487404.4A patent/CN114221663B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112989815A (zh) * | 2021-03-23 | 2021-06-18 | 平安国际智慧城市科技股份有限公司 | 基于信息交互的文本相似度识别方法、装置、设备及介质 |
| CN113094559A (zh) * | 2021-04-25 | 2021-07-09 | 百度在线网络技术(北京)有限公司 | 信息匹配方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114221663A (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114221663B (zh) | 一种基于字符编码的实时频谱数据压缩及恢复的方法 | |
| CN107102220B (zh) | 录波数据处理方法及装置 | |
| CN115882868B (zh) | 一种气体监测数据智能存储方法 | |
| CN110021369B (zh) | 基因测序数据压缩解压方法、系统及计算机可读介质 | |
| CN117155407B (zh) | 一种智慧镜柜消毒日志数据优化存储方法 | |
| CN116016606B (zh) | 一种基于智慧云的污水处理运维数据高效管理系统 | |
| CN116910285B (zh) | 基于物联网的智慧交通数据优化存储方法 | |
| CN120074539B (zh) | 一种基于混合压缩算法的数据压缩方法及系统 | |
| CN115695564A (zh) | 一种物联网数据的高效传输方法 | |
| CN110995396B (zh) | 基于层级结构的用电信息采集系统通信报文的压缩方法 | |
| CN115883670A (zh) | 一种医疗数据分析采集方法及装置 | |
| CN108234464B (zh) | 用于信号集中监测系统的采集数据高效压缩方法 | |
| CN115543946A (zh) | 一种金融大数据优化存储方法 | |
| CN117896442B (zh) | 一种基于物联网的综合能源数据管理系统 | |
| CN115987294A (zh) | 一种物联网的多维数据处理方法 | |
| CN115269526A (zh) | 一种半导体生产数据的处理方法及系统 | |
| CN110704408A (zh) | 一种基于聚类的时序数据压缩方法及系统 | |
| CN113035282A (zh) | 基于标签数据生长基因的数据序列处理方法 | |
| CN111035381B (zh) | 一种实时心电数据无损压缩方法 | |
| CN106656201B (zh) | 一种基于采样数据幅频特性的压缩方法 | |
| CN112948639B (zh) | 一种高速公路数据中台数据统一存储管理方法及系统 | |
| CN115964347A (zh) | 一种市场监管监测中心数据的智能存储方法 | |
| CN119603371A (zh) | 一种辐射监测数据压缩与实时传输方法及系统 | |
| CN116011403B (zh) | 一种用于计算机数据存储的重复数据识别方法 | |
| CN117040542A (zh) | 一种智能综合配电箱能耗数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |