CN108830162A - 无线电频谱监测数据中的时序模式序列提取方法及存储方法 - Google Patents
无线电频谱监测数据中的时序模式序列提取方法及存储方法 Download PDFInfo
- Publication number
- CN108830162A CN108830162A CN201810488543.0A CN201810488543A CN108830162A CN 108830162 A CN108830162 A CN 108830162A CN 201810488543 A CN201810488543 A CN 201810488543A CN 108830162 A CN108830162 A CN 108830162A
- Authority
- CN
- China
- Prior art keywords
- time series
- series pattern
- frequency spectrum
- spectrum data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
- G06F2218/16—Classification; Matching by matching signal segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Monitoring And Testing Of Transmission In General (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种无线电频谱监测数据中的时序模式序列提取方法及存储方法,涉及无线电信号监测技术领域。其中时序模式序列提取方法包括:对获得的每一帧频谱数据进行相同规则的分段处理,按分段得到该指定频段上的若干组分段频谱数据;对每组分段频谱数据进行聚类分析,产生K个聚类中心,对K个聚类中心两两进行相似性约简处理,得到各组分段频谱数据的时序模式序列集,时序模式序列集中包含多个时序模式序列。本发明解决了无线电多站点、长时间频谱监测数据小空间快速存储的问题以及高精度快速检索回放的问题,并进一步用于无线电海量频谱监测数据的知识发现。
Description
技术领域
本发明涉及无线电监测技术领域,具体涉及一种无线电频谱监测数据中的时序模式序列提取方法及存储方法。
背景技术
随着无线电新技术的快速发展和各种业务的广泛应用,经济社会对频谱资源的需求日渐增加。无线电频谱监测与管理系统通过对中短波、航空、调频等频段的频谱进行监测,获得有价值的无线电频谱监测数据,这些数据能够准确反映各业务频段频谱资源的实际使用状况,有助于对频谱资源状况的整体掌握。在实际应用中,无线电频谱监测数据一方面为精细高效的频谱资源管理提供科学的数据支撑;另一方面,无线电频谱监测数据为后续频谱数据挖掘、ITU指标计算、异常干扰分析、频谱信息关联比对等提供可靠依据。全天候、实时、完整的无线电频谱监测数据库能够推进智能化无线电监测网建设,提升无线电异常信号的发现与处理能力,增强无线电监测数据的挖掘与分析能力及重要业务、重点频段、重大活动的无线电安全保障能力,提高频谱监测数据的应用价值。
目前,国内大部分城市已逐步完善了各自的无线电监测网,可以对无线电各业务频段进行长时间、不间断监测,特别是多数大中型城市已拥有网络化的实时无线电频谱监测系统,该系统极大地提高了无线电频谱监测的自动化程度,使得无线电频谱监测工作更加方便、快捷,不仅实现了全天候的无线电频谱监测,同时也可调用多台无人值守的无线电信号监测设备,实现大范围无线电频谱监测。然而多站点、长时间、大规模的无线电频谱监测势必产生海量的监测数据,实时快速存储这些数据变得越来越困难,存储频谱监测数据的空间也变得越来越大。此外,随着储存的频谱监测数据越来越多,分析处理频谱监测数据自然变得越来越困难,难以适应多台站频谱监测数据的实时计算和业务查询等需求。为解决上述问题,急需数据处理方法对海量的频谱监测数据进行高效分析处理,提供合适的无线电频谱监测数据的压缩存储方法,该方法应具有高压缩比和小误差特性,以便高精度、快速地实现无线电频谱数据实时回放,以此提高频谱监测数据的存储、查询和处理等效率,体现无线电监测网络的自动化、智能化水平。
数据压缩算法是近年来海量数据存储、查询和处理的主要方法。然而,现有的数据压缩算法大多都是基于压缩感知理论基础上的相关算法,这类算法的核心是在数据的维度上进行压缩处理,已在图像科学和信息理论等领域得到广泛的应用。但压缩感知理论对一维数据的压缩效果不是很理想,特别针对无线电频谱监测数据,压缩后的无线电频谱监测数据已不具有原始无线电频谱监测数据的物理特性。
发明内容
为解决现有技术中的上述不足,本发明提供了一种无线电频谱监测数据中的时序模式序列提取方法及存储方法,可以大大降低频谱数据存储空间,实现频谱数据存储、检索和回放等操作效率的显著提升。
为达到以上目的,本发明采用的技术方案如下:
一种无线电频谱监测数据中的时序模式序列提取方法,包括以下步骤:
步骤1:获得一个时间周期的指定频段上的多帧频谱数据;
步骤2:对获得的每一帧频谱数据进行相同规则的分段处理,按分段得到该指定频段上的若干组分段频谱数据;
步骤3:对每组分段频谱数据进行聚类分析,产生K个聚类中心,对K个聚类中心两两进行相似性约简处理,得到各组分段频谱数据的时序模式序列集,时序模式序列集中包含多个时序模式序列。
上述方法可以应用于对线电频谱监测数据的存储过程,降低频谱数据的存储空间,提高计算机的运行速度,也提高数据还原后的准确度。
本发明同时提供了一种无线电频谱监测数据的存储方法,包括以下步骤:
步骤A,按照本发明提供的无线电频谱监测数据中的时序模式序列提取方法,提取出当前时间周期的指定频段上的频谱数据的时序模式序列集,并对每一个时序模式序列用一个标签值进行标识;
步骤B,针对当前时间周期的指定频段上的频谱数据,按照步骤2中的方法进行相同方式的分段处理,根据分段结果,按照时间先后顺序,将每段频谱数据与该段的时序模式序列集中的每一个时序模式序列进行匹配识别,若匹配成功,则以匹配成功的时序模式序列对应的标签值代替该段频谱数据进行存储,若匹配不成功,则以一个新的标签值代替该段频谱数据进行存储。
与现有技术相比,本发明具有以下有益效果:
1,本发明通过存储模式集标签的形式代替存储频谱原始数据,原始数据所占用的内存大大降低,通过实验时一天的频谱存储数据的计算可知,压缩比CR最大可达94%,节省了大量的存储空间,继而减少了计算机的存储设备,即简化了计算机的结构,加快了计算机的运行速度,也降低了对计算机的性能要求,降低成本。
2,本发明的参数设置少且可适用性范围广,除了广播段、航空段频谱数据外,可以根据实际应用需求适当调整部分参数即可运用到其他业务频道上。
3,通过精确匹配识别和标签化数据存储,后续的标签化频谱数据的恢复时,与原始数据比较得知,相似度在98%以上,PRD均方根误差值在3%范围内,这就为精确的实时回放以及后续准确计算相关指标和发现异常干扰等提供了可靠的依据。
4,本发明方法相对于其他已有的频谱数据压缩方法相比具有更好的性能表现。
附图说明
图1为本发明的系统总流程示意图。
图2为本发明在一次实验中接收的频谱在频域和时域上的变化示意图。
图3为本发明在87.5-108MHz中频道划分示意图。
图4为本发明在一次实验中在强信号频点处的20种模式的频谱形状示意图。
图5为本发明在一次实验中在弱信号频点处的20种模式的频谱形状示意图。
图6为本发明在一次实验中原始数据(a),重建数据(b),差值(c)示意图。
图7为本发明在一次实验中原始数据与重构数据的对比图示意图。
图8为本发明在一次实验中原始数据,模式识别压缩和基于时序的压缩方法重构数据的对比示意图。
图9为本发明在一次实验中基于模式识别和时间序列方法CR-PRD(压缩比-均方根误差)的示意图。
图10为实施例中无线电频谱监测数据存储系统的功能组成框图。
图11为实施例中电子设备的功能组成框图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
可以参阅图1,本实施例中提供了一种无线电频谱监测数据的存储方法,包括时序模式序列提取过程和存储过程。其中,时序模式序列提取过程包括以下步骤:
步骤1:获得一个时间周期的指定频段上的多帧频谱数据;
步骤2:对获得的每一帧频谱数据进行相同规则的分段处理,例如以连续5个或以上频点作为一段,按分段得到该指定频段上的若干组分段频谱数据;
步骤3:对每组分段频谱数据进行聚类分析,产生K个聚类中心,对K个聚类中心两两进行相似性约简处理,得到各组分段频谱数据的时序模式序列集,时序模式序列集中包含多个时序模式序列。
聚类方法可以有多种,例如K-Means聚类分析方法、均值漂移聚类方法、基于密度的聚类方法、高斯混合模型的最大期望聚类方法、凝聚层次聚类方法等。
对K个聚类中心两两进行相似性约简处理时,先从第一个聚类中心开始,分别计算第一个聚类中心与其他每个聚类中心之间的欧式距离,若有多个聚类中心与其之间的欧式距离小于设定的误差阈值,则将欧式距离最小的聚类中心与其合并,得到一个时序模式序列;然后按顺序从未进行过合并的聚类中心中选择一个聚类中心,计算其与其他未进行过合并的聚类中心之间的欧式距离,若有多个聚类中心与其之间的欧式距离小于设定的误差阈值,则将欧式距离最小的聚类中心与其合并,得到一个时序模式序列;循环执行本步骤,直至遍历完K个聚类中心;未参与合并的聚类中心各自保留,分别得到一个时序模式系列。
此处仅以K=4为例,为了便于描述,4个聚类中心分别编号为1、2、3、4。。两两进行相似性约简处理时,先从1开始,分别计算1与2、1与3、1与4之间的欧式距离,假设1与2、1与3之间的欧式距离均小于0.3,1与4之间的欧式距离大于0.3,且1与2之间的欧式距离最小,则将1与2合并,得到一个时序模式序列;然后将未进行过合并的3与4进行欧式距离计算,假设3与4之间的欧式距离大于0.3,则各自保留,于是,得到时序模式序列集中包含:1与2合并之后的时序模式序列、3的时序模式序列、4的时序模式序列。
如果只有1与2小于0.3就1与2合并,如果1与2和1与3均小于0.3则与距离最小的合并,合并过后1与2或3不再继续参与合并,再对其他未合并对象进行相同操作直至所有未合并数据遍历完成。
其中,存储过程包括以下步骤:
步骤A,针对时序模式序列提取过程提取到的时序模式序列集,对每一个时序模式序列用一个标签值进行标识;
步骤B,针对当前时间周期的指定频段上的频谱数据,根据步骤2中的分段结果,按照时间先后顺序,将每段频谱数据与该段的时序模式序列集中的每一个时序模式序列进行匹配识别,若匹配成功,则以匹配成功的时序模式序列对应的标签值代替该段频谱数据进行存储,若匹配不成功,则以一个新的标签值代替该段频谱数据进行存储。
为了进一步提高据还原后数据的准确度,在另一个实施方案中,获得每一个时间周期的时序模式序列集后,还要将时间周期之间的时序模式序列集进行相似性约简处理,合并得到新的时序模式序列集,即不断地优化时间周期的时序模式序列集。具体地,在经过步骤A得到当前时间周期的时序模式序列集后,还包括以下步骤:
步骤C,按照相同的方法提取出下一个时间周期的指定频段上的频谱数据的时序模式序列集,并对每一个时序模式序列用一个标签值进行标识;
步骤D,将所述当前时间周期和所述下一个时间周期的时序模式序列集中的时序模式序列,进行步骤3中所述的相似性约简处理,得到一个时间周期的新的数序模型序列集;
步骤E,针对所述下一个时间周期的指定频段上的频谱数据,按照步骤2中的方法进行相同方式的分段处理,根据分段结果,按照时间先后顺序,将每段频谱数据与步骤D中所述新的数序模型序列集中该段的每一个时序模式序列进行匹配识别,若匹配成功,则以匹配成功的时序模式序列对应的标签值代替该段频谱数据进行存储,若匹配不成功,则以一个新的标签值代替该段频谱数据进行存储;此处所述新的标签值可以是已有标签序号后按顺序递增的标签序号。
步骤F,循环执行步骤C到步骤E,对每一个时间周期的指定频段上的频谱数据进行存储。
原理分析:实际中无线电频谱监测数据具有规律性,这种规律性体现为正常情况下无线电频谱图的波动规律相对稳定,若干频谱图常常以某种固定规律不断重复出现,这为无线电频谱监测数据中的模式序列分析提供了可能,本发明方法正是基于无线电频谱监测数据的规律性,进一步分析模式序列中的时序特性,可有效去除无线电频谱监测数据中的冗余数据,起到无线电频谱数据压缩的效果,同时,无线电频谱监测数据的时序模式序列便于后续频谱监测数据的存储、查询和处理。
聚类分析方法是模式发现的主要方法,使用聚类分析方法对无线电频谱监测数据进行分类识别,提取有代表性的无线电频谱模式,形成较完整的频谱模式集,利用频谱模式集对实测无线电频谱数据进行匹配识别,可为日常无线电频谱监测数据的存储和查询提供相应的辅助决策依据。在此基础上,通过对长时间频谱数据模式进行时序分析,获得正常频谱数据模式和异常频谱数据模式,为日常频谱监测数据处理提供重要参考依据。因此,通过对无线电频谱监测数据的时序模式序列进行分析与挖掘,储存有效无线电频谱信息,减少冗余无线电频谱信息,在无线电频谱监测数据的存储、查询和处理等中具有非常重要的意义和实际应用价值。
下面将结合一个具体的实验例对本发明方法进行更为详细的阐述。可以参阅图1,本次实验通过8个步骤完成,具体如下:
步骤1:数据采集
在西华大学无线电管理技术研究中心进行无线电频谱监测,频谱监测采用HE600天线,R&S公司生产的EM100接收机等设备对无线电广播业务频段87.5-108MHz进行监测扫描,其扫描步长设为25kHz,每次扫描有821个采样点,扫描频段一次需要的回扫时间大约是40ms。由于广播频段特有的性质,整个频段可划分为204个频道,频道划分如附图3所示。即是说,将87.5-108MHz频段上的频谱数据进行分段处理,分为204段,即得到204组分段频谱,每组包含5个采样频点。
步骤2:模式提取
针对步骤1中持续30分钟采集到的频谱数据,按照频道对应划分为多段数据,对此一段时间的时间序列上所有单个频道(也就是一组分段频谱)的频谱数据,使用K-means方法进行聚类,采用基于K-means聚类算法,把这段时间内监测到的频谱数据分为K类。在实验中,发现当K=20时产生更好的聚类效果,同时发现不同的频道,聚类效果差距很大。其中101.7MHz四川交通广播电台这个频道的20种模式形状如附图4所示,由图4可知,该频道由相应的五个频点组成。这20种模式形状中,有几种大致相似,是因为101.7MHz是四川省交通广播电台,是强信号频道,但是强度上还是存在细微差异,如附图4(4)和(9)。通过把强度不同的信号分别提取出来作为不同的类别,使得分类更加准确。图4所示是101.7MHz频道上其中的一小段时间的监测数据聚类结果,可以看出聚类的效果较好。虽然每个频道上一天的数据量非常庞大,但是只要根据各自频道监测数据的特征,选择适合的K值进行聚类,都可以获得准确的类别,以便后面进行更精确的模式匹配。
如附图5所示是一个弱信号频道94.1MHz,一天24小时几乎不播放内容,即监测数据值较小且比较杂乱。同样采用K-means算法对其中1000帧监测数据进行聚类,令K=20,将这些监测数据分为20类,并把其聚类中心提取出来作为不同的类别。如附图5中可直观地看出,这20种模式形状相差较大且也没有规则。这是由于94.1MHz频道,几乎一天都没有信号,监测数据由底噪声产生,从而导致监测数据强度较低,并且由K-means算法对其聚类提取模式的形状也是无规则的,但是这些模式仍然具有代表性。当然,当处理海量的监测数据时,需要依据各个频道监测数据特点选择不同的k值进行聚类,从而将这些监测数据分成合理的类别,提取有代表性的模式集。
步骤3:模式约简
考虑到各频道的频谱数据特征在通常情况下具有较大差异,所以此实施例的聚类对象区分频道,且由于步骤2中是直接给出的K=20,对单个频道在一小段时间的频谱数据聚类成20个模式,在频道信号稳定性强的前提下,可能产生的20个模式中相似度极高。所以此处使用相似性均方根误差分析方法对步骤2中产生的聚类中心进行误差分析,欧式距离计算公式如下:
其中Xi,Xj为个两个数据对象。若两个模式通过以上公式计算得出的误差值小于0.3(此为本实验例中采用的误差阈值,在不同的实验例或不同的精度要求下可以有不同的设置)时,说明当前处理的两个模式相似度极高,是在误差允许的条件下,可以直接通过求和取平均值的方式获得这两个模式的合并模式。针对于每个频道,循环遍历所有模式,进行以上误差分析处理,并合并模式,产生最终的时序模式序列集,作为后续匹配时的样本,故也可称为样本集,并用标签值对模式样本集中的每一个时序模式序列样本进行标识。
步骤4:模式匹配
对当前已采集的频谱监测数据,以各个频道为单位,利用择近原则,与各自有代表性的时序模式序列样本集中的时序模式序列样本进行模式识别匹配。将每一帧数据对象,用匹配到的相似的时序模式序列样本的标签值代替,只需保存对应的标签值即可。
其中,模式识别匹配就是把待识别的数据对象与时序模式序列样本集中相似的时序模式序列样本进行匹配。择近原则是机器学习中最早提出的方法之一,广泛应用在各种领域。其思想就是通过计算待识别的数据对象与时序模式序列样本集中各时序模式序列样本的贴近度,判断待识别的数据对象属于哪一个时序模式序列样本。本文利用择近原则进行模式识别,计算数据集中的数据对象与时序模式序列样本集中的时序模式序列样本之间的欧氏距离,然后通过最小距离计算方法,找到与待识别的数据对象最相似的时序模式序列样本,满足距离小于0.4(此为本实验例中采用的距离阈值,根据不同的要求可以进行不同设置)时即可判定待识别的数据对象属于该时序模式序列样本。具体的距离计算及匹配描述如下:
设A1,A2,...Ap是一个时序模式序列样本集中的P个时序模式序列样本,Ai=(ai1,ai2,...,aim),是第i个含m个数据值的时序模式序列样本,B=(b1,b2,...,bm),是一个数据集中待识别的数据对象,计算B与Ai的欧氏距离d(B,Ai)如下:
如果
d(B,Ai)=min{d(B,A1),d(B,A2),…,d(B,Ap)}
即认为待识别的数据对象B属于时序模式序列样本Ai。
在实际识别过程中,可以预先设定一个识别阈值D,并用λ表示待识别数据对象B与时序模式序列样本A1,A2,...Ap的最小距离,即:
λ=min{d(B,A1),d(B,A2),…,d(B,Ap)}
通常D取0.4,当λ≤D时,直接采用择近原则把待识别的数据对象与时序模式序列样本集中的时序模式序列样本进行识别匹配,判定待识别的数据对象属于最小欧氏距离值所对应的时序模式序列样本;当λ>D时,说明待识别的数据对象与时序模式序列样本集中所有的时序模式序列样本都相差较大,此时将频谱数据使用新的标签值替换,并存储此频谱数据,累积存储各个分段上未匹配上的频谱数据。
步骤5:重复步骤1到步骤4,获得多个时间周期内的时序模式序列样本及其标签值后,进行对所有的时序模式序列样本两两进行相似性约简处理,得到最终的时序模式序列样本及其标签值。
步骤6:针对新采集的频谱数据,采用以上步骤1中的相同分段方式进行分段,使用最终的时序模式序列进行识别匹配,具体的匹配步骤与实施例中的步骤4方法完全一致。针对新采集并进行了标签化处理的频谱数据进行存储。
步骤7:针对步骤6最后获得并存储的标签化频谱数据,使用存储的时序模式序列及其对应标签值进行数据恢复,具体操作步骤为,将存储的标签值用对应的时序模式序列进行替换,从而实现数据的恢复。
步骤8:根据重构数据与原始监测数据对比进行性能分析和误差分析,在尽可能减少误差的前提下,实现回放功能。本文采用均方根误差(PRD)对数据压缩方法进行误差分析。均方根误差反映了重构数据与原始数据之间的偏差程度,均方根误差越小,说明重构数据与原始数据越接近,其公式如下:
其中,x(n)是原始数据;x0(n)是重构数据;N是采样点。每一帧重构数据与原始数据相比,曲线图几乎完全吻合,如附图7所示,再计算每一帧PRD大约在2-4%之间波动,即每一帧重构数据的恢复精度达到96%以上,说明该压缩方法准确可靠且重构效果较好,为精确的实时回放以及后续准确计算提供了可靠的依据。
优势分析:
1.实现了较高的频谱数据压缩能力,实验时压缩率最高达到了94%,且稳定在90%以上;
2.实现了高效压缩的情况下保证了重构数据与原始数据的完整性;
3.实现流程简单,操作步骤简短,可应用性强。
4.降低对计算机的性能要求,加快了计算机在处理无线电频谱监测数据时的运行速度。
请参阅图10,基于相同的发明构思,本实施例中同时提供了一种无线电频谱监测数据的存储系统,此处对于系统中各模块未描述之处,可以参阅前述方法中的相关描述。
无线电频谱监测数据的存储系统,包括以下模块:
数据获得模块,用于获得每一个时间周期的指定频段上的多帧频谱数据;
分段模块,用于对数据获得模块获得的每一个时间周期中的每一帧频谱数据进行相同规则的分段处理,按分段得到该指定频段上的若干组分段频谱数据;
时序模式序列提取模块,用于对分段模块得到的每组分段频谱数据进行聚类分析,产生K个聚类中心,对K个聚类中心两两进行相似性约简处理,得到各组分段频谱数据的时序模式序列集,时序模式序列集中包含多个时序模式序列;
标识模块,用于对时序模式序列提取模块得到的每一个时序模式序列用一个标签值进行标识;
匹配存储模块,用于将分段模块得到的每组分段频谱数据,按照时间先后顺序,将每段频谱数据与该段的时序模式序列集中的每一个时序模式序列进行匹配识别,若匹配成功,则以匹配成功的时序模式序列对应的标签值代替该段频谱数据进行存储,若匹配不成功,则以一个新的标签值代替该段频谱数据进行存储。
如图11所示,是本发明较佳实施例提供的电子设备100的方框示意图。本发明实施例中的电子设备100可以为服务器、计算机等具备数据处理能力的设备。如图11所示,电子设备100包括:存储器110、处理器120及网络模块130。
所述存储器110、处理器120以及网络模块130相互之间直接或间接地电性连接,以实现数据的传输或交互。存储器110中存储有无线电频谱监测数据存储系统,所述无线电频谱监测数据存储系统包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块,所述处理器120通过运行存储在存储器110内的软件程序以及模块,如本发明实施例中的无线电频谱监测数据存储系统,从而执行各种功能应用以及数据处理,即实现本发明实施例中的无线电频谱监测数据存储方法。
其中,所述存储器110可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器110用于存储程序,所述处理器120在接收到执行指令后,执行所述程序。
所述处理器120可能是一种集成电路芯片,具有信号的处理能力。上述的处理器120可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等。还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
网络模块130用于通过网络建立电子设备100与外部通信终端之间的通信连接,实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
可以理解,图11所示的结构仅为示意,电子设备100还可包括比图11中所示更多或者更少的组件,或者具有与图11所示不同的配置。图11中所示的各组件可以采用硬件、软件或其组合实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种无线电频谱监测数据中的时序模式序列提取方法,其特征在于,包括以下步骤:
步骤1:获得一个时间周期的指定频段上的多帧频谱数据;
步骤2:对获得的每一帧频谱数据进行相同规则的分段处理,按分段得到该指定频段上的若干组分段频谱数据;
步骤3:对每组分段频谱数据进行聚类分析,产生K个聚类中心,对K个聚类中心两两进行相似性约简处理,得到各组分段频谱数据的时序模式序列集,时序模式序列集中包含多个时序模式序列。
2.根据权利要求1所述的方法,其特征在于,所述步骤2中对每一帧频谱数据进行分段时,以连续5个或以上频点作为一段。
3.根据权利要求1所述的方法,其特征在于,所述步骤3中,对K个聚类中心两两进行相似性约简处理,得到各组分段频谱数据的时序模式序列,包括以下步骤:
从第一个聚类中心开始,分别计算第一个聚类中心与其他每个聚类中心之间的欧式距离,若有多个聚类中心与其之间的欧式距离小于设定的误差阈值,则将欧式距离最小的聚类中心与其合并,得到一个时序模式序列;
按顺序从未进行过合并的聚类中心中选择一个聚类中心,计算选择的聚类中心与其他未进行过合并的聚类中心之间的欧式距离,若有多个聚类中心与其之间的欧式距离小于设定的误差阈值,则将欧式距离最小的聚类中心与其合并,得到一个时序模式序列;循环执行本步骤,直至遍历完K个聚类中心;
未参与合并的聚类中心各自保留,分别得到一个时序模式系列。
4.一种无线电频谱监测数据的存储方法,其特征在于,包括以下步骤:
步骤A,按照权利要求1-3任一所述的方法,提取出当前时间周期的指定频段上的频谱数据的时序模式序列集,并对每一个时序模式序列用一个标签值进行标识;
步骤B,针对当前时间周期的指定频段上的频谱数据,按照步骤2中的方法进行相同方式的分段处理,根据分段结果,按照时间先后顺序,将每段频谱数据与该段的时序模式序列集中的每一个时序模式序列进行匹配识别,若匹配成功,则以匹配成功的时序模式序列对应的标签值代替该段频谱数据进行存储,若匹配不成功,则以一个新的标签值代替该段频谱数据进行存储。
5.根据权利要求4所述的方法,其特征在于,还包括以下步骤:
步骤C,按照权利要求1-3任一所述的方法,提取出下一个时间周期的指定频段上的频谱数据的时序模式序列集,并对每一个时序模式序列用一个标签值进行标识;
步骤D,将所述当前时间周期和所述下一个时间周期的时序模式序列集中的时序模式序列,进行步骤3中所述的相似性约简处理,得到一个时间周期的新的数序模型序列集;
步骤E,针对所述下一个时间周期的指定频段上的频谱数据,按照步骤2中的方法进行相同方式的分段处理,根据分段结果,按照时间先后顺序,将每段频谱数据与步骤D中所述新的数序模型序列集中该段的每一个时序模式序列进行匹配识别,若匹配成功,则以匹配成功的时序模式序列对应的标签值代替该段频谱数据进行存储,若匹配不成功,则以一个新的标签值代替该段频谱数据进行存储;
步骤F,循环执行步骤C到步骤E,对每一个时间周期的指定频段上的频谱数据进行存储。
6.根据权利要求4所述的方法,其特征在于,所述将每段频谱数据与该段的时序模式序列集中的每一个时序模式序列进行匹配识别,包括以下步骤:
分别计算待识别的频谱数据与该段的时序模式序列集中的每一个时序模式序列之间的欧式距离,得到若干个距离值;
找出最小的距离值,判断该最小的距离值是否小于设定的距离阈值,如果是则该待识别的频谱数据与该最小的距离值所对应的时序模式序列匹配成功,否则匹配不成功。
7.一种无线电频谱监测数据中的时序模式序列提取系统,其特征在于,包括以下模块:
数据获得模块,用于获得一个时间周期的指定频段上的多帧频谱数据;
分段模块,用于对获得的每一帧频谱数据进行相同规则的分段处理,按分段得到该指定频段上的若干组分段频谱数据;
时序模式序列提取模块,用于对每组分段频谱数据进行聚类分析,产生K个聚类中心,对K个聚类中心两两进行相似性约简处理,得到各组分段频谱数据的时序模式序列集,时序模式序列集中包含多个时序模式序列。
8.一种无线电频谱监测数据的存储系统,其特征在于,包括以下模块:
数据获得模块,用于获得每一个时间周期的指定频段上的多帧频谱数据;
分段模块,用于对数据获得模块获得的每一个时间周期中的每一帧频谱数据进行相同规则的分段处理,按分段得到该指定频段上的若干组分段频谱数据;
时序模式序列提取模块,用于对分段模块得到的每组分段频谱数据进行聚类分析,产生K个聚类中心,对K个聚类中心两两进行相似性约简处理,得到各组分段频谱数据的时序模式序列集,时序模式序列集中包含多个时序模式序列;
标识模块,用于对时序模式序列提取模块得到的每一个时序模式序列用一个标签值进行标识;
匹配存储模块,用于将分段模块得到的每组分段频谱数据,按照时间先后顺序,将每段频谱数据与该段的时序模式序列集中的每一个时序模式序列进行匹配识别,若匹配成功,则以匹配成功的时序模式序列对应的标签值代替该段频谱数据进行存储,若匹配不成功,则以一个新的标签值代替该段频谱数据进行存储。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行权利要求1-3任一项所述方法的步骤,或者4-6任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-3任一项所述方法的步骤,或者4-6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810488543.0A CN108830162B (zh) | 2018-05-21 | 2018-05-21 | 无线电频谱监测数据中的时序模式序列提取方法及存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810488543.0A CN108830162B (zh) | 2018-05-21 | 2018-05-21 | 无线电频谱监测数据中的时序模式序列提取方法及存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108830162A true CN108830162A (zh) | 2018-11-16 |
CN108830162B CN108830162B (zh) | 2022-02-08 |
Family
ID=64147236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810488543.0A Active CN108830162B (zh) | 2018-05-21 | 2018-05-21 | 无线电频谱监测数据中的时序模式序列提取方法及存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108830162B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558467A (zh) * | 2018-12-07 | 2019-04-02 | 国网江苏省电力有限公司常州供电分公司 | 用电用户类别识别方法及系统 |
CN109830101A (zh) * | 2018-12-03 | 2019-05-31 | 江苏智运科技发展有限公司 | 一种基于异常微波交通数据修复的拥堵区域识别方法 |
CN110096630A (zh) * | 2019-05-06 | 2019-08-06 | 吉林农业大学 | 一类基于聚类分析的大数据处理方法 |
CN110324098A (zh) * | 2019-07-05 | 2019-10-11 | 中国科学院新疆天文台 | 一种宽带频谱序列的干扰信号的识别与统计方法 |
CN110913432A (zh) * | 2019-10-21 | 2020-03-24 | 成都大公博创信息技术有限公司 | 一种无线电频谱监测数据的压缩方法 |
CN110929842A (zh) * | 2019-10-15 | 2020-03-27 | 中国人民解放军国防科技大学 | 非合作无线电信号突发时间区域精确智能检测方法 |
CN111723072A (zh) * | 2020-06-22 | 2020-09-29 | 合肥博雷电气有限公司 | 一种频谱大数据的存储方法及系统 |
CN111934797A (zh) * | 2020-07-09 | 2020-11-13 | 广东工业大学 | 基于协方差特征值和均值漂移聚类的协作频谱感知方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002323371A (ja) * | 2001-04-27 | 2002-11-08 | Toshiba Corp | 音響診断装置及び音響診断方法 |
CN101408567A (zh) * | 2008-11-28 | 2009-04-15 | 北京四方继保自动化股份有限公司 | 基于经验模态分解的大规模电网低频振荡分频段检测法 |
CN101859383A (zh) * | 2010-06-08 | 2010-10-13 | 河海大学 | 基于时间序列重要点分析的高光谱遥感图像波段选择方法 |
US20140032451A1 (en) * | 2000-08-07 | 2014-01-30 | Health Discovery Corporation | Support vector machine-based method for analysis of spectral data |
CN104516019A (zh) * | 2013-09-27 | 2015-04-15 | 中国石油天然气集团公司 | 一种基于频谱形状的油气预测方法 |
CN104899327A (zh) * | 2015-06-24 | 2015-09-09 | 哈尔滨工业大学 | 一种无类别标签的时间序列异常检测方法 |
CN105182070A (zh) * | 2015-08-13 | 2015-12-23 | 西华大学 | 一种信号检测方法 |
CN106409310A (zh) * | 2013-08-06 | 2017-02-15 | 华为技术有限公司 | 一种音频信号分类方法和装置 |
-
2018
- 2018-05-21 CN CN201810488543.0A patent/CN108830162B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140032451A1 (en) * | 2000-08-07 | 2014-01-30 | Health Discovery Corporation | Support vector machine-based method for analysis of spectral data |
JP2002323371A (ja) * | 2001-04-27 | 2002-11-08 | Toshiba Corp | 音響診断装置及び音響診断方法 |
CN101408567A (zh) * | 2008-11-28 | 2009-04-15 | 北京四方继保自动化股份有限公司 | 基于经验模态分解的大规模电网低频振荡分频段检测法 |
CN101859383A (zh) * | 2010-06-08 | 2010-10-13 | 河海大学 | 基于时间序列重要点分析的高光谱遥感图像波段选择方法 |
CN106409310A (zh) * | 2013-08-06 | 2017-02-15 | 华为技术有限公司 | 一种音频信号分类方法和装置 |
CN104516019A (zh) * | 2013-09-27 | 2015-04-15 | 中国石油天然气集团公司 | 一种基于频谱形状的油气预测方法 |
CN104899327A (zh) * | 2015-06-24 | 2015-09-09 | 哈尔滨工业大学 | 一种无类别标签的时间序列异常检测方法 |
CN105182070A (zh) * | 2015-08-13 | 2015-12-23 | 西华大学 | 一种信号检测方法 |
Non-Patent Citations (2)
Title |
---|
FRANCESCO GULLO ET AL: "A time series representation model for accurate and fast similarity detection", 《PATTERN RECOGNITION》 * |
刘云鹏: "基于IFS的局部放电超声信号的数据压缩和模式识别", 《电工技术学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109830101A (zh) * | 2018-12-03 | 2019-05-31 | 江苏智运科技发展有限公司 | 一种基于异常微波交通数据修复的拥堵区域识别方法 |
CN109558467A (zh) * | 2018-12-07 | 2019-04-02 | 国网江苏省电力有限公司常州供电分公司 | 用电用户类别识别方法及系统 |
CN109558467B (zh) * | 2018-12-07 | 2020-09-15 | 国网江苏省电力有限公司常州供电分公司 | 用电用户类别识别方法及系统 |
CN110096630A (zh) * | 2019-05-06 | 2019-08-06 | 吉林农业大学 | 一类基于聚类分析的大数据处理方法 |
CN110324098A (zh) * | 2019-07-05 | 2019-10-11 | 中国科学院新疆天文台 | 一种宽带频谱序列的干扰信号的识别与统计方法 |
CN110929842A (zh) * | 2019-10-15 | 2020-03-27 | 中国人民解放军国防科技大学 | 非合作无线电信号突发时间区域精确智能检测方法 |
CN110913432A (zh) * | 2019-10-21 | 2020-03-24 | 成都大公博创信息技术有限公司 | 一种无线电频谱监测数据的压缩方法 |
CN110913432B (zh) * | 2019-10-21 | 2023-05-02 | 成都大公博创信息技术有限公司 | 一种无线电频谱监测数据的压缩方法 |
CN111723072A (zh) * | 2020-06-22 | 2020-09-29 | 合肥博雷电气有限公司 | 一种频谱大数据的存储方法及系统 |
CN111934797A (zh) * | 2020-07-09 | 2020-11-13 | 广东工业大学 | 基于协方差特征值和均值漂移聚类的协作频谱感知方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108830162B (zh) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108830162A (zh) | 无线电频谱监测数据中的时序模式序列提取方法及存储方法 | |
US20060100969A1 (en) | Learning-based method for estimating cost and statistics of complex operators in continuous queries | |
CN108595539A (zh) | 一种基于大数据的行迹相似对象识别方法与系统 | |
KR20160019897A (ko) | 시계열의 고속 그룹화 기법 | |
CN111506599A (zh) | 基于规则匹配和深度学习的工控设备识别方法及系统 | |
CN107180223A (zh) | 基于wifi无线信号的动作识别方法和系统 | |
CN107729916A (zh) | 一种基于isodata的干扰源分类识别算法及装置 | |
CN109829352B (zh) | 融合多层稀疏学习与多视角学习的通信指纹识别方法 | |
CN104142946A (zh) | 一种同款业务对象聚合、搜索的方法和系统 | |
CN109379698B (zh) | 基于信道模型特征提取的小区测量报告定位方法及系统 | |
CN110350993A (zh) | 一种大数据场景下基于联网监测的黑广播自动发现方法 | |
CN104484412A (zh) | 基于多形式处理的大数据分析系统 | |
CN117076955A (zh) | 一种高压变频器的故障检测方法及系统 | |
Ren et al. | Deep RF device fingerprinting by semi-supervised learning with meta pseudo time-frequency labels | |
CN113343868A (zh) | 一种辐射源个体识别方法及装置、终端、存储介质 | |
CN117454269A (zh) | 一种电力系统暂态信号识别方法 | |
Huang et al. | FM broadcast monitoring using artificial intelligence | |
CN111079809A (zh) | 电连接器智能统型方法 | |
CN112860768B (zh) | 一种电磁频谱可用频率推荐方法 | |
CN115297023A (zh) | 改进型深度学习算法模型的互联网流量大数据分析方法 | |
CN108462940A (zh) | 一种基于WiFi热点的室内定位方法 | |
CN111083632A (zh) | 一种基于支持向量机的超宽带室内定位方法 | |
Le Truong et al. | An Application of Deep Learning YOLOv5 Framework to Intelligent Radio Spectrum Monitoring | |
CN110135516A (zh) | 一种基于包络线及内积的高频数据模式识别方法 | |
Guo et al. | An SEI-Based Identification Scheme for Illegal FM Broadcast |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |