CN111339986B - 基于时域/频域分析的装备用频规律挖掘方法和系统 - Google Patents

基于时域/频域分析的装备用频规律挖掘方法和系统 Download PDF

Info

Publication number
CN111339986B
CN111339986B CN202010150569.1A CN202010150569A CN111339986B CN 111339986 B CN111339986 B CN 111339986B CN 202010150569 A CN202010150569 A CN 202010150569A CN 111339986 B CN111339986 B CN 111339986B
Authority
CN
China
Prior art keywords
frequency
rule
analysis
category
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010150569.1A
Other languages
English (en)
Other versions
CN111339986A (zh
Inventor
吴国荣
夏亮
胡谦
刘海涛
易志鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boer Communication Technology Co ltd
Original Assignee
Beijing Boer Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boer Communication Technology Co ltd filed Critical Beijing Boer Communication Technology Co ltd
Priority to CN202010150569.1A priority Critical patent/CN111339986B/zh
Publication of CN111339986A publication Critical patent/CN111339986A/zh
Application granted granted Critical
Publication of CN111339986B publication Critical patent/CN111339986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供一种基于时域/频域分析的装备用频规律挖掘方法和系统，对战场环境下装备用频规律进行系统性研究。本发明的方法包括以下步骤：(1)采集装备用频频率数据，对频率数据分布规律进行分析，区分频率固定、频率区间连续分布和频率离散分布的情况；(2)对于频率固定情况，首先通过野值检测剔除异常值，然后分析频率的统计规律；(3)对于频率区间连续情况，将频率的时间序列看作时域离散采集的信号样点，对其进行傅里叶变换，然后通过频谱形状分析频率数据的时序规律；(4)对于频率离散分布情况，首先通过类别结构挖掘得到频率数据的类别数和分类规律，生成频率集并进行特征分析，最后进行关联规律分析。

Description

基于时域/频域分析的装备用频规律挖掘方法和系统
技术领域：
本发明涉及装备用频规律分析技术领域，特别是涉及一种基于时域/频域分析的装备用频规律挖掘方法和系统。
背景技术：
在当今战场环境下，军事装备的效能发挥越来越依赖电磁信号的有效发射与接收。装备用频是装备的重要参数，为电子侦察系统识别装备身份、研究装备用频规律，继而实施针对性的电子对抗措施提供重要依据。随着电子技术的快速发展，宽频带、捷变频、工作模式多变的辐射源大量部署使用，传统的通过直接观察和基于统计直方图的粗略判断装备用频规律的方法逐渐显现出自动化不足、效率低、判别不准确的缺点，而目前正在兴起的数据挖掘技术在解决这一问题方面有巨大潜力。
数据挖掘，也称为信息挖掘，就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的规律、信息和知识的过程。数据挖掘所发现的规律包括广义规律、关联规律、分类规律、预测型规律和偏差型规律等等。在装备用频规律中，信号频率类型属于广义规律，不同频点之间的使用关系属于关联规律，频点聚集情况属于分类规律，对用频的预测属于预测型规律，而由于目标关联错误或测量错误引入的异常频点属于偏差型规律。可见，数据挖掘技术对于研究装备用频规律有天然优势。用频规律挖掘在民用无线电领域和军事领域都有应用需求。民用无线电领域中的装备用频规律挖掘多用于频谱占用预测，挖掘的规律一般包括关联规律和预测型规律，为实施动态频谱接入，提高频谱利用效率提供支持。战场环境下对军事装备用频规律的挖掘涉及更多的方面，除了关联规律和预测型规律，还要考虑广义规律、分类规律和偏差型规律等，为充分掌握装备用频特点，识别装备身份，获取电子情报进而实施电子对抗提供支持。以往关于用频规律的研究多集中于民用无线电领域，对战场环境下的装备用频规律研究偏少，缺乏系统性，采用的方法也较为简单，而且没有充分利用数据挖掘的方法及优势，难以应对当今装备用频规律复杂多变的情况。
发明内容：
为了克服现有技术存在的不足，本发明提供一种基于时域/频域分析的装备用频规律挖掘方法和系统，对战场环境下装备用频规律进行系统性研究，充分利用数据挖掘方法,在时域和频域上以定量的方式研究和描述频率数据的规律和特点，对装备用频规律进行充分、有效地挖掘，为装备身份识别、装备用频预测提供重要的电子情报支持。
本发明的技术方案是：
1.一种基于时域/频域分析的装备用频规律挖掘方法，其特征在于，包括以下步骤：
(1)采集装备用频频率数据，对频率数据分布规律进行统计分析，区分频率固定、频率区间连续分布和频率离散分布的情况；
(2)对于频率固定情况，首先通过野值检测剔除异常值，然后分析频率的统计规律；
(3)对于频率区间连续情况，将频率的时间序列看作时域离散采集的信号样点，对其进行傅里叶变换，然后通过频谱形状分析频率数据的时序规律；
(4)对于频率离散分布情况，首先通过类别结构挖掘得到频率数据的类别数和分类规律，然后生成频率集并进行特征分析，最后进行关联规律分析。
2.步骤(1)中，对频率数据利用统计直方图进行分布规律分析，包括以下步骤：
(11)根据频率测量误差△，选取直方图累积步长为2△，对频率数据做统计直方图；
(12)根据统计直方图中累积峰特点，区分反映频率真实取值的真实积累峰与频率异常值形成的虚假积累峰，设置过滤虚假积累峰的过滤门限为
η＝αNmax·N0/L
其中α为经验系数，Nmax为直方图最高峰值，N0为频率数据量，L为直方图累积步长；
(13)根据过滤门限η判断统计直方图的积累峰个数Npeak；
(14)若Npeak＝1，则判断频率类型为固定模式；若Npeak>1，则判断
Figure BDA0002402295970000021
是否成立，其中
Figure BDA0002402295970000022
和/>
Figure BDA0002402295970000023
分别为最小和最大过门限积累峰的数值集合，β是一个经验值，通常在区间(0.5,1)内选取；若上式成立，则判断频率类型为区间连续变化；否则，判断频率类型为离散分布。
3.步骤(1)中，对于频率固定情况，取直方图主高峰对应数值范围
Figure BDA0002402295970000024
的均值作为频率统计值，即/>
Figure BDA0002402295970000025
对于频率区间连续情况，频率取值区间定义为/>
Figure BDA0002402295970000026
其中
Figure BDA0002402295970000027
Figure BDA0002402295970000028
对于频率离散分布情况，频率的各离散取值表示为/>
Figure BDA0002402295970000029
其中/>
Figure BDA00024022959700000210
为第k个过门限峰对应的数值集合。
4.步骤(2)中，首先通过基于规格化残差的方法进行野值检测并剔除异常值，野值检测方法是：21)利用统计直方图得到类别中心估计；22)在类别中心附近寻找正常模式的初始集合；23)利用正常模式集合计算距其最近样本的规格化残差；24)根据规格化残差与预先定义的检测门限的相对大小区分正常值和异常值，然后更新正常模式集合与野值集合并重复上述过程，最终得到正常频点集合X；然后对正常模式集合X中的频点进行统计规律分析：计算频点均值，作为频率的精确估计结果；计算频点方差，作为频率散布大小和系统测频误差。
5.步骤(3)中，频率时序规律分析方法是:如果频谱为随机形状则判断频率序列随机变化；如果频谱有明显谱峰，则判断频率序列确定变化，此时根据谱峰位置估计频率变化周期，若周期小于序列长度则判断频率序列为周期变化，否则认为无周期。
6.步骤(4)中，类别数估计的方法为：411)利用统计直方图得到类别数的粗估计；412)在粗估类别数周围计算聚类MSE代价函数；413)MSE代价函数减去其后半段的线性拟合结果的一次项部分，得到修正的MSE代价函数结果；414)对频率数据进行扰动分析，得到不一致/一致因子(DAI)结果；415)将两种结果分别归一化再相加组成联合代价函数；416)计算联合代价函数的最小值对应的类别数，即为频率离散分布的类别数估计结果。
7.步骤(4)中，根据估计的类别数，采取K-均值聚类方法对频率数据重新聚类。
8.步骤(4)中，对重新聚类的频率集并进行特征分析的方法是：
首先研究频率集的频率特征：将各类别依次命名为类别1、类别2、……、类别
Figure BDA0002402295970000031
统计各类的样本数和样本均值，设第i类的样本数为Ni，样本均值为fi，则离散分布的频率数据中包含的频率集为/>
Figure BDA0002402295970000032
各频点的用频频率为
Figure BDA0002402295970000033
然后研究频率集的时序特征：按照时间顺序确定类别序列Lc，统计(fi,fj)在所有频率对中占有的比例，其中(fi,fj)表示与频点fi邻接的后一个频点为fj，由此估计条件概率p(fj|fi)，即装备当前使用频率为fi的条件下，下一个用频为fj的概率，实现装备用频预测。
9.步骤(4)中，采用Apriori算法进行关联规律分析，包括以下步骤：
(441)发现所有类别集合中的频繁项集：由类别集合生成候选项集C1，计算C1的支持度，经过支持度过滤生成频繁项集F1；然后将F1的数据项两两拼接成候选项集C2；从C2开始，通过支持度过滤生成频繁项集F2；F2根据Apriori原理拼接成候选项集C3；C3通过支持度过滤生成频繁项集F3，直到Fk中仅有一个或没有数据项为止；
(442)计算频繁项集Fj与Fi关联的置信度：
Figure BDA0002402295970000034
其中support(·)表示集合支持度。
(443)设置最小置信度阈值min_conf，若
Figure BDA0002402295970000041
可得到用于预测的关联规则/>
Figure BDA0002402295970000042
即当频点集Fi出现后，频点集Fj也可能会出现。
10.一种基于时域/频域分析的装备用频规律挖掘系统，其特征在于，包括频率数据分布规律分析模块，用于对频率数据分布规律进行分析，区分频率固定、频率区间连续和频率离散分布的情况；还包括固定频率统计规律分析模块，区间连续频率时序规律分析模块，离散频率关联规律分析模块，分别用于对固定频率的统计规律、区间连续频率的时序规律以及离散频率的关联规律进行分析挖掘。
本发明的有益效果是：
本发明提供一种基于时域/频域分析的装备用频规律挖掘方法和系统，对战场环境下装备用频规律进行系统性研究，充分利用数据挖掘方法,在时域和频域上以定量的方式研究和描述频率数据的规律和特点，对装备用频规律进行充分、有效地挖掘。通过本发明的方法挖掘得出的装备用频规律，一方面可作为特征参量用于装备身份识别，为战场态势感知、威胁估计以及重点目标的判别和跟踪监视提供依据；另一方面可用于装备用频预测，为实现对装备的软杀伤(如电子干扰)和硬摧毁提供必要的电子情报支持。
本发明针对不同的频率类型采用针对性的规律挖掘策略，使用野值检测、频谱分析、类别数估计、聚类分析和关联规律分析等工具方法，在时域和频域上用定量的方法研究和描述频率数据的规律和特点，对装备用频规律进行了充分、有效地挖掘。
附图说明：
图1是本发明的基于时域/频域分析的装备用频规律挖掘方法流程图；
图2a是区间连续频率的时间变化序列及傅里叶频谱无周期变化示意图；
图2b是区间连续频率的时间变化序列及傅里叶频谱周期变化示意图；
图3是频率离散分布情况下类别数估计流程图。
具体实施方式：
以下结合附图对本发明的实施例作进一步详细说明。
如图1所示，是本发明基于时域/频域分析的装备用频规律挖掘方法流程图。
一种基于时域/频域分析的装备用频规律挖掘方法，包括以下步骤：
(1)采集装备用频频率数据，对频率数据分布规律进行分析，区分频率固定、频率区间连续分布和频率离散分布的情况；
(2)对于频率固定情况，首先通过野值检测剔除异常值，然后分析频率的统计规律；
(3)对于频率区间连续情况，将频率的时间序列看作时域离散采集的信号样点，对其进行傅里叶变换，然后通过频谱形状分析频率数据的时序规律；
(4)对于频率离散分布情况，首先通过类别结构挖掘得到频率数据的类别数和分类规律，然后生成频率集并进行特征分析，最后进行关联规律分析。
本发明方法中，第一步对频率数据进行分布规律分析，完成参数值统计与参数取值规律性判断，然后根据频率分布结果进入相应的子流程，按频率类型的不同分别进行规律挖掘。对于频率固定情况，频率数据较为集中，出现一定散布的原因主要是测量误差和异常测量值的存在，为了方便统计量计算，首先通过野值检测将异常频点剔除，然后统计余下数据的均值和方差，从而得到精确的频率估计，并且估算系统的频率测量误差，为其他算法任务提供支持。对于频率区间连续情况，频率数据散布在较大的范围内，为了分析频率的时序变化规律，首先对频率的时间序列进行傅里叶变换，然后分析傅里叶频谱的形状特征，区分频率随机变化、确定变化和周期变化规律。对于频率离散分布情况，频率数据中隐含类别结构，首先进行类别结构挖掘，识别类别数目和频率聚类情况，然后生成频率集并计算装备用频特点，最后通过Apriori算法分析类别间的关联规律。
下面依次阐述各步骤的具体实施方式：
步骤(1)中，对频率数据利用统计直方图进行分布规律分析，利用统计直方图实现参数取值规律性判断，包括以下步骤：
(11)根据频率测量误差△，选取直方图累积步长为2△，对频率数据做统计直方图；
(12)统计直方图中有些累积峰可能是异常值形成的，即为虚假峰；为了得到频率的真实取值规律，要确定可以区分真实积累峰与虚假峰的过滤门限大小。设置过滤门限为
η＝αNmax·N0/L
其中α为经验系数，Nmax为直方图最高峰值，N0为频率数据量，L为直方图累积步长。
根据过滤门限η判断统计直方图的积累峰个数Npeak。
(13)若Npeak＝1，则判断频率类型为固定模式；否则若Npeak>1，判断
Figure BDA0002402295970000051
是否成立，其中
Figure BDA0002402295970000052
和/>
Figure BDA0002402295970000053
分别为最小和最大过门限积累峰的数值集合，β是一个经验值，通常在区间(0.5,1)内选取。若上式成立，则判断频率类型为区间连续变化；否则，判断频率类型为离散分布。
对于频率固定情况，取直方图主高峰对应数值范围
Figure BDA0002402295970000054
的均值作为频率统计值，即
Figure BDA0002402295970000055
对于频率区间连续情况，频率取值区间定义为/>
Figure BDA0002402295970000061
其中
Figure BDA0002402295970000062
Figure BDA0002402295970000063
对于频率离散分布情况，频率的各离散取值表示为/>
Figure BDA0002402295970000064
其中/>
Figure BDA0002402295970000065
为第k个过门限峰对应的数值集合。
步骤(2)中，首先通过基于规格化残差(Normalized Residual,NR)的方法进行野值检测并剔除异常值，野值检测方法为：21)利用统计直方图得到类别中心估计；22)在类别中心附近寻找正常模式的初始集合；23)利用正常模式集合计算距其最近样本的规格化残差；24)根据规格化残差与预先定义的检测门限(一般设为2～4)的相对大小区分正常值和异常值，然后更新正常模式集合与野值集合并重复上述过程，最终得到正常频点集合X。
设原频率集为Ω，初始野值集合为
Figure BDA0002402295970000066
野值检测方法是：首先选择距离/>
Figure BDA0002402295970000067
最近的K个频率值组成正常模式集X，然后从Ω-X-O中选择距离X最近的频点f，再从X中选择距离f最近的K个频点，设为fk,k＝1,2,L,K，计算f的NR值：
Figure BDA0002402295970000068
其中med(·)表示对下标为k＝1,2,L,K的项取均值，因子
Figure BDA0002402295970000069
dk＝|f-fk|，sum(·)表示求和，ξ表示容差。如果r(f)<h，其中h为预先定义的检测门限(一般设为2～4)，则令X＝X∪{f}；否则令O＝O∪{f}，重复上述过程，最终得到正常频点集合X。
然后对正常模式集合X中的频点进行统计规律分析：计算频点均值，作为频率的精确估计结果；计算频点方差，作为频率散布大小和系统测频误差。
步骤(3)中，将频率数据的时序样点f(i),i＝1,2,L,N0看作时域离散采样信号，采样率设为fs＝1，进行如下傅里叶变换：
Figure BDA00024022959700000610
其中N≥N0为傅里叶变换点数。
不同时序变化频率样点其傅里叶频谱有不同特点，如图2a、2b所示，分别是区间连续频率的时间变化序列及傅里叶频谱无周期变化、周期变化示意图。其中共设N0＝1000个频点，傅里叶变换点数为N＝4096。如果频率数据呈周期变化，则在傅里叶频谱上会出现谱峰。设谱峰所在横轴的下标为
Figure BDA00024022959700000611
则由于信号隐含的频率为/>
Figure BDA00024022959700000612
所以频率数据的变化周期为/>
Figure BDA00024022959700000613
如果频率数据呈无周期确定变化，也会出现谱峰，只不过此时估计的/>
Figure BDA0002402295970000071
所以，频率时序规律分析方法是：检测频率序列的傅里叶频谱，如果频谱呈随机变化，则认为频率数据在变化区间内随机取值；如果存在明显谱峰，则判断频率呈确定性变化。此时估计频率变化周期/>
Figure BDA0002402295970000072
如果/>
Figure BDA0002402295970000073
则判断频率呈周期变化，否则频率变化无周期。
步骤(4)中，对于频率类型为离散分布的情况，首先进行类别结构挖掘，第一步是类别数估计，如图3所示，是频率离散分布情况下类别数估计流程图。根据前面得到的频率统计直方图的累积峰数目Npeak，设类别数c的考查范围是Λ＝[Npeak-3,Npeak+3]，执行如下处理步骤：
(411)对每个候选类别数c∈Λ，对频率数据进行K-均值聚类，利用统计直方图得到类别数的粗估计：
(412)在粗估类别数周围计算每个聚类结果的均方误差(Mean Square Error,MSE)代价函数：
Figure BDA0002402295970000074
其中
Figure BDA0002402295970000075
是第k个聚类结果的第i个样本，Nk是第k类的总样本数，/>
Figure BDA0002402295970000076
是第k类的样本均值。
(413)对c∈[Npeak,Npeak+3]部分的代价函数J(c)进行线性拟合，得到
Figure BDA0002402295970000077
其中/>
Figure BDA0002402295970000078
和/>
Figure BDA0002402295970000079
为拟合系数，称/>
Figure BDA00024022959700000710
为修正的MSE代价函数，得到修正的MSE代价函数结果。
(414)通过样本扰动分析，计算不一致/一致因子(Disagreement/AgreementIndex,DAI)，得到不一致/一致因子(DAI)结果；方法是：对原始集合中的样本随机扰动B次，得到扰动集合Xk,k＝0,1,L,B，每次扰动都生成一个聚类结果，记为Pk,k＝0,1,L,B，其中k＝0表示未作扰动的情况。计算邻接矩阵Mk：如果Xk的第i个和第j个样本被归为同类，则令其ij元素
Figure BDA00024022959700000711
否则令/>
Figure BDA00024022959700000712
聚类结果Pk与P0的差异度定义为
Figure BDA00024022959700000713
其中1{·}为指示函数。由此得到DAI值：
Figure BDA00024022959700000714
(415)将两种结果分别归一化再相加，计算联合代价函数：
Figure BDA00024022959700000715
其中norm[·]表示对作用曲线归一化。
(416)计算联合代价函数的最小值对应的类别数，即为频率离散分布的类别数估计结果，
类别数估计结果为
Figure BDA0002402295970000081
类别结构挖掘的第二步是：根据类别数
Figure BDA0002402295970000082
对频率数据利用K-均值聚类方法重新聚类，并对每一个类别进行野值检测，剔除差异性较大的样本，方法与频率固定情况的野值检测方法相同。
下面进行频率集特征分析。首先研究频率集的频率特征：将各类别依次命名为类别1、类别2、……、类别
Figure BDA0002402295970000083
统计各类的样本数和样本均值。设第i类的样本数为Ni，样本均值为fi，则离散分布的频率数据中包含的频率集为/>
Figure BDA0002402295970000084
各频点的用频频率为
Figure BDA0002402295970000085
然后研究频率集的时序特征，首先按照时间顺序确定类别序列Lc，然后统计(fi,fj)在所有频率对中占有的比例，其中(fi,fj)表示与频点fi邻接的后一个频点为fj，由此估计条件概率p(fj|fi)，即装备当前使用频率为fi的条件下，下一个用频为fj的概率。如果数据量足够，还可估计更多给定频点的条件概率，这样就实现了装备用频预测。
根据频率集F，结合历史数据，用Apriori算法进行关联规律分析，方法是：
(441)发现所有类别集合中的频繁项集：由类别集合生成候选项集C1(1表示仅包含一个数据项)；计算C1的支持度，经过支持度过滤生成频繁项集F1。然后将F1的数据项两两拼接成候选项集C2。从C2开始，通过支持度过滤生成频繁项集F2。F2根据Apriori原理拼接成候选项集C3；C3通过支持度过滤生成频繁项集F3，如此等等，直到Fk中仅有一个或没有数据项为止；
(442)计算频繁项集Fj与Fi关联的置信度：
Figure BDA0002402295970000086
其中support(·)表示集合支持度；
(443)设置最小置信度阈值min_conf，若
Figure BDA0002402295970000087
可得到用于预测的关联规则/>
Figure BDA0002402295970000088
即当频点集Fi出现后，频点集Fj也可能会出现。
在上述处理过程中，当不考虑频率数据的时间属性时采用的是频域处理方法，而在处理区间连续情况时又将其作为时域数据进行傅里叶频谱分析，在研究频率集的时序特征时也在时域上进行，从而在时域和频域两种维度上挖掘频率变化规律。此外，在频率固定和频率离散分布两种情况下都引入野值检测技术，保证了参数统计的准确性和后续处理的稳定性。最后，类别数估计采用统计直方图、聚类MSE代价函数和样本扰动分析三者相结合的方法，保证类别数估计的准确性，为离散分布情况下的用频规律挖掘提供了必要前提。
相应的，一种基于时域/频域分析的装备用频规律挖掘系统，包括频率数据分布规律分析模块、固定频率统计规律分析模块，区间连续频率时序规律分析模块，离散频率关联规律分析模块。各模块的功能如下：频率数据分布规律分析模块，用于对频率数据分布规律进行分析，区分频率固定、频率区间连续和频率离散分布的情况；固定频率统计规律分析模块，区间连续频率时序规律分析模块，离散频率关联规律分析模块，分别用于对固定频率的统计规律、区间连续频率的时序规律以及离散频率的关联规律进行分析挖掘。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造的保护范围当中。

Claims (8)

1.一种基于时域/频域分析的装备用频规律挖掘方法，其特征在于，包括以下步骤：
(1)采集装备用频频率数据，对频率数据分布规律进行统计分析，区分频率固定、频率区间连续分布和频率离散分布的情况；
(2)对于频率固定情况，首先通过野值检测剔除异常值，然后分析频率的统计规律；
(3)对于频率区间连续情况，将频率的时间序列看作时域离散采集的信号样点，对其进行傅里叶变换，然后通过频谱形状分析频率数据的时序规律；
(4)对于频率离散分布情况，首先通过类别结构挖掘得到频率数据的类别数和分类规律，然后生成频率集并进行特征分析，最后进行关联规律分析；
所述步骤(1)中，对频率数据利用统计直方图进行分布规律分析，包括以下步骤：
(11)根据频率测量误差Δ，选取直方图累积步长为2Δ，对频率数据做统计直方图；
(12)根据统计直方图中累积峰特点，区分反映频率真实取值的真实积累峰与频率异常值形成的虚假积累峰，设置过滤虚假积累峰的过滤门限为
η＝αNmax·N0/L
其中α为经验系数，Nmax为直方图最高峰值，N0为频率数据量，L为直方图累积步长；
(13)根据过滤门限η判断统计直方图的积累峰个数Npeak；
(14)若Npeak＝1，则判断频率类型为固定模式；若Npeak＞1，则判断
Figure FDA0004152540870000011
是否成立，其中
Figure FDA0004152540870000012
和/>
Figure FDA0004152540870000013
分别为最小和最大过门限积累峰的数值集合，β是一个经验值，通常在区间(0.5,1)内选取；若上式成立，则判断频率类型为区间连续变化；否则，判断频率类型为离散分布；
所述步骤(4)中，类别数估计的方法为：411)利用统计直方图得到类别数的粗估计；412)在粗估类别数周围计算聚类MSE代价函数；413)MSE代价函数减去其后半段的线性拟合结果的一次项部分，得到修正的MSE代价函数结果；414)对频率数据进行扰动分析，得到不一致/一致因子(DAI)结果；415)将两种结果分别归一化再相加组成联合代价函数；416)计算联合代价函数的最小值对应的类别数，即为频率离散分布的类别数估计结果。
2.根据权利要求1所述的基于时域/频域分析的装备用频规律挖掘方法，其特征在于，所述步骤(1)中，对于频率固定情况，取直方图主高峰对应数值范围
Figure FDA0004152540870000014
的均值作为频率统计值，即/>
Figure FDA0004152540870000021
对于频率区间连续情况，频率取值区间定义为/>
Figure FDA0004152540870000022
其中
Figure FDA0004152540870000023
对于频率离散分布情况，频率的各离散取值表示为/>
Figure FDA0004152540870000024
其中/>
Figure FDA0004152540870000025
为第k个过门限峰对应的数值集合。
3.根据权利要求1所述的基于时域/频域分析的装备用频规律挖掘方法，其特征在于，所述步骤(2)中，首先通过基于规格化残差的方法进行野值检测并剔除异常值，野值检测方法是：21)利用统计直方图得到类别中心估计；22)在类别中心附近寻找正常模式的初始集合；23)利用正常模式集合计算距其最近样本的规格化残差；24)根据规格化残差与预先定义的检测门限的相对大小区分正常值和异常值，然后更新正常模式集合与野值集合并重复上述过程，最终得到正常频点集合X；然后对正常模式集合X中的频点进行统计规律分析：计算频点均值，作为频率的精确估计结果；计算频点方差，作为频率散布大小和系统测频误差。
4.根据权利要求1所述的基于时域/频域分析的装备用频规律挖掘方法，其特征在于，所述步骤(3)中，频率时序规律分析方法是:如果频谱为随机形状则判断频率序列随机变化；如果频谱有明显谱峰，则判断频率序列确定变化，此时根据谱峰位置估计频率变化周期，若周期小于序列长度则判断频率序列为周期变化，否则认为无周期。
5.根据权利要求1所述的基于时域/频域分析的装备用频规律挖掘方法，其特征在于，所述步骤(4)中，根据估计的类别数，采取K-均值聚类方法对频率数据重新聚类。
6.根据权利要求5所述的基于时域/频域分析的装备用频规律挖掘方法，其特征在于，所述步骤(4)中，对重新聚类的频率集并进行特征分析的方法是：
首先研究频率集的频率特征：将各类别依次命名为类别1、类别2、……、类别
Figure FDA0004152540870000026
统计各类的样本数和样本均值，设第i类的样本数为Ni，样本均值为fi，则离散分布的频率数据中包含的频率集为/>
Figure FDA0004152540870000027
各频点的用频频率为
Figure FDA0004152540870000028
然后研究频率集的时序特征：按照时间顺序确定类别序列Lc，统计(fi,fj)在所有频率对中占有的比例，其中(fi,fj)表示与频点fi邻接的后一个频点为fj，由此估计条件概率p(fj|fi)，即装备当前使用频率为fi的条件下，下一个用频为fj的概率，实现装备用频预测。
7.根据权利要求1所述的基于时域/频域分析的装备用频规律挖掘方法，其特征在于，所述步骤(4)中，采用Apriori算法进行关联规律分析，包括以下步骤：
(441)发现所有类别集合中的频繁项集：由类别集合生成候选项集C1，计算C1的支持度，经过支持度过滤生成频繁项集F1；然后将F1的数据项两两拼接成候选项集C2；从C2开始，通过支持度过滤生成频繁项集F2；F2根据Apriori原理拼接成候选项集C3；C3通过支持度过滤生成频繁项集F3，直到Fk中仅有一个或没有数据项为止；
(442)计算频繁项集Fj与Fi关联的置信度：
Figure FDA0004152540870000031
其中support(·)表示集合支持度；
(443)设置最小置信度阈值min_conf，若
Figure DA00041525408757157284
可得到用于预测的关联规则/>
Figure FDA0004152540870000033
即当频点集Fi出现后，频点集Fj也可能会出现。
8.一种基于时域/频域分析的装备用频规律挖掘系统，其特征在于，包括频率数据分布规律分析模块，用于对频率数据分布规律进行分析，区分频率固定、频率区间连续和频率离散分布的情况；还包括固定频率统计规律分析模块，区间连续频率时序规律分析模块，离散频率关联规律分析模块，分别用于对固定频率的统计规律、区间连续频率的时序规律以及离散频率的关联规律进行分析挖掘；
所述频率数据分布规律分析模块利用统计直方图进行分布规律分析：包括
(11)根据频率测量误差Δ，选取直方图累积步长为2Δ，对频率数据做统计直方图；
(12)根据统计直方图中累积峰特点，区分反映频率真实取值的真实积累峰与频率异常值形成的虚假积累峰，设置过滤虚假积累峰的过滤门限为
η＝αNmax·N0/L
其中α为经验系数，Nmax为直方图最高峰值，N0为频率数据量，L为直方图累积步长；
(13)根据过滤门限η判断统计直方图的积累峰个数Npeak；
(14)若Npeak＝1，则判断频率类型为固定模式；若Npeak＞1，则判断
Figure FDA0004152540870000034
是否成立，其中
Figure FDA0004152540870000035
和/>
Figure FDA0004152540870000036
分别为最小和最大过门限积累峰的数值集合，β是一个经验值，通常在区间(0.5,1)内选取；若上式成立，则判断频率类型为区间连续变化；否则，判断频率类型为离散分布；
所述固定频率统计规律分析模块用于对频率固定情况首先通过基于规格化残差的方法进行野值检测并剔除异常值，然后更新正常模式集合与野值集合并重复上述过程，最终得到正常频点集合X；然后对正常模式集合X中的频点进行统计规律分析：计算频点均值，作为频率的精确估计结果；计算频点方差，作为频率散布大小和系统测频误差；野值检测方法是：21)利用统计直方图得到类别中心估计；22)在类别中心附近寻找正常模式的初始集合；23)利用正常模式集合计算距其最近样本的规格化残差；24)根据规格化残差与预先定义的检测门限的相对大小区分正常值和异常值；
所述区间连续频率时序规律分析模块用于对频率区间连续情况，将频率的时间序列看作时域离散采集的信号样点，对其进行傅里叶变换，然后通过频谱形状分析频率数据的时序规律；
所述离散频率关联规律分析模块用于对频率离散分布情况，首先通过类别结构挖掘得到频率数据的类别数和分类规律，然后生成频率集并进行特征分析，最后进行关联规律分析；其中，类别数估计的方法为：411)利用统计直方图得到类别数的粗估计；412)在粗估类别数周围计算聚类MSE代价函数；413)MSE代价函数减去其后半段的线性拟合结果的一次项部分，得到修正的MSE代价函数结果；414)对频率数据进行扰动分析，得到不一致/一致因子(DAI)结果；415)将两种结果分别归一化再相加组成联合代价函数；416)计算联合代价函数的最小值对应的类别数，即为频率离散分布的类别数估计结果。
CN202010150569.1A 2020-03-06 2020-03-06 基于时域/频域分析的装备用频规律挖掘方法和系统 Active CN111339986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010150569.1A CN111339986B (zh) 2020-03-06 2020-03-06 基于时域/频域分析的装备用频规律挖掘方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010150569.1A CN111339986B (zh) 2020-03-06 2020-03-06 基于时域/频域分析的装备用频规律挖掘方法和系统

Publications (2)

Publication Number Publication Date
CN111339986A CN111339986A (zh) 2020-06-26
CN111339986B true CN111339986B (zh) 2023-07-14

Family

ID=71184206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010150569.1A Active CN111339986B (zh) 2020-03-06 2020-03-06 基于时域/频域分析的装备用频规律挖掘方法和系统

Country Status (1)

Country Link
CN (1) CN111339986B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633093B (zh) * 2020-12-10 2024-04-16 中国人民解放军32181部队 一种装备状态检测方法及系统
CN115310049B (zh) * 2022-10-09 2023-10-27 云智慧（北京）科技有限公司 一种时间序列数据的周期检测方法、装置及设备
CN118310526A (zh) * 2024-04-09 2024-07-09 哈尔滨工业大学（威海） 一种动态拓扑下基于因子图的多auv量测滤波方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226785A (zh) * 2016-07-18 2016-12-14 北京航空航天大学 电离层异常监测模型建立方法和装置
CN107145843A (zh) * 2017-04-20 2017-09-08 浙江大学 基于时序统计的旋转机械频域特征信号提取方法
CN110188810A (zh) * 2019-05-23 2019-08-30 西北工业大学 一种基于密度聚类的在线野值检测、识别与修正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002278761A (ja) * 2001-03-16 2002-09-27 Hitachi Ltd 否定項を含む相関ルール抽出方法およびシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226785A (zh) * 2016-07-18 2016-12-14 北京航空航天大学 电离层异常监测模型建立方法和装置
CN107145843A (zh) * 2017-04-20 2017-09-08 浙江大学 基于时序统计的旋转机械频域特征信号提取方法
CN110188810A (zh) * 2019-05-23 2019-08-30 西北工业大学 一种基于密度聚类的在线野值检测、识别与修正方法

Also Published As

Publication number Publication date
CN111339986A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111339986B (zh) 基于时域/频域分析的装备用频规律挖掘方法和系统
US6904390B2 (en) Method, computer program, and system for automated real-time signal analysis for detection, quantification, and prediction of signal changes
Dudczyk et al. Specific emitter identification based on graphical representation of the distribution of radar signal parameters
Saragiotis et al. Automatic P phase picking using maximum kurtosis and/spl kappa/-statistics criteria
JP5793961B2 (ja) 電磁波識別装置、電磁波識別方法及びプログラム
CN111913156A (zh) 基于深度学习模型与特征联合的雷达辐射源个体识别方法
CN105975443A (zh) 基于Lasso的异常检测方法及系统
CA2447888A1 (en) Model for spectral and chromatographic data
US7085675B2 (en) Subband domain signal validation
CN116702093B (zh) 一种基于大数据数据融合的海上目标定位方法
CN107729916A (zh) 一种基于isodata的干扰源分类识别算法及装置
Liu et al. Multitarget state extraction for the PHD filter using MCMC approach
Liao et al. A novel classification and identification scheme of emitter signals based on ward’s clustering and probabilistic neural networks with correlation analysis
CN102509020B (zh) 基于传感器网络的复杂环境下多目标信息融合方法
Feng et al. A blind source separation method using denoising strategy based on ICEEMDAN and improved wavelet threshold
CN109408498A (zh) 基于特征矩阵决策树的时间序列特征识别与分解方法
CN111929656A (zh) 一种基于熵值统计的车载毫米波雷达系统噪声估计方法
CN115310499B (zh) 一种基于数据融合的工业设备故障诊断系统及方法
CN110472188A (zh) 一种面向传感数据的异常模式检测方法
Lei Robust detection of radiation threat
CN112578359A (zh) 一种通过双谱变换处理提取雷达信号脉内特征参数的方法
Kim The estimation of the variogram in geostatistical data with outliers
CN118248169B (zh) 一种基于音频数据的燃气泄漏识别方法以及相关装置
CN111735528B (zh) 一种基于knn投票精准定位扰动点的方法
Ebrahimi Mehr Detecting Interference in GNSS using Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant