CN116800358A - 一种基于机器学习的智能门限频谱异常检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器学习的智能门限频谱异常检测方法及系统，包括数据获取模块，获取时序的天气数据和电磁能量数据；数据处理模块，用于利用训练好的模型生成智能门限对T时刻的电磁能量数据进行判决检测出异常频谱；其中通过训练好的模型来确定预测值，根据预测值生成智能门限，其中所述模型为使用多组训练数据训练得出，所述多组训练数据的每组数据包括：历史天气数据和历史能量数据。具有更好地筛选出由未知目标或者未授权目标引起的电磁能量异常优点。

Description

一种基于机器学习的智能门限频谱异常检测方法及系统

技术领域

本发明涉及通信技术和智能门限技术领域，具体而言，涉及一种基于机器学习的智能门限频谱异常检测方法及系统。

背景技术

目前，随着无线电技术的发展和无线电设备的开放，在合法设备在合法的频段使用无线电频谱资源之外，还存在很多未授权的电台或发射器，违规占用无线电频段，严重干扰合法电台使用无线电频谱资源，甚至引发声明财产安全事故。一些非法电台或者破坏分子，通过在航空专用频段上发射干扰信号，影响民航客机正常接收塔台指令，可能会导致重大安全事故，给民航管理带来极大困难，因此需要频谱异常检测技术发现这些异常，避免悲剧的发生。

在现有技术中，现有的频谱能量异常检测方法一般分为能量检测和信号检测，信号检测方法是对非法信号需要将进行采集后通过一系列方法识别出异常信号的辐射源，一般是用于精细化识别异常信号，有较好的检测性能，但计算复杂度较大。而能量检测法是一种宽泛的异常检测方法，是指将信号在特定时间内的能量与预先设定的门限值进行比较、判决，获得检测结果。能量检测一般常用专家门限方法，即当一个频段的能量超过一定的限度，即定义为异常，能量检测方法的门限由专家知识设定，该方法在出现由合法目标使用合规频段时，将能量高过专家门限错误地识别为异常，因此需要增加工作如提供合法设备的工作时间等信息规避这些异常，如图二所示，如果不提供规避合法目标引起的异常的工作，普通的门限检测方法会机械地将超过门限的情况视为异常。其次，在实际的能量采集过程中，由天气因素，如暴雨，雷电，阳光直射等条件下，对采集设备和空间无线电能量传播效率会造成影响，也会间接导致门限失效，出现误警。人工神经网络已成为应用于频谱领域，如吕幼新[2]等结合了使用传统的Kalman滤波算法结合LSTM网络有效的实现了频谱占用度的预测，证明了在频谱监测领域，神经网络可以实现良好的预测效果。表示神经网络基于对历史数据的观察，可以有效发现频谱变化的长期规律，但是其方法专注于对占用度的预测而不是异常发现，而且未涉及电磁能量门限生成。

综上所述，现有技术中存在如下技术问题：

静态门限的无法规避合法目标工作导致误警；

雷电，强太阳光等天气因素导致误警。

发明内容

本发明的主要目的在于提供一种基于机器学习的智能门限频谱异常检测方法及系统，以解决现有技术中静态门限的无法规避合法目标工作导致误警和雷电，强太阳光等天气因素导致误警中的至少一个技术问题。

为了实现上述目的，根据本发明的一个方面，提供了一种基于机器学习的智能门限频谱异常检测方法，包括：

获取T时刻的天气数据和电磁能量数据；

利用训练好的模型生成智能门限对T时刻的电磁能量数据进行判决检测出异常频谱；其中通过训练好的模型来确定预测值，根据预测值生成智能门限，其中所述模型为使用多组训练数据训练得出，所述多组训练数据的每组数据包括：历史天气数据和历史能量数据。

优选的，所述T时刻的天气数据和历史天气数据包括温度、湿度、日照指数和电离指数。

优选的，所述根据预测值确定智能门限：

根据专家门限作为最低值和历史最高能量值按照dbm为单位阶梯划分多个等级，使用专家门限作为基础门限；

在预测值大于当前基础门限时，上调门限至高于预测值的第一个门限等级；

当预测值小于当前基础门限的距离低于两个阶梯等级差时，将门限降低一个等级，否则直接调整为预测值的下一个等级。

优选的，所述训练好的模型训练时通过将训练数据集归一化到[-1,1]，确定隐层层数以及隐层神经元个数之后，调整学习率，对网络分别以ReLU、Sigmoid或Tanh作为激活函数，选择收敛到最小值的激活函数作为激活函数；然后采用梯度下降法对网络中的神经元连接权进行更新，直到本次误差满足要求或达到最大迭代次数，误差采用MSE均方误差。

优选的，所述智能门限对T时刻的电磁能量数据进行判决检测出异常频谱：

采集T时刻数据，与智能门限进行对比，对超过智能门限的情况若不存在标记，则对该地区该频段进行标记，若前一时刻已经有标记，则直接定义为异常，推送数据，不消除标记，对于未超过门限的情况，若有标记则将标记消除，否则直接放行。

优选的，待采集进行一天后，使用每日新采集的数据将模型进行重新训练，并重新加载模型进行智能门限生成。

优选的，通过天气监测仪器监测记录相关地区的天气数据信息，即通过温度传感器、湿度传感器、日照指数传感器和电离指数传感器获取实时的天气数据。

优选的，通过电磁能量监测设备对监测频段进行扫频能量检测获得电磁能量数据。

优选的，模型初次训练使用历史信息库中全量历史数据，每日零点运行模型再次训练，其中模型再次训练利用昨日的能量和天气数据，再次训练后保存模型。

一种基于机器学习的智能门限频谱异常检测系统，包括处理器，所述处理器用于执行存储在存储器中的以下程序模块：

数据获取模块，获取时序的天气数据和电磁能量数据；

数据处理模块，用于利用训练好的模型生成智能门限对T时刻的电磁能量数据进行判决检测出异常频谱；其中通过训练好的模型来确定预测值，根据预测值生成智能门限，其中所述模型为使用多组训练数据训练得出，所述多组训练数据的每组数据包括：历史天气数据和历史能量数据；

应用本发明的技术方案，具有如下技术效果：

本发明结合了电磁能量变化的规律属性，并考虑了由环境因素引起的虚警情况，能够更好地筛选出由未知目标或者未授权目标引起的电磁能量异常。

主要分为以下几点：

结合机器学习技术，考虑到频段内电磁能量的周期性变化规律，针对可预测的合法频谱使用能量情况智能生成门限，因此系统可以专注于由不常出现的非法目标引起的电磁能量异常。同时针对神经网络所需数据量大和能量规律发生变化的情况，采用边采集边训练的方式，使用每天新收集的数据对旧模型进行重新训练，使得模型对能量变化规律的预测能量越来越完善。

结合天气等数据对电磁能量门限神经网络模型进行训练，主要是考虑到了两方面天气因素对电磁能量数据的影响：由天气变化如雷电等天气引起的天然能量升高的干扰，因此需要提高门限；由空气湿度等因素引起的传播损耗改变，因此需要降低门限。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明的基于机器学习的智能门限频谱异常检测方法的方法步骤图；

图2示出了图1中的基于机器学习的智能门限频谱异常检测方法的流程图；

图3示出了图1中的基于机器学习的智能门限频谱异常检测方法的完成每日新数据采集后对模型再次训练的过程图；

图4示出了图1中的基于机器学习的智能门限频谱异常检测方法的常规门限检测方法结果图；

图5示出了图1中的基于机器学习的智能门限频谱异常检测方法的异常检测结果图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

如图1至图5所示，本发明实施例提供了一种基于机器学习的智能门限频谱异常检测方法，包括获取时序的天气数据和电磁能量数据；利用训练好的模型对时序的天气数据和电磁能量数据进行处理，确定预测值，根据预测值生成智能门限，其中所述模型为使用多组训练数据训练得出，所述多组训练数据的每组数据包括：历史天气数据和历史能量数据；通过智能门限对能量数据进行判决检测出异常频谱。

实施例1

本实施例中，通过天气监测仪器监测记录相关地区的天气数据信息，即通过温度传感器、湿度传感器、日照指数传感器和电离指数传感器获取实时的天气数据；实时的天气数据和历史天气数据包括温度、湿度、日照指数和电离指数，使用电磁能量监测设备对监测频段进行扫频能量检测获得电磁能量数据。

本实施例中，利用训练好的模型对时序的天气数据和电磁能量数据进行处理，确定预测值，根据预测值生成智能门限，其中所述模型为使用多组训练数据训练得出，所述多组训练数据的每组数据包括：历史天气数据和历史能量数据。

模型的获得：

本发明采用历史的能量数据和天气数据作为神经网络的输入，经过训练后，可以得到一个和天气相关的能量预测模型。

对于静态门限无法规避合法目标工作导致误警的问题，该模型通过对历史的能量信息结合天气数据进行训练后得到能量变化规律模型，得到一个模型输出的预估能量值，由该预估能量值作为基准变更门限，有效规避符合历史规律，主要是合法目标长期活动造成的能量变化误警。

而对于雷电，强太阳光等天气因素造成的误警虚警，因为在神经网络的训练过程中，结合了天气数据作为输入，因此长期训练得到的神经网络模型在进行能量预测时也将会考虑到天气对能量变换的影响，在会引起能量升高的天气模型输出的预测值也会升高，动态地提高门限，有效降低如雷电等因素造成的误警虚警。

因此由非法的辐射源出现引起的能量异常，因其偶发的属性，其能量辐射行为将导致采集到的能量与模型输出出现较大偏差，因此可以有效发现由辐射源引起的能量异常，如图4所示。

然而，使用神经网络模型对电磁能量变换规律进行学习也引入了新的问题：因存在以较长周期变化的规律，若需要神经网络对其进行学习，则需要使用进行较为长期的数据采集工作，模型所需的数据量较大。同时电磁环境可能随时发生变化，存在合法设备不断更新导致电磁能量变化规律出现变化的情况，需要重新更换新数据训练模型。针对该问题，同时考虑电磁监测设备长期运行的特点，本发明选择轻量化的神经网络模型，使用每日采集的新数据，在夜晚等空闲时间对模型进行重新训练，并在完成后重新加载训练好的模型用于门限生成。通过将训练的时间尺度拉长解决所需数据量大的问题，并因为不断使用每日采集的新数据对模型进行调整，模型将兼容合法设备不断更新等规律变化情况。

模型训练时通过将训练数据集归一化到[-1,1]，确定隐层层数以及隐层神经元个数之后，调整学习率，对网络分别以ReLU、Sigmoid或Tanh作为激活函数，选择收敛到最小值的激活函数作为激活函数；然后采用梯度下降法对网络中的神经元连接权进行更新，直到本次误差满足要求或达到最大迭代次数，误差采用MSE均方误差。

根据预测值确定智能门限具体为：根据专家门限作为最低值和历史最高能量值按照dbm为单位阶梯划分多个等级，使用专家门限作为基础门限；在预测值大于当前基础门限时，上调门限至高于预测值的第一个门限等级；当预测值小于当前基础门限的距离低于两个阶梯等级差时，将门限降低一个等级，否则直接调整为预测值的下一个等级。

通过能量数据和环境数据输入类型进行机器学习的神经网络构建，采用LSTM神经网络模型作为基础模型，输入的环境特征指标天气数据如空气电离指数、气温和湿度等结合频段能量数据作为输入维度，输出维度确定为1，即输出下一时刻的能量值。

将训练数据集归一化到[-1,1]，并将长时间的数据根据神经网络的输入维度进行划分，如采用输入维度为3，即采用三个历史时刻预测下一个时刻的数据，则数据的输入维度应该划分为

，输出维度为一维，即当前时刻的能量值：。根据输入的数据类型划分为训练集和验证集两部分，调整学习率，对网络分别以ReLU、Sigmoid或Tanh作为激活函数，选择收敛到最小值的激活函数作为激活函数；然后采用梯度下降法对网络中的神经元连接权进行更新，直到本次误差满足要求或达到最大迭代次数，误差采用MSE均方误差，在完成训练后经模型保存。

本实施例中，通过智能门限对能量数据进行判决。

采集t时刻数据，与智能门限进行对比，对超过智能门限的情况若不存在标记，则对该地区该频段进行标记，若前一时刻已经有标记，则直接定义为异常，推送数据，不消除标记，对于未超过门限的情况，若有标记则将标记消除，否则直接放行。待采集进行一天后，使用每日新采集的数据将模型进行重新训练，并重新加载模型进行智能门限生成。

实施例2

一种基于机器学习的智能门限频谱异常检测系统，包括处理器，所述处理器用于执行存储在存储器中的以下程序模块：

数据获取模块，获取时序的天气数据和电磁能量数据；

数据处理模块，用于利用训练好的模型对时序的天气数据和电磁能量数据进行处理，确定预测值，根据预测值生成智能门限，其中所述模型为使用多组训练数据训练得出，所述多组训练数据的每组数据包括：历史天气数据和历史能量数据；

数据判别模块，用于通过智能门限对能量数据进行判决。

具体如下步骤所示：

步骤1从文件中加载训练好的网络模型；步骤2获取模型所需的当前频段的前序能量采集数据和天气数据等环境信息；步骤3将步骤2获取的能量采集数据和天气数据作为输入，输入模型进行下一时刻的能量预测，得到预测值。步骤3使用生成门限。因为电磁能量下降存在滞后性，因此具体的门限生成方案为：根据专家门限作为最低值和历史最高能量值按照dbm为单位阶梯划分多个等级。对于低于专家门限的值忽略不计；在预测值大于当前门限时，上调门限至高于预测值的第一个门限等级；当预测值小于当前门限的距离低于两个阶梯等级差时，将门限降低一个等级。否则直接调整为预测值的下一个等级。

步骤1，首先根据输入数据维度建立一个LSTM网络模型，包括时序的能量数据，天气数据如温度，湿度，日照指数，电离指数等数值，输出维度为1，即下一时刻的能量值。

步骤2，将训练数据集归一化到[-1,1]，确定隐层层数以及隐层神经元个数之后，调整学习率，对网络分别以ReLU、Sigmoid或Tanh作为激活函数，选择收敛到最小值的激活函数作为激活函数；然后采用梯度下降法对网络中的神经元连接权进行更新，直到本次误差满足要求或达到最大迭代次数。误差采用MSE均方误差。

步骤3，根据需要预测的时间范围，输入对应范围内天气数据和能量数据到训练好的LSTM网络，获得网络输出结果。

步骤4，使用预测值生成门限。生成方案为：

根据专家门限作为最低值和历史最高能量值按照dbm为单位阶梯划分多个等级，使用专家门限作为基础门限，即使预测值低于这个门限也不会降低门限。在预测值大于当前门限时，上调门限至高于预测值的第一个门限等级。当预测值小于当前门限的距离低于两个阶梯等级差时，将门限降低一个等级。否则直接调整为预测值的下一个等级。

步骤5，采集t时刻数据，与门限进行对比，对超过门限的情况若不存在标记，则对该地区该频段进行标记。若前一时刻已经有标记(表示前一时刻已经超过门限)，则直接定义为异常，推送数据，不消除标记。对于未超过门限的情况，若有标记则将标记消除，否则直接放行。

步骤6，循环重复步骤3，4，5进行日常能量监测。

步骤7，待采集进行一天后，使用每日新采集的数据将模型进行重新训练，并重新加载模型进行门限生成。

等待下一时刻进行频段能量采集，得到真实能量数据，因规律可能存在一定的滞后性，因此本发明使用标记法对能量异常情况中的多次越过门限行为才判定为异常，具体方法为：对超过门限的情况若不存在标记，则对该地区该频段进行标记。若前一时刻已经有标记(表示前一时刻已经超过门限)，则直接定义为异常，推送数据，不消除标记。对于未超过门限的情况，若有标记则将标记消除，否则直接放行。循环进行步骤2，3，4，5。若收到新模型训练完成信号，则进行步骤1，重新加载新模型。

本发明以时序的天气数据如温度，湿度，日照指数，电离指数等数值和电磁能量数据作为输入进行训练的LSTM预测模型，并根据模型产生下一时刻的电磁能量预测值，根据预测值使用以下策略生成能量监测门限：根据专家门限作为最低值和历史最高能量值按照dbm为单位阶梯划分多个等级。使用专家门限作为基础门限，即使预测值低于这个门限也不会降低门限。在预测值大于当前门限时，上调门限至高于预测值的第一个门限等级。当预测值小于当前门限的距离低于两个阶梯等级差时，将门限降低一个等级。否则直接调整为预测值的下一个等级。对于异常的判定：对超过门限的情况，若不存在标记，则对该地区该频段进行标记。若前一时刻已经有标记(表示前一时刻已经超过门限)，则直接定义为异常，推送数据，并持续标记。对于未超过门限的情况，若有标记则将标记消除，否则直接放行。同时采用边采集边训练的方式，使用每天新收集的数据对旧模型进行重新训练，解决了神经网络所需数据量大和能量规律发生变化的问题。

从以上描述中，可以看出，本发明上述的实施例实现了如下技术效果：

本发明结合了电磁能量变化的规律属性，并考虑了由环境因素引起的虚警情况，能够更好地筛选出由未知目标或者未授权目标引起的电磁能量异常。

主要分为以下几点：

结合机器学习技术，考虑到频段内电磁能量的周期性变化规律，针对可预测的合法频谱使用能量情况智能生成门限，因此系统可以专注于由不常出现的非法目标引起的电磁能量异常。同时针对神经网络所需数据量大和能量规律发生变化的情况，采用边采集边训练的方式，使用每天新收集的数据对旧模型进行重新训练，使得模型对能量变化规律的预测能量越来越完善。

结合天气等数据对电磁能量门限神经网络模型进行训练，主要是考虑到了两方面天气因素对电磁能量数据的影响：由天气变化如雷电等天气引起的天然能量升高的干扰；由空气湿度等因素引起的传播损耗改变，因此需要降低门限。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于机器学习的智能门限频谱异常检测方法，其特征在于，包括：

获取T时刻的天气数据和电磁能量数据；

利用训练好的模型生成智能门限对T时刻的电磁能量数据进行判决检测出异常频谱；其中通过训练好的模型来确定预测值，根据预测值生成智能门限，其中所述模型为使用多组训练数据训练得出，所述多组训练数据的每组数据包括：历史天气数据和历史能量数据。

2.如权利要求1所述的基于机器学习的智能门限频谱异常检测方法，其特征在于，所述T时刻的天气数据和历史天气数据包括温度、湿度、日照指数和电离指数。

3.如权利要求1所述的基于机器学习的智能门限频谱异常检测方法，其特征在于，所述根据预测值确定智能门限：

根据专家门限作为最低值和历史最高能量值按照dbm为单位阶梯划分多个等级，使用专家门限作为基础门限；

在预测值大于当前基础门限时，上调门限至高于预测值的第一个门限等级；

当预测值小于当前基础门限的距离低于两个阶梯等级差时，将门限降低一个等级，否则直接调整为预测值的下一个等级。

4.如权利要求1所述的基于机器学习的智能门限频谱异常检测方法，其特征在于，所述训练好的模型训练时通过将训练数据集归一化到[-1,1]，确定隐层层数以及隐层神经元个数之后，调整学习率，对网络分别以ReLU、Sigmoid或Tanh作为激活函数，选择收敛到最小值的激活函数作为激活函数；然后采用梯度下降法对网络中的神经元连接权进行更新，直到本次误差满足要求或达到最大迭代次数，误差采用MSE均方误差。

5.如权利要求1所述的基于机器学习的智能门限频谱异常检测方法，其特征在于，所述智能门限对T时刻的电磁能量数据进行判决检测出异常频谱：

采集t时刻数据，与智能门限进行对比，对超过智能门限的情况若不存在标记，则对该地区该频段进行标记，若前一时刻已经有标记，则直接定义为异常，推送数据，不消除标记，对于未超过门限的情况，若有标记则将标记消除，否则直接放行。

6.如权利要求1所述的基于机器学习的智能门限频谱异常检测方法，其特征在于，待采集进行一天后，使用每日新采集的数据将模型进行重新训练，并重新加载模型进行智能门限生成。

7.如权利要求1所述的基于机器学习的智能门限频谱异常检测方法，其特征在于，通过天气监测仪器监测记录相关地区的天气数据信息，即通过温度传感器、湿度传感器、日照指数传感器和电离指数传感器获取实时的天气数据。

8.如权利要求1所述的基于机器学习的智能门限频谱异常检测方法，其特征在于，通过电磁能量监测设备对监测频段进行扫频能量检测获得电磁能量数据。

9.如权利要求1所述的基于机器学习的智能门限频谱异常检测方法，其特征在于，模型初次训练使用历史信息库中全量历史数据，每日零点运行模型再次训练，其中模型再次训练利用昨日的能量和天气数据，再次训练后保存模型。

10.一种基于机器学习的智能门限频谱异常检测系统，其特征在于，包括处理器，所述处理器用于执行存储在存储器中的以下程序模块：

数据获取模块，获取时序的天气数据和电磁能量数据；

数据处理模块，用于利用训练好的模型生成智能门限对T时刻的电磁能量数据进行判决检测出异常频谱；其中通过训练好的模型来确定预测值，根据预测值生成智能门限，其中所述模型为使用多组训练数据训练得出，所述多组训练数据的每组数据包括：历史天气数据和历史能量数据。