CN110427878B - 一种快速射电暴信号识别方法与系统 - Google Patents
一种快速射电暴信号识别方法与系统 Download PDFInfo
- Publication number
- CN110427878B CN110427878B CN201910706020.3A CN201910706020A CN110427878B CN 110427878 B CN110427878 B CN 110427878B CN 201910706020 A CN201910706020 A CN 201910706020A CN 110427878 B CN110427878 B CN 110427878B
- Authority
- CN
- China
- Prior art keywords
- data
- radio storm
- candidate
- storm
- rapid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000006185 dispersion Substances 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 19
- 238000013145 classification model Methods 0.000 claims description 15
- 238000013136 deep learning model Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims 6
- 238000013527 convolutional neural network Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000979 dip-pen nanolithography Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000003574 free electron Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供了一种快速射电暴的识别方法,包括:对快速射电暴的观测信号进行预处理,得到快速射电暴观测数据;对快速射电暴观测数据进行消色散计算,得到快速射电暴候选体文件,快速射电暴候选体文件包括快速射电暴候选体列表;对快速射电暴候选体文件中的干扰进行标记,根据快速射电暴候选体列表,提取包含快速射电暴候选体的数据;对包含快速射电暴候选体的数据进行处理,得到频率时间数据及色散时间数据;对频率时间数据及色散时间数据推理分类,识别快速射电暴信号。基于该识别方法,可快速、准确的检测快速射电暴信号。
Description
技术领域
本发明涉及天体物理研究领域,具体涉及一种基于卷积神经网络(Convolutionalneural network,CNN)的快速射电暴信号识别方法与系统。
背景技术
快速射电暴(Fast Radio Burst,FRB)是一种持续时间极短(毫秒量级)、流量极强(央斯基量级)的射电爆发现象,于2007年首次被报道后,便很快成为当前天体物理研究领域的一个热点前沿课题。为了进一步揭示快速射电暴的大量未解之谜,国内外开展了众多的搜寻项目,期望增加快速射电暴的样本数目以及它们的多波段对应体,从而证认宿主星系和准确测定红移并提供可靠的观测证据。
传统的FRB搜寻软件都基于宽带信号在空间传输中受星际介质影响而产生的色散效应进行检测,找出一定时间内信噪比超过设定阈值的脉冲信号。但由于实际的电磁环境相当复杂,阈值设置不当时产生的遗漏真实FRB信号和大量假信号对后期的人工筛查带来困难,并且随着FRB观测数据量的增加,特别是多波束、天线阵所产生的数据成指数级增长,人工筛查这些假信号更加困难。
近些年,由于计算机技术的发展,使得机器学习在数据科学领域取得了卓越的成绩。在天文研究领域,基于卷积神经网络的机器学习算法已成功应用于脉冲星的搜寻中,FRB信号特征与脉冲星相似,可以采取类似的机器学习方法对FRB信号进行识别。
发明内容
(一)要解决的技术问题
本发明提供了一种基于卷积神经网络的快速射电暴信号识别方法与系统,该方法与系统能够准确、高效的识别快速射电暴候选体,并及时通知其它望远镜跟踪观测。
(二)技术方案
为实现上述目的,本发明一方面提供一种对快速射电暴的识别方法,包括:对观测信号进行预处理,得到快速射电暴观测数据;对快速射电暴观测数据进行消色散计算,得到快速射电暴候选体文件,快速射电暴候选体文件包括快速射电暴候选体列表;对快速射电暴候选体文件中的干扰进行标记,根据快速射电暴候选体列表,提取包含快速射电暴候选体的数据;对包含快速射电暴候选体的数据进行处理,得到频率时间数据及色散时间数据;对频率时间数据及色散时间数据推理分类,识别快速射电暴信号。
可选地,快速射电暴观测数据进行消色散计算包括:在预设色散值范围内的每个色散值下,对快速射电暴观测数据进行一次消色散计算,以查找快速射电暴观测数据中消色散后的脉冲信号;设置信噪比阈值,提取信噪比大于信噪比阈值的脉冲信号对应的快速射电暴观测数据,得到快速射电暴候选体文件。
可选地,对频率时间数据及色散时间数据推理分类,识别快速射电暴信号包括:获取分类模型;将频率时间数据及色散时间数据输入分类模型,以识别快速射电暴信号。
可选地,方法还包括训练分类模型,该操作包括:获取样本数据集,样本数据集包括模拟正样本、模拟负样本以及实际记录的数据;将样本数据集输入深度学习模型进行训练;对训练后的深度学习模型进行评估及优化,得到分类模型。
可选地,获取样本数据集包括:对样本数据集进行数据切割与标准化处理,生成色散时间图像样本数据以及频率时间图像样本数据。
可选地,对包含快速射电暴候选体的数据进行处理,得到频率时间数据及色散时间数据包括:对包含快速射电暴候选体的数据进行标准化,得到频域时间数据;对包含快速射电暴候选体的数据进行标准化,再进行消色散处理,得到色散时间数据。
可选地,模拟正样本为模拟产生的快速射电暴正样本,模拟负样本为模拟产生的含噪声的电磁干扰信号负样本。
可选地,识别快速射电暴信号包括:判断快速射电暴候选体数据中是否存在标记为快速射电暴信号的数据,若是,则保存快速射电暴候选体数据、并发布预警信号;若否,则删除快速射电暴候选体数据。
可选地,方法还包括:对包含快速射电暴候选体的数据进行处理,以生成与频率时间数据对应的频率时间图像及与色散时间数据对应的色散时间图像,频率时间图像以及色散时间图像用以显示所述快速射电暴信号。
本发明另提供一种快速射电暴的识别系统,包括:预处理单元,用于对快速射电暴的观测信号进行预处理,得到快速射电暴观测数据;分析单元,用于对快速射电暴观测数据进行消色散计算,得到快速射电暴候选体文件,快速射电暴候选体文件包括快速射电暴候选体列表;提取单元,用于对快速射电暴候选体文件中的干扰进行标记,根据快速射电暴候选体列表,提取包含快速射电暴候选体的数据;处理单元,用于对包含快速射电暴候选体的数据进行处理,得到频率时间数据及色散时间数据;识别单元,用于对频率时间数据及色散时间数据推理分类,以识别出快速射电暴信号。
(三)有益效果
1、采用深度学习算法对FRB样本信号进行识别,提高识别准确率,减少人工筛查工作量。
2、利用频率-时间和色散-时间两种特征的图像数据进行信号的识别,提高信号的识别准确率。
3、利用本系统中的识别单元保存数据、发布网络链接并通知科学家和其它望远镜发出预警通知,实现快速跟踪观测。
附图说明
图1示意性示出了本发明实施例的基于卷积神经网络的快速射电暴信号的识别方法流程图;
图2示意性示出了本发明实施例的基于卷积神经网络的色散信号示意图;
图3示意性示出了本发明实施例的基于卷积神经网络的模拟快速射电暴信号示意图;
图4示意性示出了本发明实施例的基于卷积神经网络模型建立分类模型的流程图;
图5示意性示出了本发明实施例的卷积神经网络的结构图;
图6示意性示出了本发明实施例的基于卷积神经网络的快速射电暴识别系统;
图7示意性示出了本发明实施例的基于快速射电暴识别系统的标记信号成图检测结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1示意性示出了本发明第一实施例提供的一种快速射电暴信号的识别方法流程图,如图1所示,该识别方法包括:
S101,对快速射电暴的观测信号进行预处理,得到快速射电暴观测数据。
在本发明实施例中,该快速射电暴的观测信号例如可以是望远镜观测的射频信号。通过信号处理设备对该射频信号进行采集和计算,即可得到快速射电暴观测数据。该快速射电暴观测数据例如可以转化为Stokes数据流,Stokes数据流参量包含了射频信号幅度和偏振信息,可以.fil数据文件(Filterbank格式)格式进行保存。
S102,对快速射电暴观测数据进行消色散计算,得到快速射电暴候选体文件,快速射电暴候选体文件包括快速射电暴候选体列表。
在本发明本实施例中:对快速射电暴观测数据在一定区间内采用遍历色散的方法计算,得到快速射电暴候选体文件。在预设色散值范围内的每个色散值下,对快速射电暴观测数据进行一次消色散计算,以查找快速射电暴观测数据中消色散后的脉冲信号,查找每个色散值计算后的强脉冲信号的过程表示如下:
在一个有限的宽带里,频率为B MHz,中心频率为v GHz内,时间延迟量tDMμs与色散值的关系为:
tDM=8.3×B·DM·v-3(μs) (1)
在两个被观测频率v1与v2之间的时间延迟t1-t2可由下式计算得到:
消色散就是根据这个延迟量对每一个频率子通道的数据在时间上进行延迟或提前。对于快速射电暴信号搜寻过程来说,色散值是未知的,为了得到这个值,可采用遍历的方法对每个色散值下的数据进行一个消色散计算,然后找出效果最好的一组。例如,可假设色散值的搜寻范围Z为100-5000cm-3pc,以1cm-3pc为间隔对每一个DM值进行频率通道内的消色散,然后再对每一组色散值下的时域数据进行脉冲信号查找,设置一阈值,将信噪比超过该阈值的数据标识为快速射电暴候选体,该阈值可根据射电望远镜的电磁环境来设置。由于快速射电暴的脉冲宽度未知,因此为了使得检测持续时间大于采样时间的信号,对每个时间序列应用一组匹配滤波器,将采样数据与Wn=2n个点(0≤n≤12)的矩形窗做卷积,并用开方进行归一化,然后将过滤后的时间序列继续通过其他处理。
S103、对快速射电暴候选体文件中的干扰进行标记,根据快速射电暴候选体列表,提取包含快速射电暴候选体的数据。
在本发明的实施例中,使用干扰信号对快速射电暴候选体文件中的干扰进行标记,根据快速射电暴候选体列表中的候选体文件提取快速射电暴观测数据。
由于通信基站、雷达、卫星和电子设备等辐射的电磁波会对射电天文观测频段产生射频干扰(Radio Frequency Interference,RFI),并且这些干扰信号混杂在观测数据中,严重干扰快速射电暴信号的搜寻,有些窄带或固定频率的RFI可通过制作.mask文件的方式对特定频率的通道进行标记,但时变或频变的RFI仍然不易被标记,为了配合对信号的标记,需要根据.cand文件中的候选体文件提取快速射电暴观测数据中对应的数据,得到包含快速射电暴候选体的数据。
S104、对包含快速射电暴候选体的数据进行处理,得到频率时间数据及色散时间数据。
本发明的实施例中,对包含快速射电暴候选体的数据进行标准化,得到频率时间数据及该数据对应的频率时间图像。对包含快速射电暴候选体的数据进行标准化后,再进行消色散处理,得到色散时间数据及该数据对应色散时间图像,其中,频率时间图像和色散时间图像用于向人工显示快速射电暴信号,频率时间数据及色散时间数据用于推理与分类。频率时间数据及色散时间数据的格式例如可以是.h5数据格式,具体本发明不做限制。
快速射电暴爆发的宽带信号在宇宙空间传播速度会受空间尘埃、自由电子等的影响,频率高的电磁波比频率低的电磁波先到达地球,参阅图2,图2从上往下依次表示为:各项频率通道累加后的时域图、消色散后的频率时间图像以及未经消色散的频率时间图像,频率时间的图像就包含了快速射电暴信号的这类特征,即不同频率通道的信号到达的时间不同,且信号呈弓状,这与脉冲星信号的空间色散现象基本相同,但这种方法不足以区分快速射电暴信号,有些宽带的干扰信号也可以呈现这种现象,因此色散时间的图像被用来提高信号的辨识度,参阅图3,图3中从上往下第三幅图为模拟快速射电暴信号的色散时间图像,其中,色散时间的.png图像看起来像一个典型的以非零为中心的领结,领结形状的边缘轮廓由脉冲轮廓的范围限定,领结的角度取决于色散值、候选体的宽度和观测的带宽,领结线之间的面积由快速射电暴的光谱决定。
S105、对频率时间数据及色散时间数据推理分类,识别快速射电暴信号。
本实施例中具体实施方法为:对频率时间数据及色散时间数据推理分类,并识别分类结果中的快速射电暴信号。判断分类结果中是否存在快速射电暴信号,若是,则保存快速射电暴候选体数据、并发布预警信号;若否,则删除快速射电暴候选体数据。
参阅图4,本实施例中模拟的正样本以模拟FRB信号为例、模拟的负样本以模拟电磁干扰信号为例、实际记录的数据以脉冲星观测数据为例来说明,本实施例中对.h5数据分类的具体实施方法为:
a、获取样本数据集
首先,准备样本数据集,包括模拟FRB信号、模拟电磁干扰信号以及脉冲星观测数据。将样本数据集分割为一定时间长度的片段,并标准化为一定点数的色散时间图像样本和频率时间图像样本,产生的色散时间图像样本和频率时间图像样本可根据图像分辨率的要求生成指定大小的二维数组,脉冲星数据需要根据采样时间和频率分辨率来提取单个脉冲星时长的数据,并按照标准进行抽取或插值,形成脉冲星观测数据图像样本。
b、将样本数据集输入深度学习模型进行训练
然后,将样本数据集输入至深度学习模型训练,目前比较成熟的深度学习模型有:AlexNet、ZFNet、VGGNet、Inception、ResNet、DenseNet、DPNs等卷积神经网络模型。其中,ResNet解决了其他模型所面临的随着网络层级深度的增加而训练精度退化的问题,并可以将网络模型设计的更深。DenseNet通过实现特征极致利用,使其在参数和计算成本更少的情形下实现比ResNet更优的性能。DPNs使用高阶循环卷积网络框架,将ResNet和DenseNet两个模型进行更好地集成,使得模型对特征的利用更加充分。本发明对多种模型进行了训练和测试,通过比较,最终采用DenseNet121模型描述频率时间图像样本,采用Xception模型描述色散时间图像样本。参阅图5,本实施例中具体的卷积神经网络包括一个输入层、一个输出层、三个卷积层和一个致密层,其中,每层中的圆圈代表一个神经元,层的数量代表该卷积神经网络的深度。每一个神经元计算输入(x)的加权和并得到一个y=f(w.x+b)的输出,其中,w代表权值,f代表使用的非线性动态函数,b代表偏倚向量。该卷积神经网络最终的输出结果是给出输入的信号属于不同类候选项的概率。深度模型采用标记过的数据集训练,其中,标记过的数据集可分为三组:训练数据、验证数据和测试数据,这些数据集一般由数千个示例组成。初始权值和致密层都是随机设置的,这些标记过的数据经过网络后将获得分类概率,称之为前向传输。
c、对训练后的深度学习模型进行评估及优化,得到分类模型
最后,建立卷积神经网络的函数,对模型的训练效果进行评估若达到预期目标,则模型训练成功,将模型输出;若没有达到预期目标,则继续训练该深度学习模型。评估过程中,需要度量训练样本计算的输出与真实的样本输出之间的损失,可采用梯度下降法进行迭代优化求极小值,亦可称为反向传播算法。正向传播和反向传播都是计算密集型的过程,因此都是在小批量中完成的。当完整的训练数据经过一次向前和向后传播时,称为历元,训练CNN模型需要几个这样的纪元,通常是在GPU上完成的。由于CNN模型有数百万个参数,所以它们不收敛。在训练模型时,会遇到以下三种情况之一:欠拟合、过拟合或鲁棒拟合。
其中,欠拟合表示训练数据和验证数据的性能均不理想,同时代表了该训练模型需要更多的参数来匹配数据;过拟合表示参数量过大,或者由于不正确的分类导致,可通过减小卷积神经网络大小、获得更多的训练数据、或者严重惩罚由于分类不当产生错误的网络来解决。鲁棒拟合表示训练和验证性能相似。鲁棒拟合表示模型被训练好,可以使用正向传播来获得给定的输入分类概率并进行推理。当满足所需的性能标准,例如精确度达到99%时,训练过程就会停止。
最后,判断result.csv数据中是否存在快速射电暴信号,若是,则保存result.csv数据、并发布预警信号;若否,则删除result.csv数据。
参阅图6,本发明第二实施例提供了一种快速射电暴的识别系统。该系统可应用上述方法实施例的快速射电暴的识别方法,本实施例未尽细节之处请参照方法实施例,在此不再赘述。该系统包括:
预处理单元,用于对快速射电暴的观测信号进行预处理,得到快速射电暴观测数据;
其中,信号处理设备对望远镜射频信号进行采集和计算后输出,以输出的数据流为Stokes数据流为例,Stokes数据流包含信号幅度和偏振信息。
分析单元,对所述快速射电暴观测数据进行消色散计算,得到快速射电暴候选体文件,所述快速射电暴候选体文件包括快速射电暴候选体列表;
其中,分析单元采用基于图形处理器(Graphics Processing Unit,GPU)的开源快速射电暴搜寻软件Heimdall分析。
提取单元,对所述快速射电暴候选体文件中的干扰进行标记,根据所述快速射电暴候选体列表,提取包含快速射电暴候选体的数据;
其中,提取单元对快速射电暴候选体文件中的干扰进行标记,以快速射电暴候选体列表为.cand格式为例,以快速射电暴候选体数据为.fil格式为例,根据.cand文件中的候选体文件提取.fil文件中对应的数据。
处理单元,包含快速射电暴候选体的数据进行处理,得到频率时间数据及色散时间数据;
其中,处理单元包括第一处理单元和第二处理单元,第一处理单元用于获得频率时间图像和频率时间的数据;第二处理单元在消色散后获得色散时间图像文件和色散时间数据。
识别单元,对频率时间数据及色散时间数据推理分类并根据分类结果识别出快速射电暴信号。
其中,以频率时间数据为.h5数据,色散时间数据为.h5数据为例,识别单元利用训练好的分类模型对.h5数据文件进行推理和分类,输出result.csv文件,识别单元包括判断单元、保存单元、预警单元和删除单元。当result.csv结果中有标记为快速射电暴的信号时,便触发保存单元保存数据,同时触发预警单元将结果链接发布至网络,并向科学家和其他望远镜发布预警通知;若未发现快速射电暴信号,则通知删除单元删除数据。
本实施例中的识别系统可安装于某射电望远镜中,具体实施方式为:
采用L波段双极化接收机进行观测实验,其中,该L波段双极化接收机的射频(Radio Frequency,RF)为1400-1700MHz。利用现场可编程门阵列(Field-ProgrammableGate Array,FPGA)信号处理设备对双极化信号进行数字化和Stokes参量计算,并将Stokes数据流发送至本发明中的识别系统,采用512微秒积分、384频率通道、0.78125MHz的频谱分辨率。
由于快速射电暴信号的随机性使得其在现实中难以预测,因此为了对本识别系统进行测试,选择了与快速射电暴脉冲相似的脉冲星天体进行观测,通过一定时间的跟踪观测并给出单脉冲的探测准确率。本实施例中选择辐射流量较强的脉冲星J0332+5434,并对其进行了10分钟的跟踪观测,该源的周期为0.714秒,色散值为26.76cm-3pc,1400MHz频段的流量为203mJy,脉冲宽度为6.6ms,且分析单元采用的Heimdall搜寻软件的参数设置为:色散值搜寻范围为100-5000cm-3pc,最大搜寻脉宽为32毫秒,信噪比阈值为8。其中,所有参数都可根据实际需求进行调整。
由分析单元的Heimdall搜寻软件输出的.cand候选体文件共记录了12093条候选体,经过提取单元根据.cand候选体文件提取.fil数据后输出.data数据,处理单元对.data数据进行处理后得到.h5数据以及识别单元对.h5数据分类并识别后输出result.csv数据。其中,输出的result.csv数据共标记快速射电暴信号358次,对标记的快速射电暴信号做成图检测时,参阅图7,发现所有标记为快速射电暴的信号均为真实的脉冲星信号,识别率达到100%。但由于RFI的影响,本识别系统并未检测出所有的脉冲星单脉冲信号,因此,未记录在.cand候选体文件中的信号无法进入识别单元处理。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种快速射电暴的识别方法,包括:
对快速射电暴的观测信号进行预处理,得到快速射电暴观测数据;
对所述快速射电暴观测数据进行消色散计算,得到快速射电暴候选体文件,所述快速射电暴候选体文件包括快速射电暴候选体列表;
对所述快速射电暴候选体文件中的干扰进行标记,根据所述快速射电暴候选体列表,提取包含快速射电暴候选体的数据,包括:
使用干扰信号对所述快速射电暴候选文本中的干扰进行标记,其中,窄带或固定频率的射频干扰RFI通过制作.mask文件的方式对特定的频率进行标记;时变或频变的射频干扰RFI根据.cand文件中的候选体文件提取快速射电暴观测数据中对应的数据,得到包含快速射电暴候选体的数据;
对所述包含快速射电暴候选体的数据进行处理,得到频率时间数据及色散时间数据,包括:
对所述包含快速射电暴候选体的数据进行标准化,得到频率时间数据;对所述包含快速射电暴候选体的数据进行标准化,再进行消色散处理,得到所述色散时间数据;
对所述频率时间数据及所述色散时间数据推理分类,识别快速射电暴信号,包括:
(1)获取分类模型,包括:
获取样本数据集,所述样本数据集包括模拟正样本、模拟负样本以及实际记录的数据,所述模拟正样本为模拟产生的快速射电暴正样本,所述模拟负样本为模拟产生的含噪声的电磁干扰信号负样本;
对所述样本数据集进行数据切割与标准化处理,生成色散时间图像样本数据以及频率时间图像样本数据;
将所述样本数据集输入深度学习模型进行训练;对训练后的所述深度学习模型进行评估及优化,得到所述分类模型;
将所述频率时间数据及所述色散时间数据输入所述分类模型,以识别所述快速射电暴信号;
其中,深度学习算法中,采用DenseNet121模型描述频率时间图像样本,采用Xception模型描述色散时间图像样本;
(2)将所述频率时间数据及所述色散时间数据输入所述分类模型,以识别所述快速射电暴信号,同时保存数据、发布网络链接并通知科学家和其他望远镜发出通知预警,实现快速跟踪观测。
2.根据权利要求1所述的方法,其中,对所述快速射电暴观测数据进行消色散计算包括:
在预设色散值范围内的每个色散值下,对所述快速射电暴观测数据进行一次消色散计算,以查找所述快速射电暴观测数据中消色散后的脉冲信号;
设置信噪比阈值,提取所述信噪比大于所述信噪比阈值的所述脉冲信号对应的所述快速射电暴观测数据,得到所述快速射电暴候选体文件。
3.根据权利要求1所述的方法,其中,所述识别快速射电暴信号包括:
判断所述快速射电暴候选体数据中是否存在标记为快速射电暴信号的数据,若是,则保存所述快速射电暴候选体数据、并发布预警信号;若否,则删除所述快速射电暴候选体数据。
4.根据权利要求1所述的方法,其中,所述方法还包括:
对所述包含快速射电暴候选体的数据进行处理,以生成与所述频率时间数据对应的所述频率时间图像及与所述色散时间数据对应的所述色散时间图像,所述频率时间图像以及所述色散时间图像用以显示所述快速射电暴信号。
5.一种快速射电暴的识别系统,包括:
预处理单元,用于对快速射电暴的观测信号进行预处理,得到快速射电暴观测数据;
分析单元,用于对所述快速射电暴观测数据进行消色散计算,得到快速射电暴候选体文件,所述快速射电暴候选体文件包括快速射电暴候选体列表;
提取单元,用于对所述快速射电暴候选体文件中的干扰进行标记,根据所述快速射电暴候选体列表,提取包含快速射电暴候选体的数据:使用干扰信号对所述快速射电暴候选文本中的干扰进行标记,其中,窄带或固定频率的射频干扰RFI通过制作.mask文件的方式对特定的频率进行标记;时变或频变的射频干扰RFI根据.cand文件中的候选体文件提取快速射电暴观测数据中对应的数据,得到包含快速射电暴候选体的数据;
处理单元,用于对所述包含快速射电暴候选体的数据进行处理,得到频率时间数据及色散时间数据:对所述包含快速射电暴候选体的数据进行标准化,得到频域时间数据;对所述包含快速射电暴候选体的数据进行标准化,再进行消色散处理,得到所述色散时间数据;
识别单元,用于对所述频率时间数据及色散时间数据推理分类,以识别出快速射电暴信号,具体步骤为:
(1)获取分类模型,包括:
获取样本数据集,所述样本数据集包括模拟正样本、模拟负样本以及实际记录的数据,所述模拟正样本为模拟产生的快速射电暴正样本,所述模拟负样本为模拟产生的含噪声的电磁干扰信号负样本;
对所述样本数据集进行数据切割与标准化处理,生成色散时间图像样本数据以及频率时间图像样本数据;
将所述样本数据集输入深度学习模型进行训练;对训练后的所述深度学习模型进行评估及优化,得到所述分类模型;
将所述频率时间数据及所述色散时间数据输入所述分类模型,以识别所述快速射电暴信号;
其中,深度学习算法中,采用DenseNet121模型描述频率时间图像样本,采用Xception模型描述色散时间图像样本;
(2)将所述频率时间数据及所述色散时间数据输入所述分类模型,以识别所述快速射电暴信号,同时保存数据、发布网络链接并通知科学家和其他望远镜发出通知预警,实现快速跟踪观测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910706020.3A CN110427878B (zh) | 2019-07-31 | 2019-07-31 | 一种快速射电暴信号识别方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910706020.3A CN110427878B (zh) | 2019-07-31 | 2019-07-31 | 一种快速射电暴信号识别方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110427878A CN110427878A (zh) | 2019-11-08 |
CN110427878B true CN110427878B (zh) | 2022-10-14 |
Family
ID=68413723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910706020.3A Expired - Fee Related CN110427878B (zh) | 2019-07-31 | 2019-07-31 | 一种快速射电暴信号识别方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110427878B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079608A (zh) * | 2019-12-09 | 2020-04-28 | 中国科学院新疆天文台 | 一种快速射电暴实时搜寻方法 |
CN111487473B (zh) * | 2020-04-16 | 2022-07-19 | 中国科学院新疆天文台 | 一种快速射电暴自动探测系统及方法 |
CN116304624B (zh) * | 2023-02-27 | 2024-01-30 | 之江实验室 | 基于斜线检测和曲线拟合消色散的快速射电暴搜寻方法 |
CN116451030B (zh) * | 2023-06-16 | 2023-09-05 | 中国科学院国家天文台 | 一种基于gpu的基带数据脉冲搜索方法及系统 |
CN116482449B (zh) * | 2023-06-20 | 2023-09-08 | 中国科学院国家天文台 | 快速射电暴的实时探测方法 |
CN117556266B (zh) * | 2024-01-11 | 2024-03-22 | 之江实验室 | 信号识别模型训练的方法、信号识别的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584256A (zh) * | 2018-11-28 | 2019-04-05 | 北京师范大学 | 一种基于霍夫直线检测的脉冲星dm估计算法 |
CN109856464A (zh) * | 2019-04-01 | 2019-06-07 | 国家卫星气象中心(国家空间天气监测预警中心) | 一种用于星载的甚低频太阳射电观测系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9104612B2 (en) * | 2013-08-27 | 2015-08-11 | Oracle International Corporation | System stability prediction using prolonged burst detection of time series data |
US20180239982A1 (en) * | 2014-11-18 | 2018-08-23 | Elwha Llc | Satellite with machine vision |
CN106771653B (zh) * | 2016-11-25 | 2019-05-14 | 中国科学院新疆天文台 | 一种快速射电暴实时探测装置、系统和方法 |
CN109657594B (zh) * | 2018-04-18 | 2023-04-18 | 贵州师范大学 | 一种基于二次数据折叠成图的射电脉冲星识别辅助方法 |
CN109520609A (zh) * | 2018-12-14 | 2019-03-26 | 天津大学 | 一种高速转子振动状态的测量装置 |
CN109991479B (zh) * | 2019-03-22 | 2020-12-11 | 中国科学院新疆天文台 | 多波束接收机的快速射电暴实时探测装置、系统与方法 |
-
2019
- 2019-07-31 CN CN201910706020.3A patent/CN110427878B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584256A (zh) * | 2018-11-28 | 2019-04-05 | 北京师范大学 | 一种基于霍夫直线检测的脉冲星dm估计算法 |
CN109856464A (zh) * | 2019-04-01 | 2019-06-07 | 国家卫星气象中心(国家空间天气监测预警中心) | 一种用于星载的甚低频太阳射电观测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110427878A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427878B (zh) | 一种快速射电暴信号识别方法与系统 | |
Huang et al. | Machine-learning-based data processing techniques for vehicle-to-vehicle channel modeling | |
CN110133599B (zh) | 基于长短时记忆模型的智能雷达辐射源信号分类方法 | |
CN108280395B (zh) | 一种对低小慢无人机飞控信号的高效识别方法 | |
CN103941254A (zh) | 一种基于地质雷达的土壤物性类别识别方法和装置 | |
Ziedan | Urban positioning accuracy enhancement utilizing 3D buildings model and accelerated ray tracing algorithm | |
Cain et al. | Convolutional neural networks for radar emitter classification | |
CN111310700B (zh) | 一种用于辐射源指纹特征识别的中频采样序列处理方法 | |
CN110440148B (zh) | 一种漏损声信号分类识别方法、装置及系统 | |
Lee et al. | Bayes error evaluation of the Gaussian ML classifier | |
Yar et al. | A complete framework of radar pulse detection and modulation classification for cognitive EW | |
CN112036239A (zh) | 一种基于深度学习网络的雷达信号工作模式识别方法及系统 | |
CN106772273A (zh) | 一种基于动态孔径的sar虚假目标干扰抑制方法及系统 | |
CN115685096B (zh) | 一种基于逻辑回归的二次雷达副瓣抑制方法 | |
CN115993511A (zh) | 一种局部放电类型高精度检测识别装置、方法和设备 | |
CN115034261A (zh) | 雷达辐射源信号脉间特征提取方法、设备及存储介质 | |
Sinha et al. | Estimation of Doppler profile using multiparameter cost function method | |
JP2010038744A (ja) | 目標識別用レーダ装置 | |
Naderi et al. | The design of measurement-based underwater acoustic channel simulators using the INLSA algorithm | |
CN115166453B (zh) | 基于边缘实时射频脉冲分类的局放连续监测方法及装置 | |
Mroué et al. | Automatic radar target recognition of objects falling on railway tracks | |
CN112964938B (zh) | 一种基于人工智能的闪电单站定位方法、装置及系统 | |
Bagwe et al. | Automated Radar Signal Analysis Based on Deep Learning | |
CN114994632A (zh) | 一种基于对称功率谱密度的雷达目标检测方法与系统 | |
Nazar et al. | Radio Frequency Interference Detection in Passive Microwave Remote Sensing Using One-Class Support Vector Machines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221014 |
|
CF01 | Termination of patent right due to non-payment of annual fee |