CN116188943A - 太阳射电频谱爆发信息检测方法及装置 - Google Patents

太阳射电频谱爆发信息检测方法及装置 Download PDF

Info

Publication number
CN116188943A
CN116188943A CN202310125696.XA CN202310125696A CN116188943A CN 116188943 A CN116188943 A CN 116188943A CN 202310125696 A CN202310125696 A CN 202310125696A CN 116188943 A CN116188943 A CN 116188943A
Authority
CN
China
Prior art keywords
radio spectrum
burst
solar radio
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310125696.XA
Other languages
English (en)
Inventor
程俊
颜毅华
段江涛
张延军
李彦佐
刘晓莹
谭程明
王威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Astronomical Observatories of CAS
Original Assignee
National Astronomical Observatories of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Astronomical Observatories of CAS filed Critical National Astronomical Observatories of CAS
Priority to CN202310125696.XA priority Critical patent/CN116188943A/zh
Publication of CN116188943A publication Critical patent/CN116188943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种太阳射电频谱爆发信息检测方法及装置，该方法包括：获取太阳射电频谱图像；对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域；将所述多个感兴趣区域池化为多个固定尺寸的特征图；利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。利用本发明方案，可以有效提高检测结果的准确率。

Description

太阳射电频谱爆发信息检测方法及装置
技术领域
本发明涉及频谱检测技术领域，具体涉及一种太阳射电频谱爆发信息检测方法及装置。
背景技术
太阳射电爆发是指当太阳受到强烈扰动时产生的一种强度急剧增加的射电辐射。目前，随着具有高时间、空间、以及频率分辨率的地基和空基太阳射电观测仪器数量的增加，发现了大量射电频谱精细结构。太阳射电频谱精细结构复杂多样，可简单地分为射电I型爆、II型爆、III型爆、IV型和V型爆等，在上述爆发的内部还常常发现存在尖峰爆发、斑马纹结构、纤维结构、快速准周期脉动结构、花边纹结构等复杂的精细结构现象。它们往往具有独特的辐射亮温、偏振、快速的时频结构，很可能与太阳爆发源区的非热过程和等离子体特定的动力学状态密切相关。提取上述爆发现象的带宽、持续时间、频漂率、相对带宽、偏振等特征参数对理解太阳爆发的本质有重要的价值和意义。
目前太阳射电频谱精细结构检测的研究相对比较少，太阳射电频谱精细结构的检测还停留在小波变换阶段和传统机器学习阶段，无论是从频谱图像中提取出的形态特征，还是通过对事件分析提取出的参数特征，由于这些特征经过人工设计，提取过程十分耗时，而且自适应性和鲁棒性不足，无法满足海量数据处理的需要。
发明内容
本发明提供一种太阳射电频谱爆发信息检测方法及装置，可以有效提高检测结果的准确率。
为此，本发明提供如下技术方案：
一种太阳射电频谱爆发信息检测方法，所述方法包括：
获取太阳射电频谱图像；
对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；
将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域；
将所述多个感兴趣区域对齐为多个固定尺寸的特征图；
利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。
可选地，对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图包括：
将所述太阳射电频谱图像输入预先构建的目标检测网络中，根据所述目标检测网络的输出得到多个不同尺度的特征图。
可选地，所述目标检测网络包括：ResNet101网络和FPN网络；所述ResNet101网络包括多个卷积层，分为多个阶段，每经过一个阶段，输出的特征图尺寸减小为原来的一半；所述FPN网络包括自下而上，自上而下和横向连接三个部分，用于对所述ResNet101网络得到的不同尺度下的C特征分别处理，然后进行融合处理，得到P系列特征。
可选地，所述将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域包括：
将所述多个不同尺度的特征图输入RPN中，确定对应各特征图的锚点框，并对所述锚点框进行二值分类和边界框回归，得到多个感兴趣区域。
可选地，所述将所述多个感兴趣区域对齐为多个固定尺寸的特征图包括：
使用双线性内插方法获得坐标为浮点数的每个感兴趣区域的图像数值，得到多个固定尺寸的特征图。
可选地，所述利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息包括：
利用预先建立的外形轮廓检测模型对所述多个固定尺寸的特征图内的爆发信号进行像素级分割，得到各爆发信号的外形轮廓；和/或
将所述多个固定尺寸的特征图输入预先建立的类别检测模型，得到各爆发信号的候选框和类别。
可选地，所述方法还包括：
根据所述爆发信号的候选框的坐标值，计算得到爆发参数；所述爆发参数包括以下任意一项或多项：频率带宽B、持续时间ΔT、开始时间tstart、结束时间tend、开始频率fstart，停止频率fend,中心频率fcenter、频漂率B/Δt。
一种太阳射电频谱爆发信息检测装置，所述装置包括：
图像获取模块，用于获取太阳射电频谱图像；
特征提取模块，用于对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；
映射模块，用于将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域；
对齐模块，用于将所述多个感兴趣区域对齐为多个固定尺寸的特征图；
检测模块，用于利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。
可选地，所述检测模块包括：轮廓检测单元、和/或类别检测单元；
所述轮廓检测单元，用于利用预先建立的外形轮廓检测模型对所述多个固定尺寸的特征图内的爆发信号进行像素级分割，得到各爆发信号的外形轮廓；
所述类别检测单元，用于将所述多个固定尺寸的特征图输入预先建立的类别检测模型，得到各爆发信号的候选框和类别。
可选地，所述装置还包括：
计算模块，用于根据所述爆发信号的候选框的坐标值，计算得到爆发参数。
本发明实施例提供的太阳射电频谱爆发信息检测方法及装置，通过对太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；将提取的多个不同尺度的特征图映射到太阳射电频谱图像中，得到多个感兴趣区域；将多个感兴趣区域池化为多个固定尺寸的特征图；利用多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。本发明方案从大量数据的统计角度出发，通过深层网络结构逐层的非线性变换，实现复杂函数的逼近，从而可以方便、准确地得到太阳射电频谱爆发信息。
附图说明
图1是本发明实施例提供的太阳射电频谱爆发信息检测方法的一种流程图；
图2是本发明实施例中由Resnet101网络和FPN网络组成的目标检测网络的结构示意图；
图3是本发明实施例中RPN的结构示意图；
图4是本发明实施例中利用双线性内插方法对感兴趣区域进行池化的采样示意图；
图5是对图4中的采样点进行双线性插值计算的示意图；
图6是本发明实施例中Mask R-CNN深度学习网络模型的结构示意图；
图7是本发明实施例中Mask R-CNN深度学习网络模型的训练流程图；
图8是本发明实施例提供的太阳射电频谱爆发信息检测装置的一种结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
在现有技术中，对太阳射电频谱精细结构的检测方法主要有两类，分别为：
(1)传统检测方法，主要有以下几种：
a、基于阈值的分割方法：基于阈值的分割方法是利用连片搜索算法，根据实际噪声水平设置阈值来确定整个爆发区域中所有的精细结构；使用最大类间方差法实现III型射电爆发的自动检测。
b、基于小波分析和小波变换的图像分割方法：基于小波分析和小波变换的图像分割方法是通过小波变换和广义插值法准确计算了8个尖峰事件的爆发背景，得到了它们的偏振轮廓；采用特征检测法和小波谱估算法对尖峰事件进行带宽分析；通过小波变换分离太阳射电频谱图中的纤维结构，使用线性回归方法计算出频漂率，使用数值逼近和连片搜索算法计算瞬时带宽、持续时间等特征参数；使用连续小波变换母体Ricker小波进行频谱图的峰值通量密度、谱宽、时间跨度和峰值功率等参数提取，检测到目前最微弱的特征。
c、基于主动轮廓模型的分割方法：使用Level set算法对精细结构进行轮廓提取，并统计出频率漂移率；采用霍夫变换识别射电III型爆发相关联的线段，然后采用改进的主动轮廓模型跟踪爆发并估计频率漂移率。
d、基于边缘检测的分割方法：通过预处理、光谱强度变换以及光谱的1/f变换降低II型爆发线的曲率，实现II型爆的自动检测。并使用霍夫变换来检测近似直线对III型爆进行判别。
e、基于统计的分割方法：采用高斯模型、码书模型进行背景建模，利用运动目标检测中的背景减除思想来实现爆发自动检测，然后采用二值形态学操作进行平滑去噪处理实现准确的爆发区域定位，再对二值爆发区域进行自动测量获取爆发的特征参数值。
(2)基于机器学习的方法
随着机器学习的出现，其算法可以从大量的图像数据中采用不同规模的网络结构以及各种学习规则来自动学习特征。机器学习尤其是深度学习技术在众多领域取得了令人瞩目的研究成果，已有一些研究将深度学习的方法应用于太阳射电频谱精细结构分类，取得一定研究进展。比如，使用几种深度学习网络模型(包括深层置信网络(DBN)、多模态网络、卷积神经网络(CNN)、长短时记忆网络(LSTM))对太阳射电频谱图进行有无爆发二分类；使用CNN+胶囊网络进行频谱图的III型、IV型和其它类型的三分类，证明深度学习网络可以自动识别III型和IV型特征。但是基于深度学习的频谱检测研究相对较少，目前只对III型爆发和尖峰爆发进行了检测研究，未见其他爆发类型的检测研究。通过Faster R-CNN、YOLOv2、RetinaNet等目标检测网络提取的爆发事件的位置坐标，经简单计算能够得到爆发的持续时间、频率带宽、起止频率、频率漂移率等特征参数，但是因使用矩形框对事件边缘进行定位，故无法对爆发的形态轮廓特征参数进行深入研究，在定位和参数提取方面尚不足。
为此，本发明实施例提供一种太阳射电频谱精细结构检测模型、方法及装置，基于深度学习的太阳射电频谱精细结构自动检测算法，从大量数据的统计角度出发，通过深层网络结构逐层的非线性变换，实现复杂函数的逼近，自动标记爆发参数。
如图1所示，是本发明实施例提供的太阳射电频谱爆发信息检测方法的一种流程图。该方法包括以下步骤：
步骤101，获取太阳射电频谱图像。
步骤102，对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图。
具体地，可以预先构建目标检测网络，利用该目标检测网络得到多个不同尺度的特征图。
所述目标检测网络如图2所示，该目标检测网络包括ResNet网络和FPN(FeaturePyramid Networks，特征金字塔网络)。当然，所述ResNet网络也可以由VGG16、VGG19、GoogLeNet、ResNet50等网络代替，对此本发明实施例不做限定。
本发明实施例中，ResNet网络使用了跨层连接，也称残差连接，能够有效防止梯度消失。
所述ResNet网络包括多个(比如101个)卷积层，分为多个阶段(比如5个阶段)，每经过一个阶段，输出的特征图尺寸减小为原来的一半。
FPN是一种多尺度检测网络，可避免在进行目标检测时由于获取到的特征尺寸比较单一，对小目标检测精度低，小目标漏检率大的问题。
在本发明实施例中，所述FPN包括自下而上，自上而下和横向连接三个部分，用于对所述ResNet网络得到的不同尺度下的C特征分别处理，然后进行融合处理，得到P系列特征。FPN的这种结构可以将ResNet网络输出的各个层级的特征进行融合处理得到P系列特征，使其同时具有强语义信息和强空间信息。
在对太阳射电频谱图像进行特征提取时，将所述太阳射电频谱图像输入该目标检测网络中，根据所述目标检测网络的输出即可得到多个不同尺度的特征图。
需要说明的是，通过FPN可以得到不同分辨率的多层特征，不同分辨率的特征有不同的功用。低分辨率的特征更适用于实现大目标的检测，小目标的检测则更适合通过底层的高分辨率特征进行检测，选择的特征层级与待检目标尺度之间的关系为：
Figure BDA0004082104200000071
其中，w和h分别表示输入图像上RoI(Region of Interesting，感兴趣区域)的宽和高，k0表示大小为256×256的目标区域对应的特征层。
步骤103，将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域。
在本发明实施例中，可以利用RPN(Region Proposal Network，区域建议网络)来确定感兴趣区域。
所述RPN是一个轻量的神经网络，它用滑动窗口来扫描图像，并寻找存在目标的区域。
如图3所示，是本发明实施例中RPN的一种结构示意图。该RPN包括一个3×3的卷积层和两个1×1的卷积层。
在一张特征图上，每个点都可以映射到原图像中的某个位置上，在原图像中，以这个位置为中心，预定义具有不同尺度和宽高比的锚点框(anchor)，然后将这些锚点框输入到两个网络层中去，进行二值分类(前景或背景)和边界框回归，获得多个RoI。
步骤104，将所述多个感兴趣区域对齐为多个固定尺寸的特征图。
由于RPN生成的多个RoI具有不同的尺度和长度，因此需要映射产生固定大小的特征图。在Faster-RCNN(Faster Regions with CNN features，快速区域卷积神经网络)中，常用RoI Pooling(感兴趣区域池化)根据预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图。由于预选框的位置通常是由模型回归得到的，是浮点数，而池化后的特征图要求尺寸固定。故RoI Pooling这一操作存在两次量化的过程。此时的候选框已经和最开始回归出来的位置有一定的偏差，这个偏差会影响检测或者分割的准确度。
为此，在本发明实施例中，取消量化操作，使用双线性内插方法获得坐标为浮点数的每个感兴趣区域的图像数值，从而将整个特征聚集过程转化为一个连续的操作，最终得到多个固定尺寸的特征图。
图4是本发明实施例中利用双线性内插方法对感兴趣区域进行对齐的采样示意图，图5是对图4中的采样点进行双线性插值计算的示意图。
步骤105，利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。
上述步骤104得到的特征图可以用于多任务，比如可以用于以下任意一种或多种任务：
(1)利用预先建立的外形轮廓检测模型对所述多个固定尺寸的特征图内的爆发信号进行像素级分割，得到各爆发信号的外形轮廓(即Mask)；
(2)将所述多个固定尺寸的特征图输入预先建立的类别检测模型，得到各爆发信号的候选框和类别。
需要说明的是，上述外形轮廓检测模型和类别检测模型可以各自独立训练，也可以一起训练，对此本发明实施例不做限定。
外形轮廓检测模型可以采用FCN(Fully Convolutional Networks，全卷积神经网络)，类别检测模型可以采用两层卷积层的神经网络。
与现有的神经网络训练方式的区别在于，在模型训练期间，对于每个样本的RoI会定义一个多级任务损失函数：
L＝Lcls+Lbox+Lmask (2)
Figure BDA0004082104200000091
Figure BDA0004082104200000092
Figure BDA0004082104200000093
Figure BDA0004082104200000094
其中，Lcls为分类损失，Lbox为目标框回归损失，Lmask为Mask分支损失。
其中，i,j与锚点对应，如果锚点是positive，
Figure BDA0004082104200000095
反之/>
Figure BDA0004082104200000096
ti代表positive Bbox(前景框)，/>
Figure BDA0004082104200000097
代表positive Bbox对应的GT box(背景框)。
Mask分支中，首先得到预测分类为k的mask特征，然后把原图中Bbox(候选框)包围的mask区域映射成m*m大小的mask区域特征，最后计算该m*m区域的平均二值交叉损失熵。使用sigmoid进行分类，避免类间损失，达到提升实例分割的效果。
本发明实施例提供的太阳射电频谱爆发信息检测方法，通过对太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；将提取的多个不同尺度的特征图映射到太阳射电频谱图像中，得到多个感兴趣区域；将多个感兴趣区域池化为多个固定尺寸的特征图；利用多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。本发明方案从大量数据的统计角度出发，通过深层网络结构逐层的非线性变换，实现复杂函数的逼近，从而可以方便、准确地得到太阳射电频谱爆发信息。
需要说明的是，在具体应用中，还可以将上述流程中用到的各层的网络组合在一起，训练得到Mask R-CNN深度学习网络。利用Mask R-CNN深度学习网络模型，完成太阳射电频谱实例分割，即输入任何一张太阳射电频谱图，经过Mask R-CNN深度学习网络，输出这张图中的爆发类型、位置信息、同时还输出每个类别的二值Mask掩码。
所述Mask R-CNN深度学习网络模型的结构如图6所示。
参照图6，该Mask R-CNN深度学习网络模型包括：目标检测层，特征映射层，对齐处理层，分类、边框回归和Mask生成层。
其中，目标检测层可以采用ResNet101+FPN网络，特征映射层可以采用RPN网络，分类、边框回归和Mask生成层可以采用神经网络。各层的网络结构可参照前面的描述，在此不再赘述。
所述Mask R-CNN深度学习网络模型的训练流程如图7所示，具体过程如下：
(1)读取输入数据。
所述输入数据可以是fits格式的太阳射电频谱图。
(2)数据预处理
主要是去除频谱图上的RFI(radio frequency interference，射频干扰)，得到清晰的太阳射电爆发频谱图。
(3)数据标签标注
可以通过深度学习分类网络挑选出爆发事件样本，然后利用开源图像标注软件Labelme/Labellmg，在太阳射电频谱图上用矩形框或多边形框标记太阳射电爆发类型，生成json格式的标签。运行json_to_dataset.py代码转化为Mask RCNN神经网络的数据集。按照一定比例将数据集拆分成训练集和测试集。
(4)模型训练和优化
利用Mask R-CNN网络对太阳射电频谱精细结构进行学习。训练过程分为两个部分，先训练主干网络，主要用于确定候选区域。主干网络训练完成后，再训练完整的网络。其中训练时每次送入网络的图像数据个数由运行硬件平台内存决定，一般设置为2n，两个部分的训练轮次的具体标准是损失函数趋于稳定即可停止。
模型优化：根据实际情况改进网络模型及评估指标，调节参数使模型达到最佳识别效果，并保存模型参数。然后再考虑使用并行计算等提高模型检测速度。
(5)爆发类型和位置识别
将测试图片输入至训练完成的MaskRCNN网络中即可生成Mask信息，得到爆发类型以及爆发的位置坐标。
四个坐标值返回的顺序依次为xleft、yup、xright、ydown。分别对应着爆发事件检测框的左上角和右下角坐标。
所述爆发类型可以包括但不限于：I型爆、II型爆、III型爆、IV型爆、V型爆、尖峰爆发等。
利用上述训练得到的Mask R-CNN深度学习网络，可以将任何一张太阳射电频谱图，经过MaskR-CNN深度学习网络，输出这张图中的爆发类型、位置信息、同时还输出每个类别的二值Mask掩码，从而通过Mask R-CNN完成太阳射电频谱实例分割。
进一步地，在一种非限制性实施例中，还可以根据所述爆发信号的候选框的坐标值，计算得到爆发参数。所述爆发参数包括但不限于以下任意一项或多项：频率带宽B、持续时间ΔT、开始时间tstart、结束时间tend、开始频率fstart，停止频率fend，中心频率fcenter、频漂率B/Δt。这里默认输入的原始频谱图在时间轴上由左至右增加，而频率则从上至下增加。
各爆发参数的计算公式如下：
B＝(ydown-yup)×kf×fresolution (7)
ΔT＝(xright-xleft)×kt×tresolution (8)
tstart＝xleft×kt×tresolution+Tstart (9)
tend＝xright×kt×tresolution+Tstart (10)
fstart＝ydown×kf×fresolution+Fstart (11)
fend＝yup×kf×fresolution+Fstart (12)
fcenter＝(fstart+fend)/2 (13)
Figure BDA0004082104200000111
其中，kt表示在时间轴上，单个频率通道上实际采集点数与生成图像长度上像素点数的比例系数。kf表示在频率轴上，单个时间点实际采集点数与生成图像高度上像素点数的比例系数。tresolution、fresolution分别表示输入的原始频谱图中时间分辨率和频率分辨率。Tstart、Fstart分别表示该频谱图开始时间和开始频率。
相应地，本发明还提供一种太阳射电频谱爆发信息检测装置，如图8所示，该太阳射电频谱爆发信息检测800包括以下各模块：
图像获取模块801，用于获取太阳射电频谱图像；
特征提取模块802，用于对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；
映射模块803，用于将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域；
对齐模块804，用于将所述多个感兴趣区域对齐为多个固定尺寸的特征图；
检测模块805，用于利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。
其中，所述检测模块可以包括：轮廓检测单元、和/或类别检测单元。
所述轮廓检测单元用于利用预先建立的外形轮廓检测模型对所述多个固定尺寸的特征图内的爆发信号进行像素级分割，得到各爆发信号的外形轮廓；
所述类别检测单元用于将所述多个固定尺寸的特征图输入预先建立的类别检测模型，得到各爆发信号的候选框和类别。
本发明实施例提供的太阳射电频谱爆发信息检测装置，通过对太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；将提取的多个不同尺度的特征图映射到太阳射电频谱图像中，得到多个感兴趣区域；将多个感兴趣区域池化为多个固定尺寸的特征图；利用多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。本发明方案从大量数据的统计角度出发，通过深层网络结构逐层的非线性变换，实现复杂函数的逼近，从而可以方便、准确地得到太阳射电频谱爆发信息。
进一步地，在本发明装置另一种非限制性实施例中，还可包括：计算模块(未图示)，用于根据所述爆发信号的候选框的坐标值，计算得到爆发参数。
上述各模块及单元的具体实现方式可参考前面本发明方法实施例中的描述，在此不再赘述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。而且，以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块和单元可以是或者也可以不是物理上分开的，即可以位于一个网络单元上，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及装置，其仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围，本说明书内容不应理解为对本发明的限制。因此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种太阳射电频谱爆发信息检测方法，其特征在于，所述方法包括：
获取太阳射电频谱图像；
对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；
将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域；
将所述多个感兴趣区域对齐为多个固定尺寸的特征图；
利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。
2.根据权利要求1所述的方法，其特征在于，对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图包括：
将所述太阳射电频谱图像输入预先构建的目标检测网络中，根据所述目标检测网络的输出得到多个不同尺度的特征图。
3.根据权利要求2所述的方法，其特征在于，所述目标检测网络包括：ResNet101网络和FPN网络；所述ResNet101网络包括多个卷积层，分为多个阶段，每经过一个阶段，输出的特征图尺寸减小为原来的一半；所述FPN网络包括自下而上，自上而下和横向连接三个部分，用于对所述ResNet101网络得到的不同尺度下的C特征分别处理，然后进行融合处理，得到P系列特征。
4.根据权利要求1所述的方法，其特征在于，所述将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域包括：将所述多个不同尺度的特征图输入RPN中，确定对应各特征图的锚点框，并对所述锚点框进行二值分类和边界框回归，得到多个感兴趣区域。
5.根据权利要求1所述的方法，其特征在于，所述将所述多个感兴趣区域对齐为多个固定尺寸的特征图包括：
使用双线性内插方法获得坐标为浮点数的每个感兴趣区域的图像数值，得到多个固定尺寸的特征图。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息包括：
利用预先建立的外形轮廓检测模型对所述多个固定尺寸的特征图内的爆发信号进行像素级分割，得到各爆发信号的外形轮廓；和/或
将所述多个固定尺寸的特征图输入预先建立的类别检测模型，得到各爆发信号的候选框和类别。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述爆发信号的候选框的坐标值，计算得到爆发参数；所述爆发参数包括以下任意一项或多项：频率带宽B、持续时间ΔT、开始时间tstart、结束时间tend、开始频率fstart，停止频率fend,中心频率fcenter、频漂率B/Δt。
8.一种太阳射电频谱爆发信息检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取太阳射电频谱图像；
特征提取模块，用于对所述太阳射电频谱图像进行特征提取，得到多个不同尺度的特征图；
映射模块，用于将所述多个不同尺度的特征图映射到所述太阳射电频谱图像中，得到多个感兴趣区域；
对齐模块，用于将所述多个感兴趣区域对齐为多个固定尺寸的特征图；
检测模块，用于利用所述多个固定尺寸的特征图及预先建立的频谱结构检测模型，确定各爆发信号的信息。
9.根据权利要求8所述的装置，其特征在于，所述检测模块包括：轮廓检测单元、和/或类别检测单元；
所述轮廓检测单元，用于利用预先建立的外形轮廓检测模型对所述多个固定尺寸的特征图内的爆发信号进行像素级分割，得到各爆发信号的外形轮廓；
所述类别检测单元，用于将所述多个固定尺寸的特征图输入预先建立的类别检测模型，得到各爆发信号的候选框和类别。
10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：
计算模块，用于根据所述爆发信号的候选框的坐标值，计算得到爆发参数。
CN202310125696.XA 2023-02-03 2023-02-03 太阳射电频谱爆发信息检测方法及装置 Pending CN116188943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310125696.XA CN116188943A (zh) 2023-02-03 2023-02-03 太阳射电频谱爆发信息检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310125696.XA CN116188943A (zh) 2023-02-03 2023-02-03 太阳射电频谱爆发信息检测方法及装置

Publications (1)

Publication Number Publication Date
CN116188943A true CN116188943A (zh) 2023-05-30

Family

ID=86432325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310125696.XA Pending CN116188943A (zh) 2023-02-03 2023-02-03 太阳射电频谱爆发信息检测方法及装置

Country Status (1)

Country Link
CN (1) CN116188943A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078683A (zh) * 2023-10-17 2023-11-17 云南大学 一种太阳射电爆发检测方法、系统及产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078683A (zh) * 2023-10-17 2023-11-17 云南大学 一种太阳射电爆发检测方法、系统及产品

Similar Documents

Publication Publication Date Title
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN106845374B (zh) 基于深度学习的行人检测方法及检测装置
CN110298404B (zh) 一种基于三重孪生哈希网络学习的目标跟踪方法
US10346720B2 (en) Rotation variant object detection in Deep Learning
CN108776779B (zh) 基于卷积循环网络的sar序列图像目标识别方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN105225226B (zh) 一种基于图像分割的级联可变形部件模型目标检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108898065B (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
CN104299006A (zh) 一种基于深度神经网络的车牌识别方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
CN107909018B (zh) 一种稳健的多模态遥感影像匹配方法和系统
CN105405138A (zh) 基于显著性检测的水面目标跟踪方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN112560717A (zh) 一种基于深度学习的车道线检测方法
Hussain et al. A simple and efficient deep learning-based framework for automatic fruit recognition
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN111967466A (zh) 一种利用多方向稀疏低秩分解的红外弱小目标检测方法
Liu et al. Building segmentation from satellite imagery using U-Net with ResNet encoder
CN116188943A (zh) 太阳射电频谱爆发信息检测方法及装置
Liu et al. An MRF model-based approach to the detection of rectangular shape objects in color images
CN106169086B (zh) 导航数据辅助下的高分辨率光学影像损毁道路提取方法
Zhao et al. Building outline delineation: From very high resolution remote sensing imagery to polygons with an improved end-to-end learning framework
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination