CN112101444A - 一种基于深度学习的日冕物质抛射检测方法 - Google Patents

一种基于深度学习的日冕物质抛射检测方法 Download PDF

Info

Publication number
CN112101444A
CN112101444A CN202010941895.4A CN202010941895A CN112101444A CN 112101444 A CN112101444 A CN 112101444A CN 202010941895 A CN202010941895 A CN 202010941895A CN 112101444 A CN112101444 A CN 112101444A
Authority
CN
China
Prior art keywords
cme
target
feature map
detection
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010941895.4A
Other languages
English (en)
Inventor
尚振宏
冼祥贵
袁梅宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202010941895.4A priority Critical patent/CN112101444A/zh
Publication of CN112101444A publication Critical patent/CN112101444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的日冕物质抛射检测方法,属于日冕抛射物质自动化检测技术领域。包括以下步骤:Step1、CME图像预处理和数据集制作;Step2、特征提取;Step3、生成候选区域建议;Step4、目标区域池化;Step5、进行CME细分类;Step6、边框回归;Step7、去除重复冗余框。本发明引入深度学习的方法用于CME目标检测,克服了阈值分割或传统的机器学习分类器进行CME检测识别时存在着人工设计特征无法很好表征CME语义,阈值和传统机器学习分类器分类效果差,导致对微弱CME的检测效果差等问题;本发明相对其他方法,鲁棒性更好。

Description

一种基于深度学习的日冕物质抛射检测方法
技术领域
本发明涉及日冕物质抛射自动检测领域,尤其涉及一种基于深度学习的日冕物质抛射检测方法。
背景技术
日冕物质抛射(Cornal Mass Ejections,简称CME),是一种强烈的空间天气现象,一种日冕物质从太阳日冕层向行星际空间抛射的现象。由于CME含有巨大的速度和能量并且与背景太阳风在磁场、速度、温度上的差异,CME在行星际空间传播时会引起太阳风扰动,严重时可以引起磁暴的极端空间天气。这些会导致太空中的卫星故障和数据丢失、地面电力系统崩溃及短波通信中断等。为了预防CME对人类生活的影响和伤害,实现对CME的检测来对CME进行预警是非常有价值的。
SOHO、Wind和STEREO等卫星为人类提供了大量宝贵的CME图像资料。基于这些图像资料,人们提出了各种检测CME的方法来检测CME。Berghmans等人提出的CACTus方法首先对LASCO C2和C3图像进行预处理,再通过霍夫直线检测识别CME。CACTus生成的CACTus目录是第一个自动检测的CME目录。Olmedo等人提出的SEEDS利用CME图像的灰度信息检测CME的前缘和后缘。其生成的SEEDS目录和CACTus目录、CDAW目录为CME的三大参考目录。
CME目标在CME图像上表现一个明亮的、纹理复杂的增强结构,尾随着一个亮度不足的暗区域。而弱CME在亮度上微弱,明亮特征不明显。传统的自动检测方法取得不错的对CME的检测效果,但也存在以下不足:1)易受各种噪声及行星、彗星运行的非CME高亮特征影响,导致出现CME漏检或多检;2)人工定义的CME特征不能很好表征CME;3)大部分方法都基于阈值处理,对微弱CME检测效果差。
通过对现有专利及相关技术的检索发现,现有的日冕物质抛射自动化检测方法有:
一种基于卡尔曼滤波的日冕物质抛射识别方法(CN106056125A)通过对日冕序列图像进行预处理:对齐、滤波降噪、转换到极坐标;接着,利用卡尔曼滤波的对预处理后的图像进行背景更新,再进行二值化运算得到二值化序列图像;再通过二值化图像进行日冕序列图像物质抛射的识别和筛选。
一种智能化日冕物质抛射事件观测方法(CN103487844A),其特征在于,该观测方法包括:A、开启日冕物质抛射观测系统,根据观测系统的参数实时采集获取图像数据,并存于内存中;B、获取差分图像,并判断是否有日冕物质抛射事件发生,若有日冕物质抛射事件发生则执行步骤C;若无日冕物质抛射事件发生,则执行步骤E;C、报警并调整图像的观测模式;D、判断是否有晕状日冕物质抛射事件发生,若有晕状日冕物质抛射事件发生则再次报警;并执行步骤E;E、采集图像数据并存入硬盘中。
一种基于多特征融合的日冕物质抛射检测方法(CN105046259A),其特征在于,包括以下步骤:步骤1,将差分处理后的日冕观测图像转化为极坐标显示;步骤2,采用不同的尺度对经步骤1处理后的图像进行切分,得到不同的子块,并求取最亮块;步骤3,分别提取步骤2中最亮块的灰度特征GB、纹理特征TB以及HOG特征HB;步骤4,以提取的灰度特征GB、纹理特征TB以及HOG特征HB为基础,采用决策树作为基分类器,并采用AdaBoost算法提升得到强分类器,最终得到分类结果,完成检测。
上述专利方法都是采用阈值方法或设计人工特征,提取传统的灰度特征、纹理特征和hog特征等,利用阈值分割或传统的机器学习分类器进行CME和非CME的区分,存在着人工设计特征无法很好表示CME,阈值和传统机器学习分类器分类效果差。导致对微弱CME的检测效果差。
发明内容
为解决以上技术上的不足,本发明提供了一种检测精度高的日冕物质抛射检测方法。本发明对CME检测的精度有较大的提高;不仅检测出更多SEEDS和CDAW目录中没有检测出的CME,检出CME的中心角和角宽度也更精确。
为解决上述技术问题,本发明的技术方案如下:一种基于深度学习的日冕物质抛射检测方法,包括以下步骤:
Step1、CME图像预处理和数据集制作:CME的d2图像极坐标化并用中值滤波去噪得到所述CME图像,半自动标注目标框制作数据集;
Step2、特征提取:将Step1中的CME图像输入改进后的特征提取网络,得到特征图;
Step3、生成候选区域建议:将步骤Step2得到的特征图输入区域建议网络RPN,得到感兴趣的候选区域建议;
Step4、目标区域池化:以Step2输出的特征图和Step3输出的候选区域建议作为输入,将候选区域建议映射到特征图的对应位置,对映射后的特征图进行池化操作得到统一大小的目标区域特征图;
Step5、进行CME细分类:根据Step4得到的目标区域特征图计算目标类型,区分目标是哪一类CME,得到分类分数;
Step6、边框回归:根据Step4得到的目标区域特征图,进行边界框回归细化边界框,最终获得检测框的精确位置;
Step7、消除重复冗余框:根据step5和step6得到目标特征图,利用非极大值抑制方法去除同一CME目标的重复冗余的目标框,得到最终的CME目标的区域。
作为对上述技术方案的进一步描述:所述步骤Step2具体实现方法为:样本图像输入vgg16网络,经过五个Conv Layer层,将Layer4特征和Layer5特征合并组成特征图作为输出。
作为对上述技术方案的进一步描述:所述步骤Step3具体实现方法为:利用k-means算法求得数据集九个长宽尺寸的聚点,RPN网络根据这九个聚点在Step2的特征图上的每个点生成九个anchor box,再Softmax二分类判别每个anchor box是否为感兴趣区域,由回归网络得到感兴趣区域的位置。
作为对上述技术方案的进一步描述:所述步骤Step4具体实现方法为:将映射后的特征区域划分为相同大小的块,块的数量与输出特征图的维度相同,然后对每个块进行最大池化操作,将一组大小不一的候选区域特征图转化为固定统一尺寸的特征图。
作为对上述技术方案的进一步描述:所述步骤Step7具体实现方法为:非极大值抑制,针对步骤Step6得到的一组检测框,对于每个窗口,选取邻域里分数最高,抑制分数低的检测框,去除冗余的检测框。
与现有技术相比,本发明具有以下有益效果:本发明引入深度学习的方法用于极坐标灰度图CME目标检测,克服了传统方法由于基于灰度特征特征和纹理特征的阈值分割而造成对弱CME漏检的问题;本发明鲁棒性好,基本不受彗星、极光和噪声的影响。
本发明结合深度学习卷积神经网络思想,利用卷积特征替代传统手工特征,避免了传统检测问题中特征选择问题。深层卷积特征具有更好的表达能力,为解决CME检测问题提供了更加泛化和简洁的思路。
附图说明
图1为本发明的流程图;
图2为改进的Faster R-CNN结构图;
图3为改进的特征提取网络VGG结构图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案做进一步详细说明,但本发明并不局限于以下技术方案。
实施例1
如图1-图3所示,本发明提出一种基于改进的Faster R-CNN的日冕物质抛射检测方法,包括以下步骤:
Step1、CME图像预处理和数据集制作:从SOHO网站(https://sohowww.nascom.nasa.gov)下载CME的d2图像,d2图像极坐标化并用中值滤波去噪得到CME的极坐标差分图。按照pascal_voc数据集框架,基于SEEDS目录和CDAW目录的信息制作数据集,其中,训练集2678张,验证集246张.将做好数据集输入改进的Faster R-CNN进行finetuning训练,训练350000次后得到训练好的网络模型。
Step2、特征提取:将经Step1处理的CME图像输入训练好的特征提取网络VGG16,提取目标CME图像的特征图;将VGG16的Layer4特征和Layer5特征合并组成特征图,得到CME的特征图,该特征图被共享用于后续的区域建议网络(RPN)和Fast R-CNN分类层。
Step3、生成候选区域建议:将步骤Step2中得到的特征图输入到区域建议网络(Region Proposal Network,RPN)得到一组区域建议,其中包括利用k-means算法求得九种长宽尺寸的聚点和在特征图上逐点滑动一个3×3的窗口,特征图中的每个点,即每次滑动窗口位置的中心点位置映射到原始图像中,分别产生基于k-means生成九种长宽尺寸的9个候选感兴趣目标区域,再利用Softmax网络判断属于前景还是背景,即是CME目标还是不感兴趣的背景,再利用边界框回归修正建议框。
Step4、目标区域池化:以Step2输出的特征图和Step3输出的候选区域建议为输入,将候选区域建议映射到特征图的对应位置,对映射后的特征图进行池化操作;具体实现方法为:将映射后的特征区域划分为相同大小的块(块的数量与输出特征图的维度相同),然后对每个块进行最大池化操作,将一组大小不一的候选区域特征图转化为固定统一尺寸的特征图,以进行后续工作。
Step5、进行CME细分类:根据Step4得到的目标区域特征图计算目标类型,鉴别目标属于哪一类CME,形成分类分数;具体是采用全连接层对每个目标区域建议进行分类。
Step6、边框回归:根据Step4得到的目标区域特征图,进行边界框回归细化边界框,最终获得检测框的精确位置.
Step7、消除重复冗余目标框:利用非极大值抑制,针对步骤Step6得到一组检测框,对于每个窗口,选取邻域里分数最高,抑制分数低的检测框,去除冗余的检测框,找到最佳的物体检测位置。具体方式是:将步骤Step6中得到的各个检测框的分类分数进行排序,然后选择分类分数最高的检测框,将其为标准,依次遍历剩余检测框,当其与标准检测框的重合程度高于阈值时就将其舍弃,当遍历完所有剩余检测框后,重新选择剩余检测框中分类分数最大的检测框作为标准检测框,重复上述操作,直至遍历完所有的检测框,得到每个CME目标对应一个目标框。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,根据本申请的技术方案及其实用新型构思加以等同替换或改变,都应涵盖在本申请的保护范围之内。

Claims (5)

1.一种基于深度学习的日冕物质抛射检测方法,其特征在于,包括以下步骤:
Step1、CME图像预处理和数据集制作:CME的d2图像极坐标化并用中值滤波去噪得到所述CME图像,半自动标注目标框制作数据集;
Step2、特征提取:将Step1中的CME图像输入改进后的特征提取网络,得到特征图;
Step3、生成候选区域建议:将步骤Step2得到的特征图输入区域建议网络RPN,得到感兴趣的候选区域建议;
Step4、目标区域池化:以Step2输出的特征图和Step3输出的候选区域建议作为输入,将候选区域建议映射到特征图的对应位置,对映射后的特征图进行池化操作得到统一大小的目标区域特征图;
Step5、进行CME细分类:根据Step4得到的目标区域特征图计算目标类型,区分目标是哪一类CME,得到分类分数;
Step6、边框回归:根据Step4得到的目标区域特征图,进行边界框回归细化边界框,最终获得检测框的精确位置;
Step7、消除重复冗余框:根据step5和step6得到目标特征图,利用非极大值抑制方法去除同一CME目标的重复冗余的目标框,得到最终的CME目标的区域。
2.根据权利要求1所述的一种基于深度学习的日冕物质抛射检测方法,其特征在于,所述步骤Step2具体实现方法为:样本图像输入vgg16网络,经过五个Conv Layer层,将Layer4特征和Layer5特征合并组成特征图作为输出。
3.根据权利要求1所述的一种基于深度学习的日冕物质抛射检测方法,其特征在于,所述步骤Step3具体实现方法为:利用k-means算法求得数据集九个长宽尺寸的聚点,RPN网络根据这九个聚点在Step2的特征图上的每个点生成九个anchor box,再Softmax二分类判别每个anchor box是否为感兴趣区域,由回归网络得到感兴趣区域的位置。
4.根据权利要求1所述的一种基于深度学习的日冕物质抛射检测方法,其特征在于,所述步骤Step4具体实现方法为:将映射后的特征区域划分为相同大小的块,块的数量与输出特征图的维度相同,然后对每个块进行最大池化操作,将一组大小不一的候选区域特征图转化为固定统一尺寸的特征图。
5.根据权利要求1所述的一种基于深度学习的日冕物质抛射检测方法,其特征在于,所述步骤Step7具体实现方法为:非极大值抑制,针对步骤Step6得到的一组检测框,对于每个窗口,选取邻域里分数最高,抑制分数低的检测框,去除冗余的检测框。
CN202010941895.4A 2020-09-09 2020-09-09 一种基于深度学习的日冕物质抛射检测方法 Pending CN112101444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010941895.4A CN112101444A (zh) 2020-09-09 2020-09-09 一种基于深度学习的日冕物质抛射检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010941895.4A CN112101444A (zh) 2020-09-09 2020-09-09 一种基于深度学习的日冕物质抛射检测方法

Publications (1)

Publication Number Publication Date
CN112101444A true CN112101444A (zh) 2020-12-18

Family

ID=73752516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010941895.4A Pending CN112101444A (zh) 2020-09-09 2020-09-09 一种基于深度学习的日冕物质抛射检测方法

Country Status (1)

Country Link
CN (1) CN112101444A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392582A (zh) * 2021-06-03 2021-09-14 中国科学院国家空间科学中心 日冕物质抛射空间环境事件相似推荐方法及系统
CN118070940A (zh) * 2024-01-08 2024-05-24 中国科学院国家空间科学中心 一种日冕物质抛射事件预测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392582A (zh) * 2021-06-03 2021-09-14 中国科学院国家空间科学中心 日冕物质抛射空间环境事件相似推荐方法及系统
CN118070940A (zh) * 2024-01-08 2024-05-24 中国科学院国家空间科学中心 一种日冕物质抛射事件预测方法及系统

Similar Documents

Publication Publication Date Title
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN109325960B (zh) 一种红外云图气旋分析方法及分析系统
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
Zhang et al. CNN based suburban building detection using monocular high resolution Google Earth images
CN109410238B (zh) 一种基于PointNet++网络的枸杞识别计数方法
Cao et al. A coarse-to-fine weakly supervised learning method for green plastic cover segmentation using high-resolution remote sensing images
CN103745234A (zh) 一种带钢表面缺陷的特征提取与分类方法
CN105184265A (zh) 一种基于自学习的手写表格数字字符串快速识别的方法
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
Avudaiammal et al. Extraction of buildings in urban area for surface area assessment from satellite imagery based on morphological building index using SVM classifier
CN112101444A (zh) 一种基于深度学习的日冕物质抛射检测方法
Chen et al. Automatic building extraction via adaptive iterative segmentation with LiDAR data and high spatial resolution imagery fusion
CN104751199A (zh) 一种棉花裂铃期自动检测方法
Yang et al. Instance segmentation and classification method for plant leaf images based on ISC-MRCNN and APS-DCCNN
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN106803087A (zh) 一种车号自动识别方法及系统
CN117572457B (zh) 一种基于伪标签学习的跨场景多光谱点云分类方法
CN115294377A (zh) 一种道路裂缝的识别系统及方法
Kamani et al. Shape matching using skeleton context for automated bow echo detection
Feng et al. Improved SOLOv2 detection method for shield tunnel lining water leakages
CN116129280B (zh) 一种遥感影像雪检测的方法
Gao et al. Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection
CN116363655A (zh) 一种财务票据识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination