CN112101441B - 基于Faster R-CNN的日冕物质抛射检测方法 - Google Patents

基于Faster R-CNN的日冕物质抛射检测方法 Download PDF

Info

Publication number
CN112101441B
CN112101441B CN202010939534.6A CN202010939534A CN112101441B CN 112101441 B CN112101441 B CN 112101441B CN 202010939534 A CN202010939534 A CN 202010939534A CN 112101441 B CN112101441 B CN 112101441B
Authority
CN
China
Prior art keywords
training
rpn
network
target
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010939534.6A
Other languages
English (en)
Other versions
CN112101441A (zh
Inventor
尚振宏
辛泽寰
杨志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202010939534.6A priority Critical patent/CN112101441B/zh
Publication of CN112101441A publication Critical patent/CN112101441A/zh
Application granted granted Critical
Publication of CN112101441B publication Critical patent/CN112101441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于Faster R‑CNN的日冕物质抛射检测方法。该方法首先对截取的图像进行预处理,对齐、中值滤波降噪、极坐标转换、数据增强;接着构建Faster R‑CNN目标检测网络,设计多通道区域建议神经网络,采用2个RPN,分别用于强日冕物质抛射和弱日冕物质抛射目标候选框生成。接着预训练RPN,利用RPN生成的建议框训练FEN,在固定FEN基础上再次训练RPN。RPN1和RPN2训练时采用轮流训练策略,借助强CME目标特征帮助弱CME目标训练。最后进行日冕序列图像物质抛射的识别。本发明很大程度上改善了传统日冕物质抛射识别方法的整体性能,提高不同尺度CME的检测精度。

Description

基于Faster R-CNN的日冕物质抛射检测方法
技术领域
本发明涉及图像处理领域,尤其涉及基于Faster R-CNN的日冕物质抛射检测方法。
背景技术
日冕物质抛射(Coronal Mass Ejection,简称CME)是伴随着日冕从太阳释放物质的明显事件。CME起源于太阳日冕,从太阳低层抛射到太阳风层,是一种由等离子体和磁场组成的大尺度爆发现象。日冕物质抛射与太阳磁场有着密切的关系,对空间环境和人类活动有着很大的影响,其一直以来被认为是空间灾害天气最主要的驱动源。强CME会引起地磁暴、电离层暴、极光等地磁扰动。当这种扰动足够剧烈时,还会对卫星导航、空间通讯、电网、石油管道等人类赖以生存的高科技活动产生灾害性的影响。因此对CME的预报随着人类活动的越来越广泛显得愈加重要。
目前,检测日冕物质抛射主要有两类方法,一类是基于手工识别检测日冕抛射物质,另一类就是基于自动检测日冕抛射物质。其中基于手工识别检测CME目前主要有CDAW目录和海军研究实验室(NRL)两个著名的目录,这种方法主要是靠观察者每天手动记录数据来进行CME编目,这样做费时费力。另一种是自动检测,根据所选取的特征和采用的技术将自动检测方法分为四类,分别是基于灰度特征、基于纹理特征、基于光流法和基于学习的方法。现阶段关于CME检测的工作基本基于简单阈值进行,并人为指定特征进行CME建模,而由于CME复杂多变,在形状、纹理及灰度等方面变化差异较大,因此,基于人为选择特征的方法不一定能得到好的检测效果;同时,简单的阈值分析难以保证好的检测模型。
发明内容
针对现有技术的不足,本发明提供一种基于Faster R-CNN的日冕物质抛射检测方法,用于解决现有日冕物质抛射检测方法出现的CME现象发生初期和末期的高亮特征十分微弱,出现漏判和误判图像的问题以及检测精度低的问题。
为解决上述技术问题,本发明的技术方案如下:一种基于Faster R-CNN的日冕物质抛射检测方法,包括以下步骤:
步骤1,准备数据集,将LASCO C2的视频截取成图片,获取日冕序列图像的中心点并对齐序列图像,采用中值滤波降噪处理后,对图像进行极坐标转化,对数据集进行数据增强技术;在图片上做好人工标注,按比例划分为检测模型的训练集和验证集;
步骤2,构建Faster R-CNN目标检测网络,使用训练集进行模型训练,并选出测试集检测效果最好的训练模型;
步骤3,基于最好的训练模型,在GPU服务器上实现对日冕物质抛射现象的图片进行目标检测。
作为对上述方案的进一步描述:所述步骤1中的数据增强是结合缩放图像,颜色变换以及色彩抖动,其中,图像缩放的大小设置为256*256,448*448和512*512,颜色变换随机改变图像亮度、饱和度和对比度;人工标注目标包围框,所述目标包围框为将每一张图片中的日冕物质抛射现象都用矩形框框处,矩形框为目标的最小外接矩形,对应产生的XML文件;将这些数据按照等比例混合,按照8∶2的比例划分为检测模型的训练集和验证集,训练集用于模型训练,验证集不参与模型训练,用于验证模型的训练效果。
作为对上述方案的进一步描述:所述步骤2中的目标检测在Faster R-CNN特征提取网络基础上,设计了多通道区域建议神经网络,包括多层次特征提取网络、多通道区域建议网络、兴趣区域建议池化层、回归器和分类器。
作为对上述方案的进一步描述:步骤2采用深度卷积网络作为特征提取层,在不同的网络层得到多尺度特征;对弱日冕物质抛射现象,经过5次卷积、2次池化操作后,能够很好地提取特征;对于强日冕物质抛射现象,由于特征尺度偏大,因此特征提取采用13次卷积和4次池化操作;整个网络采用同样大小的卷积核和池化尺寸。
作为对上述方案的进一步描述:步骤2构建Faster R-CNN目标检测网络时采用2个RPN,分别为RPN1和RPN2;其中RPN1用于弱日冕物质抛射现象目标候选框生成,anchors大小设为22×22,32×32和45×45;RPN2用于强日冕物质抛射现象目标候选框生成,amchors大小分别为64×64和128×128;所有锚点纵横比均为1∶2或2∶1。
作为对上述方案的进一步描述:步骤2中采用的损失函数是Smooth L1函数,分类器选用Softmax分类器。
作为对上述方案的进一步描述:步骤(2)提取图像特征的卷积网络FEN采用的是开源的VGG-16网络,预训练RPN,利用RPN生成的建议框训练FEN及其后的ROI pooling、全连接层、分类器和回归器,在固定FEN基础上再次训练RPN;RPN1和RPN2训练时采用轮流训练策略,借助强CME目标特征帮助弱CME目标训练。
本发明的特点工作原理如下:本发明为了解决上述问题提出一种基于Faster R-CNN的日冕物质检测方法,该方法主要针对多尺度目标特征提取,采用多层次提取目标特征策略和多通道生成目标候选框策略,并采用基于统计的方法的设置锚点规格与纵横比,用于不同尺度CME检测,提高检测精度。
与现有技术相比,本发明具有以下有益效果:本发明在Faster R-CNN的日冕物质抛射检测方法中改善了传统日冕物质抛射检测方法的整体性能,检测精度有较大的提高;本发明中优化了网络结构,在识别的速度上有一定的提高。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案做进一步详细说明,但本发明并不局限于以下技术方案。
实施例1
步骤1,准备数据集,将LASCO C2的视频截取成图片,获取日冕序列图像的中心点并对齐序列图像,采用中值滤波降噪处理后,对图像进行极坐标转化,对数据集进行数据增强技术。在图片上做好人工标注,按比例划分为检测模型的训练集和验证集;
数据增强是结合缩放图像,颜色变换,色彩抖动等,其中,图像缩放的大小设置为256*256,448*448,512*512等,颜色变换随机改变图像亮度、饱和度、对比度。人工标注目标包围框,所述目标包围框为将每一张图片中的日冕物质抛射现象都用矩形框框处,矩形框为目标的最小外接矩形,对应产生的XML文件。将这些数据按照等比例混合,按照8∶2的比例划分为检测模型的训练集和验证集,训练集用于模型训练,验证集不参与模型训练,用于验证模型的训练效果。
步骤2,构建Faster R-CNN目标检测网络,使用训练集进行模型训练,并选出测试集检测效果最好的训练模型;
步骤2中,目标检测在Faster R-CNN特征提取网络基础上,设计了多通道区域建议神经网络,包括多层次特征提取网络、多通道区域建议网络、兴趣区域建议池化层、回归器和分类器。
步骤2中,采用深度卷积网络作为特征提取层,在不同的网络层得到多尺度特征。对弱日冕物质抛射现象,经过5次卷积、2次池化操作后,它可以很好地提取特征。对于强日冕物质抛射现象,由于特征尺度偏大,因此特征提取采用13次卷积和4次池化操作。整个网络采用同样大小的卷积核和池化尺寸。
采用2个RPN,分别为RPN1和RPN2。其中RPN1用于弱日冕物质抛射现象目标候选框生成,anchors大小设为22×22,32×32,45×45;RPN2用于强日冕物质抛射现象目标候选框生成,anchors大小分别为64×64,128×128。所有锚点纵横比均为1∶2或2∶1。
采用的损失函数是Smooth L1函数,分类器选用Softmax分类器。
提取图像特征的卷积网络FEN采用的是开源的VGG-16网络,预训练RPN,利用RPN生成的建议框训练FEN及其后的ROI pooling、全连接层、分类器和回归器,在固定FEN基础上再次训练RPN。RPN1和RPN2训练时采用轮流训练策略,借助强CME目标特征帮助弱CME目标训练。
步骤3,基于最优的模型,在GPU服务器上实现对日冕物质抛射现象的图片进行目标检测。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,根据本申请的技术方案及其实用新型构思加以等同替换或改变,都应涵盖在本申请的保护范围之内。

Claims (4)

1.一种基于Faster R-CNN的日冕物质抛射检测方法,其特征在于,包括以下步骤:
步骤1,准备数据集,将LASCO C2的视频截取成图片,获取日冕序列图像的中心点并对齐序列图像,采用中值滤波降噪处理后,对图像进行极坐标转化,对数据集进行数据增强技术;在图片上做好人工标注,按比例划分为检测模型的训练集和验证集;
步骤2,构建Faster R-CNN目标检测网络,使用训练集进行模型训练,并选出测试集检测效果最好的训练模型;
所述步骤2中的目标检测在Faster R-CNN特征提取网络基础上,设计了多通道区域建议神经网络,包括多层次特征提取网络、多通道区域建议网络、兴趣区域建议池化层、回归器和分类器;
步骤2采用深度卷积网络作为特征提取层,在不同的网络层得到多尺度特征;对弱日冕物质抛射现象,经过5次卷积、2次池化操作后,能够很好地提取特征;对于强日冕物质抛射现象,由于特征尺度偏大,因此特征提取采用13次卷积和4次池化操作;整个网络采用同样大小的卷积核和池化尺寸;
步骤2构建Faster R-CNN目标检测网络时采用2个RPN,分别为RPN1和RPN2;其中RPN1用于弱日冕物质抛射现象目标候选框生成,anchors大小设为22×22,32×32和45×45;RPN2用于强日冕物质抛射现象目标候选框生成,anchors大小分别为64×64和128×128;所有锚点纵横比均为1:2或2:1;
步骤3,基于最好的训练模型,在GPU服务器上实现对日冕物质抛射现象的图片进行目标检测。
2.根据权利要求1所述的基于Faster R-CNN的日冕物质抛射检测方法,其特征在于:所述步骤1中的数据增强是结合缩放图像,颜色变换以及色彩抖动,其中,图像缩放的大小设置为256*256,448*448和512*512,颜色变换随机改变图像亮度、饱和度和对比度;人工标注目标包围框,所述目标包围框为将每一张图片中的日冕物质抛射现象都用矩形框框处,矩形框为目标的最小外接矩形,对应产生的XML文件;将这些数据按照等比例混合,按照8:2的比例划分为检测模型的训练集和验证集,训练集用于模型训练,验证集不参与模型训练,用于验证模型的训练效果。
3.根据权利要求1所述的基于Faster R-CNN的日冕物质抛射检测方法,其特征在于,步骤2中采用的损失函数是Smooth L1函数,分类器选用Softmax分类器。
4.根据权利要求1所述的基于Faster R-CNN的日冕物质抛射检测方法,其特征在于,步骤(2)提取图像特征的卷积网络FEN采用的是开源的VGG-16网络,预训练RPN,利用RPN生成的建议框训练FEN及其后的ROI pooling、全连接层、分类器和回归器,在固定FEN基础上再次训练RPN;RPN1和RPN2训练时采用轮流训练策略,借助强CME目标特征帮助弱CME目标训练。
CN202010939534.6A 2020-09-09 2020-09-09 基于Faster R-CNN的日冕物质抛射检测方法 Active CN112101441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010939534.6A CN112101441B (zh) 2020-09-09 2020-09-09 基于Faster R-CNN的日冕物质抛射检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010939534.6A CN112101441B (zh) 2020-09-09 2020-09-09 基于Faster R-CNN的日冕物质抛射检测方法

Publications (2)

Publication Number Publication Date
CN112101441A CN112101441A (zh) 2020-12-18
CN112101441B true CN112101441B (zh) 2022-05-17

Family

ID=73752213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010939534.6A Active CN112101441B (zh) 2020-09-09 2020-09-09 基于Faster R-CNN的日冕物质抛射检测方法

Country Status (1)

Country Link
CN (1) CN112101441B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046259A (zh) * 2015-06-09 2015-11-11 济南大学 基于多特征融合的日冕物质抛射检测方法
CN110533100A (zh) * 2019-07-22 2019-12-03 南京大学 一种基于机器学习进行cme检测和跟踪的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8181511B2 (en) * 2008-07-18 2012-05-22 Meier Robert R Method and system of imaging electrons in the near earth space environment
US20190266674A1 (en) * 2018-01-09 2019-08-29 Michael Kownacki Systems and Methods to Hedge the Risk of Loss Associated With the Imminent, Unpredictable and Uncontrollable Characteristics Inherent In Catastrophic Events

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046259A (zh) * 2015-06-09 2015-11-11 济南大学 基于多特征融合的日冕物质抛射检测方法
CN110533100A (zh) * 2019-07-22 2019-12-03 南京大学 一种基于机器学习进行cme检测和跟踪的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Highlight moving object detection based on spatiotemporal saliency in dynamic background;Yanxi Zhao 等;《2015 Third World Conference on Complex Systems》;20160602;1-5 *
基于实时数据的日冕物质抛射自动检测方法;蔡艳艳 等;《价值工程》;20151028;207-208 *

Also Published As

Publication number Publication date
CN112101441A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
JP6866495B2 (ja) 画像品質の評価方法及び画像品質の評価システム
CN112070729B (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN106991666B (zh) 一种适用于多尺寸图片信息的病害图像识别方法
CN117078943B (zh) 融合多尺度特征和双注意力机制的遥感影像道路分割方法
CN111639530B (zh) 一种输电线路的输电塔和绝缘子的检测和识别方法及系统
CN111126205A (zh) 一种基于旋转定位网络的光学遥感图像飞机目标检测方法
CN110020658A (zh) 一种基于多任务深度学习的显著目标检测方法
CN109558790B (zh) 一种行人目标检测方法、装置及系统
Li et al. Cracked insulator detection based on R-FCN
Zhang et al. Application research of YOLO v2 combined with color identification
CN110909623A (zh) 三维目标检测方法及三维目标检测器
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN109543617A (zh) 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN109767465B (zh) 一种基于h8/ahi的白天雾快速提取的方法
CN107590782A (zh) 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN111523392B (zh) 一种基于卫星正射影像全姿态的深度学习样本制备方法及识别方法
CN112101441B (zh) 基于Faster R-CNN的日冕物质抛射检测方法
CN112102274A (zh) 一种结合目标检测的小目标语义分割太阳暗条检测方法
CN114943869B (zh) 风格迁移增强的机场目标检测方法
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
CN115527118A (zh) 一种融合注意力机制的遥感图像目标检测方法
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant