CN113139553A - 一种基于U-net的紫外极光图像极光卵形态提取方法及系统 - Google Patents

Abstract

本发明公开了一种基于U‑net的紫外极光图像极光卵形态提取方法，所述方法包括：对实时采集的紫外极光图像进行预处理；将预处理后的紫外极光图像输入预先训练好的极光卵形态提取模型，输出对应的极光卵形态提取结果。本发明利用有监督的深度学习方法，提出一种新的紫外极光图像极光卵形态提取模型，可以显著提升精度，并有效解决图像质量不高或受噪声干扰严重时效果很差、方法复杂的问题。

Description

一种基于U-net的紫外极光图像极光卵形态提取方法及系统

技术领域

本发明涉及空间物理与计算机学科交叉领域，涉及一种基于U-net的紫外极光图像极光卵形态提取方法及系统。

背景技术

极光是磁层-电离层-太阳风相互作用的重要现象，是日地空间物理领域的研究热点。极光主要出现在以地磁极为中心的环带状区域内，该区域又称为极光卵。光学观测是极光观测的重要方式之一，可以展现极光形态的时空演化规律，其中卫星搭载的光学成像仪如紫外成像仪能获得全域极光图像，提供同时刻极光卵整体形态等信息。

紫外极光形态研究的关键是对紫外极光图像中的极光卵形态进行提取。紫外极光图像极光卵形态提取的挑战主要来源于紫外极光图像的复杂性。紫外极光图像具有以下特点：极光卵边界模糊，内边界凹凸不平；噪声干扰强，受小亮斑、流星痕迹、日照影响；图像对比度低或灰度不均匀；图像包含复杂类型的极光如theta极光。另外，卫星对极光的长期连续观测将会带来大量极光图像数据。因此，为了提高极光研究效率，非常需要一种自动提取极光卵形态的技术。

在此需求下，国内外提出了一系列对紫外极光图像极光卵形态自动提取的方法，包括自适应阈值方法、水平集方法、主动轮廓方法、模糊聚类方法等。但是，由于这些方法都是无监督的传统图像处理方法或者机器学习中的聚类方法，仅利用了像素灰度信息，所以在图像质量不高或受噪声干扰严重时效果很差；并且方法都比较复杂，一般分为预分割、细分割、后处理等多个处理步骤，需要调整的参数较多。

发明内容

现有技术针对紫外极光图像极光卵形态提取存在以下问题：提取的图像质量不高；受噪声干扰严重时效果很差；方法复杂。本发明的目的在于克服上述技术缺陷，提出了一种基于U-net的紫外极光图像极光卵形态提取方法。本发明利用有监督的深度学习方法，提出了一种新的紫外极光图像极光卵形态提取模型。

为了实现上述目的，本发明提出了一种基于U-net的紫外极光图像极光卵形态提取方法，所述方法包括：

对实时采集的紫外极光图像进行预处理；

将预处理后的紫外极光图像输入预先训练好的极光卵形态提取模型，输出对应的极光卵形态提取结果。

作为上述方法的一种改进，所述对实时采集的紫外极光图像进行预处理，具体包括：

对实时采集的紫外极光图像中灰度值大于预设值的异常像素点，将其灰度设置为0；

通过线性灰度拉伸增强图像对比度；

利用中值滤波对图像进行平滑去噪。

作为上述方法的一种改进，所述极光卵形态提取模型采用U-net基本网络，将第二个卷积层替换成ResNet网络中的残差块结构；其输入层输入的是预处理后的紫外极光图像，输出是该图像对应的极光卵形态提取结果。

作为上述方法的一种改进，所述方法还包括：对极光卵形态提取模型进行训练的步骤，具体包括：

建立训练集；

通过对训练集的数据进行数据增强，获得扩充的训练集；

利用扩充的训练集对模型进行训练，得到训练好的极光卵形态提取模型。

作为上述方法的一种改进，所述建立训练集，具体包括：

获取若干个紫外极光图像，并对每张紫外极光图像进行预处理；

对预处理的紫外极光图像进行人工标注：将极光区域的像素点标注为1，非极光区域即背景区域的像素点标注为0，得到每幅图像相应的标注结果；

将预处理后的紫外极光图像及其对应的标注结果组成训练集。

作为上述方法的一种改进，所述通过对训练集数据进行数据增强，获得扩充的训练集；具体为：

将训练集中每一幅图像进行变换操作，得到变换后的图像；所述变换操作包括：水平翻转、垂直翻转、顺时针旋转、逆时针旋转、对比度变换、高斯模糊和投影变换；

将训练集中每一幅图像及其变换后的图像组成扩充的训练集。

一种基于U-net的紫外极光图像极光卵形态提取系统，所述系统包括：训练好的极光卵形态提取模型、预处理模块和输出模块；

所述预处理模块，用于对实时采集的紫外极光图像进行预处理；

输出模块，用于将预处理后的紫外极光图像输入预先训练好的极光卵形态提取模型，输出对应的极光卵形态提取结果。

与现有技术相比，本发明的优势在于：

1、本发明利用有监督的深度学习方法，提出一种新的紫外极光图像极光卵形态提取模型，可以显著提升精度，并有效解决图像质量不高或受噪声干扰严重时效果很差、方法复杂的问题；

2、本发明相比现有紫外极光图像极光卵形态提取方法，提取结果更精确。特别地，对于受较强日辉干扰的图像、对比度低的图像、灰度不均匀的图像，能得到比其他方法显著优越的提取结果，具有很强的抗日辉干扰能力，能有效识别并分割出亮度极低的极光卵区域；

3、利用有监督的深度学习模型，现有极光卵形态提取方法都是无监督的传统图像分割方法或机器学习方法，仅利用到图像的亮度信息，而卷积网络不仅利用了图像的亮度信息，还能够自动学习图像更深层次的特征，且监督信息可以指引模型向更接近真实情况的方向学习，从而达到显著的分割效果。也证明了深度学习方法和监督学习方法在极光卵形态提取问题上的适用性和优越性；

4、模型的鲁棒性强，模型在训练好之后，不需要再调节任何参数，只需向模型中输入图像，就可直接输出对应的极光卵形态提取结果，所以适用于大量极光图像的极光卵形态提取。

附图说明

图1是本发明的基于U-net的紫外极光图像极光卵形态提取方法的架构图；

图2是使用其他方法和本发明方法在完整型极光卵和缺口型极光卵图像上的极光卵形态提取结果对比；

图3是使用其他方法和本发明方法在受强日辉干扰图像上的极光卵形态提取结果对比；

图4是使用其他方法和本发明方法在对比度低图像上的极光卵形态提取结果对比；

图5是使用其他方法和本发明方法在灰度不均匀图像上的极光卵形态提取结果对比。

具体实施方式

主要利用深度学习方法来解决空间物理领域中的极光图像分割问题。

本发明主要包括如下几个步骤：

1、图像预处理，包括去除奇异像素点、增强对比度、平滑去噪；

2、数据集制作，包括数据选取、人工标注、数据集划分、数据增强以扩充训练数据集；

3、模型选择和优化，实验验证模型在紫外极光图像上的适用性，并根据极光图像特点对网络模型结构进行改进；

4、模型评估，与现有紫外极光图像极光卵形态提取方法作客观与主观上的对比，分析结果

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

步骤如图1所示：

步骤1是图像预处理，对于一些灰度值过大的异常像素点，将其灰度值置为0；针对图像对比度较低的问题，利用线性灰度拉伸以增强图像对比度；针对图像噪声较多的问题，利用中值滤波对图像进行去噪平滑。

步骤2是数据集制作，由于极光形态随时间变化，相邻观测时间的极光图像较相似，所以选取图像间隔较大以保证数据的多样性和代表性；用labelme标注工具对图像进行人工标注，极光区域的像素点标注为1，非极光区域即背景区域的像素点标注为0，得到每幅图像相应的标注结果；将数据集划分为训练集和测试集，训练集用于模型训练，测试集用于模型评估；对训练集设计数据增强策略，来模拟真实数据，以扩充训练集，提高模型的泛化能力，数据增强策略具体包括水平和垂直翻转、顺时针和逆时针旋转、对比度变换、高斯模糊、投影变换等。

步骤3是模型选择与优化，针对数据量较少的问题，选择了一个适用于小数据集的深度学习模型U-net进行实验。首先利用U-net基本网络结构进行模型训练，验证U-net在极光图像上的适用性；为了进一步提升效果，对网络结构进行改进：将网络结构中每步的第二个卷积层替换成ResNet网络中的残差块结构，这样使用了更多的跳跃连接(skipconnection)，得到了更多的特征复用，保留了更多的图像细节信息。

步骤4是模型评估，选取紫外极光图像形态提取问题中的早期方法最大类间方差自适应阈值法(OTSU法)、目前常用且效果较好的模糊局部C均值聚类法(FLICM法)和未引入残差块结构的经典U-net模型作为对比算法，在测试集上进行方法评估。对于客观对比，以人工标注结果为基准，选择了图像分割领域比较常用的几个评价指标，包括交并比(IoU，Intersection over Union)、像素准确率(PA，pixel accuracy)、Dice系数(Dice，Dice'scoefficient)、欠分割率(FNVF，false negative volume function)、过分割率(FPVF,false positive volume function)，其中交并比和Dice系数表示模型预测的极光卵区域与基准中极光卵区域的相似程度，像素准确率指分类正确的像素点占图像总像素的比例，欠分割率和过分割率表示模型的预测误差。对于主观对比，从测试集中挑选出一些不同类型的极光图像，来从视觉上对比各算法的极光卵分割效果，极光图像类型包括完整型极光卵图像、缺口型极光卵图像、冬季强日辉干扰图像、对比度极低图像、灰度极不均匀图像。

利用有监督的深度语义分割网络模型U-net，并根据紫外极光图像特点对模型网络结构进行优化，不仅利用了图像的亮度信息，还能够自动学习图像更深层次的特征，且监督信息可以指引模型向更接近真实情况的方向学习，使模型具有很强的抗日辉干扰能力，能有效识别并分割出亮度极低的极光卵区域，从而得到比现有方法更精确的极光卵形态提取结果，尤其对受强日辉干扰的图像、对比度低的图像、灰度不均匀的图像。同时也证明了深度学习方法和监督学习方法在极光卵形态提取问题上的适用性和优越性。

本发明利用端到端的方式，在模型训练好之后，不需要再调节任何参数，只需向模型中输入图像，就可直接输出对应的极光卵形态提取结果，适用于大量极光图像。

为了更好地说明本技术方案的优点和执行方式，下面结合Polar卫星紫外LBHl波段的极光图像数据对本发明做进一步的阐述。Polar卫星紫外LBHl波段的极光图像数据为灰度图像，图像尺寸为228*200，有效成像区域为中间的椭圆区域，图像四角区域的像素点灰度值为0。具体执行流程如下：

步骤1：图像预处理。根据经验，对于图像中灰度值大于500的异常像素点，将其灰度值置为0；针对图像对比度较低的问题，利用线性灰度拉伸方法，即最小值置为0，最大值置为255，以增强图像对比度；针对图像噪声较多的问题，利用3*3中值滤波对图像进行去噪平滑。

步骤2：数据集制作。为了后续能够与现有方法进行对比，选取和前人工作中同样的Polar卫星紫外LBHl波段1996年12月到1997年2月这冬季三个月的极光图像数据，从这三个月的图像数据中随机挑选300幅图像作为数据集，选取图像间隔较大以保证数据的多样性和代表性。选取300幅图像作为数据集的原因是一方面后续人工标注耗时耗力，难以标注大量数据；二是极光图像之间相似性较大，较少数据便可具有代表性。

然后，用labelme标注工具对图像进行人工标注，极光区域的像素点标注为1，非极光区域即背景区域的像素点标注为0，得到每幅图像相应的标注结果。

将数据集划分为训练集和测试集，训练集包含240幅图像，测试集包含60幅图像；对训练集设计数据增强策略，来模拟真实数据，以扩充训练集，数据增强策略具体包括对所有训练集数据水平翻转，垂直翻转，分别顺时针和逆时针旋转15度、30度、45度，随机对比度变换如log变换、gamma变换，随机高斯模糊，随机投影变换。最终输入模型中的训练集数据量为3120。

步骤3：模型选择与优化。选择了一个深度语义分割模型U-net进行实验，选择这个模型的原因是，一方面它非常适用于小数据集，另一方面它是编码器解码器结构，比较对称，可扩展性强。为了进一步提升效果，对U-net经典网络结构进行改进，引入残差块结构：将网络结构中每步的第二个卷积层替换成ResNet网络中的残差块结构，这样使用了更多的跳跃连接(skip connection)，得到了更多的特征复用，保留了更多的图像细节信息。

步骤4：模型评估。选取紫外极光图像形态提取问题中的早期方法最大类间方差自适应阈值法(OTSU法)、目前常用且效果较好的模糊局部C均值聚类法(FLICM法)和未引入残差块结构的经典U-net模型作为对比算法，在测试集上进行方法评估。

对于客观对比，选择了图像分割领域比较常用的几个评价指标，包括：

交并比(IoU，Intersection over Union)：

Dice系数(Dice，Dice's coefficient)：

像素准确率(PA，pixel accuracy)：

欠分割率(FNVF，false negative volume function)：

过分割率(FPVF,false positive volume function)：

其中，A表示基准中极光卵区域，B表示模型预测的极光卵区域，|*|表示像素点个数；nij表示本该为类i却预测为类j的像素点个数；ti表示在基准中类i的像素点总数。在这些评估指标中，交并比和Dice系数表示模型预测的极光卵区域与基准中极光卵区域的相似程度，像素准确率指分类正确的像素点占图像总像素的比例，欠分割率和过分割率表示模型的预测误差。

因为数据量较小，所以利用了五折交叉验证。下表为各方法的客观评估结果，表中的值均为五折交叉验证的5个结果的平均值和标准差。从统计意义上，交叉验证结果的平均值可以近似表示算法对新数据准确预测的能力，标准差表示数据集变化对算法结果稳定性的影响。

表1：客观评估结果

对于主观对比，从测试集中挑选出一些不同类型的极光图像，来从视觉上对比各算法的极光卵形态提取效果，极光图像类型包括完整型极光卵图像、缺口型极光卵图像和受强日辉干扰、对比度低、灰度不均匀这三种特殊情况下的图像。图2-5为各方法分别在不同类型极光图像上的极光卵形态提取效果，从左到右依次为预处理后的图像、基准GroundTruth、OTSU法、FLICM法、U-net、U-net+ResNet block。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于U-net的紫外极光图像极光卵形态提取方法，所述方法包括：

对实时采集的紫外极光图像进行预处理；

将预处理后的紫外极光图像输入预先训练好的极光卵形态提取模型，输出对应的极光卵形态提取结果。

2.根据权利要求1所述的基于U-net的紫外极光图像极光卵形态提取方法，其特征在于，所述对实时采集的紫外极光图像进行预处理，具体包括：

对实时采集的紫外极光图像中灰度值大于预设值的异常像素点，将其灰度设置为0；

通过线性灰度拉伸增强图像对比度；

利用中值滤波对图像进行平滑去噪。

3.根据权利要求1所述的基于U-net的紫外极光图像极光卵形态提取方法，其特征在于，所述极光卵形态提取模型采用U-net基本网络，将第二个卷积层替换成ResNet网络中的残差块结构；其输入层输入的是预处理后的紫外极光图像，输出是该图像对应的极光卵形态提取结果。

4.根据权利要求3所述的基于U-net的紫外极光图像极光卵形态提取方法，其特征在于，所述方法还包括：对极光卵形态提取模型进行训练的步骤，具体包括：

建立训练集；

通过对训练集的数据进行数据增强，获得扩充的训练集；

利用扩充的训练集对模型进行训练，得到训练好的极光卵形态提取模型。

5.根据权利要求4所述的基于U-net的紫外极光图像极光卵形态提取方法，其特征在于，所述建立训练集，具体包括：

获取若干个紫外极光图像，并对每张紫外极光图像进行预处理；

对预处理的紫外极光图像进行人工标注：将极光区域的像素点标注为1，非极光区域即背景区域的像素点标注为0，得到每幅图像相应的标注结果；

将预处理后的紫外极光图像及其对应的标注结果组成训练集。

6.根据权利要求5所述的基于U-net的紫外极光图像极光卵形态提取方法，其特征在于，所述通过对训练集数据进行数据增强，获得扩充的训练集；具体为：

将训练集中每一幅图像进行变换操作，得到变换后的图像；所述变换操作包括：水平翻转、垂直翻转、顺时针旋转、逆时针旋转、对比度变换、高斯模糊和投影变换；

将训练集中每一幅图像及其变换后的图像组成扩充的训练集。

7.一种基于U-net的紫外极光图像极光卵形态提取系统，其特征在于，所述系统包括：训练好的极光卵形态提取模型、预处理模块和输出模块；

所述预处理模块，用于对实时采集的紫外极光图像进行预处理；

输出模块，用于将预处理后的紫外极光图像输入预先训练好的极光卵形态提取模型，输出对应的极光卵形态提取结果。

Images