CN112766194A - 一种海洋中尺度涡检测方法 - Google Patents

Abstract

本发明公开了一种海洋中尺度涡检测方法包括：采集包含所述中尺度涡的海平面异常数据；对采集的数据预处理，构建中尺度涡数据集；将中尺度涡数据集输入至ResNet主干网络中，初步提取中尺度涡特征；特征金字塔网络获取所述提取中尺度涡特征，并融合所述中尺度涡的低层和高层特征，获取中尺度涡的语义信息强的多尺度特征图；在语义信息强的多尺度特征图中的每个像素点生成由尺度、长宽比和角度控制的旋转锚，获取中尺度涡的带有旋转锚的多尺度特征图；将带有旋转锚的多尺度特征图输入分类子网络和回归子网络中，获取分类子网络输出的类别置信分数和回归子网络输出的位置信息，最后通过非极大值抑制获取所述中尺度涡的最终检测结果。

Description

一种海洋中尺度涡检测方法

技术领域

本发明涉及目标检测领域，具体涉及基于多尺度旋转锚的海洋中尺度涡自动检测。

背景技术

中尺度涡作为一种重要的海洋现象，广泛存在世界大洋与边缘海中，它在海洋中呈现非规则3维螺旋结构，以数米每秒的水平和垂直运动速度移动几个星期到几个月，甚至几年，在其生命期中，中尺度涡会移动几十到几百公里的距离，由于中尺度涡的垂直结构和携带的巨大动能，使其在全球海洋物质、能量、热量和淡水的输运和分配中起着不可忽视的作用。

近年来，国内外海洋学者对中尺度涡进行了大量的研究，大致可分为四类：基于物理参数检测、基于流场几何特征检测、基于混合方法的检测和基于神经网络的检测方法。应用最广泛的基于物理参数的中尺度涡检测方法是OW(Okubo–Weiss)方法，通过剪切形变率、拉伸形变率以及相对涡度计算OW系数，人为选择一个合适的阈值，通过将OW系数和阈值进行比较来确定涡旋，该方法在地中海海域、秘鲁海域、阿拉斯加海域以及全球涡旋检测上得到了很好的应用。流场几何特征检测以瞬时流线的形状或曲率为基础，检测中尺度涡，2000年首次提出缠绕角法(Winding-Angle，WA)，通过选择闭合的流线并将它们聚类来确定中尺度涡，在此基础上，基于涡的速度场派生出了四个约束条件来确定涡旋中心，该方法在卫星图像和遥感图像上实现了很好的效果。后来，研究者们尝试将物理参数和流场几何特征相结合应用到中尺度涡的检测中，最早提出的为一种基于相对涡度和流场几何特征的检测方法，该方法认为相对涡度的局部极值为涡旋中心，从中心极值向外搜索涡旋边界。此外，还在缠绕角算法的基础上做了一些改进，利用判定海平面异常(Sea Level Anomaly，SLA)最值点的方法识别涡旋中心，然后利用流场的几何特征来确定涡旋边界。随着机器学习的到来，出现了基于神经网络可从图像中分类出涡旋和非涡旋，该方法在卫星图像和遥感图像上实现了很好的效果。此外，还提出了基于合成孔径雷达(Synthetic Aperture Radar，SAR)图像的DeepEddy，该方法被设计为两个主成分分析(Principal Component Analysis，PCA)卷积层学习涡流特征，一个二进制哈希层进行非线性变换，一个池化层解决复杂的结构和中尺度涡的形状，最后用分类器识别中尺度涡。后来，海洋学者基于深度学习框架构建了中尺度涡自动检测模型，该方法通过特征金字塔网络细化提取特征并融合特征，分类和回归子网络来识别和定位中尺度涡，该方法实现了很好的检测精度。

但是，基于物理参数检测方法在检测过程中，需要人为干预设置合适的阈值，存在显著的任务特异性，泛化能力差的限制。基于流场几何特征检测方法需要仔细选择约束条件中的2个参数，对涡旋的尺度具有一定的敏感性和对小涡旋的检测精度低。由于混合方法检测是指将物理参数法和流场几何特征法结合起来进行中尺度涡的检测，基于混合方法检测也会存在以上两种方法的不足。基于神经网络方法检测需要人工设计和提取特征，通过分类来识别涡旋，对于长宽比较大的涡旋，检测区域会存在冗余。因此，如何克服现有检测方法的局限性，检测过程中检测框的嵌套、混叠现象以及检测区域存在冗余的限制是目前有待解决的问题。

发明内容

本发明要解决的技术问题是如何克服现有检测方法的局限性，检测过程中检测框的嵌套、混叠现象以及检测区域存在冗余的限制，提供一种海洋中尺度涡检测方法。

本发明是通过下述技术方案来解决上述技术问题：

一种海洋中尺度涡检测方法，所述检测方法包括：

采集包含所述中尺度涡的海平面异常数据；

对采集的所述海平面异常数据进行预处理，构建中尺度涡数据集；

将所述中尺度涡数据集输入至ResNet主干网络中，初步提取所述中尺度涡的特征，获取所述中尺度涡的不同尺度特征图；

特征金字塔网络获取所述中尺度涡的不同尺度特征图，并通过上采样和平级连接操作融合所述中尺度涡的低层和高层特征，获取所述中尺度涡的语义信息强的多尺度特征图；

在所述语义信息强的多尺度特征图中的每个像素点生成由尺度、长宽比和角度控制的旋转锚，获取所述中尺度涡的带有所述旋转锚的多尺度特征图；

将所述带有所述旋转锚的多尺度特征图分别输入分类子网络和回归子网络中，分别获取所述分类子网络输出的类别置信分数和所述回归子网络输出的位置信息，最后通过非极大值抑制获取所述中尺度涡的最终检测结果。

进一步地，在所述构建中尺度涡数据集之后，所述将所述中尺度涡数据集输入至ResNet主干网络中之前，还包括设置参数对所述ResNet主干网络，所述特征金字塔网络，所述旋转锚及所述分类子网络和所述回归子网络进行训练。

更优地，对采集的所述海平面异常数据进行预处理包括：

对所述海平面异常数据可视化处理并设置统一导出分辨率和归一化，获取可视化并归一化后的海平面异常数据轮廓图；

在所述海平面异常数据轮廓图中，专家标注所述中尺度涡并产生专家标注文件；

在所述海平面异常数据轮廓图中，添加噪声并产生带有所述噪声的标注文件；

对上述步骤中的所述海平面异常数据轮廓图裁剪，对应的所述标注文件也以相同的裁剪方式裁剪，构建所述中尺度涡数据集。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

本发明的积极进步效果在于：克服了现有技术中存在阈值设置和人工提取、构建特征对中尺度涡旋的检测的局限性；克服了多核涡和形状不规则涡的存在会造成水平检测出现检测框的嵌套和混叠现象；克服了长宽比较大的涡，水平检测区域存在冗余的限制。

附图说明

图1为本发明一种海洋中尺度涡检测方法一实施例中的检测流程图；

图2为本发明一种海洋中尺度涡检测方法一实施例中的数据采集及预处理流程图；

图3为本发明一种海洋中尺度涡检测方法一实施例中的对于形状不规则，长宽比较大的中尺度涡水平检测和旋转检测效果对比图；

图4为本发明一种海洋中尺度涡检测方法一实施例中的对于预测框混叠的中尺度涡水平检测和旋转检测效果对比图；

图5为本发明一种海洋中尺度涡检测方法一实施例中的多核中尺度涡的水平检测和旋转检测效果对比图；

图6为本发明一种海洋中尺度涡检测方法一实施例中的印度洋海域检测结果图；

图7为本发明一种海洋中尺度涡检测方法一实施例中的太平洋海域检测结果图；

图8为本发明一种海洋中尺度涡检测方法一实施例中的大西洋海域检测结果图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图2所示为本发明一实施例中的数据采集及预处理流程图：

S01：采集包含所述中尺度涡的海平面异常数据；

在一个示例中，数据集是法国空间局卫星海洋数据分发中心(ArchivingValidation and Interpretation of Satellite Oceanographic，AVISO)提供的融合数据产品，该数据下载由欧洲哥白尼海洋环境监测服务(Copernicus Marine EnvironmentMonitoring Service，CMEMS)提供，并通过网站(http://marine.copernicus.eu/)下载。该数据的空间分辨率为0.25°×0.25°，时间分辨率为逐日，时间跨度为自1993至今，数据以网格化格式呈现，以NetCDF文件形式保存。

我们选取了中国南海地区(0-25°N，100-125°E)5年(2011-2015)的海平面异常数据，我们以1月的1号、11号、21号作为该月的代表，2月的2号、12号、22号做为该月的代表等等，以此类推，每月以等差数列的形式来选取数据，共采集到180个NetCDF数据来进行海洋中尺度涡的研究。

S02：对所述海平面异常数据可视化处理并设置统一分辨率和归一化，获取可视化并归一化后的海平面异常数据轮廓图；

在一个示例中，将108个SLA数据可视化，设置统一图像导出分辨率，归一化SLA轮廓图的大小，获取可视化并归一化后的海平面异常数据轮廓图，以便于后续操作。

S03：在所述海平面异常数据轮廓图中，专家标注所述中尺度涡并产生专家标注文件；

在一个示例中，依据对中尺度涡的理解和认识，专家使用标注工具labelme来对可视化并归一化后的图像中的中尺度涡进行标注，专家标注过的图像将以json文件形式保存，然后再将其转换为模型可以识别的XML文件格式，这样的话，每幅图像将对应一个唯一的标注文件，其中标注文件包含对象的标签和位置信息。

S04：在所述海平面异常数据轮廓图中，添加噪声并产生带有所述噪声的标注文件；

在一个示例中，在可视化归一化后的图像上添加均值为0，方差为0.0055的高斯噪声，添加噪声后的可视化图像。添加噪声没有改变图像中海洋涡旋的位置，因此其标注文件不需要进行更改。这一操作之后数据集扩充到216张图像。

S05：对上述步骤中的所述海平面异常数据轮廓图裁剪，对应的所述标注文件也以相同的裁剪方式裁剪，构建所述中尺度涡数据集。

在一个示例中，将上述S03，S04步骤中的图像裁剪成600×600的子图像，水平和垂直方向重叠像素为150px，裁剪图像的同时，对应的标注文件也要以完全相同的方式裁剪。这一操作之后数据集扩充到2236张图像。

如图1所示为本发明一实施例中的检测流程图：

在一个示例中，将构建的中尺度涡数据集输入至ResNet主干网络中，该网络由1个卷积层和4个残差块组成，第一个残差块由3个残差单元组成，每一个残差单元由卷积层和激活层组合，通过该网络来初步提取中尺度涡的特征，得到不同尺度的特征图。

在一个示例中，将不同尺度的特征图输入至特征金字塔网络，我们认为ResNet中产生相同尺度特征图的卷积层是一个阶段，选取每一个阶段中的最后一个卷积层输出的特征图来作为{C1、C2、C3、C4、C5}，由于C1和C2占用内存太大，所以将这两个层剔除。为了得到P5，我们对C5添加一个1×1的卷积降低通道数产生粗糙特征映射M5，再添加一个3×3卷积得到P5。对于P4的获得，我们首先在C4上添加一个1×1卷积得到M4，在M5上添加一个2倍的上采样，将两者得到的特征图融合，在融合后的特征图上添加一个3×3卷积来消除上采样的混叠效应得到P4。同理，P3也是同样获得，这里的话，我们还考虑了P6和P7，P6通过在C5的基础上添加步长为2、3×3的卷积得到，P7在P6的基础上添加RELU激活和步长为2、3×3的卷积运算获得。

在一个示例中，特征金字塔网络产生了语义信息强的多尺度特征图，在这一阶段，我们引入了旋转边界框，通过尺度、宽高比和角度来控制锚。在特征金字塔输出的特征图中每一个像素点生成由多尺度、多长宽比和多角度控制的旋转锚，本文中将{P3,P4,P5,P6,P7}的初始锚的尺度大小分别设为{32,64,128,256,512}，设置每层特征图中锚的尺度分别设置为{2⁰,2^1/3,2^2/3}来控制锚的大小，将宽高比分别设置为{1,1/2,2,1/3,3,1/5,5}来控制锚的比例，同时设置6个不同的角度，即{-15°,-30°,-45°,-60°,-75°,-90°}来旋转锚到不同的方向，所以假设每张特征图的像素点会生成A个锚，H×W的特征图会产生A×H×W个锚。

在一个示例中，将带有旋转锚的多尺度特征图放入两个子网络：分类子网络和回归子网络中。分类子网络中，特征图进行4次3×3卷积得到通道数为256的特征图，再添加一个3×3的卷积得到通道数为KA的特征图，其中K为类别数，A为特征图上每个像素点产生的锚的数量，分类子网络得到边界框中对象的类别置信分数，对置信分数再进行一个sigmoid激活函数来转化为[0-1]之间的概率。回归子网络中，同样也是进行了4次3×3卷积得到通道数为256的特征图，再添加一个3×3的卷积得到通道数为5A的特征图，其中5表示边界框的5个参数(x，y，w，h，θ)，x、y表示边界框的中心顶点，w、h表示边界框的宽高，θ为角度，为边界框的位置信息。最后通过非极大值抑制操作，这里设置非极大值抑制置信(Non-MaximumSuppression-Intersection Over Union，NMS-IOU)阈值为0.4，来得到最后的检测结果。

在一个示例中，在构建中尺度涡数据集之后，在将中尺度涡数据集输入至ResNet主干网络中之前，还使用训练集和设定参数来训练所述ResNet主干网络，所述特征金字塔网络，所述旋转锚及所述分类子网络和所述回归子网络。我们选取2011-2013年的数据作为训练集，训练上述ResNet主干网络，上述特征金字塔网络，上述旋转锚及上述分类子网络和上述回归子网络。2014-2015年的数据作为测试集，构建上述构建中尺度涡数据集。设置一些特定的参数来训练模型，包括本发明将模型的学习率初始化为0.0005，每次从训练集中选择数据训练的批量大小(batch_size)初始化为2，权值衰减(weight_decay)初始化为0.00001和动量(momentum)初始化为0.9，迭代次数的最大值为500000步。

在一个示例中，本发明是在配备一台GPU(Tesla P100-PCIE)服务器环境下使用OpenCV+Python3.5+Tensorflow1.13进行的，为了评价本文方法的鲁棒性，我们选取2014-2015年的数据来评估模型，选择目标检测领域中常见的三个评价指标来衡量方法的性能，这三个指标分别是：精确率、召回率和F1值，其中精确率表示真实样本在所有识别的中尺度涡旋中所占的比例，召回率表示正确识别的涡旋数和专家标注的涡旋数之比，F1值表示涡旋检测算法的综合评价指标，其具体计算公式如下：

其中TP，TP表示正确判定为正和负的样本数，FP，FN表示错误判定为正和负的样本数。本发明方法的优点将从以下三个方面来说明：

1)检测精度对比

为了测试本发明方法的检测性能，基于同样的数据集，我们进行了水平检测方法和旋转检测方法实验，评估阈值统一设置为0.1，NMS-IOU阈值设置为0.4。基于上述评价指标，本文对实验结果中的数据进行了包括召回率、精确率等各项指标的分析，表1显示了水平检测方法和本发明方法的实验结果。

表1基于深度学习的中尺度涡检测结果比较

Tab.1 Comparison of mesoscale eddy detection results based on deepleaming

从表1中我们可以看出本文方法有较好的综合性能，和水平检测方法相比，我们的方法在检测精度上提升了8％。

2)检测结果定性对比

除了上述结果之外，我们还对检测结果进行定性比较来评估我们方法的性能。我们基于同样的测试集，进行了水平检测方法和旋转检测方法实验，并可视化了检测结果，实验结果如图3，图4，图5所示，其中横纵坐标为(0-25°N，100-125°E)，图中右侧条状图坐标为海平面高度异常值，单位为cm。

通过比较水平检测和旋转检测实验结果，从图3组中我们注意到旋转检测相较于水平检测更能准确地检测出形状不规则的中尺度涡，对长宽比较大的中尺度涡，旋转检测框更贴合中尺度涡。从图4组我们看到对于尺度相差较大位置相近的中尺度涡，水平检测会出现明显的预测框混叠，旋转检测会更好地消除这个现象。海洋环流和洋流的相互作用伴随着海洋中尺度涡的分裂和融合，从而多核涡就会产生，从图5组中我们可以看出，旋转检测方法更能精确地检测出多核涡。

3)其他海域检测结果

为了检验本文方法的泛化能力，我们将本文构建的海洋中尺度涡旋转检测模型在其他海域同样进行了测试。我们选取了中尺度涡数量较多的海洋区域进行测试，检测结果如图6，图7，图8所示，包括印度洋(25-50°S，45-70°E)、太平洋(25-50°N，145-120°W)和大西洋(25-50°N，75-50°W)，图中右侧条状图坐标为海平面高度异常值，单位为em。图6表示印度洋检测结果，图7表示太平洋检测结果，图8表示大西洋检测结果。从不同海域的检测结果来看，虽然我们的模型以南海数据集作为训练集，但在其他海域仍可以检测到中尺度涡的存在，可以看出我们的模型具有良好的泛化能力。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (3)

1.一种海洋中尺度涡检测方法，其特征在于，所述检测方法包括：

采集包含所述中尺度涡的海平面异常数据；

对采集的所述海平面异常数据进行预处理，构建中尺度涡数据集；

将所述中尺度涡数据集输入至ResNet主干网络中，初步提取所述中尺度涡的特征，获取所述中尺度涡的不同尺度特征图；

特征金字塔网络获取所述中尺度涡的不同尺度特征图，并通过上采样和平级连接操作融合所述中尺度涡的低层和高层特征，获取所述中尺度涡的语义信息强的多尺度特征图；

在所述语义信息强的多尺度特征图中的每个像素点生成由尺度、长宽比和角度控制的旋转锚，获取所述中尺度涡的带有所述旋转锚的多尺度特征图；

将所述带有所述旋转锚的多尺度特征图分别输入分类子网络和回归子网络中，分别获取所述分类子网络输出的类别置信分数和所述回归子网络输出的位置信息，最后通过非极大值抑制获取所述中尺度涡的最终检测结果。

2.如权利要求1所述的一种海洋中尺度涡检测方法，其特征在于，在所述构建中尺度涡数据集之后，所述将所述中尺度涡数据集输入至ResNet主干网络中之前，还包括设置参数对所述ResNet主干网络，所述特征金字塔网络，所述旋转锚及所述分类子网络和所述回归子网络进行训练。

3.如权利要求2所述的一种海洋中尺度涡检测方法，其特征在于，对采集的所述海平面异常数据进行预处理包括：

对所述海平面异常数据可视化处理并设置统一分辨率和归一化，获取可视化并归一化后的海平面异常数据轮廓图；

在所述海平面异常数据轮廓图中，专家标注所述中尺度涡并产生专家标注文件；

在所述海平面异常数据轮廓图中，添加噪声并产生带有所述噪声的标注文件；

对上述步骤中的所述海平面异常数据轮廓图裁剪，对应的所述标注文件也以相同的裁剪方式裁剪，构建所述中尺度涡数据集。

Images