CN110751209B - 一种融合深度图像分类和检索的智能台风定强方法 - Google Patents

Abstract

本发明提出了一种融合深度图像分类和检索的智能台风定强方法，用以从有限的不均衡的卫星遥感数据中自动获取台风强度特征，并结合特征分类和特征检索双估计方法进行台风定强，解决台风强度预测误差大且泛化能力、可解释性差的问题。所述的台风定强方法包括：从卫星遥感数据中获取台风图像；训练深度卷积网络CNN模型、提取特征、构建特征检索库；使用训练好CNN模型对待测台风图像进行强度分类；采用向量距离检索模型对待测台风图像进行相似度检索；对分类和检索结果进行排序策略融合，得到最终的台风强度。

Description

一种融合深度图像分类和检索的智能台风定强方法

技术领域

本发明涉及深度学习技术领域，特别涉及一种图像分类以及特征检索方法。

背景技术

热带气旋(也称为台风)是我国最主要的气象灾害之一，其引发的灾害对人民生活及经济发展造成了严重的损害,迫切需要提升对台风天气的预报和预警。随着科技的发展，台风相关的卫星遥感云图数据越来越多，而传统的台风定强方法主要依赖气象专家对于台风规律的总结而形成的数值动力模式分析的方法，比如dvorak和偏差角方差技术(DAVT)技术，不适合基于可视化云图而不是数值的复杂巨量的数据，因此，气象领域迫切需要引入当前的机器学习、深度学习领域的先进的计算机分析方法和手段来应对气象遥感数据的分析。

在数据科学领域，深度学习技术快速发展，在各种类型的任务中得到充分的使用并且效果突出，已有研究证明深度学习技术具备从大量数据中自动学习特征并进行图像精准识别的优势。因此，针对台风定强问题和数据背景，本专利提出了一种融合深度图像分类和检索的智能台风定强方法，解决了从海量台风云图中自动提取特征，精准量化台风强度的问题，并能够给出判决可视化依据。该方法经测试台风定强结果更准确，效率更高，大大降低了MAE指标。

发明内容

为了解决现有的台风定强方法泛化能力弱、误差高、且难以处理大量非数值数据的问题，本发明提供了一种融合深度图像分类和检索的智能台风定强的方法。方案如下：

步骤一：对卫星遥感数据预处理获取台风图像；

步骤二：标注数据、训练深度卷积网络CNN模型、提取特征、构建特征向量库；

步骤三：使用训练好CNN模型对待测台风图像进行强度分类；

步骤四：采用向量距离检索模型对待测台风图像进行相似度检索；

步骤五：对分类和检索结果进行排序策略融合，得到最终的台风定强结果。

附图说明

图一是本发明提供的融合深度图像分类和检索的智能台风定强方法的技术方案图；

图二是本发明提供的用于训练特征抽取和分类的深度卷积神经网络Resnet-50结构说明图(含Resnet-50中具体结构)。

具体实施方式

接下来将对本发明的实施方法作更详细的描述。

图一是本发明提供的融合深度图像分类和检索的智能台风定强方法的技术方案图，其中包括：

步骤S1:数据预处理，即对卫星遥感数据预处理获取待测台风图像

步骤S2:使用训练好的卷积深度网络对待测台风图像进行特征提取

步骤S3：基于该特征对待测图片进行强度分类，得到强度分类结果。

步骤S4：基于该特征在已生成的特征向量库中进行相似度计算，得到强度检索结果。

步骤S5：对分类和检索结果进行排序策略融合，得到待测台风最终的预测强度。

图二是用于训练特征抽取和分类的深度卷积神经网络Resnet-50结构说明图，其中包括：

步骤S2:对预训练的Resnet-50网络进行微调，用于提取训练集特征向量构成特征向量库。

步骤S3:利用已微调好的Resnet-50网络对待测图片进行分类。

下面将对每个步骤进行具体说明：

为了便于说明，在本发明实施例中，定义变量如下：

1)定义<x_i，label_i>，i＝1，2，...，N为输入的训练集数据，其中x_i为第i个预处理后的台风图像，label_i为该图像对应的强度，在本实施例中label_i∈[10，72]且label_i为整数。

2)定义输入<x_i，label_i>到CNN模型，CNN模型最终输出为y_i，y_i为一个63维的向量，表示分类结果的概率分布；其中label_pred是向量y_i中预测概率最大的台风强度。

3)为了便于说明，在步骤S3-S5中，将台风定强结果根据其实际意义表示如下：

其中<j，w_j>表示预测台风强度为j的概率为w_j。

4)定义softmax(·)表示softmax函数。若q＝[q₁，q₂，...，q_n]，则

步骤S1：数据预处理。原始数据来自葵花8卫星拍摄的遥感云图，来源于B13通道属于红外波长区域，大小为5500×5500像素，包含最佳路径。以最佳路径中的经纬度对应的原始遥感云图位置为图像中心，从中裁切得到400×400像素的台风图像，对应实际区域是2×2km，然后将其降采样得到224*224大小的台风图像x_i。

步骤S2：标注数据、训练深度卷积网络CNN模型、提取特征、构建特征向量库。

(2.1)：根据最佳路径中包含的台风中心经纬度和人工标注强度，对预处理后的台风图像x_i标注强度label_i，得到训练集

D_train＝{<x_i，label_i>|i＝1，2，...，N}。

(2.2)：使用训练集D微调训练深度卷积神经网络CNN进行特征提取和强度分类。其中CNN可以采用目前公认的预训练网络Vgg、Resnet、DenseNet、SENet等。本实施例中使用在ImageNet上预训练过的Resnet-50作为特征提取和强度分类网络，其结构如图二所示。微调训练方法为：冻结Resnet-50的conv1、conv2_{_}和conv3_{_}部分，对其他部分进行训练微调。训练网络的损失函数为交叉熵加惩罚项MSE，其公式为：

其中，公式第一项为交叉熵，第二项为MSE惩罚项；y_i为分类网络的输出；Onehot(·)为独热函数，输出独热向量；n为训练时的批量大小；γ为权重衰减，目的是使交叉熵和MSE值加权，让其处于同一个数量级，本实施例中取0.001。

(2.3)：提取特征向量，构建特征向量库。在本实施例中，对于训练好的Resnet-50，提取其平均池化层的输出作为特征向量，特征向量的长度为2048。为了便于描述，记Resnet-50平均池化层前的所有网络参数为W，定义符号*表示全连接层前的所有卷积、池化、激活等非线性操作。则特征向量可以表示为：

v_i＝W*x_i

因此，对所有训练数据集D_train＝{<x_i，label_i>|i＝1，2，...，N}，N为训练集总样本数，提取其特征向量构成特征向量库V＝{v_i|v_i＝W*x_i，i＝1，2，...，N}。定义f(·)表示全连接层，用于将特征向量映射为与台风强度类别数的表示。则分类网络的输出可以表示为：

y_i＝softmax(f(v_i))

步骤S3：使用训练好CNN模型Resnet-50对待测台风图像进行强度分类

(3.1)待测试图片x′由步骤S1预处理后得到，输入到步骤S2所述训练好的CNN模型Resnet-50中，得到其特征向量v′＝W*x′

(3.2)将v′输入到所述训练好的Resnet-50分类模型中，得到预测强度的概率集合对C，

C＝{＜i，w′_i＞|i＝10，11，...，72}

(3.3)截取C中概率较大的前K个作为有效分类结果并降序排列得到C_Topk，在本实施例中K取3。

C_Topk＝{<c₁，w′₁>，<c₂，w′₂>，<c₃，w′₃>}

步骤S4：采用基于向量距离的检索模型对待测台风图像进行相似度检索

(4.1)系统采用向量距离作为向量之间相似度的评判标准。向量距离的衡量主要有欧式距离、切比雪夫距离、曼哈顿距离、余弦距离等。本实施例中使用了余弦距离，对于向量v₁，v₂其余弦距离计算公式为：

(4.2)将步骤(3.1)所述待测试图片x′对应的特征向量v′在特征向量库V中依据上述余弦距离进行相似度最近邻检索，检索结果为相似度递减的台风图像序列和对应台风强度，表示为：

Seq＝{<img_i，label_i>|i＝1，2，...M}

其中，img_i表示最相似图片，label_i表示其对应强度，M为取前M个图片，不妨设M＝10。

步骤S5：对分类和检索结果进行排序策略融合。

(5.1)对相似度序列Seq进行排序后根据次序进行加权平均，得到检索的定强结果R。

R＝{<r_i，w″_i>|i＝1，2，...，L}

其中w″_i表示台风强度为r_i的概率，L为Seq中的不同台风强度数目，w″i的值由以下得到：

式中，α为排序权重参数，本实例中取α＝0.7，α^j表示α的j次幂，⊙表示同或。

截取R中概率较大的前K个作为有效分类结果并降序排列得到R_Topk，在本实施例中K取3。

R_Topk＝{<r₁，w″₁>，<r₂，w″₂>，＜r₃，w″₃>}

(5.2)将检索定强结果R_Topk和分类定强结果C_Topk相结合，得到最终的台风定强结果Z_Top。

Z_Top＝{<z_i，w_i>|i＝1，2，...，T}

其中<z_i，w_i>表示预测强度为z_i的概率为w_i，T为集合R_Topk和C_Topk中所有不同台风强度的个数，w_i的值由以下得到：

其中λ为分类预测和检索预测的权重占比。在本例中经实际测试取λ＝0.2。

(5.3)对Z_Top中的每一项进行加权平均，公式如下，得到最终台风定强结果y。

以上结合附图对所提出的融合深度图像分类和检索的智能台风定强方法及各模块的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚地了解到本发明可借助软件加通用的硬件平台的方式来实现，当然也可以通过硬件实现，但前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现，该软件产品存储在一个存储介质中，包括若干指令用以使得一台或多台计算机设备执行本发明各个实施例所述的方法。

依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

以上所述的本发明实施方式，并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种融合深度图像分类和检索的智能台风定强方法，其特征在于，所述台风定强方法包含以下结构和步骤：

(1)对卫星遥感数据预处理获取台风图像；

(2)对台风图像进行标注、训练深度卷积网络CNN模型，使用训练好的卷积网络将待测台风图像转成特征向量并构建特征检索库；

(3)使用训练好CNN模型对待测台风图像进行强度分类，得到分类定强的概率分布；

(4)采用向量距离检索模型对待测台风图像进行相似度检索：

(4.1)系统采用向量距离作为向量之间相似度的评判标准，向量距离的衡量使用了余弦距离，对于向量v₁，v₂其余弦距离计算公式为：

(4.2)将步骤(3)所述待测台风图像对应的特征向量v′在特征向量库V中依据上述余弦距离进行相似度最近邻检索，检索结果为相似度递减的台风图像序列和对应台风强度，表示为：

Seq＝{＜img_i，label_i＞|i＝1，2，...M}，

其中，img_i表示最相似图片，label_i表示其对应强度，M为取前M个图片；

(5)对分类和检索结果进行排序策略融合，得到最终的台风强度，对分类和检索结果进行排序策略融合包括：

(5.1)对步骤(4.2)得到的相似度序列Seq进行排序后根据次序进行加权平均，得到检索的定强结果R，

R＝{＜r_i，w″_i＞|i＝1，2，...，L}，

其中w″_i表示台风强度为r_i的概率，L为Seq中的不同台风强度数目，w″_i的值由以下得到：

式中，α为排序权重参数，取α＝0.7，α^j表示α的j次幂，⊙表示同或，

截取R中概率较大的前K个作为有效分类结果并降序排列得到R_Top，K取3，

R_Topk＝{＜r₁，w″₁＞，＜r₂，w″₂＞，＜r₃，w″₃＞}；

(5.2)将检索定强结果R_Topk和分类定强结果C_Topk相结合，得到最终的台风定强结果Z_Top，

Z_Top＝{＜z_i，w_i＞|i＝1，2，...，T}，

其中＜z_i，w_i＞表示预测强度为z_i的概率为w_i，T为集合R_Topk和C_Topk中所有不同台风强度的个数，w_i的值由以下得到：

其中λ为分类预测和检索预测的权重占比，取λ＝0.2；

(5.3)对Z_Top中的每一项进行加权平均，公式如下，得到最终台风定强结果y，

2.如权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：

(2.1)使用台风训练数据训练卷积神经网络提取特征和分类，训练过程的损失函数为交叉熵加惩罚项MSE；

(2.2)将台风图像训练数据集作为输入通过(2.1)中训练好的卷积神经网络，抽取其特征向量，构成训练集特征向量库。

Images