CN109886321A - 一种用于覆冰图像细粒度分类的图像特征提取方法和装置 - Google Patents

Abstract

本发明公开了一种用于覆冰图像细粒度分类的图像特征提取方法和装置，所述方法包括如下步骤：步骤1，对输入图像进行预处理；步骤2，对预处理的图像进行特征提取。本发明在图像细粒度分类时考虑充分建模各层之间的信息传递，有效地提取图像特征，能对包含相近类别物体的图像进行更准确分类。

Description

一种用于覆冰图像细粒度分类的图像特征提取方法和装置

技术领域

本发明涉及深度学习技术领域，尤其涉及一种用于覆冰图像细粒度分类的图像特征提取方法的装置。

背景技术

近年来，随着全球气温逐渐变暖，极端天气的不断增多，电网系统面临巨大的挑战。当前，我国电力系统在应对极端天气方面还存在很多技术欠缺，如果不能及时对可能出现的极端天气进行有效的预测和干预，可能造成灾难性的后果。冰风灾害是供电系统面临的一大难题。世界各地都曾出现过不同程度的冰风灾害，我国电网系统也发生过多次冰风灾害，而且这种灾害的发生频率呈现上升趋势。2008年年初，我国南方部分省市遭受了前所未有的低温雨雪冰冻灾害，冰冻灾害造成国家电网公司的直接财产损失达到104.5亿元，而灾后的电网恢复重建和改造投入资金达390亿元，经济损失巨大。巨大的经济损失和社会影响警示我们，开展电力系统防灾研究、保障电力系统在冰风灾害时的安全稳定运行是当前刻不容缓的挑战和艰巨的任务。在应对冰风灾害时除了采取防覆冰技术、融冰技术和除冰技术之外，对冰风灾害进行有效的识别和预测也具有十分重要的意义，而利用视觉图片判断电力设施是否覆冰是一个非常有效的方法。

图像细粒度分类是在相同大类中更细致的区分不同小类，如区分覆冰与非覆冰图像。因为大类物体下不同小类的物体具有相近的结构，这导致了区分不同小类物体图像的难度大幅度上升，使得准确区分相同大类下的不同小类物体具有挑战性。此外由于环境光照、拍摄设备、物体角度、运动状态、拍摄距离等条件的不同导致图像质量不同，物体在图像中展现的姿态也不同，使得图像细粒度分类的问题更加复杂。在覆冰与非覆冰两种图像中物体的外观具有很高的相似性，在雨雪天气中拍摄的图像则更加容易与覆冰图像混淆，这使得区分覆冰与非覆冰图像的难度大幅提升。

目前存在的图像细粒度检测识别方法大多基于图像的纹理、空间信息。有人提出了提前标注训练图像中待识别物体的位置来过滤背景因素的影响以达到更好的分类结果，但是这需要大量的人工标注，对训练数据集需要更高的要求。还有人通过将训练图像缩放，在多个不同尺度图像上分类训练模型，最后通过投票的方式决定物体类别，但是这种方法受需要额外的时间和空间来训练模型。有人提出利用自主学习的方式让模型选择放大图像中的哪些部分以达到更好的结果，但是如果训练数据中物体的位置多种多样将导致结果变差。

上述方法在某些前提假设下有较好的分类结果，但对于较为一般的图像分类结果有所下降，因此需要一种对数据集要求更少的方法提取图像的特征并与其他类别区分开。

发明内容

针对现有技术的不足，本发明提供了一种用于覆冰图像细粒度分类的图像特征提取方法和装置，其中所述方法包括如下步骤：

步骤1，对输入的覆冰图像进行预处理；

步骤2，对预处理的图像进行特征提取。

步骤1包括：对输入的覆冰图像进行缩放(缩放到256*256像素大小的图像)，裁剪(保留中心224*224像素大小的图像区域)、归一化(减去均值后除以标准差，此处均值及标准差均为ImageNet数据集的均值和标准差，可以参考：http://image-net.org/index)的预处理，得到预设分辨率的图像，并将其按照三原色RGB三通道的顺序组成输入矩阵。

步骤2包括：对预处理后的图像即步骤1得到的输入矩阵进行卷积(可以参考：https://pytorch.org/docs/stable/nn.html#conv2d)、注意力机制模块Attention和池化Pooling操作得到输出特征图，具体包括如下步骤：

步骤2-1，对预处理后的图像依次进行一次卷积和池化Pooling操作，卷积核尺寸为7*7，步长为2，Pooling操作类型为最大池化max pool(可以参考：https://pytorch.org/docs/stable/nn.html#maxpool2d)，核尺寸为3*3，步长为2，并输出特征图；

步骤2-2，步骤2-1输出的特征图经过第一个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括6个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第一个混和链路块Mixed Link Block的输出特征图依次进行卷积和池化Pooling操作，卷积核尺寸为1*1，步长为1，池化Pooling操作类型为平均池化avg pool(可以参考：https://pytorch.org/docs/stable/nn.html#avg-pool2d)，核尺寸为2*2，步长为2，并输出特征图；

步骤2-3，步骤2-2输出的特征图经过第二个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括12个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第二个混和链路块Mixed Link Block的输出特征图依次进行卷积、注意力机制模块Attention和池化Pooling操作，卷积核尺寸为1*1，步长为1，池化Pooling操作类型为avg pool，核尺寸为2*2，步长为2，并输出特征图；

步骤2-4，步骤2-3输出的特征图经过第三个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括20个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第三个混和链路块Mixed Link Block的输出特征图依次进行卷积、注意力机制模块Attention和池化Pooling操作，三种操作与步骤2-2中第二个混和链路块Mixed Link Block后接的操作相同，并输出特征图；

步骤2-5，步骤2-4输出的特征图经过第四个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括12个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第四个混和链路块Mixed Link Block的输出特征图进行注意力机制模块Attention操作，并输出特征图；

步骤2-6，对步骤2-5输出的特征图进行全局平均池化global average pool(可以参考：https://pytorch.org/docs/stable/nn.html#avg-pool2d)操作，核尺寸为7*7，操作后的特征图经过一个1000维的全连接层得到一个1000维的向量，作为原图像的图像特征。

所述混合层MixLayer为：每个混合层MixLayer包括两条计算路径，一条为内连接，另一条为外连接，两个连接分别对输入特征图进行两次卷积操作，第一个卷积核尺寸为1*1，步长为1，第二个卷积核尺寸为3*3，步长为1；将内连接计算的特征图与混合层MixLayer的输入特征图后k1个通道进行矩阵加法，即将两个相同维度的矩阵相应位置元素相加得到结果矩阵，在结果特征矩阵后面拼接外连接计算的特征矩阵得到该混合层MixLayer的输出特征图。

所述注意力机制模块Attention操作为：注意力机制模块Attention操作对输入特征图进行一个卷积操作，卷积核尺寸为1*1，步长为1，将该卷积后的结果与卷积的输入矩阵进行元素乘法操作得到Attention操作的输出特征图。

本发明还公开了一种图像特征提取装置，所述装置包括预处理模块和特征提取模块；

所述预处理模块，用于对输入图像进行预处理，具体为对输入原图像进行裁剪、缩放、归一化的预处理，得到预设分辨率的图像，并将其按照三原色RGB三通道的顺序组成输入矩阵；

所述特征提取模块用于对预处理后的图像即输入矩阵进行卷积、注意力机制模块Attention和池化Pooling操作得到输出特征图，输出特征图经过一个1000维的全连接层得到一个1000维的向量，作为原图像的图像特征。

所述装置还包括特征训练模块和图像分类模块；

所述特征训练模块用于获取数据集，数据集包含覆冰图像和非覆冰图像，将数据集中的图像随机划分出一部分(比如80％)作为训练集，剩余的部分作为测试集，训练集中的图像经过预处理模块和特征提取模块的处理，得到图像特征，将图像特征输入到图像特征训练分类器(本发明采用softmax线性分类器，可以参考：https://pytorch.org/docs/stable/nn.html#linear)进行特征训练，确定图像类别的判别边界；

所述图像分类模块根据判别边界对测试集中的图像进行分类，判定图像类别为覆冰或者非覆冰。

有益效果：本发明将图像经过内外连接组合的方式，更好的在不同操作层之间的实现信息的传递，更好的将原图的信息进行建模，加上Attention模块后，模型对相同大类不同小类的区分能力进一步提升，是否覆冰图像分类更加准确。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是复杂场景下是否覆冰图像样例；

图2为本发明的算法模型网络结构；

图3为网络结构中的Mixed Link Block的结构；

图4为普通Transition层的结构；

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

实施例1

参照本发明方法流程，具体方法包括以下步骤：

1.输入覆冰图像

将如图1所示覆冰图像经过缩放Resize(缩放到256*256像素图像)、裁剪CenterCrop(保留中心224*224像素图像)、归一化Normalize(归一化，减去均值后除以标准差)之后作为输入矩阵输入如图2所示网络结构中。

2.特征提取

如图2所示，输入矩阵数据在网络中以流的形式经由若干层神经网络层计算得出特征，其中除了包含普通的计算操作层，如卷积Conv2d采用的是普通的二维卷积操作层，最大池化MaxPool2d采用的是普通的最大池化操作层，还存在有基本层组合构成的复杂层：混合链接块Mixed Link Block层和过度Transition层。

混合链接块Mixed Link Block层：在本发明方法中有4个混合链接块Mixed LinkBlock层，每个Mixed Link Block层都是由若干混合层MixLayer构成的，如图3所示；所有的混合层MixLayer都拥有相同的结构，特征提取的步骤具体包括：

步骤2-1，对预处理后的图像依次进行一次卷积和池化Pooling操作，卷积核尺寸为7*7，步长为2，Pooling操作类型为最大池化max pool，核尺寸为3*3，步长为2，并输出特征图；

步骤2-2，步骤2-1输出的特征图经过第一个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括6个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第一个混和链路块Mixed Link Block的输出特征图依次进行卷积和池化Pooling操作，卷积核尺寸为1*1，步长为1，池化Pooling操作类型为平均池化avg pool，核尺寸为2*2，步长为2，并输出特征图；

步骤2-3，步骤2-2输出的特征图经过第二个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括12个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第二个混和链路块Mixed Link Block的输出特征图依次进行卷积、注意力机制模块Attention和池化Pooling操作，卷积核尺寸为1*1，步长为1，池化Pooling操作类型为avg pool，核尺寸为2*2，步长为2，并输出特征图；

步骤2-4，步骤2-3输出的特征图经过第三个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括20个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第三个混和链路块Mixed Link Block的输出特征图依次进行卷积、注意力机制模块Attention和池化Pooling操作，三种操作与步骤2-2中第二个混和链路块Mixed Link Block后接的操作相同，并输出特征图；

步骤2-5，步骤2-4输出的特征图经过第四个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括12个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第四个混和链路块Mixed Link Block的输出特征图进行注意力机制模块Attention操作，并输出特征图；

步骤2-6，对步骤2-5输出的特征图进行全局平均池化global average pool操作，核尺寸为7*7，操作后的特征图经过一个1000维的全连接层得到一个1000维的向量，作为原图的图像特征。

过度Transition层：本发明方法中用到的过度Transition层分为两种：带Attention过度Transition层和普通过度Transition层。普通过度Transition层结构如图4所示，其中卷积Conv2d卷积核尺寸为1*1，步长为1。而带Attention过度Transition层在普通过度Transition层的卷积Conv2d和平均池化AvgPool2d之间还存在卷积Conv2d(卷积核尺寸为1*1，步长为1)和激活IISigmoid层，它们的连接顺序为卷积Conv2d、卷积Conv2d、激活IISigmoid、平均池化AvgPool2d。

在经过各层计算之后将得到一个1000维的特征向量。

3.分类器

1000维的特征向量输入线性分类器层进行分类，得出分类结果。

实施例2

本发明还公开了一种图像特征提取装置，所述装置包括预处理模块和特征提取模块；

所述预处理模块，用于对输入图像进行预处理，具体为对输入原图像进行裁剪、缩放、归一化的预处理，得到预设分辨率的图像，并将其按照三原色RGB三通道的顺序组成输入矩阵；

所述特征提取模块用于对预处理后的图像即输入矩阵进行卷积、注意力机制模块Attention和池化Pooling操作得到输出特征图，输出特征图经过一个1000维的全连接层得到一个1000维的向量，作为原图像的图像特征。

所述装置还包括特征训练模块和图像分类模块；

所述特征训练模块用于获取数据集，数据集包含覆冰图像和非覆冰图像，将数据集中的图像随机划分出一部分作为训练集，剩余的部分作为测试集，训练集中的图像经过预处理模块和特征提取模块的处理，得到图像特征，将图像特征输入到图像特征训练分类器(本发明采用softmax线性分类器，可以参考：https://pytorch.org/docs/stable/nn.html#linear)进行特征训练，确定图像类别的判别边界；

所述图像分类模块根据判别边界对测试集中图像进行分类，判定图像类别为覆冰或者非覆冰。

本实施例中，特征训练模块获取的数据集来自于不同电力设施场景中截取的图像和一部分从网络上收集的数据，包括Google，Bing和百度。数据总量为203张图像，其中覆冰训练集中包含覆冰图像103张，非覆冰训练集中包含非覆冰图像100张。图1展示了数据集中覆冰图像和非覆冰图像。

将数据集中随机划分出80％图像用作训练集，剩余20％用作测试集。提取各个图像特征后进行而分类判断是否覆冰。在二分类的情况下，实验结果用平均精确率，平均召回率，平均F1值三个标准进行评价，如表1所示：

表1

方法	平均准确率	平均召回率	平均F1值
				本发明方法	0.97	1	0.98

实验结果显示本发明方法在判断图像是否覆冰上拥有很高的准确率和召回率，已经接近100％，3次随机实验中1次预测全部正确，另外两次均预测错一张图像。可见本发明方法在判断是否覆冰方面具有很高的优越性。

本发明提供了一种用于覆冰图像细粒度分类的图像特征提取方法和装置，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种用于覆冰图像细粒度分类的图像特征提取方法，其特征在于，包括如下步骤：

步骤1，对输入的覆冰图像进行预处理；

步骤2，对预处理的图像进行特征提取。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：对输入的覆冰图像进行缩放，裁剪、归一化的预处理，得到预设分辨率的图像，并将其按照三原色RGB三通道的顺序组成输入矩阵。

3.根据权利要求1所述的方法，其特征在于，步骤2包括：对预处理后的图像即步骤1得到的输入矩阵进行卷积、注意力机制模块Attention和池化Pooling操作得到输出特征图，具体包括如下步骤：

步骤2-1，对预处理后的图像依次进行一次卷积和池化Pooling操作，卷积核尺寸为7*7，步长为2，Pooling操作类型为最大池化max pool，核尺寸为3*3，步长为2，并输出特征图；

步骤2-2，步骤2-1输出的特征图经过第一个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括6个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第一个混和链路块Mixed LinkBlock的输出特征图依次进行卷积和池化Pooling操作，卷积核尺寸为1*1，步长为1，池化Pooling操作类型为平均池化avg pool，核尺寸为2*2，步长为2，并输出特征图；

步骤2-3，步骤2-2输出的特征图经过第二个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括12个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第二个混和链路块Mixed Link Block的输出特征图依次进行卷积、注意力机制模块Attention和池化Pooling操作，卷积核尺寸为1*1，步长为1，池化Pooling操作类型为avg pool，核尺寸为2*2，步长为2，并输出特征图；

步骤2-4，步骤2-3输出的特征图经过第三个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括20个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第三个混和链路块Mixed Link Block的输出特征图依次进行卷积、注意力机制模块Attention和池化Pooling操作，三种操作与步骤2-2中第二个混和链路块Mixed Link Block后接的操作相同，并输出特征图；

步骤2-5，步骤2-4输出的特征图经过第四个混和链路块Mixed Link Block计算特征图，该混和链路块Mixed Link Block包括12个混合层MixLayer，其中上一个混合层MixLayer的输出特征图作为下一个混合层MixLayer的输入特征图；对第四个混和链路块Mixed Link Block的输出特征图进行注意力机制模块Attention操作，并输出特征图；

步骤2-6，对步骤2-5输出的特征图进行全局平均池化global average pool操作，核尺寸为7*7，操作后的特征图经过一个1000维的全连接层得到一个1000维的向量，作为原图像的图像特征。

4.根据权利要求3所述的方法，其特征在于，所述混合层MixLayer为：每个混合层MixLayer包括两条计算路径，一条为内连接，另一条为外连接，两个连接分别对输入特征图进行两次卷积操作，第一个卷积核尺寸为1*1，步长为1，第二个卷积核尺寸为3*3，步长为1；将内连接计算的特征图与混合层MixLayer的输入特征图后k1个通道进行矩阵加法，即将两个相同维度的矩阵相应位置元素相加得到结果矩阵，在结果特征矩阵后面拼接外连接计算的特征矩阵得到该混合层MixLayer的输出特征图。

5.根据权利要求3所述的方法，其特征在于，所述注意力机制模块Attention操作为：注意力机制模块Attention操作对输入特征图进行一个卷积操作，卷积核尺寸为1*1，步长为1，将该卷积后的结果与卷积的输入矩阵进行元素乘法操作得到Attention操作的输出特征图。

6.一种图像特征提取装置，其特征在于，所述装置包括预处理模块和特征提取模块；

所述预处理模块，用于对输入图像进行预处理，具体为对输入原图像进行裁剪、缩放、归一化的预处理，得到预设分辨率的图像，并将其按照三原色RGB三通道的顺序组成输入矩阵，所述输入原图像是覆冰图像；

所述特征提取模块用于对预处理后的图像即输入矩阵进行卷积、注意力机制模块Attention和池化Pooling操作得到输出特征图，输出特征图经过一个1000维的全连接层得到一个1000维的向量，作为原图像的图像特征。

7.根据权利要求6所述的装置，其特征在于，还包括特征训练模块和图像分类模块；

所述特征训练模块用于获取数据集，数据集包含覆冰图像和非覆冰图像，将数据集中的图像随机划分出一部分作为训练集，剩余的部分作为测试集，训练集中的图像经过预处理模块和特征提取模块的处理，得到图像特征，将图像特征输入到图像特征训练分类器进行特征训练，确定图像类别的判别边界；

所述图像分类模块根据判别边界对测试集中的图像进行分类，判定图像类别为覆冰或者非覆冰。