CN111985325A - 特高压环境评价中的航拍小目标快速识别方法 - Google Patents

Abstract

本发明属于图像信息处理领域，主要涉及深度学习目标识别，具体的说是特高压环境评价中的航拍小目标快速识别方法，其特征在于，步骤1，建立在特高压环境下的航拍小目标识别网络模型AerialNet；步骤2，在图像训练集上训练构建好的AerialNet网络模型；步骤3，将待检测的原始图像输入到训练好的AerialNet网络模型中,得到待检测图像中的目标类别和位置坐标。本发明中构造了小目标识别网络模型AerialNet，设计了残差网络特征强化模块。进而有效防止了卷积后小目标特征信息的丢失，保留并强化了小目标的丰富特征。

Description

特高压环境评价中的航拍小目标快速识别方法

技术领域

本发明属于图像信息处理领域，主要涉及深度学习目标识别，具体的说是特高压环境评价中的航拍小目标快速识别方法，构建深度学习模型的航拍图像小目标识别网络结构AerialNet。

背景技术

近些年来，无人机在现代军用和民用领域发挥着越来越大的作用。而航拍目标检测一直以来都是无人机研究的重要内容，可以在不同的环境下，完成指定的监测和侦查任务，其重要性不言而喻。特高压电网建设面临的生态制约因素越来越多，因此保证依法合规、快速推进电网项目落地、避免在后续的设计、施工阶段出现颠覆性因素已成为前期工作的重中之重。电网建设项目从规划可研到竣工验收等各个环节与生态环境密切相关。因此，通过无人机采集工程建设过程中不同历史时期的数据、图像及视频资料，开展智能分析及图像优化处理，为项目环评、竣工验收和后期可能面临的诉讼提供数据支持。

目标识别算法发展迅猛，种类繁多。但目前的航拍目标目标识别大多针对普通大小的图像，一般尺寸小于32*32像素的目标即可认为是小目标。而无人机在特高压线路环境下拍摄的航空图像数据量大，覆盖面积更广，所关注的敏感目标车辆、房屋更小且聚集在一起，这就使得目前的目标识别检测算法在航拍图像中识别效果并不理想，存在误检漏检的情况。

目前基于深度学习的目标检测方法主要分为两类，一类是基于候选区域的卷积神经网络模型，一类是基于回归的卷积神经网络模型。基于候选区域的目标检测算法是R-CNN网络和一系列优化模网络(文献《Rich feature hierarchies for accurate objectdetection and semantic segmentation》2014,RossGirshick,Jeff Donahue,et al.)。也就是首先对图像先进行分类后进行回归处理，使用启发式方法或者CNN网络产生最有可能包含目标的子区域(Region Proposal)，然后再在子区域上做分类与回归。基于回归的目标检测算法包括SSD和YOLO系列网络模型(文献《SSD:Single Shot MultiBox Detector》,2016,Dragomir Anguelov,Dumitru Erhan,et al.)。这种方法该方法不需要对输入图像进行候选区域提取，用整张图像作为网络的输入，并在输出层回归检测目标边界框的位置和所属的类别。Joseph Redmon等人提出的YOLO算法不再基于候选区域(文献《You Only LookOnce:Unified,Real-Time Object Detection》2016,RedmonJ,Divvala S,Girshick R,etal.)，而是采用直接回归的思路，通过端到端的网络，直接得到所有对象的位置信息和类别。YOLO算法将目标检测任务转换成一个回归问题，对于每个图像，规范其输入和输出，利用CNN的全局征预测每个位置可能的目标。YOLO v2模型充分平衡了检测精度和速度，提出了一种目标分类与检测的联合训练方法，YOLO v3模型引入了53层的残差网做特征提取器，在加深网络结构的同时收窄网络结构。从R-CNN开始，目标检测结合深度学习，开创了一片新天地。深度学习强大的特征表示能力为目标检测提供有效的特征，直接影响着目标检测算法性能。

目前这两类网络模型各有优势，基于候选区域的卷积神经网络模型在检测准确率上较高，但步骤复杂，耗时长，提取的特征图尺寸过大，很难对小目标进行有效的特征提取，无法准确的检测到图像中的小目标；基于回归的卷积神经网络在目标检测速度快，但其网络结构层较深，在卷积和采样的过程中损失的小目标信息越来越多，导致图像中小目标的检测效果不佳。

发明内容

本发明的目的是针对上述技术存在的不足，提出一种能够实现在特高压环境下对航拍图像的小目标识别方法。

本发明是特高压环境下对航拍图像的小目标识别方法，其特征在于，包括有如下步骤：

(1)准备数据图集：使用在特高压环境下拍摄的无人机航拍图像集，筛选包含需要检测目标的图像分别作为所需的训练集和测试集，上述图像集均为含有不同目标大小的图像集；

(2)构建航拍小目标识别网络模型AerialNet，构造精简的24层融合残差网络模块的小目标识别网络结构；构造新的残差特征强化方式，将第一层的输出特征图输入至第三层的特征提取层并进行叠加；在残差学习模块后构造七层卷积池化层，通过连续的卷积叠加构成目标特征提取图，进一步强化小目标特征提取；根据航拍图像的小目标尺寸特点，采用连续卷积层无降采样环节，一般取3*3卷积和1*1卷积模板；

(3)训练网络模型：首先，数据集通过弱监督目标检测模型扩展航拍图像的样本，得到更丰富的数据集图像；其次，数据集通过辅助窗口网络将航拍图像按照输入要求的尺寸，分割为指定大小的切片图像，送入后面的网络模型中进行学习训练，计算航拍图像对应的anchor boxes进行聚类分析；采用聚类分析同时对网络中的权重参数逐层反向调节，得到最终训练好的网络模型；

(4)小目标检测：将需要识别的原始航拍图像输入到训练好的网络模型中,通过卷积滤波器预测得到待识别图像中小目标的目标类别和位置。

本发明核心创新点是(1)在本发明的小目标识别网络模型AerialNet，其中在卷积层后面加入了残差网络模块，在下采样后加入残差学习单元，将上一层的输出直接连接到指定层的输入，增强了小目标的提取特征信息；(2)本发明构造了新的网络卷积层结构，在残差网络模块后添加了连续的卷积池化叠加，通过叠加学习可以特征提取到更适合小目标的特征图；与文献YOLOv3复杂的模型结构和卷积神经网络VGG-16的方法，在以下方面有本质的不同：(1)构建了轻量化的24层网络结构，降低采样层的冗余化，增加了残差学习单元，使整个模型不会随着网络深度的增加导致性能退化；(2)针对小目标的特征提取的方面，去除了大尺度的特征提取，将卷积层获取的同样大小的尺度输出做融合输入，丰富了小目标特征信息，与现有网络结构有本质的不同；(3)本发明的小目标识别网络结构中无降采样层，使整个模型架构轻量化，更加匹配小目标信息的细粒度特点；

本发明具有如下优点：

1)本发明中构造了小目标识别网络模型AerialNet，设计了残差网络特征强化模块，在AerialNet模型中的第二个和第三个池化层后设计残差学习单元，解决了梯度消失和爆炸的问题，进而有效防止了卷积后小目标特征信息的丢失，保留并强化了小目标的丰富特征。

2)本发明中针对不同卷积层对目标进行特征提取，将不同卷积层的同样大小的尺度输出做融合输入，按照所使用数据集航拍图像的尺寸，设置连续的3*3和1*1卷积层获得航拍图像中不同区域的特征信息，汇集这些卷积层的结果可以获得丰富的目标信息，本发明中根据使用的数据集航拍图像与小目标的比例将下采样设定为16倍，使得从模型中提取到的特征图更加精确，更好的适应在特高压环境下的小目标识别。

附图说明

图1是本发明AerialNet的实现流程图；

图2是本发明AerialNet的网络结构图；

图3是本发明实验中使用的航拍图像；

图4是本发明中使用的已标记的航拍图像数据集；

图5是本发明中对特高压环境下的航拍小目标识别效果图；

具体实施方法

参照图1，本发明的实现步骤如下：

步骤1，建立在特高压环境下的航拍小目标识别网络模型AerialNet。

当前基于深度学习的目标检测方法主要分为两类，一类是基于候选区域的卷积神经网络模型，例如R-CNN，Fast R-CNN和Faster R-CNN；另一类是基于回归的卷积神经网络模，例如SSD和YOLO，本发明提出特高压环境下的航拍小目标识别网络模型，将航拍图像数据集图像输入辅助窗口网络模块去分割输入图像，添加残差网络模块，通过小目标识别网络提取多尺度卷积层的特征图，更好地检测图像中的小目标，本发明的网络结构模型如图2所示，实验中使用的航拍图像如图3所示，其中图3(a)含车辆目标，图3(b)含房屋目标。

本步骤的具体实现如下：

(1a)利用窗口网络模块对图像进行预判断和分割：

(1a1)对输入航拍图像进行预判断，将任意大小的输入图像划分为切块图像，其中默认为416像素，以便用于后续训练模型的运行；

(1a2)切块图像通过具有自定义的尺寸和重叠率进行滑动窗口的分割，根据每个切块图像的位置信息对其进行命名，记录每个滑动窗口切口的位置。

(1b)构建卷积神经网络建立小目标识别网络结构AerialNet：

(1b1)小目标识别网络包括17个卷积层、4个Maxpool层、2个Route layer层、1个Passthrough层。网络结构中添加了残差网络模块，在第二个和第三个下采样后分别加入残差学习单元，之后添加七层卷积层conv9，conv10，conv11，conv12，conv13，conv14，conv15进行特征提取，根据图像与目标的尺寸比例，模型中的卷积层采用了连续的3*3卷积和1*1卷积，其中3*3卷积核增加了通道数，1*1卷积核则压缩了3*3卷积后的特征表示，最终构成一个24层的网络结构AerialNet；

(1b2)为了提高对航拍图像中的小目标检测，模型中设置其卷积层的采样为16倍，降低图像的像素区域，在416*416像素大小的切片图像输入后，经过模型中的特征提取，得到26*26的特征图；

(1b3)使用一系列的卷积滤波器构成小目标识别网络的检测层，在小目标识别网络结构中使用passthrough层，将前面指定层的52*52输出特征图直接连接到最后一个卷积层上，最终输出26*26大小的特征图。

步骤2，在图像训练集上训练构建好小目标识别网络模型AerialNet。

通过多尺度卷积层提取感兴趣区域的特征图，对数据集标注图像中的标记边框和特征图中的特征边框匹配，构造目标损失函数，采用聚类分析对应的anchor参数，同时对网络中的权重参数逐层反向调节，得到最终训练好的网络模型，实现步骤如下：

(2a)选择用于训练的图像训练集，本发明使用航拍图像数据集作为所需的训练集和测试集；

(2b)对数据集训练中的标注图像的标记边框和小目标识别网络模型中生成的特征图中的特征边框进行校准匹配：

(2b1)学习传递转移函数T可以从标记边框b₂预测特征边框b₁：

其中每个标注边框包含4个变量(x,y,w,h),中心坐标(x,y)和宽度高度(w,h),特征边框变量为

标记边框变量为

为小目标识别网络模型AerialNet的模型参数；

(2b2)对训练集中标注图像中的标记边框和小目标识别网络模型中生成特征图的特征边框进行匹配校对，用偏移量预测函数F预测特征边框b₁和标记边框b₂的偏移量：

其中预测边框相对于特征边框的位置偏移量l＝(l^x,l^y,l^w,l^h),(l^x,l^y)中表示预测边框中心坐标相对于特征边框中心坐标的偏移量，l^w表示预测边框的宽相对于特征边框宽的偏移量,l^h表示预测边框的高相对于特征边框高的偏移量。

(2c)构造目标损失函数L_A：

(2c1)计算边界框定位损失函数L_loc：

其中S²是图像划分网格数，B是单个网格预测边界框数,

是判断网格预测边界框是否为识别目标，(x_i,y_i,w_i,h_i)是预测边框的坐标位置和宽度高度，

是标记边框的坐标位置和宽度高度；

(2c2)计算置信度损失函数L_conf和类别损失函数L_cls，分别使用交叉熵损失函数：

其中λ_obj是正样本权重系数，λ_nobj是负样本权重系数，

是实际目标的置信度，c_i是预测目标的置信度，

是实际概率，p_i(c)是预测概率；

(2c3)计算目标损失函数L_A：

L_A＝L_loc+L_conf+L_cls <10>

其中L_loc是边界框定位损失函数，L_conf是置信度损失函数，L_cls是类别损失函数；

(2c4)采用梯度下降法最小化损失函数，同时对网络中的权重参数逐层反向调节，得到训练好的网络模型。

(2d)对航拍图像数据集在目标检测任务中计算对应的anchor boxes：

(2d1)获取训练数据集中标签框坐标(x_i,y_i,w_i,h_i),i＝1,2,...n，同时从训练数据集中随机选定一个样本作为聚类中心O；

(2d2)计算每个样本与现有聚类中心的最短距离，样本被选为下一个聚类中心的概率为p_i，根据p_i值划分为n-1个递增区间，然后在0～1之间随机产生一个数a，a落在哪个区间就选择该区间对应的样本作为下一个聚类中心：

其中p_i是聚类中心的概率，d_i是现有聚类中心最短距离；

(2d3)重复(2d2)，直至选出k个聚类中心，对应的大小为(W_j,H_j),j＝1,2,...k，其中W_j为中心框的宽，H_j为中心框的高；

(2d4)计算每个标签框与中心框的距离，将标签框归为距离最小的那个中心框类：

d＝1-IOU((x_i,y_i,w_i,h_i),(x_i,y_i,W_j,H_j)) <12>

(2d5)重新计算中心框大小：

其中n_j为对应的第j簇中标签框的个数；

(2d6)返回(2d4)重新计算，直至(W_j,H_j)变化趋于0，本发明算法中的anchor参数是1.22，1.28，3.24，4.38，6.56，11.33，9.45，5.26，16.58，10.63。

步骤3，将待检测的原始图像输入到训练好的网络模型AerialNet中,得到待检测图像中的目标类别和位置坐标。

(3a)将测试集中的样本图像通过窗口网络预处理，通过滑动窗口分割提取含目标物体的切块图像；

(3b)使用训练好的小目标识别网络模型AerialNet中的卷积层对目标区域进行特征提取得到特征图；

(3c)在特征图上计算特征边框的位置坐标，对待检测图像匹配标签框信息，使用卷积滤波器进行预测得到预测边框内的目标类别及预测边框的位置坐标。

本发明的效果可以通过以下实验进一步说明。

1.实验对象

实验对象为在特高压环境下拍摄的航拍图像测试数据集和两张待识别图像a、b；

2.实验步骤

1)对航拍图像数据集进行处理，在每张航拍图像中标注出目标物体的边框和类名，生成对应的包含目标具体信息的类文件，本发明中使用的已标记的航拍图像数据集如图4所示，其中图4(a)含标记的车辆目标，图4(b)含标记的房屋目标；

2)使用本发明的小目标识别网络模型AerialNet对图像数据集进行窗口网络预处理，再送入训练网络中学习训练模型；

3)使用2)中训练好的网络模型在航拍图像的测试数据集上进行测试，选取两张含有小目标的图片依次进行目标识别，得到本发明的小目标识别网络模型AerialNet的识别效果如图5所示，其中图5(a)含识别的车辆目标，图5(b)含识别的房屋目标。

本实施例没有详细叙述的部件和结构属本行业的公知部件和常用结构或常用手段，这里不一一叙述。

Claims (4)

1.特高压环境评价中的航拍小目标快速识别方法,其特征是：至少包括如下步骤：

步骤1，建立在特高压环境下的航拍小目标识别网络模型AerialNet；

步骤2，在图像训练集上训练构建好的AerialNet网络模型；

步骤3，将待检测的原始图像输入到训练好的AerialNet网络模型中,得到待检测图像中的目标类别和位置坐标。

2.根据权利要求1所述的特高压环境评价中的航拍小目标识别方法，其特征是：步骤1具体包括如下步骤：

(1a)利用窗口网络模块对图像进行预判断和分割：

(1a1)对输入航拍图像进行预判断，将任意大小的输入图像划分为切块图像，其中默认为416像素，以便用于后续训练模型的运行；

(1a2)切块图像通过具有自定义的尺寸和重叠率进行滑动窗口的分割，根据每个切块图像的位置信息对其进行命名，记录每个滑动窗口切口的位置。

(1b)构建卷积神经网络建立小目标识别网络结构AerialNet：

(1b1)小目标识别网络包括17个卷积层、4个Maxpool层、2个Route layer层、1个Passthrough层。网络结构中添加了残差网络模块，在第二个和第三个下采样后分别加入残差学习单元，之后添加七层卷积层conv9，conv10，conv11，conv12，conv13，conv14，conv15进行特征提取，根据图像与目标的尺寸比例，模型中的卷积层采用了连续的3*3卷积和1*1卷积，其中3*3卷积核增加了通道数，1*1卷积核则压缩了3*3卷积后的特征表示，最终构成一个24层的网络结构AerialNet；

(1b2)为了提高对航拍图像中的小目标检测，模型中设置其卷积层的采样为16倍，降低图像的像素区域，在416*416像素大小的切片图像输入后，经过模型中的特征提取，得到26*26的特征图；

(1b3)使用一系列的卷积滤波器构成小目标识别网络的检测层，在小目标识别网络结构中使用passthrough层，将前一层的52*52输出特征图直接连接到最后一个卷积层上，最终输出26*26大小的特征图。

3.根据权利要求1所述的特高压环境评价中的航拍小目标快速识别方法,其特征是：所述步骤2，实现步骤如下：

(2a)选择用于训练的图像训练集，本发明使用航拍图像数据集作为所需的训练集和测试集；

(2b)对数据集训练中的标注图像的标记边框和小目标识别网络模型中生成的特征图中的特征边框进行校准匹配：

(2b1)学习传递转移函数T可以从标记边框b₂预测特征边框b₁：

其中每个标注边框包含4个变量(x,y,w,h),中心坐标(x,y)和宽度高度(w,h),特征边框变量为

标记边框变量为

为小目标识别网络模型中的模型参数；

(2b2)对训练集中标注图像中的标记边框和小目标识别网络模型中生成特征图的特征边框进行匹配校对，用偏移量预测函数F预测特征边框b₁和标记边框b₂的偏移量：

其中预测边框相对于特征边框的位置偏移量l＝(l^x,l^y,l^w,l^h),(l^x,l^y)中表示预测边框中心坐标相对于特征边框中心坐标的偏移量，l^w表示预测边框的宽相对于特征边框宽的偏移量,l^h表示预测边框的高相对于特征边框高的偏移量。

(2c)构造目标损失函数L_A：

(2c1)计算边界框定位损失函数L_loc：

其中S²是图像划分网格数，B是单个网格预测边界框数,

是判断网格预测边界框是否为识别目标，(x_i,y_i,w_i,h_i)是预测边框的坐标位置和宽度高度，

是标记边框的坐标位置和宽度高度；

(2c2)计算置信度损失函数L_conf和类别损失函数L_cls，分别使用交叉熵损失函数：

其中λ_obj是正样本权重系数，λ_nobj是负样本权重系数，

是实际目标的置信度，c_i是预测目标的置信度，

是实际概率，p_i(c)是预测概率；

(2c3)计算目标损失函数L_A：

L_A＝L_loc+L_conf+L_cls <10>

其中L_loc是边界框定位损失函数，L_conf是置信度损失函数，L_cls是类别损失函数；

(2c4)采用梯度下降法最小化损失函数，同时对网络中的权重参数逐层反向调节，得到训练好的网络模型。

(2d)对航拍图像数据集在目标检测任务中计算对应的anchor boxes：

(2d1)获取训练数据集中标签框坐标(x_i,y_i,w_i,h_i),i＝1,2,...n，同时从训练数据集中随机选定一个样本作为聚类中心O；

(2d2)计算每个样本与现有聚类中心的最短距离，样本被选为下一个聚类中心的概率为p_i，根据p_i值划分为n-1个递增区间，然后在0～1之间随机产生一个数a，a落在哪个区间就选择该区间对应的样本作为下一个聚类中心：

其中p_i是聚类中心的概率，d_i是现有聚类中心最短距离；

(2d3)重复(2d2)，直至选出k个聚类中心，对应的大小为(W_j,H_j),j＝1,2,...k，其中W_j为中心框的宽，H_j为中心框的高；

(2d4)计算每个标签框与中心框的距离，将标签框归为距离最小的那个中心框类：

d＝1-IOU((x_i,y_i,w_i,h_i),(x_i,y_i,W_j,H_j)) <12>

(2d5)重新计算中心框大小：

其中n_j为对应的第j簇中标签框的个数；

(2d6)返回(2d4)重新计算，直至(W_j,H_j)变化趋于0。

4.根据权利要求1所述的特高压环境评价中的航拍小目标识别方法，其特征是：所述步骤3，实现步骤如下：

(3a)将测试集中的样本图像通过窗口网络预处理，通过滑动窗口分割提取含目标物体的切块图像；

(3b)使用训练好的小目标识别网络模型AerialNet中的卷积层对目标区域进行特征提取得到特征图；

(3c)在特征图上计算特征边框的位置坐标，对待检测图像匹配标签框信息，使用卷积滤波器进行预测得到预测边框内的目标类别及预测边框的位置坐标。

Images