CN115937703A

CN115937703A - 一种用于遥感图像目标检测的增强特征提取方法

Info

Publication number: CN115937703A
Application number: CN202211523308.5A
Authority: CN
Inventors: 业巧林; 王超; 金星; 范习健; 高德民
Original assignee: Nanjing Forestry University
Current assignee: Nanjing Forestry University
Priority date: 2022-11-30
Filing date: 2022-11-30
Publication date: 2023-04-07
Anticipated expiration: 2042-11-30
Also published as: CN115937703B

Abstract

本发明公开了一种用于遥感图像目标检测的增强特征提取方法，涉及图像识别领域，包括以下步骤：S1、获取图片，标注数据，配置YOLOV4网络运行环境；S2、改进网络，添加新模型，划分识别区域，配置权重并选择合适的样本进入网络训练；S3、改进网络中特征识别部分，替换特征检测模块，引入新的注意力模块；S4、改进损失函数；S5、消融实验检验改进点，控制变量法检验改进网络的有效性。本发明通过改进识别网络和检测模块，引入新注意力模块和改进损失函数，解决了小目标检测精度低问题，提高了对遥感图像中小目标的检测效果，使得检测更加准确。

Description

一种用于遥感图像目标检测的增强特征提取方法

技术领域

本发明涉及图像识别领域，具体为一种用于遥感图像目标检测的增强特征提取方法。

背景技术

遥感图像是指记录各地物电磁波大小的胶片或者照片，遥感图像在日常生活中越来越常见，基于深度学习的遥感图像分析已经成为当前研究的热点之一；

图像增强是改善图像视觉效果的处理，对目的图像数据进行加工，可以提高图像的可判读性；对图像进行变换，突出其具有代表性的特征的方法，叫做特征提取，现有的遥感图像分析能够有效识别物体，早期的一些工作提取特征，即Faster-RCNN、SSD和YOLOv5，取得了一定成功，但是，由于小物体本身包含的信息少，且存在明显的位置偏差，对于遥感图像来说，很难有效地检测小物体。

现本发明提供一种用于遥感图像目标检测的增强特征提取方法来有效提高小目标检测的性能。

发明内容

本发明的目的在于提供一种用于遥感图像目标检测的增强特征提取方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种用于遥感图像目标检测的增强特征提取方法，该增强特征提取方法包括以下步骤：

S1、获取图片，标注数据，配置YOLOV4网络运行环境；

S2、改进网络结构，添加新模型，划分识别区域，配置权重并选择合适的样本进入网络训练；

S3、改进网络中特征识别部分，替换特征检测模块，引入新的注意力模块；

S4、改进损失函数；

S5、消融实验检验改进点，控制变量法检验改进网络的有效性。

根据上述技术方案，在步骤S1中，对采集的遥感视频进行抽帧提取，每隔n秒抽取一帧作为处理用图像，得到图像数据，并对图像进行初次筛选，将不含目标物的图像去除，取出含有较多目标物有效信息的的图像，利用标注软件对图像进行标注，每张图像生成对应的标注文件，对应每张图像，标注文件应进行同名命名处理，其中VOC标签格式保存为xml文件，yolo标签格式保存为txt文件，createML标签格式保存为json文件；生成img文件夹存放图片，生成label文件夹存放标注文件，标注文件用于存储关键信息，存储对应图像的对象类别、对象坐标、标注框位置、图像的高度和宽度，以便后期进行特征提取；配置YOLOV4网络运行环境，YOLOV4算法从数据处理、主干网络、网络训练、激活函数和损失函数进行了不同程度的优化，开发了一个高效的模型，可以用来训练一个快速且精准的目标检测器；将网络运行所需要的包导入到运行环境中，对网络进行预训练，通过一个数据集上训练好的卷积神经网络进行训练，得到一个训练权重，计算网络的mAP精度，TP表示预测与真实标注框保持一致的情况，FP表示预测与真实标注框不符合的情况，通过计算mAP精度验证环境配置是否成功，通过预训练，使得该网络可以正常的训练预测标注得到的图片。

根据上述技术方案，在步骤S2中，对YOLOV4网络结构进行改进；在YOLOV4网络的主干特征提取部分添加RFBA模块，RFB模块由多分支卷积层以及膨胀卷积层组成，不同感受野具备不同的离心率，使用膨胀卷积核，不同膨胀比例对应不同尺寸的空洞，膨胀比例越大，空洞尺寸越大，采样点离中心点越远，感受野就越大，将不同尺寸和膨胀比例的卷积层输出连接concat，达到融合不同特征，由于每层的感受野是固定的，扩大感受野会损失一些信息，失去对不同视野的分辨能力，RFBA模块通过将原始RFB模块中的膨胀卷积替换为普通卷积来实现，来保证信息尽可能不被丢失；划分不同的识别区域，将图像大小调整为原始网络输入图像大小的倍数，根据原始网络输入图像的大小，划分为若干识别区域A₁，A₂，A₃···A_i···A_n；A_i标识第i个划分域，对划分区域进行标识分类，若划分过程中处于边界上的物体被划分到两个不同的识别区域A_i和A_i+1中，导致划分域中的目标物体不完整，则删除这些包含不完整目标物体的划分域，并在划分中点处添加一个新的检测域，解决了图像大小调整导致的信息丢失问题，并且该划分方法完整保留来了目标物体的信息；根据当前图像块中是否存在识别目标物和领域图像块中是否存在识别目标物来计算权重，若当前图像块不存在识别目标物且领域图像块内也不存在，则当前图像块是冗余图像块，去除冗余图像块；若当前图像块不存在目标，则根据领域内是否存在目标物为其设置权重；若当前图像块存在目标物，则该图像块是重要的识别域；权重公式为W_i＝n+(n_ileft+n_iright+n_iup+n_idown)*γ，W_i表示第i个图像块的权重，n表示当前图像块中目标物的数量，n_ileft、n_iright、n_iup和n_idown表示当前图像块领域中的目标物的数量，γ是超参数，用于对网络调优；根据权重选择合适样本进入网络训练。

根据上述技术方案，在步骤S3中，改进网络中特征识别部分，将网络中的特征检测模块替换为RFB模块，以扩大网络的感受野，获取多尺度信息；将RFB模块中的空洞卷积替换为普通卷积，保留信息的连续性，进一步保留物体的特征，在特征融合时引入CBAM注意力模块，CBAM注意力模块混合注意力通道和空间注意力，序列化地在通道和空间两个维度上产生注意力特征图信息，特征图先进入注意力通道，基于特征图的宽和高进行开源数学运算库的运算，计算得到通道的注意力权重，然后通过Sigmoid函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，完成通道注意力对原始特征的重新标定，两种特征图信息在之前原输入特征图上进行相乘进行自适应特征修正，产生最后的特征图，达到减少网络中的参数量使得网络更加关注目标物体的效果。

根据上述技术方案，在步骤S4中，改进损失函数，替换原有的损失函数，新的损失函数更加有效来解决位置的偏差问题；原损失函数为其中IOU是一种测量在特定数据集中检测相应物体准确度的一个标准，w_gti和h_gti表示真实框的宽和高，x_gti和y_gti表示真实框中心点的坐标，w_i和h_i表示预测框的宽和高，x_i和y_i表示预测框中心点的坐标；代表了预测框和真实框的中心点的欧式距离；v用来度量长宽比的相似性，α表示权重函数，现替换为新损失函数GKCLOSS＝KL_distance+CIOU；其中

p(x)表示预测框的高斯分布函数，q(x)表示真实框的高斯分布函数，E_p代表的数学期望。

根据上述技术方案，在步骤S5中，通过消融实验检验三个改进点：

S501：运行原YOLOV4网络，计算mAP精度；

S502：在原YOLOV4网络上改进RFB模块，替换为RFBA模块，计算mAP精度；

S503：在S502基础上，改进损失函数，替换为GCKLoss函数，计算mAP精度；

S504：在S503基础上，引入新的划分机制，计算mAP精度；

通过控制变量法，对比不同网络在数据集上的变现效果来验证网络改进的有效性，实验采用windows系统，设置迭代次数z，前m次迭代次数初始学习率设置为a，后n次迭代次数初始学习率为b，初始参数设置一致，运行SSD、yolov5、yolov7、Faster RCNN等网络并比对效果；通过在网络的不同特征层添加已改进的RFB模块，将模块中的空洞卷积替换为普通卷积，

并将最后一层改写为CBAM注意力机制，运行相同的网络结构并比对效果；

只替换原有的损失函数，运行相同的网络并对比效果；

与现有技术相比，本发明的有益效果是：

1.本发明通过改进网络结构，利用不同大小的卷积核扩展了网络的接收域，保护了信息的连续性和有效性，通过引进新的分割机制来改进数据预处理过程，解决了图像大小调整导致的信息丢失问题，最大程度保留了目标物的信息，减少了无效信息的冗余计算，并通过设置多个检测域，精准划分，选择了最合适的样本进入网络训练。

2.本发明通过改进网络中的特征识别部分，扩大了网络的感受野，进一步保留了物体的特征，引入了新的注意力机制，使得网络更加关注重点特征，突出了有效信息。

3.本发明通过改进损失函数公式，更加精准地计算了预测与实际数据的差距程度,有效缓解了小物体对位置变化敏感的问题，对小物体检测更有效。

4.本发明通过设置消融实验，检验了三个改进点的实际效果，验证了该方法的实际效果。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一种用于遥感图像目标检测的特征增强提取方法的步骤示意图；

图2为本发明一种用于遥感图像目标检测的特征增强提取方法的注意力机制图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1～图2所示，本发明提供如下技术方案：一种用于遥感图像目标检测的增强特征提取方法，该增强特征提取方法包括以下步骤：

S1、获取图片，标注数据，配置YOLOV4网络运行环境；

S2、改进网络结构，添加新模型，划分识别区域配置权重并选择合适的样本进入网络训练；

S4、改进损失函数；

对采集的遥感视频进行抽帧提取，每隔n秒抽取一帧作为处理用图像，得到图像数据，并对图像进行初次筛选，将不含目标物的图像去除，取出含有较多目标物有效信息的的图像，利用标注软件对图像进行标注，每张图像生成对应的标注文件，对应每张图像，标注文件应进行同名命名处理，其中VOC标签格式保存为xml文件，yolo标签格式保存为txt文件，createML标签格式保存为json文件；生成img文件夹存放图片，生成label文件夹存放标注文件，标注文件用于存储关键信息，存储对应图像的对象类别、对象坐标、标注框位置、图像的高度和宽度，以便后期进行特征提取；配置YOLOV4网络运行环境；将网络运行所需要的包导入到运行环境中，对网络进行预训练，通过一个数据集上训练好的卷

表示预测与真实标注框保持一致的情况，FP表示预测与真实标注框不符合的情况，通过计算mAP精度可以验证环境配置是否成功，通过预训练，使得该网络可以正常的训练预测标注得到的图片。

在步骤S2中，对YOLOV4网络结构进行改进；在YOLOV4网络的主干特征提取部分添加RFBA模块，RFB模块由多分支卷积层以及膨胀卷积层组成，不同感受野具备不同的离心率，使用膨胀卷积核，不同膨胀比例对应不同尺寸的空洞，膨胀比例越大，空洞尺寸越大，采样点离中心点越远，感受野就越大，将不同尺寸和膨胀比例的卷积层输出连接concat，达到融合不同特征，由于每层的感受野是固定的，扩大感受野会损失一些信息，失去对不同视野的分辨能力，RFBA模块通过将原始RFB模块中的膨胀卷积替换为普通卷积来实现，来保证信息不被丢失；划分不同的识别区域，将图像大小调整为原始网络输入图像大小的倍数，根据原始网络输入图像的大小，划分为若干识别区域A₁，A₂，A₃···A_i···A_n；A_i标识第i个划分域，对划分区域进行标识分类，若划分过程中处于边界上的物体被划分到两个不同的识别区域A_i和A_i+1中，导致划分域中的目标物体不完整，则删除这些包含不完整目标物体的划分域，并在划分中点处添加一个新的检测域；根据当前图像块中是否存在识别目标物和领域图像块中是否存在识别目标物来计算权重，若当前图像块不存在识别目标物且领域图像块内也不存在，则当前图像块是冗余图像块，去除冗余图像块；若当前图像块不存在目标，则根据领域内是否存在目标物为其设置权重；若当前图像块存在目标物，则该图像块是重要的识别域；权重公式为W_i＝n+(n_ileft+n_iright+n_iup+n_idown)*γ，W_i表示第i个图像块的权重，n表示当前图像块中目标物的数量，n_ileft、n_iright、n_iup和n_idown表示当前图像块领域中的目标物的数量，γ是超参数；根据权重选择合适样本进入网络训练。

在步骤S3中，改进网络中特征识别部分，将网络中的特征检测模块替换为RFB模块，以扩大网络的感受野，获取多尺度信息；将RFB模块中的空洞卷积替换为普通卷积，保留信息的连续性，进一步保留物体的特征，在特征融合时引入CBAM注意力模块，CBAM注意力模块混合注意力通道和空间注意力，序列化地在通道和空间两个维度上产生注意力特征图信息，特征图先进入注意力通道，基于特征图的宽和高进行开源数学运算库的运算，计算得到通道的注意力权重，然后通过Sigmoid函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，完成通道注意力对原始特征的重新标定，两种特征图信息在之前原输入特征图上进行相乘进行自适应特征修正，产生最后的特征图，提取重要信息，减少网络中的参数量使得网络更加关注目标物体。

在步骤S4中，改进损失函数，替换原有的损失函数，原损失函数为其中IOU是一种测量在特定数据集中检测相应物体准确度的一个标准，w_gti和h_gti表示真实框的宽和高，x_gti和y_gti表示真实框中心点的坐标，w_i和h_i表示预测框的宽和高，x_i和y_i表示预测框中心点的坐标；代表了预测框和真实框的中心点的欧式距离；v用来度量长宽比的相似性， α表示权重函数，现替换为新损失函数GKCLOSS＝KL_distance+CIOU；其中 p(x)表示预测框的高斯分布函数，q(x)表示真实框的高斯分布函数，E_p代表的数学期望。

在步骤S5中，通过消融实验检验三个改进点；

S501：运行原YOLOV4网络，计算mAP精度；

S504：在S503基础上，引入新的划分机制，计算mAP精度；

只替换原有的损失函数，运行相同的网络并对比效果；

实施例一：

在数据增强部分对网络做出改进，去除网络中原有的调整图片大小的模块，改为区域划分块，将图片划分为多个检测区域，改变相应的标注框，将一张图划分为多个待训练的样本，按照权重分配公式W_i＝n+(n_ileft+n_iright+n_iup+n_idown)*γ，给样本配置权重；将1920*1080大小的图像进行裁剪，获取目标物所在区域，去除冗余区域，得到1664*832大小的图像，按照划分原则，根据权重分配公式计算每块样本的权重，选取进入网络中训练的样本。

将该图像划分为4块416*416大小的待训练样本＝对应的样本内目标物数量为

计算A₁样本的权重W₁＝1+(0+0+0+4)*0.7＝3.8；

计算A₂样本的权重W₂＝0+(1+0+0+2)*0.7＝2.1；

计算A₃样本的权重W₃＝4+(1+0+0+2)*0.7＝6.1；

计算A₄样本的权重W₄＝2+(0+0+0+4)*0.7＝4.4；

A₃样本权重最高，具有最大的训练价值；

实施例二：

通过对网络做出改进来提高遥感图像中小目标的检测效果，在网络的416*416、208*208、104*104、56*56的特征层中添加已经改进的RFB模块，即RFBA模块，将模块中的空洞卷积替换为普通卷积，并且将最后一层改写为CBAM注意力机制，运行现有的网络结构并对比；

经过RFBA模块，将卷积替换后，mAP从37.24％提升到37.81％；

实施例三：

采用控制变量法验证改进网络的有效性；采用Windows系统，设置迭代次数为300，前150个迭代次数初始学习值为0.0001，后150个迭代次数初始学习值为0.001，保证参数一致后，运行SSD、YOLOv5、YOLOv7、Faster RCNN等网络,mAP精度如下：

可见，改进后的网络mAP精度提升较大，检测效果更好。

Claims

1.一种用于遥感图像目标检测的增强特征提取方法，其特征在于：该目标检测的增强特征提取方法包括以下步骤：

S1、获取图片，标注数据，配置YOLOV4网络运行环境；

S4、改进损失函数；

2.根据权利要求1所述的一种用于遥感图像目标检测的增强特征提取方法，其特征在于：在步骤S1中，对采集的遥感视频进行抽帧提取，每隔n秒抽取一帧作为处理用图像，得到图像数据，并对图像进行初次筛选，将不含目标物的图像去除，取出含有较多目标物有效信息的的图像，利用标注软件对图像进行标注，每张图像生成对应的标注文件，对应每张图像，标注文件应进行同名命名处理，其中VOC标签格式保存为xml文件，yolo标签格式保存为txt文件，createML标签格式保存为json文件；生成img文件夹存放图片，生成label文件夹存放标注文件，标注文件用于存储关键信息，存储对应图像的对象类别、对象坐标、标注框位置、图像的高度和宽度；配置YOLOV4网络运行环境；将网络运行所需要的包导入到运行环境中，对网络进行预训练，通过一个数据集上训练好的卷积神经网络进行训练，得到一个训练权重，计算网络的mAP精度，

其中TP表示预测与真实标注框保持一致的情况，FP表示预测与真实标注框不符合的情况。

3.根据权利要求2所述的一种用于遥感图像目标检测的增强特征提取方法，其特征在于：在步骤S2中，对YOLOV4网络结构进行改进；在YOLOV4网络的主干特征提取部分添加RFBA模块，RFB模块由多分支卷积层以及膨胀卷积层组成，使用膨胀卷积核，不同膨胀比例对应不同尺寸的空洞，将不同尺寸和膨胀比例的卷积层输出连接concat，融合不同特征，现RFBA模块将原始RFB模块中的膨胀卷积替换为普通卷积；划分不同的识别区域，将图像大小调整为原始网络输入图像大小的倍数，根据原始网络输入图像的大小，划分为若干识别区域A₁，A₂，A₃…A_i…A_n；A_i标识第i个划分域，对划分区域进行标识分类，若划分过程中处于边界上的物体被划分到两个不同的识别区域A_i和A_i+1中，导致划分域中的目标物体不完整，则删除这些包含不完整目标物体的划分域，并在划分中点处添加一个新的检测域；根据当前图像块中是否存在识别目标物和领域图像块中是否存在识别目标物来计算权重，若当前图像块不存在识别目标物且领域图像块内也不存在，则当前图像块是冗余图像块，去除冗余图像块；若当前图像块不存在目标，则根据领域内是否存在目标物为其设置权重；若当前图像块存在目标物，则该图像块是重要的识别域；权重公式为W_i＝n+(n_ileft+n_iright+n_iup+n_idown)*γ，W_i表示第i个图像块的权重，n表示当前图像块中目标物的数量，n_ileft、n_iright、n_iup和n_idown表示当前图像块领域中的目标物的数量，γ是超参数；根据权重选择合适样本进入网络训练。

4.根据权利要求3所述的一种用于遥感图像目标检测的增强特征提取方法，其特征在于：在步骤S3中，改进网络中特征识别部分，将网络中的特征检测模块替换为RFB模块，扩大网络的感受野；将RFB模块中的空洞卷积替换为普通卷积，在特征融合时引入CBAM注意力模块，CBAM注意力模块混合注意力通道和空间注意力，序列化地在通道和空间两个维度上产生注意力特征图信息，特征图先进入注意力通道，基于特征图的宽和高进行开源数学运算库的运算，计算得到通道的注意力权重，然后通过Sigmoid函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，重新标定通道对原始特征的注意力，两种特征图信息在之前原输入特征图上进行相乘进行自适应特征修正，产生最后的特征图。

5.根据权利要求4所述的一种用于遥感图像目标检测的增强特征提取方法，其特征在于：在步骤S4中，改进损失函数，替换原有的损失函数，现替换为新损失函数GKCLOSS＝KL_distance+CIOU；其中

p(x)表示预测框的高斯分布函数，q(x)表示真实框的高斯分布函数，E_p代表

的数学期望。

6.根据权利要求5所述的一种用于遥感图像目标检测的增强特征提取方法，其特征在于：在步骤S5中，通过消融实验检验三个改进点：S501：运行原YOLOV4网络，计算mAP精度；S502：在原YOLOV4网络上改进RFB模块，替换为RFBA模块，计算mAP精度；S503：在S502基础上，改进损失函数，替换为GCKLoss函数，计算mAP精度；S504：在S503基础上，引入新的划分机制，计算mAP精度；通过控制变量法来验证网络改进的有效性，实验采用windows系统，设置迭代次数z，前m次迭代次数初始学习率设置为a，后n次迭代次数初始学习率为b，初始参数设置一致，运行SSD、yolov5、yolov7、Faster RCNN等网络并比对效果；通过在网络的不同特征层添加已改进的RFB模块，将模块中的空洞卷积替换为普通卷积，并将最后一层改写为CBAM注意力机制，运行相同的网络结构并比对效果；只替换原有的损失函数，运行相同的网络并对比效果。