CN117218545A - 基于LBP特征与改进Yolov5的雷达图像检测方法 - Google Patents
基于LBP特征与改进Yolov5的雷达图像检测方法 Download PDFInfo
- Publication number
- CN117218545A CN117218545A CN202311259766.7A CN202311259766A CN117218545A CN 117218545 A CN117218545 A CN 117218545A CN 202311259766 A CN202311259766 A CN 202311259766A CN 117218545 A CN117218545 A CN 117218545A
- Authority
- CN
- China
- Prior art keywords
- feature
- lbp
- convolution
- detection method
- upsampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims abstract description 5
- 238000005215 recombination Methods 0.000 claims abstract description 4
- 230000006798 recombination Effects 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 230000008521 reorganization Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 6
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于LBP特征与改进Yolov5的雷达图像检测方法，该方法针对原始SAR图像提取LBP特征，并与原始图像融合后作为训练数据。在Yolov5模型特征提取网络的C3模块中加入可变形卷积，在特征融合金字塔网络模块中使用基于特征的内容感知重组CARAFE算子来对特征图进行上采样、在三个预测特征层进行使用自适应特征融合ASFF增强特征表达。然后利用训练数据进行网络训练，使用训练后的网络进行雷达图像目标检测。本方法为训练数据补充了低层次的纹理信息，降低了在复杂场景中背景的干扰，通过融合低层次的局部纹理特征和深度网络的高层次语义特征，提升了整体的目标检测性能。
Description
技术领域
本发明属于雷达目标检测技术领域，具体涉及一种基于LBP特征与改进Yolov5的雷达图像检测方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种先进的主动式微波传感器，相比于光学、红外、高光谱等其他遥感工具，具有不受光照和气候条件等限制实现全天时、全天候对地观测的特点，被广泛应用于地质勘测、灾害救援、海洋监视等场景。对SAR图像中车辆和舰船目标进行检测具有重要意义，然而SAR图像数据量庞大，人工检测效率较低，基于卷积神经网络的SAR目标检测方法因其强大的特征提取能力、无需过度的人工参与受到越来越多学者的关注。
现有技术中常见的目标检测方法分为YOLO、SSD、RetinaNet等单阶段算法和Faster R-CNN、Cascade R-CNN等双阶段算法，尽管神经网络学习到的特征较为抽象，难以被人类理解，但在目标检测中具有比人类更快的速度和更高的精度。然而随着特征提取的深入，大多数神经网络的输出结果都依赖于高层次的深度抽象特征，而忽略了低层次的纹理特征，导致特征表达的不充分。同时，SAR图像本身存在相干斑噪声，这导致目标边缘不明显，在复杂的场景中杂波强度较高，产生了许多的干扰信息，严重影响检测网络的性能，造成大量的虚警或漏检现象。
发明内容
针对现有技术的不足，本发明提出了基于LBP特征与改进Yolov5的雷达图像检测方法，通过在原图像中融合LBP(Local Binary Pattern,局部二值模式)特征，补充低层次的纹理信息，在Yolov5模型中引入可变形卷积和上采样算子CARAFE，提高检测性能。
基于LBP特征与改进Yolov5的雷达图像检测方法，具体包括以下步骤：
步骤1、收集SAR图像，灰度化处理后裁剪为相同大小的切片。针对每张切片提取其中一个通道图像的LBP特征，然后与其余两个通道图像在通道维度进行拼接融合，得到的新的三通道图像作为训练样本。标注样本中的目标位置，作为训练标签。
所述LBP特征的提取方法为：针对图像中的每个像素点，依次计算其局部LBP特征值VARP,R，得到图像的LBP特征：
其中，R表示该像素点的邻域半径，P表示领域内的采样点数量，gp表示第p个采样点的像素值，p＝0,2,…,P-1。
步骤2、构建一个Yolov5，然后在骨干网络(backone)的C3模块中将Bottleneck的第二个卷积替换为可变形卷积DCN，在特征金字塔中，使用上采样算子CARAFE进行特征上采样，最后在头部结构(head)的三个预测特征层中使用自适应特征融合ASFF模块增强特征表达，得到改进的Yolov5模型。
步骤3、将步骤1所得的训练样本输入步骤2构建的改进的Yolov5模型中，根据模型输出计算边界框回归损失，优化模型参数。
步骤4、针对待检测SAR图像，按照步骤1的方式提取LBP特征并融合，然后输入步骤3训练后的模型中，得到SAR图像中的目标位置。
本发明具有以下有益效果：
1、本方法引入SAR图像的LBP特征，补充了低层次的纹理信息，降低了在复杂场景中背景的干扰，为网络的输入数据提供了更多有帮助的信息，降低了误检的可能，提高了算法的检测性能。
2、本发明通过融入可变形卷积来提高特征提取能力，让模型可以拟合目标多尺度形变，降低背景的干扰，在复杂的场景中，更容易将目标和背景分离开来；使用CARAFE上采样算子，基于特征的内容感知重组来对特征图进行上采样，使特征包含更丰富的语义信息；使用自适应特征融合ASFF对预测特征层进行自适应融合，使得特征表达更加完整，进一步充分利用CARAFE上采样算子得到的语义信息，从而获得更好的SAR目标检测性能。
附图说明
图1为实施例中基于LBP特征与改进Yolov5的雷达图像检测方法流程图；
图2为实施例中提取LBP特征的采样点示意图；
图3为实施例中提取的LBP特征图；
图4为实施例中构建的改进的Yolov5模型；
图5为实施例中改进后的C3模块的示意图；
图6为可变性卷积DCN的示意图；
图7为上采样算子CARAFE的示意图；
图8为自适应特征融合ASFF模块示意图；
图9为实施例中多种方案的检测结果对比图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
基于LBP特征与改进Yolov5的雷达图像检测方法，如图1所示，具体包括以下步骤：
步骤1、MiniSAR数据集选取9幅图像，以重叠滑窗的方式裁剪成300×300大小的切片，共计1171张，作为原始的训练集A。然后针对原始训练集A中的每张切片进行灰度化处理，提取其第一个通道图像的LBP特征，与其余两个通道图像在通道维度进行拼接融合，得到的新的三通道图像作为训练样本，标注样本中的目标位置，作为训练标签，得到新的训练集A’。从MiniSAR数据集选取3幅图像，按照同样的方式得到293张切片作为原始测试集B，再经过LBP特征提取与融合后，标注目标位置，得到新的测试集B’。
如图2所示，针对原始SAR图像切片中的每个像素点，依次在其半径为2的领域内采集16个采样点的，计算这16个采样点的像素值的方差VARP,R，作为该像素点的LBP特征值：
其中，R表示该像素点的邻域半径，P表示领域内的采样点数量，gp表示第p个采样点的像素值，p＝0,2,…,P-1。
遍历每个像素点，计算其LBP特征值，从而获得原始SAR图像切片对应的LBP特征图，如图3所示，将其中每个像素点的LBP特征值缩放至[0,225]这个区间内，并与原始SAR图像切片另外两个通道图像在通道维度拼接融合，形成新的三通道图像，即得到新的训练样本与测试样本。
步骤2、构建一个Yolov5，然后在骨干网络(backone)的C3模块中将Bottleneck的第二个卷积替换为可变形卷积DCN，在特征金字塔中，使用上采样算子CARAFE进行特征上采样，最后在头部结构(head)的三个预测特征层中使用自适应特征融合ASFF模块增强特征表达，得到改进的Yolov5模型，如图4所示。
步骤2.1、Yolov5中的C3模块包括3个Conv模块和1个Bottleneck模块，Bottleneck模块包括两个连续的卷积和一个残差连接，本方法将Bottleneck的第二个卷积替换为可变形卷积DCN，如图5所示。
所述可变形卷积DCN首先对输入特征图进行一次卷积操作，得到一组卷积核偏移的特征图，这个偏移的特征图尺寸和输入特征图的尺寸相同，通道数为3N，其中N为卷积核的像素个数，3表示卷积核在x轴、y轴方向上的偏移量(x,y)以及偏移量(x,y)的权重参数△m。如图6所示，输入特征图x中初始位置为p0的像素点x(p0)经过可变形卷积后的输出为：
其中，w为卷积核的权重参数，Z表示为卷积区域，Z＝{(-1,-1),(-1,0),....,(0,1),(1,1)}，其中(-1,-1)表示距离x(p0)左方和下方一个单位长度的位置，(1,1)表示距离x(p0)右方和上方一个单位长度的位置。Δpn为可学习偏移量参数，△m∈[0,1]。
步骤2.2、如图7所示，上采样算子CARAFE基于特征的内容感知重组对特征图进行上采样操作，包括上采样核预测模块和特征重组模块。
所述上采样核预测模块包括通道压缩、内容编码与上采样核预测、上采样核归一化三部分。对于大小为H×W×C的输入特征图，上采样核预测模块首先通过1×1的卷积将其通道数由C压缩至Cm，以减小后续的计算量。然后使用输入通道数为Cm、输出通道数为大小为3的卷积进行内容编码，之后使用像素混洗操作，将通道维在空间维展开，得到形状为/>的上采样核。最后对上采样核使用SoftMax进行归一化，完成上采样核预测。
所述特征重组模块输出大小为σH×σW×C的输出特征图。对于输出特征图中的每个位置l'＝(i',j')，将其Kup×Kup大小的邻域与其对应的上采样核进行点积运算，映射回原特征图l＝(i,j)中，i＝i'/σ,j＝j'/σ。
在本实施例中，设置Cm＝64、上采样倍率σ＝2、上采样核尺寸Kup＝5。
步骤2.3、如图8所示，针对头部结构预测特征层中三个不同层级的特征图，依次在各自的层级与其他两个层级的特征图进行加权求和，使得特征表达更加完整，如图8所示：
其中表示第l个层级的融合结果，l＝1,2,3。/>分别表示来自第1～3层级的特征，是由/>经过上采样或下采样后经过1×1卷积得到的与第l层级特征图大小相同、通道数相同的特征图。/>表示对应的融合空间权重，由网络自动训练得到，从而实现自适应的特征融合，且/>
步骤3、将步骤1所得的新训练集中的样本输入步骤2构建的改进的Yolov5模型中，进行网络训练。本实施例使用的软件平台为WIN10操作系统和Pytorch1.8.1，硬件配置为i9-13900K CPU和NVIDIA GeForce RTX 3090GPU。设置训练轮数为300，batch-size为64，采用CIOU Loss作为边界框回归的损失函数，使用随机梯度下降SGD优化器实现模型参数优化，学习率lr设置为0.001，IOU阈值设置为0.5。
所述CIOU Loss损失函数为：
其中，A∩B为A边界框与B边界框的交集面积，A∪B为并集面积。wA和hA分别表示边界框A的宽度与高度，wB和hB分别表示边界框B的宽度与高度，ρ2(A,B)为两个框中心点的距离，c为两个边界框的对角线长度。
步骤4、将新测试集B’中的样本输入步骤3训练后的模型中，比较模型输出的预测结果与标签，计算模型性能指标：
其中，TP表示实际正类被预测为正类的数量；FP表示实际负类被预测为正类的数量；FN表示实际正类被预测为负类的数量；P(R)表示Precision-Recall曲线。
为验证本方法的有效性，在本实施例中选取了单阶段目标检测算法YOLOV3、RetinaNet、SSD，以及双阶段目标检测算法Faster-RCNN、Cascade-RCNN、Grid-RCNN以及Libra-RCNN进行了对比实验，测试参数置信度阈值设为0.5，IOU阈值设为0.5。对比算法基于MMDetection工具实现，网络结构如表1所示：
表1
将检测结果可视化到了测试图像上，如图9所示，其中实线矩形框表示检测正确的目标，虚线矩形框为虚警，圆圈为漏检。具体的性能指标比较结果如表2所示：
表2
从表2的数据可以看出，本方法的Precision、mAP、F1数值都达到了最优。从图9的检测结果也可以看出，Cascade-RCNN、Libra-RCNN、Grid-RCNN、Libra-RCNN、RetinaNet这五种方法都造成了大量的虚警，YOLOV3虚警相对较少，但存在漏检。而本方法的虚警数量为3个，远小于其他方案，同时不存在漏检目标，说明本方法有效提高了SAR图像的检测性能。
Claims (9)
1.基于LBP特征与改进Yolov5的雷达图像检测方法，其特征在于：该方法具体包括以下步骤：
步骤1、收集SAR图像，灰度化处理后裁剪为相同大小的切片；针对每张切片提取其中一个通道图像的LBP特征，然后与其余两个通道图像在通道维度进行拼接融合，得到的新的三通道图像作为训练样本；标注样本中的目标位置，作为训练标签；
步骤2、构建一个Yolov5，然后在骨干网络的C3模块中将Bottleneck的第二个卷积替换为可变形卷积DCN；在特征金字塔中，使用上采样算子CARAFE进行特征上采样，最后在头部结构的三个预测特征层中使用自适应特征融合ASFF模块，得到改进的Yolov5模型；
步骤3、将步骤1所得的训练样本输入步骤2构建的改进的Yolov5模型中，根据模型输出计算边界框回归损失，优化模型参数；
步骤4、针对待检测SAR图像，按照步骤1的方式提取LBP特征并融合，然后输入步骤3训练后的模型中，得到SAR图像中的目标位置。
2.如权利要求1所述基于LBP特征与改进Yolov5的雷达图像检测方法，其特征在于：针对图像中的每个像素点，依次计算其局部LBP特征值VARP,R，得整个图像的LBP特征：
其中，R表示该像素点的邻域半径，P表示领域内的采样点数量，gp表示第p个采样点的像素值，p＝0,2,…,P-1。
3.如权利要求2所述基于LBP特征与改进Yolov5的雷达图像检测方法，其特征在于：设置邻域半径R＝2，采样点数量P＝16。
4.如权利要求1所述基于LBP特征与改进Yolov5的雷达图像检测方法，其特征在于：所述可变形卷积DCN首先对输入特征图进行一次卷积操作，输入特征图中初始位置为p0的像素点x(p0)经过可变形卷积后的输出为：
其中，w为卷积核的权重参数，Z表示为卷积区域；Δpn为可学习的偏移量参数，△m表示卷积核偏移量的权重参数，△m∈[0,1]。
5.如权利要求1所述基于LBP特征与改进Yolov5的雷达图像检测方法，其特征在于：所述上采样算子CARAFE包括上采样核预测模块和特征重组模块；
所述上采样核预测模块对于大小为H×W×C的输入特征图，首先通过1×1的卷积将其通道数由C压缩至Cm，然后使用输入通道数为Cm、输出通道数为大小为3的卷积进行内容编码，之后使用像素混洗操作，将通道维在空间维展开，得到形状为/>的上采样核；最后对上采样核使用SoftMax进行归一化，完成上采样核预测；
所述特征重组模块输出大小为σH×σW×C的输出特征图，对于输出特征图中的每个位置l'＝(i',j')，将其Kup×Kup大小的邻域与其对应的上采样核进行点积运算，映射回原特征图l＝(i,j)中，i＝i'/σ,j＝j'/σ。
6.如权利要求5所述基于LBP特征与改进Yolov5的雷达图像检测方法，其特征在于：设置Cm＝64、上采样倍率σ＝2、上采样核尺寸Kup＝5。
7.如权利要求1所述基于LBP特征与改进Yolov5的雷达图像检测方法，其特征在于：所述自适应特征融合ASFF模块针对头部结构预测特征层中三个不同层级的特征图，依次在各自的层级与其他两个层级的特征图进行加权求和：
其中表示第l个层级的融合结果，l＝1,2,3；/>分别表示来自第1～3层级的特征，是由/>经过上采样或下采样后经过1×1卷积得到的与第l层级特征图大小相同、通道数相同的特征图；/>表示对应的融合空间权重，由网络自动训练得到，/>
8.如权利要求1所述基于LBP特征与改进Yolov5的雷达图像检测方法，其特征在于：在步骤3中，设置训练轮数为300，batch-size为64，采用CIOU Loss作为边界框回归的损失函数，使用随机梯度下降SGD优化器实现模型参数优化，学习率lr设置为0.001，IOU阈值设置为0.5。
9.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1～8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311259766.7A CN117218545A (zh) | 2023-09-27 | 2023-09-27 | 基于LBP特征与改进Yolov5的雷达图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311259766.7A CN117218545A (zh) | 2023-09-27 | 2023-09-27 | 基于LBP特征与改进Yolov5的雷达图像检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218545A true CN117218545A (zh) | 2023-12-12 |
Family
ID=89048010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311259766.7A Pending CN117218545A (zh) | 2023-09-27 | 2023-09-27 | 基于LBP特征与改进Yolov5的雷达图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218545A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576487A (zh) * | 2024-01-16 | 2024-02-20 | 天博电子信息科技有限公司 | 一种基于可变形卷积的探地雷达空洞目标智能识别方法 |
-
2023
- 2023-09-27 CN CN202311259766.7A patent/CN117218545A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576487A (zh) * | 2024-01-16 | 2024-02-20 | 天博电子信息科技有限公司 | 一种基于可变形卷积的探地雷达空洞目标智能识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN113011319A (zh) | 多尺度火灾目标识别方法及系统 | |
| CN111709416B (zh) | 车牌定位方法、装置、系统及存储介质 | |
| CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
| CN113850242B (zh) | 一种基于深度学习算法的仓储异常目标检测方法及系统 | |
| CN112597815A (zh) | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 | |
| CN109101897A (zh) | 水下机器人的目标检测方法、系统及相关设备 | |
| CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
| CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
| CN109919223B (zh) | 基于深度神经网络的目标检测方法及装置 | |
| CN111898432A (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN117218545A (zh) | 基于LBP特征与改进Yolov5的雷达图像检测方法 | |
| CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
| CN113160117A (zh) | 一种自动驾驶场景下的三维点云目标检测方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN115527050A (zh) | 图像特征匹配方法、计算机设备和可读存储介质 | |
| CN111597875A (zh) | 一种交通标志识别方法、装置、设备及存储介质 | |
| CN116453033A (zh) | 一种视频监控场景下高精度低算量的人群密度估计方法 | |
| CN117671480A (zh) | 基于视觉大模型的滑坡自动识别方法、系统和计算机设备 | |
| CN116935249A (zh) | 一种无人机场景下三维特征增强的小目标检测方法 | |
| CN115761552A (zh) | 面向无人机机载平台的目标检测方法、系统、设备及介质 | |
| CN116363610A (zh) | 一种基于改进YOLOv5的航拍车辆旋转目标检测方法 | |
| CN115100457A (zh) | 一种联合深度学习与cfar的sar图像目标检测方法 | |
| CN113781475A (zh) | 热红外图像显著人体目标检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |