CN117115690A - 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 - Google Patents
一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 Download PDFInfo
- Publication number
- CN117115690A CN117115690A CN202311112136.7A CN202311112136A CN117115690A CN 117115690 A CN117115690 A CN 117115690A CN 202311112136 A CN202311112136 A CN 202311112136A CN 117115690 A CN117115690 A CN 117115690A
- Authority
- CN
- China
- Prior art keywords
- feature
- unmanned aerial
- aerial vehicle
- target detection
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 claims description 5
- 241000282326 Felis catus Species 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000010485 coping Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000003121 nonmonotonic effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域，且公开了一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统，包括如下步骤：S1、无人机采集交通目标图像得到数据集；S2、数据集送入模型中进行训练，构建DCSP主干网络提取图像特征；S3、进一步增强特征；S4、SPAN网络融合各个尺度特征图的信息；S5、预测网络输出目标类型和位置信息，引入了Wise‑IOU方法，使用动态非单调聚焦机制计算边界框损失，降低了低质量数据集标注对训练的影响，增强了检测方法的泛化能力，将融合后的特征图输入到预测网络中，得到最终的目标类型和位置信息，能够克服无人机拍摄目标变形、模糊、尺度小的问题，提升无人机对交通目标的检测精度。
Description
技术领域
本发明涉及计算机视觉技术领域，具体为一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统。
背景技术
随着城市化进程的不断加速和交通体系的不断完善，人们越来越需要智能交通系统来解决交通拥堵、交通安全、环保等问题。而在智能交通系统中，无人机技术的应用受到越来越多的关注和研究。无人机技术在智能交通领域的应用，包括了交通监测、道路巡检、应急救援、智能配送等多个方面。无人机可以搭载高清摄像头、激光雷达、GPS等多种传感器，进行交通流量监测、道路交通事故图像采集、交通建设规划等工作，为城市交通管理和规划提供重要数据支持。
然而，无人机在智能交通领域中的应用也存在一些挑战。一个重要的问题就是无人机目标检测技术的不足。在智能交通场景中，无人机常常需要对大面积区域进行目标检测，发现行人、车辆、障碍物等目标。然而无人机拍摄图像整体分辨率高，但占比较高的小尺度目标检测特征点稀少，容易出现漏检或将多个目标检测为同一个。此外，无人机自身运动导致图像尺度、视角易变，给目标检测带来了较大困难，为此，提出一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统。
发明内容
本发明的目的在于提供一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习和浅层特征增强的无人机交通目标检测方法，包括如下步骤：
S1、无人机采集交通目标图像得到数据集；
S2、数据集送入模型中进行训练，构建DCSP主干网络提取图像特征；
S3、进一步增强特征；
S4、SPAN网络融合各个尺度特征图的信息；
S5、预测网络输出目标类型和位置信息。
作为优选，上述在S2中，将数据集送入模型中进行训练，通过构建DCSP主干网络提取图像特征，获得5组不同尺寸的特征图，包含以下步骤：
S201、对输入图片尺寸进行统一，对图像像素做归一化操作，并按照CHW的顺序进行排布，通过包含2D卷积、Batch Norm归一化和SiLU激活函数的Conv块获得初始特征图；
S202、通过多个Conv块对初始特征图下采样，获得4组尺寸递减的新特征图，层数越高尺寸越小，其所含语义信息更丰富、但不能很好表达空间信息。
作为优选，上述在S3中，融合了可变形卷积的DC2模块来对特征进行增强，包含以下步骤：
S301：由一个卷积模块或可变形卷积模块采样，增大感受野同时降低计算参数；
S302：从通道数维度分裂为两个支流；
S303：支流一不做处理送往融合模块CAcat；
CAcat为基于注意力的特征融合模块，在concat的基础上使用CA注意力机制进一步优化特征融合的效果。concat将两张输入特征图在通道数维度上进行相加，获得的新特征图保持尺寸不变，通道数为输入特征图通道数之和。CA注意力机制在通道和空间两个维度同时进行平均池化和最大池化，在经过正则化和激活后，再与残差通道进行结合和权重重新分配；
S304：支流二通过多个DCN-Bottleneck组成的残差通道送往融合模块CAcat；
S305：支流二中，在每个DCN-Bottleneck后引出新的支流送往融合模块CAcat；
S306：使用CAcat将所有的支流融合；
S307：由一个卷积模块或可变形卷积模块调整输出通道数与输入通道数相同。
作为优选，上述在S4中，使用SPAN网络，分为自上而下和自下而上两个部分融合各个尺度特征图的信息，使用CAcat实现两两特征图的融合，包含以下步骤：
S401：对输入特征图做上采样，获得与backbone中对应层特征图尺寸相同、通道数不同的特征图；使用CAcat将得到的特征图，与backbone对应的特征图融合；使用对融合后的特征图进行特征增强；
S402：对S401重复两次，获得两组更大尺寸特征图，分别输出到中、小目标检测头中；
S403：使用CAcat融合S401得到的特征图与SPPF输出特征图，送往高层语义信息检测头。
作为优选，上述在S5中，使用Wise-IoU优化边界框损失计算，使用三个解耦式检测头，对SPAN输出的三个不同尺度的特征图进行计算，得到回归损失和分类损失，计算得到最终预测结果，包括目标位置、外接框、目标类别、置信度。
作为优选，上述在S2中，DC2模块引入可变形卷积，通过学习采样点的位置和采样点权重来增大有效感受野，限制采样的区域，增强应对几何形变和模糊的能力，动态变形卷积过程如下所示：
其中表示输出特征图位置/>处的特征值，/>表示输入特征图位置/>处的特征值，/>表示该点卷积权重，/>表示卷积空间位置矩阵/>在/>处的值，/>表示该点位置偏移参数，/>表示该点偏移权重。
作为优选，上述在S3中，DC2模块通过引入残差结构，缓解了在深度神经网络中增加深度带来的梯度消失问题，丰富特征回传时的支流。
作为优选，上述在S4中，提出一种新的特征融合网络SPAN，能够加强对浅层信息的利用，在提高模型对小目标检测效果的同时，减小模型参数量，并且通过使用CoordinateAttention注意力机制，优化了特征图间的融合。
本发明还提供一种基于深度学习和浅层特征增强的无人机交通目标检测系统，包括数据集采集制作机构、特征提取机构、特征增强机构、特征融合机构和目标检测机构；
所述数据集采集制作机构，用于获得交通目标前侧或后侧的图像，并对图像进行标注和预处理得到数据集；
所述特征提取机构，用于对数据集进行训练获得特征图；
所述特征增强机构，用于对特征图进行增强；
所述特征融合机构，用于自上而下和自下而上两个部分融合各个尺度特征图的信息，使用CAcat实现两两特征图的融合；
所述目标检测机构，用于优化边界框损失计算，得到回归损失和分类损失，计算得到最终预测结果。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计了由可变形卷积、残差结构和DBottleneck构成的DC2（Deformable CSP Bottleneck with 2convolutions）模块，实现网络特征增强；并且通过自适应的变形卷积增大有效感受野，增强对小目标和模糊目标的检测能力，降低误检率；其次，提出SPAN浅层特征融合网络，在PAN网络的基础上通过基于注意力的特征融合和融合通道调整，强调了浅层特征的利用；最后，引入了Wise-IOU方法，使用动态非单调聚焦机制计算边界框损失，降低了低质量数据集标注对训练的影响，增强了检测方法的泛化能力，将融合后的特征图输入到预测网络中，得到最终的目标类型和位置信息，能够克服无人机拍摄目标变形、模糊、尺度小的问题，提升无人机对交通目标的检测精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图；
图2为本发明的S-UAV网络结构示意图；
图3为本发明的DC2模块结构示意图；
图4为本发明的SPAN模块结构示意图；
图5为本发明的第一检测结果图示意图；
图6为本发明的第二检测结果图示意图；
图7为本发明的系统机构连接示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。
实施例
请参阅图1-7，本发明提供一种技术方案：一种基于深度学习和浅层特征增强的无人机交通目标检测方法，包括如下步骤：
S1、无人机采集交通目标图像得到数据集，使用无人机在城市道路、高速公路上进行交通目标图像的采集，具体目标为行人、自行车、摩托车、轿车、公交、卡车、货车；具体采集方式为无人机沿车道线飞行，所携带摄像头拍摄方向与飞行方向相同，获得交通目标前侧或后侧的图像，可以确定车辆的行进方向；
S2、数据集送入模型中进行训练，构建DCSP主干网络提取图像特征；在S2中，将数据集送入模型中进行训练，通过构建DCSP主干网络提取图像特征，获得5组不同尺寸的特征图，包含以下步骤：
S201、对输入图片尺寸进行统一，对图像像素做归一化操作，并按照CHW的顺序进行排布，通过包含2D卷积、Batch Norm归一化和SiLU激活函数的Conv块获得初始特征图；
S202、通过多个Conv块对初始特征图下采样，获得4组尺寸递减的新特征图，层数越高尺寸越小，其所含语义信息更丰富、但不能很好表达空间信息。
在S2中，DC2模块引入可变形卷积，通过学习采样点的位置和采样点权重来增大有效感受野，限制采样的区域，增强应对几何形变和模糊的能力，动态变形卷积过程如下所示：
其中表示输出特征图位置/>处的特征值，/>表示输入特征图位置/>处的特征值，/>表示该点卷积权重，/>表示卷积空间位置矩阵/>在/>处的值，/>表示该点位置偏移参数，/>表示该点偏移权重。
S3、进一步增强特征；在S3中，融合了可变形卷积的DC2模块来对特征进行增强，包含以下步骤：
S301：由一个卷积模块或可变形卷积模块采样，增大感受野同时降低计算参数；
S302：从通道数维度分裂为两个支流；
S303：支流一不做处理送往融合模块CAcat；
CAcat为基于注意力的特征融合模块，在concat的基础上使用CA注意力机制进一步优化特征融合的效果。concat将两张输入特征图在通道数维度上进行相加，获得的新特征图保持尺寸不变，通道数为输入特征图通道数之和。CA注意力机制在通道和空间两个维度同时进行平均池化和最大池化，在经过正则化和激活后，再与残差通道进行结合和权重重新分配；
S304：支流二通过多个DCN-Bottleneck组成的残差通道送往融合模块CAcat；
S305：支流二中，在每个DCN-Bottleneck后引出新的支流送往融合模块CAcat；
S306：使用CAcat将所有的支流融合；
S307：由一个卷积模块或可变形卷积模块调整输出通道数与输入通道数相同；
在S3中，DC2模块通过引入残差结构，缓解了在深度神经网络中增加深度带来的梯度消失问题，丰富特征回传时的支流，设计了由可变形卷积、残差结构和DBottleneck构成的DC2（Deformable CSP Bottleneck with 2 convolutions）模块，实现网络特征增强。
S4、SPAN网络融合各个尺度特征图的信息；在S4中，使用SPAN网络，分为自上而下和自下而上两个部分融合各个尺度特征图的信息，使用CAcat实现两两特征图的融合，包含以下步骤：
S401：对输入特征图做上采样，获得与backbone中对应层特征图尺寸相同、通道数不同的特征图；使用CAcat将得到的特征图，与backbone对应的特征图融合；使用对融合后的特征图进行特征增强；
S402：对S401重复两次，获得两组更大尺寸特征图，分别输出到中、小目标检测头中；
S403：使用CAcat融合S401得到的特征图与SPPF输出特征图，送往高层语义信息检测头；
在S4中，提出一种新的特征融合网络SPAN，能够加强对浅层信息的利用，在提高模型对小目标检测效果的同时，减小模型参数量，并且通过使用Coordinate Attention注意力机制，优化了特征图间的融合，通过自适应的变形卷积增大有效感受野，增强对小目标和模糊目标的检测能力，降低误检率，在PAN网络的基础上通过基于注意力的特征融合和融合通道调整，强调了浅层特征的利用。
S5、预测网络输出目标类型和位置信息，在S5中，使用Wise-IoU优化边界框损失计算，使用三个解耦式检测头，对SPAN输出的三个不同尺度的特征图进行计算，得到回归损失和分类损失，计算得到最终预测结果，包括目标位置、外接框、目标类别、置信度，引入了Wise-IOU方法，使用动态非单调聚焦机制计算边界框损失，降低了低质量数据集标注对训练的影响，增强了检测方法的泛化能力。
本发明还提供一种基于深度学习和浅层特征增强的无人机交通目标检测系统，包括数据集采集制作机构、特征提取机构、特征增强机构、特征融合机构和目标检测机构，实际检测效果如图5、图6所示；
所述数据集采集制作机构，用于获得交通目标前侧或后侧的图像，然后对采集图像进行标定和数据增强获得数据集；最后将数据集划分为训练集和验证集用于检测模型的训练；
由所述特征提取机构、特征增强机构、特征融合机构和目标检测机构所组成的模型，其整体结构如图2所示；
所述特征提取机构，用于对数据集进行训练获得特征图，通过构建DCSP主干网络提取图像特征，获得5组不同尺寸的特征图；
所述特征增强机构，用于对特征图进行增强，利用了可变形卷积和残差的思想，增强了对变形目标的检测能力，能够更好的适应目标的尺度变化，具体结构如图3所示；
所述特征融合机构，用于自上而下和自下而上两个部分融合各个尺度特征图的信息，使用CAcat实现两两特征图的融合，使用了更深的上采样，并与主干网络中同尺寸特征图进行融合，获得了更丰富的浅层信息，能够更好实现小目标的检测。同时，考虑到更深层上采样对模型大小的影响，对后续的下采样融合部分进行削减，只保留了一个采样层，模型总参数量较原模型有一定优化。此外，使用基于注意力机制的融合模块CAcat，进一步优化了特征图之间的融合，具体结构如图4所示；
所述目标检测机构，采用解耦式设计，用于优化边界框损失计算，得到回归损失和分类损失，计算得到最终预测结果，使用Wise-IoU优化边界框损失计算，共计三个检测头分别对SPAN输出的三个不同尺度特征图进行计算，包括目标位置、外接框、目标类别、置信度，将融合后的特征图输入到预测网络中，得到最终的目标类型和位置信息，能够克服无人机拍摄目标变形、模糊、尺度小的问题，提升无人机对交通目标的检测精度。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习和浅层特征增强的无人机交通目标检测方法，其特征在于：包括如下步骤：
S1、无人机采集交通目标图像得到数据集；
S2、数据集送入模型中进行训练，构建DCSP主干网络提取图像特征；
S3、进一步增强特征；
S4、SPAN网络融合各个尺度特征图的信息；
S5、预测网络输出目标类型和位置信息。
2.根据权利要求1所述的一种基于深度学习和浅层特征增强的无人机交通目标检测方法，其特征在于：在S2中，将数据集送入模型中进行训练，通过构建DCSP主干网络提取图像特征，获得5组不同尺寸的特征图，包含以下步骤：
S201、对输入图片尺寸进行统一，对图像像素做归一化操作，并按照CHW的顺序进行排布，通过包含2D卷积、Batch Norm归一化和SiLU激活函数的Conv块获得初始特征图；
S202、通过多个Conv块对初始特征图下采样，获得4组尺寸递减的新特征图，层数越高尺寸越小，其所含语义信息更丰富、但不能很好表达空间信息。
3.根据权利要求1所述的一种基于深度学习和浅层特征增强的无人机交通目标检测方法，其特征在于：在S3中，融合了可变形卷积的DC2模块来对特征进行增强，包含以下步骤：
S301：由一个卷积模块或可变形卷积模块采样，增大感受野同时降低计算参数；
S302：从通道数维度分裂为两个支流；
S303：支流一不做处理送往融合模块CAcat；
S304：支流二通过多个DCN-Bottleneck组成的残差通道送往融合模块CAcat；
S305：支流二中，在每个DCN-Bottleneck后引出新的支流送往融合模块CAcat；
S306：使用CAcat将所有的支流融合；
S307：由一个卷积模块或可变形卷积模块调整输出通道数与输入通道数相同。
4.根据权利要求1所述的一种基于深度学习和浅层特征增强的无人机交通目标检测方法，其特征在于：在S4中，使用SPAN网络，分为自上而下和自下而上两个部分融合各个尺度特征图的信息，使用CAcat实现两两特征图的融合，包含以下步骤：
S401：对输入特征图做上采样，获得与backbone中对应层特征图尺寸相同、通道数不同的特征图；使用CAcat将得到的特征图，与backbone对应的特征图融合；使用对融合后的特征图进行特征增强；
S402：对S401重复两次，获得两组更大尺寸特征图，分别输出到中、小目标检测头中；
S403：使用CAcat融合S401得到的特征图与SPPF输出特征图，送往高层语义信息检测头。
5.根据权利要求1所述的一种基于深度学习和浅层特征增强的无人机交通目标检测方法，其特征在于：在S5中，使用Wise-IoU优化边界框损失计算，使用三个解耦式检测头，对SPAN输出的三个不同尺度的特征图进行计算，得到回归损失和分类损失，计算得到最终预测结果，包括目标位置、外接框、目标类别、置信度。
6.根据权利要求1所述的一种基于深度学习和浅层特征增强的无人机交通目标检测方法，其特征在于：在S2中，DC2模块引入可变形卷积，通过学习采样点的位置和采样点权重来增大有效感受野，限制采样的区域，增强应对几何形变和模糊的能力，动态变形卷积过程如下所示：
其中表示输出特征图位置/>处的特征值，/>表示输入特征图位置/>处的特征值，表示该点卷积权重，/>表示卷积空间位置矩阵/>在/>处的值，/>表示该点位置偏移参数，表示该点偏移权重。
7.根据权利要求3所述的一种基于深度学习和浅层特征增强的无人机交通目标检测方法，其特征在于：在S3中，DC2模块通过引入残差结构，缓解了在深度神经网络中增加深度带来的梯度消失问题，丰富特征回传时的支流。
8.根据权利要求4所述的一种基于深度学习和浅层特征增强的无人机交通目标检测方法，其特征在于：在S4中，提出一种新的特征融合网络SPAN，能够加强对浅层信息的利用，在提高模型对小目标检测效果的同时，减小模型参数量，并且通过使用CoordinateAttention注意力机制，优化了特征图间的融合。
9.根据权利要求1-8任意一项所述的基于深度学习和浅层特征增强的无人机交通目标检测方法的一种基于深度学习和浅层特征增强的无人机交通目标检测系统，其特征在于：包括数据集采集制作机构、特征提取机构、特征增强机构、特征融合机构和目标检测机构；
所述数据集采集制作机构，用于获得交通目标前侧或后侧的图像，并对图像进行标注和预处理得到数据集；
所述特征提取机构，用于对数据集进行训练获得特征图；
所述特征增强机构，用于对特征图进行增强；
所述特征融合机构，用于自上而下和自下而上两个部分融合各个尺度特征图的信息，使用CAcat实现两两特征图的融合；
所述目标检测机构，用于优化边界框损失计算，得到回归损失和分类损失，计算得到最终预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311112136.7A CN117115690A (zh) | 2023-08-31 | 2023-08-31 | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311112136.7A CN117115690A (zh) | 2023-08-31 | 2023-08-31 | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115690A true CN117115690A (zh) | 2023-11-24 |
Family
ID=88807322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311112136.7A Pending CN117115690A (zh) | 2023-08-31 | 2023-08-31 | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115690A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117423020A (zh) * | 2023-12-19 | 2024-01-19 | 临沂大学 | 一种检测无人机小目标的动态特征和上下文增强方法 |
-
2023
- 2023-08-31 CN CN202311112136.7A patent/CN117115690A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117423020A (zh) * | 2023-12-19 | 2024-01-19 | 临沂大学 | 一种检测无人机小目标的动态特征和上下文增强方法 |
| CN117423020B (zh) * | 2023-12-19 | 2024-02-27 | 临沂大学 | 一种检测无人机小目标的动态特征和上下文增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108802785B (zh) | 基于高精度矢量地图和单目视觉传感器的车辆自定位方法 | |
| WO2022141910A1 (zh) | 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法 | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| US20190050653A1 (en) | Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking | |
| US10922817B2 (en) | Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking | |
| CN111460919B (zh) | 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法 | |
| KR20210078530A (ko) | 차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체 | |
| CN110414418B (zh) | 一种图像-激光雷达图像数据多尺度融合的道路检测方法 | |
| CN113095152B (zh) | 一种基于回归的车道线检测方法及系统 | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN113895464B (zh) | 融合个性化驾驶风格的智能车驾驶地图生成方法及系统 | |
| CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 | |
| CN115019043A (zh) | 基于交叉注意力机制的图像点云融合三维目标检测方法 | |
| CN112651441A (zh) | 细粒度非机动车特征检测方法、存储介质及计算机设备 | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
| CN114973199A (zh) | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 | |
| CN114048536A (zh) | 一种基于多任务神经网络的道路结构预测与目标检测方法 | |
| Chen et al. | Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles | |
| CN116630702A (zh) | 一种基于语义分割网络的路面附着系数预测方法 | |
| CN117372991A (zh) | 基于多视角多模态融合的自动驾驶方法及系统 | |
| Zhao et al. | Improving Autonomous Vehicle Visual Perception by Fusing Human Gaze and Machine Vision | |
| CN115187959B (zh) | 一种基于双目视觉的飞行汽车山地着陆方法及系统 | |
| Aboah et al. | Ai-based framework for understanding car following behaviors of drivers in a naturalistic driving environment | |
| CN115690787A (zh) | 语义分割方法、图像处理设备以及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |