CN115376025B - 一种无人机目标检测方法、系统、设备及存储介质 - Google Patents

一种无人机目标检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115376025B
CN115376025B CN202210961225.8A CN202210961225A CN115376025B CN 115376025 B CN115376025 B CN 115376025B CN 202210961225 A CN202210961225 A CN 202210961225A CN 115376025 B CN115376025 B CN 115376025B
Authority
CN
China
Prior art keywords
layer
network
feature map
sub
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210961225.8A
Other languages
English (en)
Other versions
CN115376025A (zh
Inventor
潘博
唐东红
韦肖斌
赵芸
李进盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technical Service Branch Of Guangxi Zhuang Autonomous Region Communication Industry Service Co ltd
Original Assignee
Technical Service Branch Of Guangxi Zhuang Autonomous Region Communication Industry Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technical Service Branch Of Guangxi Zhuang Autonomous Region Communication Industry Service Co ltd filed Critical Technical Service Branch Of Guangxi Zhuang Autonomous Region Communication Industry Service Co ltd
Priority to CN202210961225.8A priority Critical patent/CN115376025B/zh
Publication of CN115376025A publication Critical patent/CN115376025A/zh
Application granted granted Critical
Publication of CN115376025B publication Critical patent/CN115376025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种无人机目标检测方法、系统、设备及存储介质，本方法在TPH‑YOLOV5的基础上，设计了基于侧向连接的双向传播网络架构，每一层特征图会接收来自前面层的所有特征图映射作为输入，同时作为输出传播给网络后续层的特征图。这样能对于与目标颜色/形状近似的物体带来的噪声干扰信息，进行自适应过滤，避免对目标近似物误定位或误分类为目标，提高无人机目标检测的准确度。

Description

一种无人机目标检测方法、系统、设备及存储介质
技术领域
本发明涉及无人机目标识别相关技术领域，尤其是涉及一种无人机目标检测方法、系统、设备及存储介质。
背景技术
目前国内消费无人机市场火热，普通民众对无人机的认可程度和需求度逐渐攀升，工业无人机在人工影响天气、应急产业、气象监测、巡检、安防监控、农林植保、测绘与地理信息等领域得以快速发展。随着人工智能技术的不断发展，无人机的智能化作业需要与人工智能技术的结合，在大多数应用场景下，对地面环境下的目标识别是无人机必备技术。
目标识别任务是指对图片中特定目标所在区域和类别进行准确地识别，是计算机视觉领域中重点研究的技术之一。近年来，有研究者提出TPH-YOLOv5网络并运用在无人机的目标识别领域中。
如图1，TPH-YOLOv5网络将卷积注意力模块(Convolutional block attentionmodule，CBAM)集成到YOLOv5中，帮助网络在区域覆盖范围大的图像中找到感兴趣的区域，对高密度场景中准确定位小目标。然而，在复杂地面环境下无人机航拍的地面图像中，往往有复杂的背景环境、俯视视角中目标小的特征，个体特征不强，导致目标检测精度低。
发明内容
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。本发明提供了一种无人机目标检测方法、系统、设备及存储介质，能够提高无人机目标检测的准确度。
本发明的第一方面，提供了一种无人机目标检测方法，所述无人机目标检测方法包括：
获取无人机采集的图像；
将所述图像输入至目标检测模型中，得到所述目标检测模型输出的所述图像的目标检测结果；其中，所述目标检测模型包括依次连接的TPH-YOLOV5的主干网络、改进的路径聚合网络以及所述TPH-YOLOV5的Transformer预测头，所述改进的路径聚合网络包括自顶至底依次侧向连接的L个第一子网络和自顶至底依次侧向连接的L个第二子网络，所述第一子网络和所述第二子网络均通过卷积函数输出特定比例大小的特征映射；所述目标检测模型通过如下方式计算所述图像的目标检测结果：
将所述图像输入至所述主干网络中，得到所述主干网络每一层输出对应的单比例图像；
将所述主干网络第L层输出的单比例图像输入至第L层第一子网络中，得到所述第L层第一子网络输出的第L层第一特征映射；将所述第L层第一特征映射和所述主干网络第L-1层输出的单比例图像输入至第L-1层第一子网络中，得到第L-1层第一子网络输出的第L-1层第一特征映射；将所述第L层第一特征映射和所述第L-1层第一特征映射之和，以及所述主干网络第L-2层输出的单比例图像输入至第L-2层第一子网络中，得到第L-2层第一子网络输出的第L-2层第一特征映射；依次类推，直至将所述第L层第一特征映射、所述第L-1层第一特征映射至第2层第一子网络输出的第2层第一特征映射之和，以及所述主干网络第1层输出的单比例图像输入至第1层第一子网络中，得到第1个所述第一子网络输出的第1层第一特征映射；其中，L层是顶层；
将所述第1层第一特征映射输入至第1层第二子网络中，得到所述第2层第二子网络输出的第1层第二特征映射；将所述第1层第二特征映射和所述第2层第一特征映射输入至第2层第二子网络中，得到所述第2层第二子网络输出的第2层第二特征映射；将所述第1层第二特征映射和第2层第二特征映射之和，以及第3层第一特征映射输入至第3层第二子网络中，得到所述第3层第二子网络输出的第3层第二特征映射；依次类推，直至将第1层第二特征映射至第L-1层第二子网络输出的第L-1层第二特征映射之和，以及所述第L层第一特征映射输出的第L-1层第二特征映射输入至第L层第二子网络，得到所述第L层第二子网络输出的第L层第二特征映射；
将所述第1层第二特征映射至所述第L层第二特征映射输入至所述Transformer预测头中，得到所述Transformer预测头输出的所述图像的目标检测结果。
本发明第一方面提供的无人机目标检测方法，至少具有如下有益效果：
本方法在TPH-YOLOV5的基础上，设计了基于侧向连接的双向传播网络架构，每一层特征图会接收来自前面层的所有特征图映射作为输入，同时作为输出传播给网络后续层的特征图，这样能对于与目标颜色/形状近似的物体带来的噪声干扰信息，进行自适应过滤，避免对目标近似物误定位或误分类为目标，提高无人机目标检测的准确度。
根据本发明的一些实施例，所述第一子网络通过如下公式计算第一特征映射：
其中，Al表示第l层第一子网络输出的第l层第一特征映射，表示所述第l层第一子网络的卷积函数，vl(.)表示第l层第一子网络的复合函数，concatl(.)表示第l层第一子网络的concat函数，bl(x)表示所述主干网络第l层输出的单比例图像，x表示所述图像，L表示所述主干网络中的卷积层数量，um表示上采样的2m次操作，l是1至L中的任意整数。
根据本发明的一些实施例，在将第一特征映射输入至第二子网络之前，所述无人机目标检测方法还包括：
在所述改进的路径聚合网络中设置边缘激活模块；
将第一特征映射输入至所述边缘激活模块中，通过所述边缘激活模块强化所述第一特征映射在四个方向上的边界信息。
根据本发明的一些实施例，所述边缘激活模块的数量为L个；其中，每一个所述边缘激活模块用于强化一个所述第一特征映射，l是1至L中的任意整数。
根据本发明的一些实施例，所述边缘激活模块的计算公式包括：
其中，Al ijX表示特征图中X通道的位置(,j)，X通道是H,W,C三个通道中的任意一个通道。
根据本发明的一些实施例，所述第二子网络通过如下公式计算第二特征映射：
其中，Cl表示第l层第二子网络输出的第l层第二特征映射，表示所述第l层第二子网络的卷积函数，wl(.)表示第l层第二子网络的复合函数，concatl(.)表示第l层第二子网络的concat函数，Bl表示第l个所述边缘激活模块输出强化后的第l层第一特征映射。
根据本发明的一些实施例，在所述获取无人机采集的图像之前，所述无人机目标检测方法还包括：
通过所述无人机采集图像
本发明的第二方面，提供了一种无人机目标检测系统，所述无人机目标检测系统包括：
图像获取单元，用于获取无人机采集的图像；
目标检测单元，用于将所述图像输入至目标检测模型中，得到所述目标检测模型输出的所述图像的目标检测结果；其中，所述目标检测模型包括依次连接的TPH-YOLOV5的主干网络、改进的路径聚合网络以及所述TPH-YOLOV5的Transformer预测头，所述改进的路径聚合网络包括自顶至底依次侧向连接的L个第一子网络和自顶至底依次侧向连接的L个第二子网络，所述第一子网络和所述第二子网络均通过卷积函数输出特定比例大小的特征映射；所述目标检测模型通过如下方式计算所述图像的目标检测结果：
将所述图像输入至所述主干网络中，得到所述主干网络每一层输出对应的单比例图像；
将所述主干网络第L层输出的单比例图像输入至第L层第一子网络中，得到所述第L层第一子网络输出的第L层第一特征映射；将所述第L层第一特征映射和所述主干网络第L-1层输出的单比例图像输入至第L-1层第一子网络中，得到第L-1层第一子网络输出的第L-1层第一特征映射；将所述第L层第一特征映射和所述第L-1层第一特征映射之和，以及所述主干网络第L-2层输出的单比例图像输入至第L-2层第一子网络中，得到第L-2层第一子网络输出的第L-2层第一特征映射；依次类推，直至将所述第L层第一特征映射、所述第L-1层第一特征映射至第2层第一子网络输出的第2层第一特征映射之和，以及所述主干网络第1层输出的单比例图像输入至第1层第一子网络中，得到第1个所述第一子网络输出的第1层第一特征映射；其中，L层是顶层；
将所述第1层第一特征映射输入至第1层第二子网络中，得到所述第2层第二子网络输出的第1层第二特征映射；将所述第1层第二特征映射和所述第2层第一特征映射输入至第2层第二子网络中，得到所述第2层第二子网络输出的第2层第二特征映射；将所述第1层第二特征映射和第2层第二特征映射之和，以及第3层第一特征映射输入至第3层第二子网络中，得到所述第3层第二子网络输出的第3层第二特征映射；依次类推，直至将第1层第二特征映射至第L-1层第二子网络输出的第L-1层第二特征映射之和，以及所述第L层第一特征映射输出的第L-1层第二特征映射输入至第L层第二子网络，得到所述第L层第二子网络输出的第L层第二特征映射；
将所述第1层第二特征映射至所述第L层第二特征映射输入至所述Transformer预测头中，得到所述Transformer预测头输出的所述图像的目标检测结果。
本发明第三方面提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述的无人机目标检测方法。
本发明第四方面提供了一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述的无人机目标检测方法。
可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提供的TPH-YOLOv5的结构示意图；
图2是本发明一实施例提供的一种无人机目标检测方法的流程示意图；
图3是本发明一实施例提供的目标检测模型的结构示意图；
图4是本发明一实施例提供的边缘激活模块的结构示意图；
图5是本发明一实施例提供的TPH-YOLOv5挖掘机业务场景的示意图；
图6是本发明一实施例提供的TPH-YOLOv5识别建筑物业务场景的示意图；
图7是本发明一实施提供的本方法识别挖掘机业务场景的示意图；
图8是本发明一实施提供的本方法识别建筑物业务场景的示意图；
图9是本发明另一实施提供的本方法识别挖掘机业务场景的示意图；
图10是本发明另一实施例提供的一种无人机目标检测方法的流程示意图；
图11是本发明一实施例提供的一种无人机目标检测系统的结构示意图；
图12是本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
随着人工智能技术的不断发展,无人机的智能化作业需要与人工智能技术的结合。在大多数应用场景下，对地面环境下的目标识别是无人机必备技术。目标识别任务是指对图片中特定目标所在区域和类别进行准确地识别，是计算机视觉领域中重点研究的技术之一。2016年Girs最早提出目标检测方案，通过区域卷积神经网络基于区域的卷积网络(region-based convolutional networks，R-CNN)目标检测识别方案是在2016年由实现，但是识别准确率和时间都不理想。随后众多研究者在R-CNN基础上做出改进，提出了基于快速区域的卷积网络(fast region-based convolutional networks，Fast R-CNN)和更快速基于区域的卷积网络(faster region-based convolutional networks，Faster R-CNN)等方案，上述两种方法也被广泛应用于工业界。例如，陈丁等人提出了利用Faster-RCNN对无人机航拍的图片进行检测,通过引入旋转不敏感特征层来提升车辆的识别准确率。
R-CNN及其改进算法采用的是“先定位目标区域”->“再识别目标类别”的两阶段模式(two-stage)。这种模式不仅训练效率低，而且将定位与识别两个过程独立导致精度不高。基于以上原因，Joseph Redmon在2016年提出了yolov1的算法，把目标检测的框架定为一个回归问题，只需要一个神经网络，在一次测试中能直接从输入图片中预测到边界框(bounding boxes)和类别概率，直接通过一个阶段模式(one-stage)，完成端到端的优化。2017年，相关研究者提出了yolov2算法，相比yolov1提高了训练图像的分辨率，并引入了Faster rcnn中先验框(Anchor box)的思想，对网络结构的设计进行了改进，输出层使用卷积层替代YOLO的全连接层。相比YOLOv1，YOLOv2在识别种类、精度、速度、和定位准确性等方面都有大大提升。随后的yolov3、yolov4、yolov5都是从多尺度特征进行对象检测以便不同视野下获取图像特征信息的角度，来提升识别准确率。
随着无人机的普及，2021年有研究者将Transformer Prediction Heads(TPH)集成到YOLOv5中，提出算法TPH-YOLOv5。TPH-YOLOv5还将卷积注意力模块(Convolutionalblock attention module，CBAM)集成到YOLOv5中，帮助网络在区域覆盖范围大的图像中找到感兴趣的区域，对高密度场景中准确定位小目标。
然而，在复杂地面环境下无人机航拍的地面图像中，往往有复杂的背景环境、俯视视角中目标小的特征，导致个体特征不强的特点，通常表现为：
(1)存在与目标颜色/形状相似的物体等，导致将其误识别为目标，目标识别的精确度低。
(2)目标与地面背景颜色易混淆，导致无法识别出目标。
因此需要对目标轮廓有着非常强的感知能力才能获取其边界形状特征，实现更精准定位。上述方法均不具备这种能力。
参照图2，为了解决现阶段存在的问题，本申请的一个实施例，提供了一种无人机目标检测方法，本方法包括如下步骤S101和S102：
步骤S101、获取无人机采集的图像。
步骤S102、将图像输入至目标检测模型中，得到目标检测模型输出的图像的目标检测结果；其中，目标检测模型包括依次连接的TPH-YOLOV5的主干网络、改进的路径聚合网络以及TPH-YOLOV5的Transformer预测头，改进的路径聚合网络包括自顶至底依次侧向连接的L个第一子网络和自顶至底依次侧向连接的L个第二子网络，第一子网络和第二子网络均通过卷积函数输出特定比例大小的特征映射；目标检测模型通过如下方式计算图像的目标检测结果：
将图像输入至主干网络中，得到主干网络每一层输出对应的单比例图像。
将主干网络第L层输出的单比例图像输入至第L层第一子网络中，得到第L层第一子网络输出的第L层第一特征映射；将第L层第一特征映射和主干网络第L-1层输出的单比例图像输入至第L-1层第一子网络中，得到第L-1层第一子网络输出的第L-1层第一特征映射；将第L层第一特征映射和第L-1层第一特征映射之和，以及主干网络第L-2层输出的单比例图像输入至第L-2层第一子网络中，得到第L-2层第一子网络输出的第L-2层第一特征映射；依次类推，直至将第L层第一特征映射、第L-1层第一特征映射至第2层第一子网络输出的第2层第一特征映射之和，以及主干网络第1层输出的单比例图像输入至第1层第一子网络中，得到第1个第一子网络输出的第1层第一特征映射；其中，L层是顶层。
将第1层第一特征映射输入至第1层第二子网络中，得到第2层第二子网络输出的第1层第二特征映射；将第1层第二特征映射和第2层第一特征映射输入至第2层第二子网络中，得到第2层第二子网络输出的第2层第二特征映射；将第1层第二特征映射和第2层第二特征映射之和，以及第3层第一特征映射输入至第3层第二子网络中，得到第3层第二子网络输出的第3层第二特征映射；依次类推，直至将第1层第二特征映射至第L-1层第二子网络输出的第L-1层第二特征映射之和，以及第L层第一特征映射输出的第L-1层第二特征映射输入至第L层第二子网络，得到第L层第二子网络输出的第L层第二特征映射。
将第1层第二特征映射至第L层第二特征映射输入至Transformer预测头中，得到Transformer预测头输出的图像的目标检测结果。
在本申请的一些实施例中，在步骤S101之前，还包括步骤：
通过无人机采集图像。通过无人机上携带的相机从高中俯拍图像。需要注意的是，本实施例的无人机可以是任意种类或任意型号携带相机并具有计算能力的无人机，这里不进行具体限定。
在本申请的一些实施例中，步骤S101和S102可以在无人机搭载的计算机中进行计算，也可以由无人机实时传输图像，然后地面电子设备进行计算。本申请实施例不进行具体限定。
以下结合TPH-YOLOv5来详细说明本目标检测模型和利用目标检测模型实现的目标检测流程：
图1是现阶段TPH-YOLOv5的结构示意图，图3是本申请一个实施例提供的目标检测模型的结构示意图。TPH-YOLOv5的结构包括主干网络(Backbone)、Neck中路径聚合网络(Path Aggregation Network,PANet)以及Transformer预测头(Transformer predicthead,TPH)。使用TPH-YOLOv5网络进行目标检测在无人机捕获场景上具有良好的性能和可解释性，但是在复杂环境下，无人机航拍的地面图像的背景环境，会给目标个体轮廓特征识别带来极大干扰，这会给目标识别带来难度，TPH-YOLOV5在对于这类目标识别与定位的能力还是有所欠缺。
本申请在TPH-YOLOV5的基础上，提出了目标检测模型，本目标检测模型从左至右依次包括主干网络(与TPH-YOLOv5的主干网络相同)、改进的路径聚合网络以及TPH(与TPH-YOLOv5的TPH相同)，这里不再重复介绍主干网络和TPH。与TPH-YOLOV5不同的是，本目标检测模型包括自顶至底依次侧向连接的L层第一子网络和自顶至底依次侧向连接的L层第二子网络(图3中的L为3)，如最底层的第一子网络自顶至底依次包括：CBAM、3*C3、Concat、Upsample和Conv等五个模块；如最顶层的第二子网络自顶至底依次包括Conv、Concat、Trans和CBAM等四个模块，具体模块为领域公知，此处不再细述。与TPH-YOLOV5的PANet不同的是，本申请在改进的路径聚合网络设计了基于侧向连接的双向传播架构，将每一层特征图会接收来自前面层的所有特征图映射作为输入(即每一层第一子网络会接收来自前面的所有第一子网络输出的所有特征图映射之和作为输入)，同时作为输出传播给网络后续层的特征图，达到自适应的过滤地面目标的邻近区域产生的噪声信息。以下详细展开介绍：
假设主干网络中有L个训练图像X＝{x1，···，xN}和L个卷积层。一个样本x∈X输入到主干网络并向前计算，该网络以2作为缩放步长(scale step)计算出由多个尺度下特征映射组成的多层级特征，主干网络的第l层输出特征表示为bl(x)。l是1至L中的任意整数。
改进的路径聚合网络由自底至顶的路径聚合网络与自顶至底的路径聚类网络两个部分组成。噪声信息在自顶向下和自底向上的路径中从高水平特征映射到低水平特征映射的传播被减少，因此对噪声信息进行自适应滤波。
如图3，左侧是自顶至底的路径聚合网络(图中由3层第一子网络侧向连接组成)，它将主干网络每一层任意大小的单比例图像作为输入，并在多个级别上输出特定比例大小的特征图映射。将定义为上而下的路径聚合网络的第l层卷积函数(conv)。
与TPH-YOLOV5不同的是，为了保持前向反馈的特性，本申请实施例的双向传播网络的每层第一子网络之间采用侧向连接，从所有前面层的特征映射/>获得额外输入，并将其自身的特征映射传递给特征映射/>所有后续层的/>
如图3左侧，“拼接符号”至模块“Upsample”之间的实线箭头表示前面层的特征映射之和传播到当前层，第一子网络之间的虚线表示当前层的特征映射传播给后续层。um为上采样2m次操作，vl(.)为自顶至底的路径聚合网络第l层的连续操作的复合函数：3*C3、CBAM/Trans(与TPH-YOLOV5保持一致)。通过第l层卷积函数进行特征映射，得到Al。公式如下：
其中，x为输入样本，特征A为双向传播架构左侧自顶至底的路径聚合网络输出特征，Al表示第l层输出特征，L为总层数。
本申请的一些实施例，得到特征A之后，利用边缘激活模块对特征A进行轮廓特征强化后得到特征B。
边缘激活模块的作用在于捕获目标对象边界，如图4所示。捕获对象边界的关键是确定一个位置是否是边界点。本申请实施例设计了边缘激活模块，以感知边界及其周围环境的突然变化。为了模拟双向传播边缘增强产生刺激对比的机制，从而增加感官知觉，在每一层输出的特征图内强化四个方向的边界信息，即将它们聚集成一个整体形状来激活边界信息。
假设想捕获第一特征映射Al∈RH*W*C中对象的左边界，表示第一特征映射Al的C通道，/>表示特征图中C通道的位置(,j)，为了确定一个点的位置是否和左边的点之间有剧烈的变化，使用最右边的/>向左遍历，如公式所示：
Bl ijC表示经过边界激活后特征图Bl的C通道(,j)位置。同理，可以对特征图进行上、下、左、右四个方向的边界激活。
类似于左侧，特征B(由特征A通过边缘激活模块对轮廓特征进行加强之后得出)进行自底至顶地信息传播，将定义为右侧的自底至顶路径聚合网络的第l层卷积函数，wl(.)定义为自底至顶路径聚合网络第l层的连续操作的复合函数：Trans/2*Trans、CBAM(与TPH-YOLOV5保持一致)。公式如下：
其中，特征C为双向传播架构右侧的输出特征自底至顶路径聚合网络，Cl表示第l层输出特征。
为了便于理解，参照图10，本申请一个实施例，提供了一种无人机目标检测方法，本方法包括如下步骤：
步骤S201、通过无人机俯拍地面图片。
步骤S202、向目标检测模型中输入图片，经过主干网络计算出多个尺度下特征映射组成的特征层级。
步骤S203、将主干网络的每个层级特征，输入到基于侧向连接的双向传播模块左侧网络，即自顶至底路径聚合网络(由L个侧向连接的第一子网络组成)中，计算出经过噪声过滤的特征A；
步骤S204、特征A输入到边缘激活模块，经过强化目标轮廓边界之后，计算出强化特征B。
步骤S205、强化特征B输入到基于侧向连接的双向传播模块右侧网络，即自底至顶路径聚合网络中(由L个侧向连接的第二子网络组成)，计算出特征C。
步骤S206、特征C输入到transformer预测头，得出最后目标定位与分类结果。
本申请实施例提出的无人机目标检测方法，在TPH-YOLOV5基础上引入了侧向连接的双向传播模块与边缘激活模块。相比传统方案，本方法具有以下优势：
(1)本申请提出基于侧向连接的双向传播网络架构，将每一层特征图会接收来自前面层的所有特征图映射作为输入，同时作为输出传播给网络后续层的特征图。这样能对于与目标颜色/形状近似的物体带来的噪声干扰信息，进行自适应过滤，避免对目标近似物误定位或误分类为目标。
(2)本申请在两个路径聚合网络之间加入边界激活模块，接收来自左侧的自顶至底路径增强网络中每层特征图进行增强，然后再传到右侧的自底至顶路径增强网络。通过这种方式对于与周围地面环境易混淆的目标，加强目标边界轮廓的关键特征，同时抑制地面图像中背景环境的非关键特征，可以精准定位和分类目标。
以下提供一组实验及其结论：
表1
其中，表1是TPH-yolov5与本方案识别效果对比图。
通过业务场景中识别错误率较高的实施例，证明相比TPH-YOLOV5，本方案在目标识别效果上的优越性。业务场景如下：通过对无人机航拍图像中，识别出有可能对通信光缆线路造成安全隐患的物体。目标物体定义为：挖掘机、推土机、施工建筑、垃圾堆。
实施例中以下两类场景的识别错误率较高：
(1)存在与目标颜色/形状近似的物体识别。通过TPH-YOLOV5的目标检测结果如图5所示，挖掘机作为业务场景中的目标，图中可以看出与挖掘机的颜色/形状近似相似的物体很多，容易识别错误。
(2)与周围环境易混淆的物体识别。评价指标采用平均精度均值(Mean AveragePrecision，MAP)。通过TPH-YOLOV5的目标检测结果如图6所示，施工建筑物作为业务场景中的目标，图中可以看出施工建筑物与周围环境的楼房易混淆，不易识别。
预测目标定位框与真实目标定位框的交并比(Intersection of Union，IOU)的阈值设为常用的0.5，评价指标表示为MAP@.5。
接下来对这两类场景进行举例论证。
一、与目标颜色/形状近似的物体识别；
由于无人机是俯视视角拍摄且视野范围大，导致图像中目标小，个体特征相对不强，因此会很多目标之间会比较相似。例如，挖掘机、卡车、起重机之间会颜色/形状比较接近，容易识别错误。如表1所示，在无人机采集的200张存在相似目标的图片中，TPH-YOLOv5的MAP@.5只有56％，而本申请的MAP@.5有70％。如图7(业务场景要求找出会对通信线路造成破坏隐患的机械，比如挖掘机。TPH-yolov5识别结果为图中四个框，本方案识别结果为左边两个框。显然，右边两个框内的目标是起重机，被TPH-yolov5误判为挖掘机)所示，使用TPH-YOLOv5识别会将右上角两个起重机误判为挖掘机。
二、与周围地面环境易混淆的物体识别
无人机拍摄的地面环境和目标易混淆，会导致识别错误的概率非常大。在无人机采集的200张与地面环境易混淆的目标识别中，TPH-YOLOv5的MAP@.5只有56％，而本方案的MAP@.5有70％。如示例图8(业务场景要求找出正在施工的建筑物。TPH-yolov5没有在一片易混淆的楼房中识别出施工建筑物，而本方案识别出了建筑物)和9所示(业务场景要求找出挖掘机。TPH-yolov5没有发现与周围土地树林混淆的挖掘机，而本方案可以识别出来)。
参照图11，本申请实施例还提供了一种无人机目标检测系统，本系统1000包括图像获取单元1100和目标检测单元1200：
图像获取单元1100用于获取无人机采集的图像。
目标检测单元1200用于将所述图像输入至目标检测模型中，得到所述目标检测模型输出的所述图像的目标检测结果；其中，所述目标检测模型包括依次连接的TPH-YOLOV5的主干网络、改进的路径聚合网络以及所述TPH-YOLOV5的Transformer预测头，所述改进的路径聚合网络包括自顶至底依次侧向连接的L个第一子网络和自顶至底依次侧向连接的L个第二子网络，所述第一子网络和所述第二子网络均通过卷积函数输出特定比例大小的特征映射；所述目标检测模型通过如下方式计算所述图像的目标检测结果：
将所述图像输入至所述主干网络中，得到所述主干网络每一层输出对应的单比例图像；
将所述主干网络第L层输出的单比例图像输入至第L层第一子网络中，得到所述第L层第一子网络输出的第L层第一特征映射；将所述第L层第一特征映射和所述主干网络第L-1层输出的单比例图像输入至第L-1层第一子网络中，得到第L-1层第一子网络输出的第L-1层第一特征映射；将所述第L层第一特征映射和所述第L-1层第一特征映射之和，以及所述主干网络第L-2层输出的单比例图像输入至第L-2层第一子网络中，得到第L-2层第一子网络输出的第L-2层第一特征映射；依次类推，直至将所述第L层第一特征映射、所述第L-1层第一特征映射至第2层第一子网络输出的第2层第一特征映射之和，以及所述主干网络第1层输出的单比例图像输入至第1层第一子网络中，得到第1个所述第一子网络输出的第1层第一特征映射；其中，L层是顶层；
将所述第1层第一特征映射输入至第1层第二子网络中，得到所述第2层第二子网络输出的第1层第二特征映射；将所述第1层第二特征映射和所述第2层第一特征映射输入至第2层第二子网络中，得到所述第2层第二子网络输出的第2层第二特征映射；将所述第1层第二特征映射和第2层第二特征映射之和，以及第3层第一特征映射输入至第3层第二子网络中，得到所述第3层第二子网络输出的第3层第二特征映射；依次类推，直至将第1层第二特征映射至第L-1层第二子网络输出的第L-1层第二特征映射之和，以及所述第L层第一特征映射输出的第L-1层第二特征映射输入至第L层第二子网络，得到所述第L层第二子网络输出的第L层第二特征映射；
将所述第1层第二特征映射至所述第L层第二特征映射输入至所述Transformer预测头中，得到所述Transformer预测头输出的所述图像的目标检测结果。
需要说明的是，本系统实施例与上述方法实施例是基于相同的发明构思，因此上述方法实施例的相关内容同样适用于本系统实施例，此处不再赘述。
参照图12，本申请实施例还提供了一种电子设备，本电子设备包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
程序被存储在存储器中，处理器执行至少一个程序以实现本公开实施上述的无人机目标检测方法。
该电子设备可以为包括手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)、车载电脑等任意智能终端。
本申请实施例的电子设备，用于执行上述无人机目标检测方法，利用带内信道隔离转发控制流的思路，根据多个感知任务的任务需求，按需从多个感知节点中遴选出若干感知节点作为控制节点，并使遴选出的控制节点连通以构建控制网络来专司转发控制流，从而构建高可靠的带内控制网络，解决控制流与数据流的传输冲突问题，极大提升感知层中控制流传输的时效性与可靠性。
电子设备包括：
处理器1600，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本公开实施例所提供的技术方案；
存储器1700，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器1700可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1700中，并由处理器1600来调用执行本公开实施例的无人机目标检测方法。
输入/输出接口1800，用于实现信息输入及输出；
通信接口1900，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线2000，在设备的各个组件(例如处理器1600、存储器1700、输入/输出接口1800和通信接口1900)之间传输信息；
其中处理器1600、存储器1700、输入/输出接口1800和通信接口1900通过总线2000实现彼此之间在设备内部的通信连接。
本公开实施例还提供了一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行上述无人机目标检测方法。
本申请实施例的存储介质，用于执行上述无人机目标检测方法，利用带内信道隔离转发控制流的思路，根据多个感知任务的任务需求，按需从多个感知节点中遴选出若干感知节点作为控制节点，并使遴选出的控制节点连通以构建控制网络来专司转发控制流，从而构建高可靠的带内控制网络，解决控制流与数据流的传输冲突问题，极大提升感知层中控制流传输的时效性与可靠性。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本公开实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (9)

1.一种无人机目标检测方法，其特征在于，所述无人机目标检测方法包括：
获取无人机采集的图像；
将所述图像输入至目标检测模型中，得到所述目标检测模型输出的所述图像的目标检测结果；其中，所述目标检测模型包括依次连接的TPH-YOLOV5的主干网络、改进的路径聚合网络以及所述TPH-YOLOV5的Transformer预测头，所述改进的路径聚合网络包括自顶至底依次侧向连接的L个第一子网络和自顶至底依次侧向连接的L个第二子网络，所述第一子网络和所述第二子网络均通过卷积函数输出特定比例大小的特征映射；所述目标检测模型通过如下方式计算所述图像的目标检测结果：
将所述图像输入至所述主干网络中，得到所述主干网络每一层输出对应的单比例图像；
将所述主干网络第L层输出的单比例图像输入至第L层第一子网络中，得到所述第L层第一子网络输出的第L层第一特征映射；将所述第L层第一特征映射和所述主干网络第L-1层输出的单比例图像输入至第L-1层第一子网络中，得到第L-1层第一子网络输出的第L-1层第一特征映射；将所述第L层第一特征映射和所述第L-1层第一特征映射之和，以及所述主干网络第L-2层输出的单比例图像输入至第L-2层第一子网络中，得到第L-2层第一子网络输出的第L-2层第一特征映射；依次类推，直至将所述第L层第一特征映射、所述第L-1层第一特征映射至第2层第一子网络输出的第2层第一特征映射之和，以及所述主干网络第1层输出的单比例图像输入至第1层第一子网络中，得到第1个所述第一子网络输出的第1层第一特征映射；其中，L层是顶层；
将所述第1层第一特征映射输入至第1层第二子网络中，得到所述第2层第二子网络输出的第1层第二特征映射；将所述第1层第二特征映射和所述第2层第一特征映射输入至第2层第二子网络中，得到所述第2层第二子网络输出的第2层第二特征映射；将所述第1层第二特征映射和第2层第二特征映射之和，以及第3层第一特征映射输入至第3层第二子网络中，得到所述第3层第二子网络输出的第3层第二特征映射；依次类推，直至将第1层第二特征映射至第L-1层第二子网络输出的第L-1层第二特征映射之和，以及所述第L层第一特征映射输出的第L-1层第二特征映射输入至第L层第二子网络，得到所述第L层第二子网络输出的第L层第二特征映射；在将第一特征映射输入至第二子网络之前，还包括：在所述改进的路径聚合网络中设置边缘激活模块；将第一特征映射输入至所述边缘激活模块中，通过所述边缘激活模块强化所述第一特征映射在四个方向上的边界信息；
将所述第1层第二特征映射至所述第L层第二特征映射输入至所述Transformer预测头中，得到所述Transformer预测头输出的所述图像的目标检测结果。
2.根据权利要求1所述的无人机目标检测方法，其特征在于，所述第一子网络通过如下公式计算第一特征映射：
其中，Al表示第l层第一子网络输出的第l层第一特征映射，表示所述第l层第一子网络的卷积函数，νl(.)表示第l层第一子网络的复合函数，concatl(.)表示第l层第一子网络的concat函数，bl(x)表示所述主干网络第l层输出的单比例图像，x表示所述图像，L表示所述主干网络中的卷积层数量，um表示上采样的2m次操作，l是1至L中的任意整数。
3.根据权利要求1所述的无人机目标检测方法，其特征在于，所述边缘激活模块的数量为L个；其中，每一个所述边缘激活模块用于强化一个所述第一特征映射，l是1至L中的任意整数。
4.根据权利要求3所述的无人机目标检测方法，其特征在于，所述边缘激活模块的计算公式包括：
其中，Al ijX表示特征图中X通道的位置(i,j)，X通道是H,W,C三个通道中的任意一个通道。
5.根据权利要求4所述的无人机目标检测方法，其特征在于，所述第二子网络通过如下公式计算第二特征映射：
其中，Cl表示第l层第二子网络输出的第l层第二特征映射，表示所述第l层第二子网络的卷积函数，wl(.)表示第l层第二子网络的复合函数，concatl(.)表示第l层第二子网络的concat函数，Bl表示第l个所述边缘激活模块输出强化后的第l层第一特征映射。
6.根据权利要求1所述的无人机目标检测方法，其特征在于，在所述获取无人机采集的图像之前，所述无人机目标检测方法还包括：
通过所述无人机采集图像。
7.一种无人机目标检测系统，其特征在于，所述无人机目标检测系统包括：
图像获取单元，用于获取无人机采集的图像；
目标检测单元，用于将所述图像输入至目标检测模型中，得到所述目标检测模型输出的所述图像的目标检测结果；其中，所述目标检测模型包括依次连接的TPH-YOLOV5的主干网络、改进的路径聚合网络以及所述TPH-YOLOV5的Transformer预测头，所述改进的路径聚合网络包括自顶至底依次侧向连接的L个第一子网络和自顶至底依次侧向连接的L个第二子网络，所述第一子网络和所述第二子网络均通过卷积函数输出特定比例大小的特征映射；所述目标检测模型通过如下方式计算所述图像的目标检测结果：
将所述图像输入至所述主干网络中，得到所述主干网络每一层输出对应的单比例图像；
将所述主干网络第L层输出的单比例图像输入至第L层第一子网络中，得到所述第L层第一子网络输出的第L层第一特征映射；将所述第L层第一特征映射和所述主干网络第L-1层输出的单比例图像输入至第L-1层第一子网络中，得到第L-1层第一子网络输出的第L-1层第一特征映射；将所述第L层第一特征映射和所述第L-1层第一特征映射之和，以及所述主干网络第L-2层输出的单比例图像输入至第L-2层第一子网络中，得到第L-2层第一子网络输出的第L-2层第一特征映射；依次类推，直至将所述第L层第一特征映射、所述第L-1层第一特征映射至第2层第一子网络输出的第2层第一特征映射之和，以及所述主干网络第1层输出的单比例图像输入至第1层第一子网络中，得到第1个所述第一子网络输出的第1层第一特征映射；其中，L层是顶层；
将所述第1层第一特征映射输入至第1层第二子网络中，得到所述第2层第二子网络输出的第1层第二特征映射；将所述第1层第二特征映射和所述第2层第一特征映射输入至第2层第二子网络中，得到所述第2层第二子网络输出的第2层第二特征映射；将所述第1层第二特征映射和第2层第二特征映射之和，以及第3层第一特征映射输入至第3层第二子网络中，得到所述第3层第二子网络输出的第3层第二特征映射；依次类推，直至将第1层第二特征映射至第L-1层第二子网络输出的第L-1层第二特征映射之和，以及所述第L层第一特征映射输出的第L-1层第二特征映射输入至第L层第二子网络，得到所述第L层第二子网络输出的第L层第二特征映射；
在将第一特征映射输入至第二子网络之前，还包括：在所述改进的路径聚合网络中设置边缘激活模块；将第一特征映射输入至所述边缘激活模块中，通过所述边缘激活模块强化所述第一特征映射在四个方向上的边界信息；
将所述第1层第二特征映射至所述第L层第二特征映射输入至所述Transformer预测头中，得到所述Transformer预测头输出的所述图像的目标检测结果。
8.一种电子设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至6任一项所述的无人机目标检测方法。
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的无人机目标检测方法。
CN202210961225.8A 2022-08-11 2022-08-11 一种无人机目标检测方法、系统、设备及存储介质 Active CN115376025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210961225.8A CN115376025B (zh) 2022-08-11 2022-08-11 一种无人机目标检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961225.8A CN115376025B (zh) 2022-08-11 2022-08-11 一种无人机目标检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115376025A CN115376025A (zh) 2022-11-22
CN115376025B true CN115376025B (zh) 2024-01-26

Family

ID=84065612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961225.8A Active CN115376025B (zh) 2022-08-11 2022-08-11 一种无人机目标检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115376025B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807464A (zh) * 2021-09-29 2021-12-17 东南大学 基于改进yolo v5的无人机航拍图像目标检测方法
CN114565864A (zh) * 2022-02-28 2022-05-31 中科合肥智慧农业协同创新研究院 一种基于深度学习的果实识别方法
CN114612835A (zh) * 2022-03-15 2022-06-10 中国科学院计算技术研究所 一种基于YOLOv5网络的无人机目标检测模型

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807464A (zh) * 2021-09-29 2021-12-17 东南大学 基于改进yolo v5的无人机航拍图像目标检测方法
CN114565864A (zh) * 2022-02-28 2022-05-31 中科合肥智慧农业协同创新研究院 一种基于深度学习的果实识别方法
CN114612835A (zh) * 2022-03-15 2022-06-10 中国科学院计算技术研究所 一种基于YOLOv5网络的无人机目标检测模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TPH-YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone-captured Scenarios;Xingkui Zhu 等;Computer vision foundation;第1-11页 *

Also Published As

Publication number Publication date
CN115376025A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
US11410549B2 (en) Method, device, readable medium and electronic device for identifying traffic light signal
CN109087510B (zh) 交通监测方法及装置
WO2021249071A1 (zh) 一种车道线的检测方法及相关设备
US20170124415A1 (en) Subcategory-aware convolutional neural networks for object detection
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN105574550A (zh) 一种车辆识别方法及装置
CN106845487A (zh) 一种端到端的车牌识别方法
CN109784278B (zh) 基于深度学习的海上弱小运动船舶实时检测方法
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
CN112949633B (zh) 一种基于改进YOLOv3的红外目标检测方法
CN105426863B (zh) 检测车道线的方法和装置
CN106446834A (zh) 一种基于图像的车型识别方法及装置
CN113743417B (zh) 语义分割方法和语义分割装置
CN110795975A (zh) 人脸误检优化方法及装置
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
EP3764335A1 (en) Vehicle parking availability map systems and methods
CN116229406B (zh) 车道线检测方法、系统、电子设备及存储介质
CN115376025B (zh) 一种无人机目标检测方法、系统、设备及存储介质
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
CN112241736A (zh) 一种文本检测的方法及装置
CN114998387A (zh) 一种物体距离监测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant