CN115376022A - 基于神经网络的小目标检测算法在无人机航拍中的应用 - Google Patents

基于神经网络的小目标检测算法在无人机航拍中的应用 Download PDF

Info

Publication number
CN115376022A
CN115376022A CN202210755488.3A CN202210755488A CN115376022A CN 115376022 A CN115376022 A CN 115376022A CN 202210755488 A CN202210755488 A CN 202210755488A CN 115376022 A CN115376022 A CN 115376022A
Authority
CN
China
Prior art keywords
target
network
convolution
training
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210755488.3A
Other languages
English (en)
Other versions
CN115376022B (zh
Inventor
鲁仁全
罗茂林
吕伟俊
彭慧
徐雍
饶红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210755488.3A priority Critical patent/CN115376022B/zh
Publication of CN115376022A publication Critical patent/CN115376022A/zh
Application granted granted Critical
Publication of CN115376022B publication Critical patent/CN115376022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无人机航拍算法技术领域，且公开了基于神经网络的小目标检测算法在无人机航拍中的应用，需准备小目标数据集及高分辨率图像数据集，训练及使用时需重塑图片至统一大小以保证各网络在训练与使用阶段的输入图片大小一致。通过参数数量、计算资源消耗更少且强化了特征复用的Densenet‑121特征提取网络并加以修改以满足检测效率与准确性并重的要求，同时对原始数据集通过超分辨率生成网络进行超分辨率图的生成以提高图片的分辨率，并且通过带上下文信息的目标复制以丰富小目标出现的多样性并增加小目标样本数量，最后进行图像分块检测以减小网络输入数据大小、增加图片样本数量以及增加小目标信息占比从而提高训练及检测效果。

Description

基于神经网络的小目标检测算法在无人机航拍中的应用
技术领域
本发明涉及无人机航拍算法技术领域，具体为基于神经网络的小目标检测算法在无人机航拍中的应用。
背景技术
常规目标检测算法主要基于深度学习进行设计，其通过卷积神经网络可实现特征图的提取并基于特征图进行目标的分类和目标框的生成，但常规目标检测算法侧重于中大目标的检测而在小目标检测方面表现不佳。常规目标检测算法使用的特征图提取卷积网络一般为VGGNet和ResNet系列网络，其中VGGNet与ResNet虽然通过加深网络提高了网络性能但都带来了计算资源消耗的增加,在无人机航拍中的小目标检测方面存在着检测效率与准确性并重的要求。
在小目标检测方面存在着小目标尺度较小、可利用特征少以及分辨率低等特点也使得常规目标检测算法在小目标检测方面表现不佳。目前的一些做法是通过使用特征金字塔等多尺度网络来实现特征增强的目的从而提升小目标的检测效果，但其也存在着不同尺度间的重复运算带来的计算资源消耗增大的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于神经网络的小目标检测算法在无人机航拍中的应用,具备对原始数据集通过超分辨率生成网络进行超分辨率图的生成以提高图片的分辨率,锚框特点优化了初始点的选取并提高了迭代效率从而生成更适配小目标的锚框大小并提高检测效果优点，解决了分辨率低导致目标检测算法在小目标检测方面表现不佳，小目标检测方面存在着检测效率与准确性并重问题。
(二)技术方案
为实现上述对原始数据集通过超分辨率生成网络进行超分辨率图的生成以提高图片的分辨率,锚框特点优化了初始点的选取并提高了迭代效率从而生成更适配小目标的锚框大小并提高检测效果效果，本发明提供如下技术方案：基于神经网络的小目标检测算法在无人机航拍中的应用，包括以下步骤：
S1、数据准备
需准备小目标数据集及高分辨率图像数据集，训练及使用时需重塑图片至统一大小以保证各网络在训练与使用阶段的输入图片大小一致。
S2、高斯滤波
对小目标数据集所有原图像的三个通道进行高斯滤波处理以去除图像中的部分噪声。
S3、生成超分辨率图像
对高斯滤波处理后的小目标数据集使用引入深度可分离卷积的SRGAN神经网络生成超分辨率的新图像。
S4、图像目标复制
对小目标检测数据集中的每个图像进行目标复制处理,目标复制需要在目标及其上下文信息提取出来后将其复制在图内可能出现的其他地方,复制完成后需重新设计标签，标签要包含目标类别、目标框的中心坐标、目标框长宽、目标框左上角坐标与右下角坐标以及原小目标数据集标签包含的各类信息以便后续使用。
S5、图像分块检测与复原
图像分块检测：对处理好的图像数据集中的每个图像三通道同时进行叠式分块操作，目标块大小需根据实际目标大小决定并且图像块的重叠区域需大于最大尺度目标；分块复原：检测完成得到分块图片的目标框信息后需按照分块标记信息将目标框及其分类信息的复原至未分块图片内以在未分块图片内生成对应的目标框及其分类信息。
S6、检测网络
使用分块后的小目标数据集进行检测网络的训练。检测网络以Faster R-CNN网络为基础，使用修改过的Densenet-121卷积部分为检测网络中的公共卷积网络部分，Densenet中的Dense块由于其结构与连接特性存在着特征复用且参数较少的特点。
优选的，所述生成网络中引入了深度可分离卷积替代部分常规卷积。深度可分离卷积分为逐通道卷积和逐点卷积两个部分。若原一层常规卷积层包含Modp个Nodp×Nodp×ddp卷积核且步长为sodp，则可使用两层卷积层进行替代。第一层卷积层包含ddp个Nodp×Nodp×1卷积核，而后使每个卷积核与每个通道的输入数据进行独立的卷积运算，每个通道输入数据只与一个卷积核进行运算。第二层卷积层包含Modp个1×1×ddp卷积核进行卷积运算。经深度可分离卷积替代常规卷积后卷积核参数数量减少为原来的
Figure RE-GDA0003910406980000031
从而提升运算效率。
优选的，所述训练完成后即得到初步SRGAN网络模型，而后需要对其中的生成网络进行卷积核通道剪枝，被剪枝的卷积核通道将不参与运算。该阶段需额外设定训练次数并使用修改后的生成网络损失计算方式进行训练以实现卷积核通道的剪枝。
优选的，所述在原图像大小为Mpt×Npt的情况下，设分块大小为mpt×npt，横向重叠区域长度为xpt，纵向重叠区域宽度为ypt，则分块数量Opt为：
Figure RE-GDA0003910406980000032
分块后生成每个分块的标记，标记需包含该分块图片的原图片、该分块图片在原图片的位置信息与重叠块信息以方便后期复原。使用分块后的图片数据集进行训练以及使用。
优选的，所述复原后同一未分块图片内同一类目标的目标框及其对应的分类信息需根据目标框的IOU(交并比)信息及需根据实际情况人工设定的重叠阈值分为两种情况进行处理：目标框与图内其他目标框IOU均为0则无需处理；若复原后未分块图片内存在特定类型的目标框组，该类目标框组内任意两个目标框IOU都大于设定重叠阈值，则使用最小外接矩形法生成目标框组的最小外接矩形以替代原目标框组，该外接矩形显示的分类概率取自原目标框组中最大概率目标框的概率并注明其来源。
优选的，所述在训练前需要重新设计候选网络中的预设锚框大小，锚框重新设计过程基于改进K-means聚类法进行。根据训练数据集的目标框宽高信息重新设计9个不同长宽的锚框以匹配小目标。
优选的，所述得到检测网络初步模型后需对模型进行卷积核通道剪枝，训练至设定次数后需额外设定训练次数并使用修改后的损失计算方式进行训练以实现卷积核剪枝。
优选的，所述卷积核通道剪枝阶段训练时，候选区域网络与主体网络的损失均需更改为：
Figure RE-GDA0003910406980000041
Figure RE-GDA0003910406980000042
(x，y)为该训练批次内各数据输入与对应的网络输出，Lope为原损失函数。
(三)有益效果
与现有技术相比，本发明提供了基于神经网络的小目标检测算法在无人机航拍中的应用，具备以下有益效果：
该基于神经网络的小目标检测算法在无人机航拍中的应用，通过参数数量、计算资源消耗更少且强化了特征复用的Densenet-121特征提取网络并加以修改以满足检测效率与准确性并重的要求，同时对原始数据集通过超分辨率生成网络进行超分辨率图的生成以提高图片的分辨率，并且通过带上下文信息的目标复制以丰富小目标出现的多样性并增加小目标样本数量，最后进行图像分块检测以减小网络输入数据大小、增加图片样本数量以及增加小目标信息占比从而提高训练及检测效果。
该基于神经网络的小目标检测算法在无人机航拍中的应用，通过针对常规检测网络中锚框大小更适配中大目标的问题本方案使用改进K-means聚类法优化锚框的尺寸，针对锚框特点优化了初始点的选取并提高了迭代效率从而生成更适配小目标的锚框大小并提高检测效果，出于检测效率的要求对超分辨率图生成网络及检测网络中的公共卷积部分网络引入深度可分离卷积与卷积核通道剪枝以减少参数数量并提高算法效率。
附图说明
图1为算法流程示意图；
图2为本发明生成网络结构图；
图3为本发明判别网络结构图；
图4为本发明检测网络结构图；
图5为本发明公共卷积网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供一种技术方案：基于神经网络的小目标检测算法在无人机航拍中的应用，包括以下步骤：
S1、数据准备
需准备小目标数据集及高分辨率图像数据集，训练及使用时需重塑图片至统一大小以保证各网络在训练与使用阶段的输入图片大小一致。
S2、高斯滤波
对小目标数据集所有原图像的三个通道进行高斯滤波处理以去除图像中的部分噪声。
S3、生成超分辨率图像
对高斯滤波处理后的小目标数据集使用引入深度可分离卷积的SRGAN神经网络生成超分辨率的新图像,生成网络中引入了深度可分离卷积替代部分常规卷积。深度可分离卷积分为逐通道卷积和逐点卷积两个部分。若原一层常规卷积层包含Modp个Nodp×Nodp×ddp卷积核且步长为Sodp，则可使用两层卷积层进行替代。第一层卷积层包含ddp个Nodp×Nodp×1卷积核，而后使每个卷积核与每个通道的输入数据进行独立的卷积运算，每个通道输入数据只与一个卷积核进行运算。第二层卷积层包含Modp个1×1×ddp卷积核进行卷积运算。经深度可分离卷积替代常规卷积后卷积核参数数量减少为原来的
Figure RE-GDA0003910406980000061
从而提升运算效率,训练完成后即得到初步SRGAN网络模型，而后需要对其中的生成网络进行卷积核通道剪枝，被剪枝的卷积核通道将不参与运算。该阶段需额外设定训练次数并使用修改后的生成网络损失计算方式进行训练以实现卷积核通道的剪枝。
S4、图像目标复制
对小目标检测数据集中的每个图像进行目标复制处理,目标复制需要在目标及其上下文信息提取出来后将其复制在图内可能出现的其他地方,复制完成后需重新设计标签，标签要包含目标类别、目标框的中心坐标、目标框长宽、目标框左上角坐标与右下角坐标以及原小目标数据集标签包含的各类信息以便后续使用。
S5、图像分块检测与复原
图像分块检测：对处理好的图像数据集中的每个图像三通道同时进行叠式分块操作，目标块大小需根据实际目标大小决定并且图像块的重叠区域需大于最大尺度目标；分块复原：检测完成得到分块图片的目标框信息后需按照分块标记信息将目标框及其分类信息的复原至未分块图片内以在未分块图片内生成对应的目标框及其分类信息,在原图像大小为mpt×npt的情况下，设分块大小为mpt×npt，横向重叠区域长度为xpt，纵向重叠区域宽度为ypt，则分块数量Opt为：
Figure RE-GDA0003910406980000071
分块后生成每个分块的标记，标记需包含该分块图片的原图片、该分块图片在原图片的位置信息与重叠块信息以方便后期复原。使用分块后的图片数据集进行训练以及使用,复原后同一未分块图片内同一类目标的目标框及其对应的分类信息需根据目标框的IOU(交并比)信息及需根据实际情况人工设定的重叠阈值分为两种情况进行处理：目标框与图内其他目标框IOU均为0 则无需处理；若复原后未分块图片内存在特定类型的目标框组，该类目标框组内任意两个目标框IOU都大于设定重叠阈值，则使用最小外接矩形法生成目标框组的最小外接矩形以替代原目标框组，该外接矩形显示的分类概率取自原目标框组中最大概率目标框的概率并注明其来源。
S6、检测网络
使用分块后的小目标数据集进行检测网络的训练。检测网络以Faster R-CNN网络为基础，使用修改过的Densenet-121卷积部分为检测网络中的公共卷积网络部分，Densenet中的Dense块由于其结构与连接特性存在着特征复用且参数较少的特点,在训练前需要重新设计候选网络中的预设锚框大小，锚框重新设计过程基于改进K-means聚类法进行。根据训练数据集的目标框宽高信息重新设计9个不同长宽的锚框以匹配小目标,得到检测网络初步模型后需对模型进行卷积核通道剪枝，训练至设定次数后需额外设定训练次数并使用修改后的损失计算方式进行训练以实现卷积核剪枝,卷积核通道剪枝阶段训练时，候选区域网络与主体网络的损失均需更改为：
Figure RE-GDA0003910406980000081
Figure RE-GDA0003910406980000082
(x，y)为该训练批次内各数据输入与对应的网络输出，Lope为原损失函数。
通过参数数量、计算资源消耗更少且强化了特征复用的Densenet-121特征提取网络并加以修改以满足检测效率与准确性并重的要求，同时对原始数据集通过超分辨率生成网络进行超分辨率图的生成以提高图片的分辨率，并且通过带上下文信息的目标复制丰富小目标出现的多样性并增加小目标样本数量，最后进行图像分块检测以减小网络输入数据大小、增加图片样本数量以及增加小目标信息占比从而提高训练及检测效果；针对常规检测网络中锚框大小更适配中大目标的问题本方案使用改进K-means聚类法优化锚框的尺寸，针对锚框特点优化了初始点的选取并提高了迭代效率从而生成更适配小目标的锚框大小并提高检测效果，出于检测效率的要求对超分辨率图生成网络及检测网络中的公共卷积部分网络引入深度可分离卷积与卷积核通道剪枝以减少参数数量并提高算法效率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于神经网络的小目标检测算法在无人机航拍中的应用，其特征在于，包括以下步骤：
S1、数据准备
需准备小目标数据集及高分辨率图像数据集，训练及使用时需重塑图片至统一大小以保证各网络在训练与使用阶段的输入图片大小一致；
S2、高斯滤波
对小目标数据集所有原图像的三个通道进行高斯滤波处理以去除图像中的部分噪声；
S3、生成超分辨率图像
对高斯滤波处理后的小目标数据集使用引入深度可分离卷积的SRGAN神经网络生成超分辨率的新图像；
S4、图像目标复制
对小目标检测数据集中的每个图像进行目标复制处理,目标复制需要在目标及其上下文信息提取出来后将其复制在图内可能出现的其他地方,复制完成后需重新设计标签，标签要包含目标类别、目标框的中心坐标、目标框长宽、目标框左上角坐标与右下角坐标以及原小目标数据集标签包含的各类信息以便后续使用；
S5、图像分块检测与复原
图像分块检测：对处理好的图像数据集中的每个图像三通道同时进行叠式分块操作，目标块大小需根据实际目标大小决定并且图像块的重叠区域需大于最大尺度目标；分块复原：检测完成得到分块图片的目标框信息后需按照分块标记信息将目标框及其分类信息的复原至未分块图片内以在未分块图片内生成对应的目标框及其分类信息；
S6、检测网络
使用分块后的小目标数据集进行检测网络的训练。检测网络以Faster R-CNN 网络为基础，使用修改过的Densenet-121卷积部分为检测网络中的公共卷积网络部分，Densenet中的Dense块由于其结构与连接特性存在着特征复用且参数较少的特点。
2.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用，其特征在于，所述步骤S3中,生成网络中引入了深度可分离卷积替代部分常规卷积。深度可分离卷积分为逐通道卷积和逐点卷积两个部分。若原一层常规卷积层包含Modp个Nodp×Nodp×ddp卷积核且步长为Sodp，则可使用两层卷积层进行替代。第一层卷积层包含ddp个Nodp×Nodp×1卷积核，而后使每个卷积核与每个通道的输入数据进行独立的卷积运算，每个通道输入数据只与一个卷积核进行运算。第二层卷积层包含Modp个1×1×ddp卷积核进行卷积运算。经深度可分离卷积替代常规卷积后卷积核参数数量减少为原来的
Figure RE-FDA0003910406970000021
从而提升运算效率。
3.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用，其特征在于，所述步骤S3中,训练完成后即得到初步SRGAN网络模型，而后需要对其中的生成网络进行卷积核通道剪枝，被剪枝的卷积核通道将不参与运算。该阶段需额外设定训练次数并使用修改后的生成网络损失计算方式进行训练以实现卷积核通道的剪枝。
4.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用，其特征在于，所述步骤S5中,在原图像大小为mpt×npt的情况下，设分块大小为mpt×npt，横向重叠区域长度为xpt，纵向重叠区域宽度为ypt，则分块数量Opt为：
Figure RE-FDA0003910406970000022
分块后生成每个分块的标记，标记需包含该分块图片的原图片、该分块图片在原图片的位置信息与重叠块信息以方便后期复原。使用分块后的图片数据集进行训练以及使用。
5.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用，其特征在于，所述步骤S5中,复原后同一未分块图片内同一类目标的目标框及其对应的分类信息需根据目标框的IOU(交并比)信息及需根据实际情况人工设定的重叠阈值分为两种情况进行处理：目标框与图内其他目标框IOU均为0则无需处理；若复原后未分块图片内存在特定类型的目标框组，该类目标框组内任意两个目标框IOU都大于设定重叠阈值，则使用最小外接矩形法生成目标框组的最小外接矩形以替代原目标框组，该外接矩形显示的分类概率取自原目标框组中最大概率目标框的概率并注明其来源。
6.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用，其特征在于，所述步骤S6中,在训练前需要重新设计候选网络中的预设锚框大小，锚框重新设计过程基于改进K-means聚类法进行。根据训练数据集的目标框宽高信息重新设计9个不同长宽的锚框以匹配小目标。
7.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用，其特征在于，所述步骤S6中,得到检测网络初步模型后需对模型进行卷积核通道剪枝，训练至设定次数后需额外设定训练次数并使用修改后的损失计算方式进行训练以实现卷积核剪枝。
8.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用，其特征在于，所述步骤S6中,卷积核通道剪枝阶段训练时，候选区域网络与主体网络的损失均需更改为：
Figure RE-FDA0003910406970000031
Figure RE-FDA0003910406970000041
为该训练批次内各数据输入与对应的网络输出，Lope为原损失函数。
CN202210755488.3A 2022-06-30 2022-06-30 基于神经网络的小目标检测算法在无人机航拍中的应用 Active CN115376022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210755488.3A CN115376022B (zh) 2022-06-30 2022-06-30 基于神经网络的小目标检测算法在无人机航拍中的应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210755488.3A CN115376022B (zh) 2022-06-30 2022-06-30 基于神经网络的小目标检测算法在无人机航拍中的应用

Publications (2)

Publication Number Publication Date
CN115376022A true CN115376022A (zh) 2022-11-22
CN115376022B CN115376022B (zh) 2024-04-05

Family

ID=84061731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210755488.3A Active CN115376022B (zh) 2022-06-30 2022-06-30 基于神经网络的小目标检测算法在无人机航拍中的应用

Country Status (1)

Country Link
CN (1) CN115376022B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118247711A (zh) * 2024-04-12 2024-06-25 中科南京人工智能创新研究院 一种Transformer架构小目标检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188807A (zh) * 2019-05-21 2019-08-30 重庆大学 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN111062382A (zh) * 2019-10-30 2020-04-24 北京交通大学 用于目标检测网络的通道剪枝方法
CN111144415A (zh) * 2019-12-05 2020-05-12 大连民族大学 一种微小行人目标的检测方法
CN112163628A (zh) * 2020-10-10 2021-01-01 北京航空航天大学 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN112508787A (zh) * 2020-12-14 2021-03-16 磐基技术有限公司 一种基于图像超分辨的目标检测方法
CN112801183A (zh) * 2021-01-28 2021-05-14 哈尔滨理工大学 一种基于YOLO v3的多尺度目标检测方法
CN113538234A (zh) * 2021-06-29 2021-10-22 中国海洋大学 基于轻量化生成模型的遥感图像超分辨率重建方法
CN113610087A (zh) * 2021-06-30 2021-11-05 国网福建省电力有限公司信息通信分公司 一种基于先验超分辨率的图像小目标检测方法及存储介质
CN113837185A (zh) * 2021-11-23 2021-12-24 深圳比特微电子科技有限公司 目标检测方法、系统、装置及存储介质
CN114004977A (zh) * 2021-10-25 2022-02-01 成都飞机工业（集团）有限责任公司 一种基于深度学习的航拍数据目标定位方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188807A (zh) * 2019-05-21 2019-08-30 重庆大学 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN111062382A (zh) * 2019-10-30 2020-04-24 北京交通大学 用于目标检测网络的通道剪枝方法
CN111144415A (zh) * 2019-12-05 2020-05-12 大连民族大学 一种微小行人目标的检测方法
CN112163628A (zh) * 2020-10-10 2021-01-01 北京航空航天大学 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN112508787A (zh) * 2020-12-14 2021-03-16 磐基技术有限公司 一种基于图像超分辨的目标检测方法
CN112801183A (zh) * 2021-01-28 2021-05-14 哈尔滨理工大学 一种基于YOLO v3的多尺度目标检测方法
CN113538234A (zh) * 2021-06-29 2021-10-22 中国海洋大学 基于轻量化生成模型的遥感图像超分辨率重建方法
CN113610087A (zh) * 2021-06-30 2021-11-05 国网福建省电力有限公司信息通信分公司 一种基于先验超分辨率的图像小目标检测方法及存储介质
CN114004977A (zh) * 2021-10-25 2022-02-01 成都飞机工业（集团）有限责任公司 一种基于深度学习的航拍数据目标定位方法及系统
CN113837185A (zh) * 2021-11-23 2021-12-24 深圳比特微电子科技有限公司 目标检测方法、系统、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YU FU; CHENGYU ZHENG; LIYUAN YUAN; HAO CHEN; JIE NIE: "Small Object Detection in Complex Large Scale Spatial Image by Concatenating SRGAN and Multi-Task WGAN", 《2021 7TH INTERNATIONAL CONFERENCE ON BIG DATA COMPUTING AND COMMUNICATIONS (BIGCOM)》, 1 October 2021 (2021-10-01), pages 1 - 8 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118247711A (zh) * 2024-04-12 2024-06-25 中科南京人工智能创新研究院 一种Transformer架构小目标检测方法及系统

Also Published As

Publication number Publication date
CN115376022B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN110322495B (zh) 一种基于弱监督深度学习的场景文本分割方法
CN107358262B (zh) 一种高分辨率图像的分类方法及分类装置
JP2022548712A (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN109858487B (zh) 基于分水岭算法和图像类别标签的弱监督语义分割方法
CN112233129B (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN109934826A (zh) 一种基于图卷积网络的图像特征分割方法
CN112101364B (zh) 基于参数重要性增量学习的语义分割方法
CN111931572B (zh) 一种遥感影像的目标检测方法
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN116246138A (zh) 基于全卷积神经网络的红外-可见光图像目标级融合方法
CN115376022A (zh) 基于神经网络的小目标检测算法在无人机航拍中的应用
CN117893763B (zh) 一种基于ResCo-UNet的荞麦籽粒图像分割方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN114494272A (zh) 一种基于深度学习的金属零件快速分割方法
CN117911437A (zh) 一种改进YOLOv5x的荞麦籽粒粘连分割方法
CN112348103B (zh) 图像块分类方法和装置及其超分辨重建方法和装置
CN113688715A (zh) 面部表情识别方法及系统
CN115457448B (zh) 一种视频关键帧智能提取系统
CN114219757B (zh) 一种基于改进Mask R-CNN的车辆智能定损方法
CN116109518A (zh) 一种金属锈蚀图像的数据增强、分割方法及装置
CN114266846B (zh) 一种用于目标检测模型的自学习填充方法
CN113297899B (zh) 一种基于深度学习的视频哈希算法
CN111462006B (zh) 一种多目标的图像补全方法
CN114943655A (zh) 基于循环深度卷积生成对抗网络结构的图像修复系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant