CN117853954A - 一种高速无人机视角下的小目标检测方法 - Google Patents
一种高速无人机视角下的小目标检测方法 Download PDFInfo
- Publication number
- CN117853954A CN117853954A CN202311829277.0A CN202311829277A CN117853954A CN 117853954 A CN117853954 A CN 117853954A CN 202311829277 A CN202311829277 A CN 202311829277A CN 117853954 A CN117853954 A CN 117853954A
- Authority
- CN
- China
- Prior art keywords
- small target
- image
- data
- detection
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 230000000007 visual effect Effects 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000001629 suppression Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001373 regressive effect Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种高速无人机视角下的小目标检测方法，涉及无人机检测技术领域，包括：获取小目标图像数据，并进行数据增强，获得小目标图像数据集；构建检测模型，在所述小目标图像数据集中获取训练数据，采用所述训练数据对所述检测模型进行训练，获得小目标图像检测模型；接收待检测的视频图像并进行解码处理，再进行预处理；将预处理后的视频数据输入所述小目标图像检测模型，获得检测数据；将所述检测数据通过非极大值抑制的方法预测出目标图像边界框的位置；将所述目标图像边界框的位置与原始待检测的视频图像进行融合、压缩后输出小目标检测结果。本发明基于深度学习算法，充分利用硬件资源，实现了空对地场景下的小目标准确检测。
Description
技术领域
本发明涉及无人机检测技术领域，具体涉及一种高速无人机视角下的小目标检测方法。
背景技术
近些年来，高速无人机因为其体积小，造价低，使用方便，对环境要求低等优点而被重视并且进行技术攻关。监测作为无人机最重要的任务，光电类监测传感器设备已经是无人机不可获取的一部分，然而在现实情况中，由于无人机处于高空环境，在获取地面目标后，往往由于目标过小从而难以有效地检测识别地面目标。另外在地面平台上常用的小目标检测方法由于受限于机载嵌入式平台计算资源而难以实时地对目标进行有效地检测识别。因此，需要在机载嵌入式计算平台上设计一种高速无人机视角下的小目标检测方法：包括适用于嵌入式平台的小目标检测算法和适合于嵌入式平台的部署方法。
发明内容
有鉴于此，本申请实施例提供一种高速无人机视角下的小目标检测方法，以达到增强小目标的特征表达，进而提高小目标检测性能的目的。
本申请实施例提供以下技术方案：一种高速无人机视角下的小目标检测方法，包括：
获取小目标图像数据，对所述小目标图像数据进行数据增强，获得小目标图像数据集；
构建检测模型，在所述小目标图像数据集中获取训练数据，采用所述训练数据对所述检测模型进行训练，获得小目标图像检测模型；
接收待检测的视频图像并进行解码处理，再进行预处理；
将预处理后的视频数据输入所述小目标图像检测模型，获得检测数据；将所述检测数据通过非极大值抑制的方法预测出目标图像边界框的位置；
将所述目标图像边界框的位置与原始待检测的视频图像进行融合、压缩后输出小目标检测结果。
根据本申请一种实施例，采用所述训练数据对所述检测模型进行训练，包括：
采用所述训练数据，通过Reasoning-RCNN算法对所述检测模型进行训练。
根据本申请一种实施例，通过Reasoning-RCNN算法对所述检测模型进行训练，包括以下步骤：
(1)使用选择性搜索算法在输入图像Xi上筛选出至少2000个候选框，将候选框区域归一化到统一大小；
(2)使用CNN对每个所述候选框进行特征提取，生成一个4096维的特征向量fi；
(3)构建图像中的目标物体之间的知识图谱矩阵；
(4)将构建的所述知识图谱矩阵作为新的标注结果，将原始图像Xi输入所述检测模型，将所述知识图谱矩阵作为训练数据集进行重新训练，对损失函数进行最小化，得到新的特征提取器参数G；通过特征提取器参数G，对每个候选框进行新的特征提取，重新生成一个4096维的特征向量
(5)将作为图像目标新的的特征输入下一层，通过回归器获取到最终的目标位置和种类，完成模型训练。
根据本申请一种实施例，步骤(3)中，构建图像中的目标物体之间的知识图谱矩阵，包括：
基于整个图像数据中存在的N类目标，建立一个N*N的关系矩阵I，若第i类目标和第j类目标在图像中存在，并相互之间存在特定关系，则Iij＝1，否则设为Iij＝0，对每一张图像数据生成一个关系矩阵。
根据本申请一种实施例，对所述小目标图像数据进行数据增强，包括：
采用RenderGAN对所述小目标图像数据进行数据增强，获得所述小目标图像数据集。
根据本申请一种实施例，接收待检测的视频图像并进行解码处理，再进行预处理，包括：
将待检测的视频图像进行解码处理后，再通过临近插值算法进行预处理，以获得RGB图像数据。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：相比较传统的小目标识别算法，本发明实施例基于深度学习的目标识别算法能够更好的利用深度特征。而且相对比于地面平台充足的运行资源，空中机载平台一般都会因为嵌入式环境导致必须充分利用各种计算资源，因此，本发明着重说明在空中机载嵌入式平台的环境下，基于深度学习算法，充分利用硬件资源，实现空对地场景下的小目标准确检测。
本发明通过设计空中机载环境下的图像小目标检测、识别算法以及硬件运行下新的流程方法，结合生成对抗网络(Generative adversarial network,GAN)的方法来提高小目标的分辨率，缩小小目标与大/中尺度目标之间的特征差异，增强小目标的特征表达，进而提高小目标检测的性能，可以有效地在空中无人机机载平台中实现地面小目标的检测，从而协助无人机完成高空监测任务。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例的小目标检测方法流程图；
图2为本发明实施例的机载平台智能识别模块硬件系统设计图；
图3为本发明实施例的基于机载平台小目标图像检测系统的软件流程图；
图4为本发明实施例的小目标图像检测系统的硬件运行流程图；
图5为本发明实施例的基于生成对抗网络的数据增强方法流程图；
图6为本发明实施例的Reasoning-RCNN算法流程图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本发明实施例提供了一种高速无人机视角下的小目标检测方法，包括：
S101.获取小目标图像数据，采用RenderGAN对所述小目标图像数据进行数据增强，获得小目标图像数据集；
S102.构建检测模型，在所述小目标图像数据集中获取训练数据，采用所述训练数据对所述检测模型进行训练，获得小目标图像检测模型；
S103.接收待检测的视频图像并进行解码处理，再进行预处理；
S104.将预处理后的视频数据输入所述小目标图像检测模型，获得检测数据；将所述检测数据通过非极大值抑制的方法预测出目标图像边界框的位置；
S105.将所述目标图像边界框的位置与原始待检测的视频图像进行融合、压缩后输出小目标检测结果。
本实施例中，采用所述训练数据，通过Reasoning-RCNN算法对所述检测模型进行训练。具体包括以下步骤：
(1)使用选择性搜索算法(selective search)在输入图像Xi上筛选出至少2000个候选框，将候选框区域归一化到统一大小；
(2)使用CNN对每个所述候选框进行特征提取，生成一个4096维的特征向量fi；
(3)构建图像中的目标物体之间的知识图谱矩阵；具体包括：
基于整个图像数据中存在的N类目标，建立一个N*N的关系矩阵I，若第i类目标和第j类目标在图像中存在，并相互之间存在特定关系，则Iij＝1，否则设为Iij＝0，对每一张图像数据生成一个关系矩阵。
(4)将构建的所述知识图谱矩阵作为新的标注结果，将原始图像Xi输入ResNet模型，将所述知识图谱矩阵作为训练数据集(groudtruth)进行重新训练，对损失函数进行最小化，得到新的特征提取器参数G；通过特征提取器参数G，对每个候选框进行新的特征提取，重新生成一个4096维的特征向量/>
(5)将作为图像目标新的的特征输入下一层，通过回归器获取到最终的目标位置和种类，完成模型训练。
本发明实施例通过引入适合机载嵌入式平台运行的新的小目标检测算法，该方法通过生成器和鉴别器相互对抗的方式来学习小目标的高分辨率特征表示。通过针对性的硬件部署设计，主要实现了以下的功能：
(1)接收光电视频数据，并使用FPGA对数据进行前处理，使用NPU进行图像的智能识别、使用ARM进行图像的后处理等工作；(2)在Faster R-CNN的基础上提出了一种Reasoning-RCNN(选择性搜索算法)，其核心的思想就是对传统RCNN的方法进行增强，通过引入与附近物体的一些关系特征，从而确定物体的类别和位置。采用改进后的基于深度学习的小目标检测算法，通过构建知识图谱来编码上下文关系，并利用先验的上下文关系来影响目标检测，实现无人机视角下的小目标检测任务；(3)实现了机载嵌入式平台下的实时小目标检测功能。
本发明实施例的方法主要包括以下几个步骤：1、数据增强：结合生成对抗网络(Generative adversarial network,GAN)的方法来提高小目标的分辨率，缩小小目标与大/中尺度目标之间的特征差异，增强小目标的特征表达，进而提高小目标检测的性能。2、基于设计改进的Reasoning-RCNN算法进行模型的训练。3、将训练好的模型，根据前处理、推理阶段以及后处理的三个阶段分别按照硬件性能进行部署。4、对模型进行重复迭代更新。
基于本发明实施例的一种高速无人机视角下的小目标检测方法，设计了一个机载平台智能识别模块系统。该模块的功能是作为软件以及算法实现的硬件平台，在机载平台上搭载该模块。该系统的硬件结构如图2所示，图2示出了搭载在机载平台上的时延补偿处理硬件模块，包括视频输入模块、图像预处理模块(FPGA)、图像智能处理模块(NPU)、通信管理模块、电源模块以及维护模块。
视频输入模块：该模块主要的功能是接收传感器采集到的视频信号并进行解码处理。图像预处理模块：该模块的功能主要是将图像进行比如缩放这些预处理操作，在本发明实施例中该模块为FPGA模块；图像智能处理模块：主要是实现目标的自动检测功能，确保了可以使用深度学习的方法进行小目标图像的检测与识别。通信管理模块：主要任务是将主控设备发送的指令信息传递给图像预处理模块、传递地面指令到图像智能处理模块并将计算得到的目标位置传回给主控设备；维护模块：实现软件版本更新和补偿器模块内部数据下载；电源模块：负责电源管理，并提供抗尖峰电压、浪涌电压功能。设计的硬件模块通过添加图像预处理模块(FPGA)以及图像智能处理模块(NPU)可以实现设计的深度学习算法，使用图像预处理模块进行图像的归一化以及增强功能；使用图像智能处理模块实现图像的大规模矩阵运算过程，从而实现基于深度学习的小目标图像检测任务。
本发明实施例设计了视频输入->视频处理->图像预处理：分割或缩放->图像检测识别->结果与图像融合、保存的一整套用于高速无人机视角下的小目标检测的方法和系统。本发明实施例设定了在机载平台下，利用嵌入式异构计算平台CPU、FPGA、NPU以及VPU等计算资源的算法部署方法。从硬件平台实现算法的快速运行。
如图3所示，图3示出了基于硬件平台设计的处理方法和流程，主要包括以下步骤：
步骤一：系统上电或者复位后，进行上电自检，自检失败则重新上电复位，自检成功则给主控设备发送信息，准备接收主控信息。
步骤二：系统通过自检后，从光电传感器开始接收可见光视频数据。
步骤三：视频输入模块开始接收光电视频数据，在FPGA中对视频数据进行抽帧并逐帧进行前处理：分割以及缩放。
步骤四：由于FPGA与NPU内存共享，从内存中读取处理后的数据，传入NPU进行深度学习计算。
步骤五：将NPU中的计算结果从内存中读取至系统主内存中与原始图像进行融合、压缩输出。如图4所示。
在步骤三中，本发明实施例在该步骤中使用新的方法进行图像缩放。具体如下：
FPGA在图像的预处理中可以直接和图像传感器芯片连接获取图像或者视频数据流，如果是RAW格式的则可以进行差值以获得RGB图像数据。从而进行实时流水线处理。具体操作如下：使用纯verilog的方法，也就是临近插值算法，这种方法非常高效，代码的实现也较为简洁，而且支持水平缩小和垂直缩小，同时支持任意比例的视频缩小。
在步骤四中，本发明实施例在该步骤中使用新的算法进行无人机视角下小目标检测算法的训练。具体如下：
采用RenderGAN进行小目标图像的数据增强。具体步骤如图5：
s1、使用真实数据模型作为输入。这种真实数据模型可以是任何形状或大小的对象；
s2、通过生成对抗网络进行图像生成。在这个过程中，生成器会基于真实数据模型生成图像，而判别器则会评估这些生成的图像是否真实。
s3、用无标签数据学习图像增强操作，如照明、背景、缩小和细节等。这使得生成图像具有更高的真实感。
s4、采用pix2pix的生成器对纹理进行渲染，直接从模型中生成纹理。
s5、输出大量的真实且有标签的包含小目标的图像。
采用Reasoning-RCNN算法进行小目标图像检测模型的训练。具体步骤如图6所示。
本发明实施例通过设计空中机载环境下的图像小目标检测、识别算法以及硬件运行下新的流程方法，可以有效地在空中无人机机载平台中实现地面小目标的检测，从而协助无人机完成高空监测任务。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种高速无人机视角下的小目标检测方法，其特征在于，包括：
获取小目标图像数据，对所述小目标图像数据进行数据增强，获得小目标图像数据集；
构建检测模型，在所述小目标图像数据集中获取训练数据，采用所述训练数据对所述检测模型进行训练，获得小目标图像检测模型；
接收待检测的视频图像并进行解码处理，再进行预处理；
将预处理后的视频数据输入所述小目标图像检测模型，获得检测数据；将所述检测数据通过非极大值抑制的方法预测出目标图像边界框的位置；
将所述目标图像边界框的位置与原始待检测的视频图像进行融合、压缩后输出小目标检测结果。
2.根据权利要求1所述的高速无人机视角下的小目标检测方法，其特征在于，采用所述训练数据对所述检测模型进行训练，包括：
采用所述训练数据，通过Reasoning-RCNN算法对所述检测模型进行训练。
3.根据权利要求2所述的高速无人机视角下的小目标检测方法，其特征在于，通过Reasoning-RCNN算法对所述检测模型进行训练，包括以下步骤：
(1)使用选择性搜索算法在输入图像Xi上筛选出至少2000个候选框，将候选框区域归一化到统一大小；
(2)使用CNN对每个所述候选框进行特征提取，生成一个4096维的特征向量fi；
(3)构建图像中的目标物体之间的知识图谱矩阵；
(4)将构建的所述知识图谱矩阵作为新的标注结果，将原始图像Xi输入所述检测模型，将所述知识图谱矩阵作为训练数据集进行重新训练，对损失函数进行最小化，得到新的特征提取器参数G；通过特征提取器参数G，对每个候选框进行新的特征提取，重新生成一个4096维的特征向量
(5)将作为图像目标新的的特征输入下一层，通过回归器获取到最终的目标位置和种类，完成模型训练。
4.根据权利要求3所述的高速无人机视角下的小目标检测方法，其特征在于，步骤(3)中，构建图像中的目标物体之间的知识图谱矩阵，包括：
基于整个图像数据中存在的N类目标，建立一个N*N的关系矩阵I，若第i类目标和第j类目标在图像中存在，并相互之间存在特定关系，则Iij＝1，否则设为Iij＝0，对每一张图像数据生成一个关系矩阵。
5.根据权利要求1所述的高速无人机视角下的小目标检测方法，其特征在于，对所述小目标图像数据进行数据增强，包括：
采用RenderGAN对所述小目标图像数据进行数据增强，获得所述小目标图像数据集。
6.根据权利要求1所述的高速无人机视角下的小目标检测方法，其特征在于，接收待检测的视频图像并进行解码处理，再进行预处理，包括：
将待检测的视频图像进行解码处理后，再通过临近插值算法进行预处理，以获得RGB图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311829277.0A CN117853954A (zh) | 2023-12-27 | 2023-12-27 | 一种高速无人机视角下的小目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311829277.0A CN117853954A (zh) | 2023-12-27 | 2023-12-27 | 一种高速无人机视角下的小目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117853954A true CN117853954A (zh) | 2024-04-09 |
Family
ID=90539493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311829277.0A Pending CN117853954A (zh) | 2023-12-27 | 2023-12-27 | 一种高速无人机视角下的小目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117853954A (zh) |
-
2023
- 2023-12-27 CN CN202311829277.0A patent/CN117853954A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| Chakma et al. | Image-based air quality analysis using deep convolutional neural network | |
| Michieli et al. | Adversarial learning and self-teaching techniques for domain adaptation in semantic segmentation | |
| CN109977921B (zh) | 一种输电线路隐患检测方法 | |
| US20180114071A1 (en) | Method for analysing media content | |
| CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
| CN113936256A (zh) | 一种图像目标检测方法、装置、设备以及存储介质 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| CN110390308B (zh) | 一种基于时空对抗生成网络的视频行为识别方法 | |
| CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
| Shi et al. | Single‐shot detector with enriched semantics for PCB tiny defect detection | |
| Liu et al. | A night pavement crack detection method based on image‐to‐image translation | |
| CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| CN112037142B (zh) | 一种图像去噪方法、装置、计算机及可读存储介质 | |
| CN112560579A (zh) | 一种基于人工智能的障碍物检测方法 | |
| CN115131281A (zh) | 变化检测模型训练和图像变化检测方法、装置及设备 | |
| CN114463624A (zh) | 一种应用于城市管理监督的违章建筑物检测方法及装置 | |
| CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
| CN115965968A (zh) | 基于知识引导的小样本目标检测识别方法 | |
| CN117853954A (zh) | 一种高速无人机视角下的小目标检测方法 | |
| CN111160255B (zh) | 一种基于三维卷积网络的捕鱼行为识别方法及系统 | |
| CN112633089B (zh) | 一种视频行人重识别方法、智能终端及存储介质 | |
| CN114120076A (zh) | 基于步态运动估计的跨视角视频步态识别方法 | |
| Yuan et al. | Graph neural network based multi-feature fusion for building change detection | |
| CN110674764A (zh) | 一种工地裸露土方的检测方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |