CN113283411B - 无人机目标检测方法、装置、设备和介质 - Google Patents

无人机目标检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN113283411B
CN113283411B CN202110841118.7A CN202110841118A CN113283411B CN 113283411 B CN113283411 B CN 113283411B CN 202110841118 A CN202110841118 A CN 202110841118A CN 113283411 B CN113283411 B CN 113283411B
Authority
CN
China
Prior art keywords
image
visible light
infrared
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110841118.7A
Other languages
English (en)
Other versions
CN113283411A (zh
Inventor
康来
陈辉
魏迎梅
万珊珊
蒋杰
谢毓湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110841118.7A priority Critical patent/CN113283411B/zh
Publication of CN113283411A publication Critical patent/CN113283411A/zh
Application granted granted Critical
Publication of CN113283411B publication Critical patent/CN113283411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Abstract

本申请涉及无人机目标检测方法、装置、设备和介质，方法包括：获取无人机的原数据集；原数据集包括可见光视频序列和红外视频序列；对可见光视频序列和红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集；利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。在已有YOLOv3算法的基础上，增加可见光‑红外图像融合处理，对YOLOv3算法进行改进，得到了更优的基于图像融合的无人机红外目标检测手段，实现了无人机目标检测性能较强的技术效果。

Description

无人机目标检测方法、装置、设备和介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种无人机目标检测方法、装置、设备和介质。
背景技术
随着微电子技术和人工智能的飞速发展，无人机基础零部件呈现出了小型化、低成本和低功耗等特点，这促进了无人机技术的革新，也使小型无人机拥有重量轻、操作简单、机身灵活、生存能力强和价格低廉等众多优点，扩大了其应用领域。伴随着人工智能、5G通讯等新技术的发展和完善，由于无人机优越的性能，其应用规模也在不断扩大，广泛运用于民用与军用。随着无人机技术门槛和获得难度的不断降低，其也会带来新的挑战和威胁，因此，反无人机技术也应运而生。
反无人机技术首要任务就是无人机目标的检测，目前，反无人机技术多采用可见光图像或红外图像进行目标检测。然而，在实现本发明的过程中，发明人发现目前反无人机技术采用的检测技术，仍然存在着无人机目标检测性能较弱的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种无人机目标检测性能较强的无人机目标检测方法、一种无人机目标检测装置、一种计算机设备以及一种计算机可读存储介质。
为了实现上述目的，本发明实施例采用以下技术方案：
一方面，本发明实施例提供一种无人机目标检测方法，包括步骤：
获取无人机的原数据集；原数据集包括可见光视频序列和红外视频序列；
对可见光视频序列和红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集；
利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；
利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。
另一方面，还提供一种无人机目标检测装置，包括：
数据获取模块，用于获取无人机的原数据集；原数据集包括可见光视频序列和红外视频序列；
标准处理模块，用于对可见光视频序列和红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集；
图像融合模块，用于利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；
目标检测模块，用于利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。
又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现任一项的上述无人机目标检测方法的步骤。
再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现任一项的上述无人机目标检测方法的步骤。
上述技术方案中的一个技术方案具有如下优点和有益效果：
上述无人机目标检测方法、装置、设备和介质，通过获取输入的原数据集，其包括可见光视频序列和红外视频序列，然后对可见光视频序列和红外视频序列进行图像配准与标准化处理后，形成标准数据集；进而，利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；最后利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。如此，在已有YOLOv3深度学习目标检测算法的基础上，增加可见光-红外图像融合处理，对YOLOv3目标检测算法进行改进，得到了更优的基于图像融合的无人机红外目标检测手段，显著地改善了目标检测效果，大幅提升了全天候条件下无人机目标的检测精度，传统方法对比检测效率也更高，实现了无人机目标检测性能较强的技术效果。
附图说明
图1为一个实施例中无人机目标检测方法的流程示意图；
图2为一个实施例中图像匹配流程的示意图；
图3为一个实施例中基于深度学习的图像融合流程示意图；
图4为一个实施例中基于CNN的图像融合处理的流程示意图；
图5为一个实施例中基于CNN图像融合的相关各子图的示意图，其中，图（a）表示输入的可见光图像、图（b）表示输入的红外图像，图（c）表示生成的权重图，图（d）表示融合图像；
图6为一个实施例中无人机目标检测装置的模块结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
在计算机视觉领域，红外无人机检测也有许多的研究和方法，传统的检测方法已经形成了比较完备的体系，但是其精度和效率都比较低。反无人机技术首先需要实现的就是快速、实时并准确的发现并锁定无人机目标，以实现无人机目标跟踪，检测目标要基于探测手段和探测影像——探测类技术。其中，光学成像和热成像技术在计算机视觉领域研究较多。光学成像探测技术能够获取目标的更多细节信息，其图像分辨率高，但容易受到光强、天气和时间等条件影响，造成遮挡或过分曝光，甚至是不能成像。热成像技术是通过收集物体发射的红外波段能量来进行成像，红外图像反映了目标区域的热量布局情况，该成像效果主要由目标的发射率和传感器探测范围内的热量分布来决定。所以，红外图像具有透过云雾、障碍探测到目标的能力，同时，能够进行夜间成像，拥有全天候工作的特点。
对于现有的目标检测算法，从提出R-CNN（Region-CNN算法）开始，再到后面的SPP-Net、Fast R-CNN、Faster R-CNN、SSD和YOLO等算法，基于深度学习的目标检测算法发展迅速且其速度和精度都在得到不断地提升，Faster R-CNN、SSD和YOLO系列算法在开放目标检测数据集上的检测效果都很出色。然而在反无人机技术中的已有应用的检测技术中大多基于可见光图像或红外图像检测，其检测效果仍有待提高。
综上，本申请针对目前反无人机技术采用的检测技术，仍然存在着的无人机目标检测性能较弱的技术问题，研究给出了一种可面向反无人机的无人机目标检测方法。下面对本申请的方法进行详细展示说明。
请参阅图1，一方面，本发明提供一种无人机目标检测方法，包括如下步骤S12至S18：
S12，获取无人机的原数据集；原数据集包括可见光视频序列和红外视频序列。
可以理解，可见光视频序列可以包括输入的或者实时采集的可见光图像组成的视频流，其包括多帧可见光图像。相应的，红外视频序列可以包括输入的或者实时采集的红外图像组成的视频流，其包括多帧红外图像；每一帧可见光图像有相应帧的红外图像，也即，例如可以通过设备上搭载的可见光探测器和红外探测器同时对同一或者多个无人机目标进行拍摄跟踪，以获取可见光视频序列和红外视频序列。这些图像中记录了无人机目标，其可以放入专用的数据集中并且给出了其目标的位置标注文件。
S14，对可见光视频序列和红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集。
可以理解，原数据集由可见光视频序列和红外视频序列组成，其中可见光视频序列每一帧大小与红外视频序列每一帧大小会有不同，存在目标大小及其位置不匹配的问题。此外，在实践中还可以发现，可见光视频序列和红外视频序列之间还存在固定帧数的时间差，需要进行时间匹配。因此，在进行图像融合之前，需要对可见光视频序列和红外视频序列中的图像进行配准，完成上述两种图像在空间和时间上的匹配后，进行图像裁剪与相应的新标签制作，以消除这些原数据之间的空间和时间上的不匹配问题，从而得到标准化的标准数据集。
S16，利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集。
可以理解，CNN模型可以采用本领域中已有各型卷积神经网络模型。为确保目标检测的效果优化，在获得标准数据集后，可以利用CNN模型对标准数据集中的可见光图像和红外图像这两种图像，进行基于深度学习的图像融合处理，将标准化的各可见光图像及其相应红外图像进行融合，得到各相应的融合图像。这些融合图像组成的新数据集合即为所需的融合图像集。
S18，利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。
可以理解，在目标检测框架中，本领域已有的YOLOv3模型具有高精度、实时目标检测的优点，因此，本申请采用YOLOv3模型进行目标检测。YOLOv3模型可以预先利用构建的无人机专用训练数据集进行训练，得到训练好的YOLOv3模型，也称目标检测模型，以使其适应本申请的无人机目标识别。无人机专用训练数据集可以采用预先构建的anti-AUVChallenge Dataset的test数据集，test数据集中包括各类无人机图像：如大与小、夜间与白天、有无遮挡、是否旋转、快速移动与缓慢移动、以云层为背景与以建筑为背景等类型的共150段视频序列，每一段视频序列均包含可见光和红外两种模态的图像，并且给出了这些图像中目标的位置标注文件。
在获得融合图像集后，将该融合图像集作为测试集输入训练好的YOLOv3模型进行无人机目标检测，即可得到无人机检测结果，如在每张融合图像上标识出无人机目标和/或给出无人机目标的位置、尺寸等信息。
上述无人机目标检测方法，通过首先获取输入的原数据集，其包括可见光视频序列和红外视频序列，然后对可见光视频序列和红外视频序列进行图像配准与标准化处理后，形成标准数据集；进而，利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；最后利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。如此，在已有YOLOv3深度学习目标检测算法的基础上，增加可见光-红外图像融合处理，对YOLOv3目标检测算法进行改进，得到了更优的基于图像融合的无人机红外目标检测手段，显著地改善了目标检测效果，大幅提升了全天候条件下无人机目标的检测精度，传统方法对比检测效率也更高，实现了无人机目标检测性能较强的技术效果。
在一个实施例中，关于上述步骤S14中对可见光视频序列和红外视频序列进行图像匹配的过程，具体可以包括如下处理过程：
对可见光视频序列中的可见光图像和红外视频序列中的红外图像进行空间匹配和时间匹配处理，得到可见光图像和红外图像的空间对应关系。
可以理解，因为可见光图像和红外图像存在目标大小和位置上的不匹配问题，本实施例根据本领域已有的基本图像匹配原理，见图2所示，构建出适合本实施例原始数据集的变换关系，实现图像匹配。空间匹配实质上就是找待匹配图像之间的空间对应关系。通过对图2进行分析可知，图像匹配首先要从源图像中提取出图像特征，且这些图像特征在源图像中能够精确对准，如此可更好的实现高质量的特征匹配。完成源图像的图像特征匹配后，根据特征点坐标计算出源图像的变换系数；然后根据变换系数实现图像匹配。
在一个实施例中，空间匹配的处理通过如下多项式完成：
Figure 263387DEST_PATH_IMAGE001
（1）
其中，（
Figure 276211DEST_PATH_IMAGE002
，
Figure 375754DEST_PATH_IMAGE003
）表示可见光图像和红外图像之间变换后的坐标，
Figure 857551DEST_PATH_IMAGE004
和
Figure 474477DEST_PATH_IMAGE005
分别表示图像特征点的x和y方向上的缩放系数，（
Figure 374431DEST_PATH_IMAGE006
，
Figure 848138DEST_PATH_IMAGE007
）表示可见光图像和红外图像之间变换前的坐标，
Figure 20493DEST_PATH_IMAGE008
和
Figure 237848DEST_PATH_IMAGE009
分别表示图像特征点的x和y方向上的平移系数；
缩放系数和平移系数通过对可见光图像和红外图像上图像特征点的标签值进行直线拟合得到。
可以理解，图像匹配一般是根据图像特征点进行匹配。然而，原数据集中目标通常较小，特征不明显，无法较好地完成特征点提取。因此，在本实施例中，根据原数据集已有标签值，结合以往试验上的大量观察，可以判断其可见光图像与红外图像之间仅存在缩放和平移变换，且其无人机目标真实框的四个拐点坐标之间成线性关系。
根据可见光图像与红外图像之间仅存在缩放和平移变换这一判断，构建出二者（可见光图像与红外图像）坐标之间的变换关系如下：
Figure 241576DEST_PATH_IMAGE010
（2）
用多项式表示即为上述的式（1）。
为了求解上述平移系数和缩放系数，需根据已知目标的特征点，求解变换系数。因为本实施例以无人机目标真实框的四个拐点坐标为特征点，所以，下一步需要将这些特征点的标签值取出，然后进行直线拟合得到线性关系，从而求解出平移系数和缩放系数。
具体的，将可见光图像的标签值
Figure 89446DEST_PATH_IMAGE011
、
Figure 795103DEST_PATH_IMAGE012
、
Figure 550570DEST_PATH_IMAGE013
和
Figure 408804DEST_PATH_IMAGE014
，以及红外图像的标签值
Figure 224313DEST_PATH_IMAGE015
、
Figure 918731DEST_PATH_IMAGE016
、
Figure 681151DEST_PATH_IMAGE017
和
Figure 393892DEST_PATH_IMAGE018
从原数据集的标签文件中取出，对应存放在各自的
Figure 380302DEST_PATH_IMAGE019
、
Figure 14546DEST_PATH_IMAGE020
两个坐标列表中，得到：
Figure 377394DEST_PATH_IMAGE021
Figure 459489DEST_PATH_IMAGE022
(3)
Figure 554484DEST_PATH_IMAGE023
Figure 738340DEST_PATH_IMAGE024
(4)
Figure 842562DEST_PATH_IMAGE025
Figure 264316DEST_PATH_IMAGE026
(5)
Figure 858109DEST_PATH_IMAGE027
Figure 748836DEST_PATH_IMAGE028
(6)
其中，坐标
Figure 453486DEST_PATH_IMAGE029
与
Figure 729747DEST_PATH_IMAGE030
、坐标
Figure 228861DEST_PATH_IMAGE031
与
Figure 370999DEST_PATH_IMAGE032
之间的元素按照顺序，一一对应。将
Figure 817024DEST_PATH_IMAGE033
与
Figure 213370DEST_PATH_IMAGE034
、
Figure 148965DEST_PATH_IMAGE035
与
Figure 263551DEST_PATH_IMAGE036
分别画出散点并拟合处理，得到这两种坐标之间线性关系可如下：
Figure 247688DEST_PATH_IMAGE037
(7)
Figure 514852DEST_PATH_IMAGE038
(8)
其中，
Figure 355769DEST_PATH_IMAGE039
表示红外图像的坐标
Figure 957652DEST_PATH_IMAGE040
向可见光图像的坐标
Figure 807796DEST_PATH_IMAGE041
变换的缩放系数，
Figure 381997DEST_PATH_IMAGE042
表示红外图像的坐标
Figure 643083DEST_PATH_IMAGE043
向可见光图像的坐标
Figure 732262DEST_PATH_IMAGE044
变换的平移系数，
Figure 323780DEST_PATH_IMAGE045
表示红外图像的坐标
Figure 549225DEST_PATH_IMAGE046
向可见光图像的坐标
Figure 997524DEST_PATH_IMAGE047
变换的缩放系数，
Figure 777261DEST_PATH_IMAGE048
表示红外图像的坐标
Figure 454361DEST_PATH_IMAGE049
向可见光图像的坐标
Figure 799892DEST_PATH_IMAGE050
变换的平移系数。
在一个实施例中，时间匹配的处理过程包括如下处理步骤：
确定可见光图像和红外图像的帧数差；
将可见光图像和红外图像的坐标对应关系以帧数差为间隔进行一一对应，得到时间对应关系校准后的可见光图像和红外图像。
可以理解，经实践分析发现，原数据集中每个视频子集的可见光视频序列与红外视频序列均存在固定帧数差，但不同视频子集之间帧数差不一致，帧数差小的数据集进行前一实施例中的拟合处理的效果较好，帧数差大的数据集拟合效果较差。因此，还需逐个视频进行分析，消除其帧数差。
图像的帧数差可以根据原图像的俯仰角变化节点直接得到，可以通过计算设备直接读取或者人工判读后输入计算设备。若假设红外视频的俯仰角变化时帧数为
Figure 419092DEST_PATH_IMAGE051
，可见光视频的俯仰角变化时帧数为
Figure 217284DEST_PATH_IMAGE052
，则其帧数差为：
Figure 150605DEST_PATH_IMAGE053
(9)
因此，原
Figure 599909DEST_PATH_IMAGE054
、
Figure 593273DEST_PATH_IMAGE055
坐标对应关系变为：
Figure 878761DEST_PATH_IMAGE056
与
Figure 412511DEST_PATH_IMAGE057
、
Figure 467054DEST_PATH_IMAGE058
与
Figure 631319DEST_PATH_IMAGE059
之间的元素按照顺序，以帧数差
Figure 154836DEST_PATH_IMAGE060
为间隔一一对应。例如，原有
Figure 429959DEST_PATH_IMAGE061
与
Figure 870168DEST_PATH_IMAGE062
对应，但其存在帧数差
Figure 736493DEST_PATH_IMAGE063
，经过时间匹配后，
Figure 199835DEST_PATH_IMAGE064
将与
Figure 75387DEST_PATH_IMAGE065
对应，实现时间对应关系校准。各序列经过时间校准后，其空间拟合效果将会大幅提升，从而最终得到可见光图像和红外图像的空间对应关系。
在一个实施例中，关于上述步骤S14中对可见光视频序列和红外视频序列进行图像裁剪的过程，具体可以包括如下处理过程：
根据空间对应关系，结合可见光图像和红外图像的尺寸，将可见光图像和红外图像裁剪为尺寸大小一致的图像。
可以理解，找到可见光-红外图像的空间对应关系后，需要根据此变换，分别对相应两幅图像进行裁剪、重采样，使其大小一致且特征匹配。
具体的，根据变换关系，如上述的式（7）和式（8），结合图像尺寸，进行裁剪。经过图像变换，可将可见光图像与相应红外图像进行叠加，即可确定两图像的横向和纵向大小关系，从而进行相应的横向和/或纵向裁剪，如可见光图像在横向上大于红外图像，而可见光图像在纵向上小于红外图像，则需要对可见光图像进行横向裁剪，对红外图像进行纵向裁剪，然后，对可见光图像进行采样，使其大小与红外图像一致。其他大小差异情形的裁剪处理同理理解。
经过上述处理步骤，实现了可见光与红外图像匹配后的裁剪。
在一个实施例中，关于上述步骤S14中对可见光视频序列和红外视频序列进行标签更新的过程，具体可以包括如下处理过程：
根据目标转换关系对可见光视频序列和红外视频序列的原标签数值进行转换并设置各类别序号为设定值；设定值用于代表无人机，目标转换关系为：
Figure 353791DEST_PATH_IMAGE066
（10）
Figure 594279DEST_PATH_IMAGE067
（11）
其中，
Figure 341655DEST_PATH_IMAGE068
表示标准数据集中图像目标框的归一化中心点坐标，
Figure 20898DEST_PATH_IMAGE069
和
Figure 107803DEST_PATH_IMAGE070
分别表示裁剪后图像的宽和高，（
Figure 847089DEST_PATH_IMAGE071
，
Figure 566914DEST_PATH_IMAGE072
）表示原数据集中图像目标框的最小中心点坐标，
Figure 721952DEST_PATH_IMAGE073
表示可见光图像坐标
Figure 991260DEST_PATH_IMAGE074
向红外图像坐标
Figure 370288DEST_PATH_IMAGE075
变换的平移系数，
Figure 29940DEST_PATH_IMAGE076
表示原数据集中图像目标框的宽度，h表示原数据集中图像目标框的高度。
可以理解，对于后期进入深度学习YOLOv3网络的标签，其按照从左至右的顺序依次存储了目标类别序号和目标框的归一化中心点坐标
Figure 50985DEST_PATH_IMAGE077
、宽度
Figure 158487DEST_PATH_IMAGE078
和高度
Figure 177259DEST_PATH_IMAGE079
。由于原数据集所给标签保存在json文件中，其存储的是目标框的
Figure 386524DEST_PATH_IMAGE080
、
Figure 883364DEST_PATH_IMAGE081
、
Figure 596105DEST_PATH_IMAGE082
和
Figure 848095DEST_PATH_IMAGE083
，并且匹配后的图像经过裁剪，所以需要对原标签文件进行数值和文件形式的转换。
具体的，因为在图像匹配时，是按照裁剪后的红外图像进行重采样的，所以，红外图像对应的标签文件更易处理，其只需进行平移加减，而不涉及到伸缩变换。综上，匹配裁剪后，目标的标签转换关系如上式（10）和式（11）所示。
此外，由于本申请针对的是无人机进行的目标检测，不涉及多类别检测，因此，其类别序号均为设定值，例如但不限于“0”，用于代表无人机（AUV）。经过上述处理，得到了适合YOLOv3模型训练与使用的标签集。
在一个实施例中，如图3所示，关于上述的步骤S16，具体可以包括如下处理步骤：
S162，导入CNN模型并输入可见光图像和红外图像；
S164，通过CNN模型对可见光图像和红外图像的训练，生成权重图；
S166，对可见光图像、红外图像和权重图进行拉普拉斯分解处理后，对分解处理中的各层级分解系数进行系数融合；
S168，对系数融合后的融合系数进行拉普拉斯金字塔重建，生成融合图像并输出融合图像集。
可以理解，基于深度学习的图像融合算法的处理流程如图4所示，其具体步骤为：1）将已有CNN模型导入；2）输入可见光图像和红外图像；3）通过CNN模型对可见光图像和红外图像的训练，生成权重图，如图5所示，其中，（a）图表示输入的可见光图像，（b）图表示输入的红外图像，（c）图表示生成的权重图，（d）图表示融合图像。4）通过拉普拉斯变换，对源图像和权重图进行处理，然后对各个层级分解系数进行综合，最后通过与原拉普拉斯变换相反的方式，将融合系数进行转换，生成融合图像。5）输出结果图，将其保存在指定的fusion2文件夹。
通过上述处理步骤，即可获得可见光-红外的融合图像集。
应该理解的是，虽然图1至图4流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其他的顺序执行。而且图1至图4的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，为了更直观且全面地说明上述无人机目标检测，下面提供的是对上述无人机目标检测方法的其中一个应用验证示例。需要说明的是，本说明书中给出的实施示例仅为示意性的，并非为本发明具体实施例的唯一限定，本领域技术人员可以在本发明提供的实施示例的示意下，同理实现对不同无人机目标的检测。
YOLOv3模型有其训练好的网络模型和设置好的参数值，然而，在本示例中，针对于单类别无人机目标识别对其进行适应性的参数设置。
数据输入：
使用的输入数据集共包含7种背景（白天大目标、白天小目标、白天有遮挡、夜晚大目标、夜晚小目标、夜晚有遮挡、和白天渐入渐出）的图像数据，针对不同数据背景，每类背景图像均通过六种分类处理，下面对每类背景输入数据集进行介绍。
（1）RGB数据集：存放原始RGB（可见光）图像，其为未经过处理的RGB图像；
（2）IR数据集：存放IR（红外）图像，其为未经过处理的IR图像；
（3）IR1数据集：存放通过基于高频增强处理手段的目标检测方法得到的红外图像；
（4）IR2数据集：存放通过基于反锐化掩膜图像增强手段的目标检测方法得到的红外图像；
（5）fusion1数据集：存放通过基于小波变换图像融合手段的目标检测方法得到的图像；
（6）fusion2数据集：存放通过本申请基于CNN图像融合手段的目标检测方法得到的图像。
目标检测网络的输入数据集放置在data\ custom文件夹中，该文件夹包括images子文件夹、labels子文件夹、classes.name文件、train.txt文件和valid.txt文件。其中，images子文件夹存放所有图像数据，对于不同处理后的数据集，均放置在此文件夹，然后选取训练图像与测试图像，进行处理；labels子文件夹存放images图像数据对应的标签文件；classes.name文件存储待处理图像的类别标签，本示例只有一类无人机目标，其标签设为AUV；train.txt文件和valid.txt文件里面分别存储训练数据图像路径和评估（测试）图像路径，此二文件用于设置选取输入网络的训练、测试图像。
参数设置：
在对YOLOv3模型网络进行训练前，需要先对其配置文件里的固定参数进行调整，使其符合本示例测试的情况。其配置文件放置在其网络文件的data\config文件夹中，该文件夹包括custom.data文件和yolov3-custom.cfg文件。custom.data文件存储着类别数、train.txt文件的路径、valid.txt文件的路径和classes.name文件的路径，这里需要将类别数目修改为1，代表目标类别只有1种；同时需要修改yolov3-custom.cfg文件种yolo层参数，将classes值设为1，filters大小设为
Figure 482338DEST_PATH_IMAGE084
。
调试好固定参数后，需要调试其训练代码文件，使其既能满足好的训练效果，又能保持各类数据处理的一致性。主要通过设置统一epoches参数、batch_size参数来实现数据处理的一致性，通过设置IoU阈值来评价其精度。本示例中YOLOv3模型的网络的学习率设置为默认的0.001，输入图像分辨率为416×416；训练的batch_size为2，epoches为100，采用的预训练权重为darknet53.conv.74；测试设置的置信度阈值为0.5，IoU阈值为0.5和0.75，非极大值抑制阈值为0.5。
通过对100*6*7=4200张各类别图像进行模型网络训练、900*6*7=37800张各类图像进行目标检测测试，得到最终实验结果，验证了通过本申请上述方法进行无人机目标检测是具有实际应用意义的，其通过对可见光图像和红外图像的融合处理，检测效果较好，大大提高了目标框位置的检测精度且检测效率较高，同时，在白天小目标、夜间小目标和夜间有遮挡这三类数据集中，检测效果均优于前述试验使用的其他检测方法。
请参阅图6，在一个实施例中，还提供了一种无人机目标检测装置100，包括数据获取模块11、标准处理模块13、图像融合模块15和目标检测模块17。其中，数据获取模块11用于获取无人机的原数据集；原数据集包括可见光视频序列和红外视频序列。标准处理模块13用于对可见光视频序列和红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集。图像融合模块15用于利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集。目标检测模块17用于利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。
上述无人机目标检测装置100，通过各模块的协作，首先获取输入的原数据集，其包括可见光视频序列和红外视频序列，然后对可见光视频序列和红外视频序列进行图像配准与标准化处理后，形成标准数据集；进而，利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；最后利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。如此，在已有YOLOv3深度学习目标检测算法的基础上，增加可见光-红外图像融合处理，对YOLOv3目标检测算法进行改进，得到了更优的基于图像融合的无人机红外目标检测手段，显著地改善了目标检测效果，大幅提升了全天候条件下无人机目标的检测精度，传统方法对比检测效率也更高，实现了无人机目标检测性能较强的技术效果。
在一个实施例中，上述的图像融合模块15可以包括模型导入子模块、权重子模块、系数融合子模块和融合输出子模块。其中，模型导入子模块用于导入CNN模型并输入可见光图像和红外图像。权重子模块用于通过CNN模型对可见光图像和红外图像的训练，生成权重图。系数融合子模块用于对可见光图像、红外图像和权重图进行拉普拉斯分解处理后，对分解处理中的各层级分解系数进行系数融合。融合输出子模块用于对系数融合后的融合系数进行拉普拉斯金字塔重建，生成融合图像并输出融合图像集。
在一个实施例中，上述无人机目标检测装置100的各模块还可以用于实现上述无人机目标检测方法其他各实施例中增加的步骤或者子步骤。
关于无人机目标检测装置100的具体限定，可以参见上文中无人机目标检测方法的相应限定，在此不再赘述。上述无人机目标检测装置100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于具体数据处理功能的设备中，也可以软件形式存储于前述设备的存储器中，以便于处理器调用执行以上各个模块对应的操作，前述设备可以是但不限于本领域已有的各型检测跟踪系统或计算机终端。
又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时可以实现以下步骤：获取无人机的原数据集；原数据集包括可见光视频序列和红外视频序列；对可见光视频序列和红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集；利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。
在一个实施例中，处理器执行计算机程序时还可以实现上述无人机目标检测方法各实施例中增加的步骤或者子步骤。
再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取无人机的原数据集；原数据集包括可见光视频序列和红外视频序列；对可见光视频序列和红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集；利用CNN模型对标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；利用训练好的YOLOv3模型对融合图像集进行无人机目标检测，得到无人机检测结果。
在一个实施例中，计算机程序被处理器执行时，还可以实现上述无人机目标检测方法各实施例中增加的步骤或者子步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其他介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线式动态随机存储器（Rambus DRAM，简称RDRAM）以及接口动态随机存储器（DRDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可做出若干变形和改进，都属于本申请保护范围。因此本申请专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种无人机目标检测方法，其特征在于，包括步骤：
获取无人机的原数据集；所述原数据集包括可见光视频序列和红外视频序列；
对所述可见光视频序列和所述红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集；
利用CNN模型对所述标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；
利用训练好的YOLOv3模型对所述融合图像集进行无人机目标检测，得到无人机检测结果；
所述利用训练好的YOLOv3模型对所述融合图像集进行无人机目标检测，得到无人机检测结果，包括：
将该融合图像集作为测试集输入训练好的YOLOv3模型进行无人机目标检测；
所述利用CNN模型对所述标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集的步骤，包括：
导入所述CNN模型并输入所述可见光图像和所述红外图像；
通过所述CNN模型对所述可见光图像和所述红外图像的训练，生成权重图；
对所述可见光图像、所述红外图像和所述权重图进行拉普拉斯分解处理后，对分解处理中的各层级分解系数进行系数融合；
对系数融合后的融合系数进行拉普拉斯金字塔重建，生成融合图像并输出所述融合图像集；
对所述可见光视频序列和所述红外视频序列进行图像匹配的过程，包括：
对所述可见光视频序列中的可见光图像和所述红外视频序列中的红外图像进行空间匹配和时间匹配处理，得到所述可见光图像和所述红外图像的空间对应关系；
所述空间匹配的处理通过如下多项式完成：
Figure 15382DEST_PATH_IMAGE001
其中，（
Figure 641535DEST_PATH_IMAGE002
，
Figure 231916DEST_PATH_IMAGE003
）表示所述可见光图像和所述红外图像之间变换后的坐标，
Figure 601718DEST_PATH_IMAGE004
和
Figure 757893DEST_PATH_IMAGE005
分别表示图像特征点的x和y方向上的缩放系数，（
Figure 758210DEST_PATH_IMAGE006
，
Figure 632625DEST_PATH_IMAGE007
）表示所述可见光图像和所述红外图像之间变换前的坐标，
Figure 806117DEST_PATH_IMAGE008
和
Figure 269328DEST_PATH_IMAGE009
分别表示图像特征点的x和y方向上的平移系数；
所述缩放系数和所述平移系数通过对所述可见光图像和所述红外图像上所述图像特征点的标签值进行直线拟合得到；
所述时间匹配的处理过程包括：
确定所述可见光图像和所述红外图像的帧数差；
将所述可见光图像和所述红外图像的坐标对应关系以所述帧数差为间隔进行一一对应，得到时间对应关系校准后的所述可见光图像和所述红外图像；
对所述可见光视频序列和所述红外视频序列进行图像裁剪的过程，包括：
根据所述空间对应关系，结合所述可见光图像和所述红外图像的尺寸，将所述可见光图像和所述红外图像裁剪为尺寸大小一致的图像；
对所述可见光视频序列和所述红外视频序列进行标签更新的过程，包括：
根据目标转换关系对所述可见光视频序列和所述红外视频序列的原标签数值进行转换并设置各类别序号为设定值；所述设定值用于代表无人机，所述目标转换关系为：
Figure 502864DEST_PATH_IMAGE010
Figure 802258DEST_PATH_IMAGE011
其中，
Figure 779441DEST_PATH_IMAGE012
表示所述标准数据集中图像目标框的归一化中心点坐标，
Figure 644629DEST_PATH_IMAGE013
和
Figure 986749DEST_PATH_IMAGE014
分别表示裁剪后图像的宽和高，（
Figure 835756DEST_PATH_IMAGE015
，
Figure 288734DEST_PATH_IMAGE016
）表示所述原数据集中图像目标框的最小中心点坐标，
Figure 274007DEST_PATH_IMAGE017
表示可见光图像坐标
Figure 849345DEST_PATH_IMAGE018
向红外图像坐标
Figure 372599DEST_PATH_IMAGE019
变换的平移系数，
Figure 691585DEST_PATH_IMAGE020
表示所述原数据集中图像目标框的宽度，h表示原数据集中图像目标框的高度。
2.一种无人机目标检测装置，其特征在于，包括：
数据获取模块，用于获取无人机的原数据集；所述原数据集包括可见光视频序列和红外视频序列；
标准处理模块，用于对所述可见光视频序列和所述红外视频序列进行图像匹配、图像裁剪与标签更新处理，得到图像配准且尺寸标准化后的标准数据集；
图像融合模块，用于利用CNN模型对所述标准数据集中的可见光图像和红外图像进行图像融合处理，得到融合图像集；
目标检测模块，用于利用训练好的YOLOv3模型对所述融合图像集进行无人机目标检测，得到无人机检测结果；
目标检测模块还用于将该融合图像集作为测试集输入训练好的YOLOv3模型进行无人机目标检测；
图像融合模块还用于导入所述CNN模型并输入所述可见光图像和所述红外图像；
通过所述CNN模型对所述可见光图像和所述红外图像的训练，生成权重图；
对所述可见光图像、所述红外图像和所述权重图进行拉普拉斯分解处理后，对分解处理中的各层级分解系数进行系数融合；
对系数融合后的融合系数进行拉普拉斯金字塔重建，生成融合图像并输出所述融合图像集；
标准处理模块还用于对所述可见光视频序列中的可见光图像和所述红外视频序列中的红外图像进行空间匹配和时间匹配处理，得到所述可见光图像和所述红外图像的空间对应关系；
所述空间匹配的处理通过如下多项式完成：
Figure 531365DEST_PATH_IMAGE021
其中，（
Figure 215288DEST_PATH_IMAGE022
，
Figure 773308DEST_PATH_IMAGE023
）表示所述可见光图像和所述红外图像之间变换后的坐标，
Figure 833668DEST_PATH_IMAGE024
和
Figure 527954DEST_PATH_IMAGE025
分别表示图像特征点的x和y方向上的缩放系数，（
Figure 445095DEST_PATH_IMAGE026
，
Figure 693673DEST_PATH_IMAGE027
）表示所述可见光图像和所述红外图像之间变换前的坐标，
Figure 354462DEST_PATH_IMAGE028
和
Figure 903255DEST_PATH_IMAGE029
分别表示图像特征点的x和y方向上的平移系数；
所述缩放系数和所述平移系数通过对所述可见光图像和所述红外图像上所述图像特征点的标签值进行直线拟合得到；
所述时间匹配的处理过程包括：
确定所述可见光图像和所述红外图像的帧数差；
将所述可见光图像和所述红外图像的坐标对应关系以所述帧数差为间隔进行一一对应，得到时间对应关系校准后的所述可见光图像和所述红外图像；
标准处理模块还用于根据所述空间对应关系，结合所述可见光图像和所述红外图像的尺寸，将所述可见光图像和所述红外图像裁剪为尺寸大小一致的图像；
标准处理模块还用于根据目标转换关系对所述可见光视频序列和所述红外视频序列的原标签数值进行转换并设置各类别序号为设定值；所述设定值用于代表无人机，所述目标转换关系为：
Figure 443827DEST_PATH_IMAGE030
Figure 976439DEST_PATH_IMAGE031
其中，
Figure 378602DEST_PATH_IMAGE032
表示所述标准数据集中图像目标框的归一化中心点坐标，
Figure 781901DEST_PATH_IMAGE033
和
Figure 306423DEST_PATH_IMAGE034
分别表示裁剪后图像的宽和高，（
Figure 264015DEST_PATH_IMAGE035
，
Figure 266606DEST_PATH_IMAGE036
）表示所述原数据集中图像目标框的最小中心点坐标，
Figure 789991DEST_PATH_IMAGE037
表示可见光图像坐标
Figure 423098DEST_PATH_IMAGE038
向红外图像坐标
Figure 664723DEST_PATH_IMAGE039
变换的平移系数，
Figure 657956DEST_PATH_IMAGE040
表示所述原数据集中图像目标框的宽度，h表示原数据集中图像目标框的高度。
3.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1所述无人机目标检测方法的步骤。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现权利要求1所述无人机目标检测方法的步骤。
CN202110841118.7A 2021-07-26 2021-07-26 无人机目标检测方法、装置、设备和介质 Active CN113283411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110841118.7A CN113283411B (zh) 2021-07-26 2021-07-26 无人机目标检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110841118.7A CN113283411B (zh) 2021-07-26 2021-07-26 无人机目标检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113283411A CN113283411A (zh) 2021-08-20
CN113283411B true CN113283411B (zh) 2022-01-28

Family

ID=77287086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110841118.7A Active CN113283411B (zh) 2021-07-26 2021-07-26 无人机目标检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113283411B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558848A (zh) * 2018-11-30 2019-04-02 湖南华诺星空电子技术有限公司 一种基于多源信息融合的无人机生命探测方法
CN111401203A (zh) * 2020-03-11 2020-07-10 西安应用光学研究所 基于多维图像融合的目标识别方法
CN112068111A (zh) * 2020-08-13 2020-12-11 中国人民解放军海军工程大学 一种基于多传感器信息融合的无人机目标侦测方法
CN112991218A (zh) * 2021-03-23 2021-06-18 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019202088A1 (en) * 2018-03-26 2019-10-10 Cohda Wireless Pty Ltd Systems and methods for automatically training neural networks
US10949676B2 (en) * 2018-04-09 2021-03-16 Accenture Global Solutions Limited Aerial monitoring system and method for identifying and locating object features
CN112686935B (zh) * 2021-01-12 2023-08-15 武汉大学 基于特征融合的机载测深雷达与多光谱卫星影像配准方法
CN112801225B (zh) * 2021-04-01 2021-06-18 中国人民解放军国防科技大学 极限工况下自动驾驶多传感器融合感知方法及系统
CN113159143B (zh) * 2021-04-06 2022-06-07 中国人民解放军国防科技大学 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN112990107B (zh) * 2021-04-19 2022-09-09 中国人民解放军国防科技大学 高光谱遥感图像水下目标检测方法、装置及计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558848A (zh) * 2018-11-30 2019-04-02 湖南华诺星空电子技术有限公司 一种基于多源信息融合的无人机生命探测方法
CN111401203A (zh) * 2020-03-11 2020-07-10 西安应用光学研究所 基于多维图像融合的目标识别方法
CN112068111A (zh) * 2020-08-13 2020-12-11 中国人民解放军海军工程大学 一种基于多传感器信息融合的无人机目标侦测方法
CN112991218A (zh) * 2021-03-23 2021-06-18 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双通道的快速低空无人机检测识别方法;马旗;《光学学报》;20191210;第1210002-1至1210002-11页 *

Also Published As

Publication number Publication date
CN113283411A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN111046880B (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN112070111B (zh) 一种适配多波段图像的多目标检测方法和系统
WO2020192431A1 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
CN112307826A (zh) 行人检测方法、装置、计算机可读存储介质和芯片
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN112508924B (zh) 一种小目标检测识别方法、装置、系统和存储介质
JP2021510823A (ja) 車両位置特定
CN116052026B (zh) 一种无人机航拍图像目标检测方法、系统及存储介质
Dhaya Hybrid machine learning approach to detect the changes in SAR images for salvation of spectral constriction problem
CN115359474A (zh) 适用于移动端的轻量级三维目标检测方法、装置及介质
CN113487517A (zh) 基于图像增强的无人机目标检测方法、装置和设备
CN112802197A (zh) 动态场景下基于全卷积神经网络的视觉slam方法及系统
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
Thenmozhi et al. An Efficient Object Detection and Classification from Restored Thermal Images based on Mask RCNN
Li et al. SOSMaskFuse: An infrared and visible image fusion architecture based on salient object segmentation mask
CN113283411B (zh) 无人机目标检测方法、装置、设备和介质
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
Murugan et al. Object detection for night surveillance using ssan dataset based modified YOLO algorithm in wireless communication
Li et al. Fast Forest Fire Detection and Segmentation Application for UAV-Assisted Mobile Edge Computing System
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN116029954A (zh) 一种图像融合方法及装置
CN114495109A (zh) 基于目标与场景文字匹配的抓取机器人及抓取方法和系统
CN117693768A (zh) 语义分割模型的优化方法和装置
CN111401203A (zh) 基于多维图像融合的目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant