CN112861924B - 一种可见光/红外图像多平台分布式融合多目标检测方法 - Google Patents

一种可见光/红外图像多平台分布式融合多目标检测方法 Download PDF

Info

Publication number
CN112861924B
CN112861924B CN202110058826.3A CN202110058826A CN112861924B CN 112861924 B CN112861924 B CN 112861924B CN 202110058826 A CN202110058826 A CN 202110058826A CN 112861924 B CN112861924 B CN 112861924B
Authority
CN
China
Prior art keywords
target
detection
image
infrared
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110058826.3A
Other languages
English (en)
Other versions
CN112861924A (zh
Inventor
顾一凡
程咏梅
雷鑫华
庄若望
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110058826.3A priority Critical patent/CN112861924B/zh
Publication of CN112861924A publication Critical patent/CN112861924A/zh
Application granted granted Critical
Publication of CN112861924B publication Critical patent/CN112861924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种可见光/红外图像多平台分布式融合多目标检测方法。首先构建基于FSSD的可见光航拍图像和红外航拍图像多目标检测网络，并进行训练和测试，通过统计方法得到目标检测的平均准确率AP值；然后使用可见光和红外航拍图像多目标检测网络，得到目标在图像中的位置、目标类别、目标归属类别的置信度；再根据平均准确率AP值建立ECOC编码矩阵，通过检测网络给出的置信度，并结合ECOC编码矩阵，给出ECOC预测编码；最后计算预测编码与ECOC编码矩阵各行的欧氏距离，并判断最小距离得到分布式融合多目标分类结果，完成分布式多目标分类置信度融合。该方法解决了分布式融合权值选取问题，实现了权值自适应计算；提升了多目标检测的检测率、精度以及鲁棒性。

Description

一种可见光/红外图像多平台分布式融合多目标检测方法
技术领域
本发明属于图像处理领域，具体涉及一种多目标检测方法。
背景技术
通常飞行器运动存在高度、速度、姿态变化，并且航拍面临光照强度变化、光照视角变化、云雾遮挡、昼夜交替等影响，因此利用单独的可见光或红外成像传感器对航拍图像进行多目标检测，存在检测率低、精度差、鲁棒性不好的问题。
可见光/红外航拍图像融合多目标检测方法具有全天时、全天候的自适应目标检测优势；深度学习通过使用多层非线性处理单元进行特征提取和转换，特征可抽象的进行多级表示，同时具有高泛化能力。将二者结合进行基于深度学习的可见光/红外航拍图像融合多目标检测方法，是目前的研究热点。
基于深度学习的可见光/红外航拍图像融合多目标检测方法通常可分为像素级融合方法、特征级融合方法以及决策级融合方法。决策级融合方法采用分布式融合图像目标检测架构，分别对可见光、红外航拍图像通过深度学习网络完成多目标检测，然后利用决策级信息融合算法，对检测结果中目标类别的置信度进行融合，实现图像目标的多源信息融合检测。决策级融合能够克服像素级与特征级融合方法通信带宽、存储空间要求高、融合中心计算量大的问题。
目前基于深度学习的可见光/红外航拍图像融合多目标检测方法常采用YOLO系列网络及FastRCNN系列网络。YOLO网络对每种检测目标都能给出属于该目标及其它目标的置信度，因此YOLO网络结合D-S证据理论可以完成决策级融合检测；FastRCNN系列网络对每种检测目标只能给出属于该目标的置信度，因此需要重新构造属于该目标及其它目标的置信度，并结合模糊集理论实现决策级融合图像多目标检测。但YOLO网络在目标检测精度方面不高，Fast RCNN网络对目标检测速度较慢。FSSD网络在目标检测精度方面优于YOLO系列网络，在目标检测速度方面优于Fast RCNN网络，因此基于FSSD网络的决策级融合图像多目标检测，为综合提高可见光/红外航拍图像融合多目标检测的精度及速度提供了依据。
由于飞行器运动存在高度、速度、姿态的变化，导致航拍图像发生尺度、角度及模糊的畸变，原始的FSSD目标检测网络仅针对可见光图像，且输入图像接口大小较小，在特征提取层级中提取的图像特征有限，因此精度还有待进一步提高；同时在对红外图像进行目标检测的过程中，会遇到红外图像特征较少、不同类目标相似性较高的问题，具有一定的局限性。
可见光/红外航拍图像多平台分布式融合多目标检测属于决策级融合方法，由于FSSD网络只能获得多目标某一类别置信度，而一般的决策级融合算法需要获取目标在每个类别上的置信度后，才能进行决策融合计算。并且航拍成像面临光照强度变化、光照视角变化、云雾遮挡、昼夜交替等影响，单独使用可见光或红外检测网络进行多目标检测，不能保证上述环境影响下目标检测的鲁棒性。ECOC是机器学习中的一种多分类算法框架，在每个分类器只能得到相应某一类别的置信度时，它通过对多个分类器的结果进行编编、解码，实现多类型目标的分类。因此，ECOC为基于FSSD网络的可见光/红外航拍图像多平台分布式融合多目标检测提供了一种全新的思路。
发明内容
为了克服现有技术的不足，本发明提供了一种可见光/红外图像多平台分布式融合多目标检测方法。首先构建基于FSSD的可见光航拍图像和红外航拍图像多目标检测网络，对两个网络进行训练和测试，通过统计方法得到各类别目标检测的平均准确率AP值；然后使用基于FSSD的可见光和红外航拍图像多目标检测网络，得到目标在图像中的位置、目标类别、目标归属类别的置信度；接下来根据平均准确率AP值建立ECOC编码矩阵，通过检测网络给出的置信度，并结合ECOC编码矩阵，给出ECOC预测编码；最后计算预测编码与ECOC编码矩阵各行的欧氏距离，并判断最小距离得到分布式融合多目标分类结果，完成分布式多目标分类置信度融合。该方法解决了分布式融合权值选取问题，实现了权值自适应计算；提升了多目标检测的检测率、精度以及鲁棒性。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：构建基于FSSD的可见光航拍图像多目标检测网络和基于FSSD的红外航拍图像多目标检测网络；
步骤1-1：构建基于FSSD的可见光航拍图像多目标检测网络，对FSSD网络结构做出如下修改：
步骤1-1-1：将输入图像的大小从300*300修改为640*640；
步骤1-1-2：在FSSD网络的VGG16结构后，增加大小为20*20*512的Conv6_2融合层级，并将Conv6_2融合层级提出的特征图送入到特征融合模块；
步骤1-1-3：在特征融合模块中，将特征融合层尺寸大小从38*38改为80*80；
步骤1-1-4：将检测层级中的fea_concat_bn_ds_16和fea_concat_bn_ds_32两个层级中的padding改为1，步长改为2；
步骤1-1-5：在检测层级的最后新增大小为1*1*256的fea_concat_bn_ds_64层级；
步骤1-1-6：将检测层级的先验框个数改为42675，利用kmeans算法对图像数据集中目标先验框的长宽比先验信息进行聚类，获得可见光图像中默认的目标框长宽比为5种，即0.4，0.6，1，1.6，2.8；
步骤1-2：构建基于FSSD的红外航拍图像多目标检测网络，对FSSD网络结构做出如下修改：
步骤1-2-1：将FSSD网络的VGG16结构中的conv3_3层级提取的特征图送入到特征融合模块；
步骤1-2-2：将检测层级的先验框个数改为9700，利用kmeans算法对图像数据集中目标的先验框长宽比先验信息进行聚类，获得红外图像中默认的目标框长宽比为5种，即0.5，0.8，1，1.3，2.1；
步骤1-3：使用图像数据集中的训练图像集和测试图像集对可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别进行训练和测试，通过统计方法得到各类别目标检测的平均准确率；
步骤1-4：使用训练完成的可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别对包含目标的可见光图像和红外图像进行检测，能够得到目标外接矩形的位置、目标类别、目标归属类别的置信度；
步骤2：构建分布式融合多目标检测方法；
步骤2-1：构建多源图像多目标位置关联方法；
步骤2-1-1：假设有m个飞行平台，将k个基于FSSD的可见光航拍图像多目标检测网络f1,f2,...,fk分别搭载在飞行平台1,2,…,k上，将m-k个基于FSSD的红外航拍图像多目标检测网络fk+1,fk+2,...,fm分别搭载在飞行平台k+1,k+2,…,m上；使用m个飞行平台进行目标图像采集，每个飞行平台采集一幅图像，分别定义为H1,H2,…,Hm；再对图像H1,H2,…,Hm进行配准；
使用每个飞行平台上加载的检测网络对本飞行平台采集到的图像进行目标检测，假设在每幅图像中检测到的目标数分别为l1,l2,…,lm；
步骤2-1-2：对于图像H1中检测到的第e个目标
Figure BDA0002901712600000041
计算目标
Figure BDA0002901712600000042
的外接矩形
Figure BDA0002901712600000043
的中心点与图像H2,H3,…,Hm中所有检测到目标的外接矩形中心点之间的距离g，将图像H2,H3,…,Hm中满足距离g≤∈1的任一目标分别记为
Figure BDA0002901712600000044
Figure BDA0002901712600000045
的外接矩形分别记为
Figure BDA0002901712600000046
∈1为预设阈值；
计算目标之间的交并比IoU：
Figure BDA0002901712600000047
若IoU>0.5，则判定
Figure BDA0002901712600000048
为同一目标，完成目标位置关联，目标位置为图像H1,H2,…,Hm中该目标的最大外接矩形；
若IoU≤0.5，则舍弃目标
Figure BDA0002901712600000049
步骤2-1-3：将e从1取到l1，重复步骤2-1-2，得到m幅图像中所有位置关联的目标：
步骤2-2：构建基于ECOC的分布式融合多目标检测方法；
步骤2-2-1：构建分布式融合多目标分类方法；
步骤2-2-1-1：建立可见光/红外分布式融合多目标分类ECOC编码矩阵；
步骤2-2-1-1-1：假设目标有n+1类，分别为C1,C2,...,Cn+1，其中C1,C2,...,Cn为n个目标类，Cn+1为背景类；对于检测网络f1,f2,...,fk,fk+1,fk+2,...,fm，采用步骤1-3的方法对测试集进行测试得到每个检测网络对每个类别的目标检测的平均准确率APij(i＝1,2,...,n+1；j＝1,2,...,m)，将平均准确率APij作为码字权值，构造ECOC编码矩阵，如表1所示：
表1可见光/红外分布式融合多目标分类ECOC编码矩阵
Figure BDA00029017126000000410
表1中每个码字权值的正负性由以下步骤决定；
步骤2-2-1-1-2：对可见光图像的检测网络f1,f2,...,fk，对n个目标类C1,C2,...,Cn进行目标检测测试，APij(i＝1,2,3,...,n；j＝1,2,3,...,k)的最大值为：
APvisible_max＝max{APij|i＝1,2,3,...,n；j＝1,2,3,...,k}             (2)
将APvisible_max编码设为正值，APvisible_max所在列检测网络对应的其它目标类码字权值编码为负值；目标类C1,C2,...,Cn每一行中非APvisible_max所在列的码字权值编码与APvisible_max所在列的正负编码方式取反；
步骤2-2-1-1-3：对红外图像的检测网络fk+1,fk+2,...,fm，对n个目标类C1,C2,...,Cn进行目标检测测试，APij(i＝1,2,3,...,n；j＝k+1,k+2,...,m)的最大值为：
APinfrared_max＝max{APij|i＝1,2,3,...,n；j＝k+1,k+2,k+3,...,m}        (3)
将APinfrared_max编码设为正值，APinfrared_max所在列检测网络对应的其它目标类码字权值编码为负值；目标类C1,C2,...,Cn每一行中非APinfrared_max所在列的码字权值编码与APinfrared_max所在列的正负编码方式取反；
步骤2-2-1-1-4：背景类Cn+1的AP值的计算方式如下：
AP(n+1)j＝max{APij|i＝1,2,...,n}+[1-max{APij|i＝1,2,...,n}]2×min{APij|i＝1,2,...,n}j＝1,2,...,m
AP(n+1)j的最大值为：
APbackground_max＝max{AP(n+1)j|j＝1,2,...,m}
将APbackground_max编码设为正值，其它背景类码字权值编码为负值；
步骤2-2-1-2：建立ECOC预测编码；
假设每个检测网络检测出的第e个目标属于目标类C1,C2,...,Cn之一的置信度分别为
Figure BDA0002901712600000051
定义ECOC预测编码：
Figure BDA0002901712600000052
Figure BDA0002901712600000053
中码字
Figure BDA0002901712600000054
的正负，与ECOC编码矩阵中同一检测网络相同目标类的APij的正负相同；当目标被检测为背景类时，检测网络的置信度设为δ，正负性和ECOC编码矩阵中同一检测网络背景类的AP(n+1)j的正负相同；
对步骤2-1中判定的每个位置关联的同一目标按照步骤2-2-1-2建立ECOC预测编码；
步骤2-2-1-3：多目标分类；
计算步骤2-2-1-2得到的第e个目标的ECOC预测编码与ECOC编码矩阵中各行的欧氏距离：
Figure BDA0002901712600000061
n+1个
Figure BDA0002901712600000062
值最小的
Figure BDA0002901712600000063
值对应的目标类即为第e个目标最终目标融合分类结果Cresult：
Figure BDA0002901712600000064
同理得到所有目标最终目标融合分类结果；
步骤2-2-2：构建分布式多目标分类置信度融合方法；
当置信度
Figure BDA0002901712600000065
为第e个目标属于不同目标类的置信度时，定义第e个目标目标置信度融合结果：
Figure BDA0002901712600000066
当置信度
Figure BDA0002901712600000067
为第e个目标属于同一目标类的置信度时，定义第e个目标目标置信度融合结果：
Figure BDA0002901712600000068
式中，f(Cresult)max表示分类结果为Cresult目标类且置信度最大的检测网络，β为该检测网络对应的Cresult类的AP值，pf(Cresult)max表示该检测网络对应Cresult类的置信度；fj表示第j个检测网络，ωj为该检测网络分类结果对应AP值经softmax归一化的权重：
Figure BDA0002901712600000069
式中，αj为非置信度最大的检测网络预测目标类别所对应的AP值；
同理得到所有目标最终目标分类置信度融合结果；
步骤3：对包含目标的可见光图像和红外图像采用步骤1和步骤2的方法进行处理，最终得到目标融合分类和置信度融合结果。
优选地，所述置信度δ的值为0.8。
本发明的有益效果是：
1、本发明在原始的FSSD网络结构及参数上进行了修改与调整，针对飞行平台运动存时在高度、速度、姿态发生变化，导致航拍图像发生尺度、角度及模糊的畸变的问题进行了修正，能够对可见光及红外图像的目标检测达到较好的检测性能。
2、解决了分布式融合权值选取问题，实现权值自适应计算；克服了深度学习网络目标检测结果不能给出一个目标在所有类别的置信度，使传统分布式融合方法不能直接使用的问题。
3、提高了目标类别数较多时分布式融合的计算效率；根据m个检测网络的检测性能，来确定目标最终的所属类别以及在此类别的融合置信度，提升了多目标的检测率、精度以及鲁棒性。
附图说明
图1：复杂环境下可见光/红外航拍图像多平台分布式融合多目标检测系统图。
图2：基于FSSD的可见光航拍图像多目标检测网络结构图。
图3：基于FSSD的红外航拍图像多目标检测网络结构图。
图4：(a)可见光检测网络A检测结果图；(b)：可见光检测网络B检测结果图；(c)红外检测网络C检测结果图；(d)：红外检测网络D检测结果图
图5：基于ECOC的分布式融合多目标检测方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，本发明提供了一种可见光/红外图像多平台分布式融合多目标检测方法，包括以下步骤：
步骤1：构建基于FSSD的可见光航拍图像多目标检测网络和基于FSSD的红外航拍图像多目标检测网络；
步骤1-1：如图2所示，构建基于FSSD的可见光航拍图像多目标检测网络；相较于原始FSSD的网络结构，面向可见光航拍图像多目标检测问题，对FSSD网络结构做出如下修改：
步骤1-1-1：将输入图像的大小从300*300修改为640*640，，以适应航拍分辨率较大图像对于小尺度目标的检测；
步骤1-1-2：由于可见光图像细节信息丰富，在FSSD网络的VGG16结构后，增加大小为20*20*512的Conv6_2融合层级，并将Conv6_2融合层级提出的特征图送入到特征融合模块；
步骤1-1-3：在特征融合模块中，由于输入图像大小更改为640*640，因此将特征融合层尺寸大小从38*38改为80*80；
步骤1-1-4：为了获得更大的特征图，以检测尺度较小的目标，将检测层级中的fea_concat_bn_ds_16和fea_concat_bn_ds_32两个层级中的padding改为1，步长改为2；
步骤1-1-5：为了保证尺度变化较大时目标的有效检测，在检测层级的最后新增大小为1*1*256的fea_concat_bn_ds_64层级；
步骤1-1-6：将检测层级的先验框个数改为42675，利用kmeans算法对图像数据集中目标先验框的长宽比先验信息进行聚类，获得可见光图像中默认的目标框长宽比为5种，即0.4，0.6，1，1.6，2.8；
步骤1-2：如图3所示，构建基于FSSD的红外航拍图像多目标检测网络；相较于原始FSSD的网络结构，面向红外图像多目标检测问题，对FSSD网络结构做出如下修改：
步骤1-2-1：由于红外图像具备的特征较少，将FSSD网络的VGG16结构中的conv3_3层级提取的特征图送入到特征融合模块；
步骤1-2-2：将检测层级的先验框个数改为9700，利用kmeans算法对图像数据集中目标的先验框长宽比先验信息进行聚类，获得红外图像中默认的目标框长宽比为5种，即0.5，0.8，1，1.3，2.1；
步骤1-3：使用图像数据集中的训练图像集和测试图像集对可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别进行训练和测试，通过统计方法得到各类别目标检测的平均准确率；
步骤1-4：使用训练完成的可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别对包含目标的可见光图像和红外图像进行检测，能够得到目标外接矩形的位置、目标类别、目标归属类别的置信度；
步骤2：构建分布式融合多目标检测方法；
步骤2-1：构建多源图像多目标位置关联方法；
步骤2-1-1：假设有m个飞行平台，将k个基于FSSD的可见光航拍图像多目标检测网络f1,f2,...,fk分别搭载在飞行平台1,2,…,k上，将m-k个基于FSSD的红外航拍图像多目标检测网络fk+1,fk+2,...,fm分别搭载在飞行平台k+1,k+2,…,m上；使用m个飞行平台进行目标图像采集，每个飞行平台采集一幅图像，分别定义为H1,H2,…,Hm；再对图像H1,H2,…,Hm进行配准；
使用每个飞行平台上加载的检测网络对本飞行平台采集到的图像进行目标检测，假设在每幅图像中检测到的目标数分别为l1,l2,…,lm；
步骤2-1-2：对于图像H1中检测到的第e个目标
Figure BDA0002901712600000091
计算目标
Figure BDA0002901712600000092
的外接矩形
Figure BDA0002901712600000093
的中心点与图像H2,H3,…,Hm中所有检测到目标的外接矩形中心点之间的距离g，将图像H2,H3,…,Hm中满足距离g≤∈1的任一目标分别记为
Figure BDA0002901712600000094
Figure BDA0002901712600000095
的外接矩形分别记为
Figure BDA0002901712600000096
ε1为预设阈值；
计算目标之间的交并比IoU：
Figure BDA0002901712600000097
若IoU>0.5，则判定
Figure BDA0002901712600000098
为同一目标，完成目标位置关联，目标位置为图像H1,H2,…,Hm中该目标的最大外接矩形；
若IoU≤0.5，则舍弃目标
Figure BDA0002901712600000099
步骤2-1-3：将e从1取到l1，重复步骤2-1-2，得到m幅图像中所有位置关联的目标：
步骤2-2：如图5所示，构建基于ECOC的分布式融合多目标检测方法；
步骤2-1虽然已完成多源图像多目标位置关联与融合，但是m个异构的检测网络给出的目标检测类别及置信度大小并不相同，因此需要进一步完成多目标类别及置信度融合；
步骤2-2-1：构建分布式融合多目标分类方法；
对纠错输出编码(Error Correcting Output Codes,ECOC)算法进行改进，并进行分布式多目标类别的融合；
步骤2-2-1-1：建立可见光/红外分布式融合多目标分类ECOC编码矩阵；
步骤2-2-1-1-1：假设目标有n+1类，分别为C1,C2,...,Cn+1，其中C1,C2,...,Cn为n个目标类，Cn+1为背景类；对于检测网络f1,f2,...,fk,fk+1,fk+2,...,fm，采用步骤1-3的方法对测试集进行测试得到每个检测网络对每个类别的目标检测的平均准确率APij(i＝1,2,...,n+1；j＝1,2,...,m)，将平均准确率APij作为码字权值，构造ECOC编码矩阵，如表1所示：
表1可见光/红外分布式融合多目标分类ECOC编码矩阵
Figure BDA0002901712600000101
表1中每个码字权值的正负性由以下步骤决定；
步骤2-2-1-1-2：对可见光图像的检测网络f1,f2,...,fk，对n个目标类C1,C2,...,Cn进行目标检测测试，APij(i＝1,2,3,...,n；j＝1,2,3,...,k)的最大值为：
APvisible_max＝max{APij|i＝1,2,3,...,n；j＝1,2,3,...,k}              (2)
将APvisible_max编码设为正值，APvisible_max所在列检测网络对应的其它目标类码字权值编码为负值；目标类C1,C2,...,Cn每一行中非APvisible_max所在列的码字权值编码与APvisible_max所在列的正负编码方式取反；
步骤2-2-1-1-3：对红外图像的检测网络fk+1,fk+2,...,fm，对n个目标类C1,C2,...,Cn进行目标检测测试，APij(i＝1,2,3,...,n；j＝k+1,k+2,...,m)的最大值为：
APinfrared_max＝max{APij|i＝1,2,3,...,n；j＝k+1,k+2,k+3,...,m}        (3)
将APinfrared_max编码设为正值，APinfrared_max所在列检测网络对应的其它目标类码字权值编码为负值；目标类C1,C2,...,Cn每一行中非APinfrared_max所在列的码字权值编码与APinfrared_max所在列的正负编码方式取反；
步骤2-2-1-1-4：背景类Cn+1的AP值的计算方式如下：
AP(n+1)j＝max{APij|i＝1,2,...,n}+[1-max{APij|i＝1,2,...,n}]2×min{APij|i＝1,2,...,n}j＝1,2,...,m
AP(n+1)j的最大值为：
APbackground_max＝max{AP(n+1)j|j＝1,2,...,m}
将APbackground_max编码设为正值，其它背景类码字权值编码为负值；
步骤2-2-1-2：建立ECOC预测编码；
假设每个检测网络检测出的第e个目标属于目标类C1,C2,...,Cn之一的置信度分别为
Figure BDA0002901712600000111
定义ECOC预测编码：
Figure BDA0002901712600000112
Figure BDA0002901712600000113
中码字
Figure BDA0002901712600000114
的正负，与ECOC编码矩阵中同一检测网络相同目标类的APij的正负相同；当目标被检测为背景类时，检测网络的置信度设为0.8，正负性和ECOC编码矩阵中同一检测网络背景类的AP(n+1)j的正负相同；
对步骤2-1中判定的每个位置关联的同一目标按照步骤2-2-1-2建立ECOC预测编码；
步骤2-2-1-3：多目标分类；
计算步骤2-2-1-2得到的第e个目标的ECOC预测编码与ECOC编码矩阵中各行的欧氏距离：
Figure BDA0002901712600000115
n+1个
Figure BDA0002901712600000116
值最小的
Figure BDA0002901712600000117
值对应的目标类即为第e个目标最终目标融合分类结果Cresult：
Figure BDA0002901712600000118
同理得到所有目标最终目标融合分类结果；
步骤2-2-2：构建分布式多目标分类置信度融合方法；
获得融合的目标类别后，由于m个检测网络给出的置信度并不一定是同一类别目标的置信度，因此需要对此类别目标，在检测网络分类结果不同和相同情况下进行置信度融合；
当置信度
Figure BDA0002901712600000119
为第e个目标属于不同目标类的置信度时，定义第e个目标目标置信度融合结果：
Figure BDA00029017126000001110
当置信度
Figure BDA00029017126000001111
为第e个目标属于同一目标类的置信度时，定义第e个目标目标置信度融合结果：
Figure BDA0002901712600000121
式中，f(Cresult)max表示分类结果为Cresult目标类且置信度最大的检测网络，β为该检测网络对应的Cresult类的AP值，
Figure BDA0002901712600000124
表示该检测网络对应Cresult类的置信度；fj表示第j个检测网络，ωj为该检测网络分类结果对应AP值经softmax归一化的权重：
Figure BDA0002901712600000122
式中，αj为非置信度最大的检测网络预测目标类别所对应的AP值；
同理得到所有目标最终目标分类置信度融合结果；
步骤3：对包含目标的可见光图像和红外图像采用步骤1和步骤2的方法进行处理，最终得到目标融合分类和置信度融合结果。
具体实施例：
以两个飞行平台搭载可见光成像设备、两个飞行平台搭载红外成像设备为例，将步骤1-1与步骤1-2设计的基于FSSD可见光航拍图像多目标检测网络与基于FSSD的红外航拍图像多目标检测网络分别用于可见光与红外航拍图像多目标检测，因此，有2个可见光检测网络(A、B)、2个红外检测网络(C、D)，目标类别为3类，即小车(C1)、大车(C2)及背景类(C3)。可见光检测网络(A、B)利用4000张可见光图像作为训练集，500张作为测试集；红外检测网络(C、D)利用4000张红外图像作为训练集，500张作为测试集，对上述数据集进行训练，并分别在A、B、C、D四个检测网络下进行检测性能测试，得到目标检测的性能指标(各类别AP值)。对可见光与红外目标进行检测，可得到检测结果(目标位置、类别、置信度)，如图4(a)、4(b)、4(c)、4(d)所示。
AP值定义及计算如下：
将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive，TP)、假正例(false positive，FP)、真反例(true negative，TN)、假反例(false negative，FN)四种情形：
根据以上定义，准确率(Precision，P)和召回率(Recall，R)
Figure BDA0002901712600000123
Figure BDA0002901712600000131
P是在检测出目标的图片中，TP所占的比率。R是被正确检测出的目标个数与测试集中所有目标个数的比值。
平均精度(Average Precision,AP)指不同召回率下的平均精度：
Figure BDA0002901712600000132
其中p代表准确率，r代表召回率，p是一个以r为变量的函数。即AP为p(r)曲线与坐标轴围成的面积。
可见光与红外图像在A、B、C、D四个检测网络下进行检测，检测结果如图4(a)、4(b)、4(c)、4(d)所示。
在可见光/红外图像已经完成配准的基础上，根据图4(a)、4(b)、4(c)、4(d)所示目标的像素位置，计算目标之间的交并比。
图4(a)、4(b)、4(c)、4(d)大小均为622*453像素。图4(a)中小目标位置[194,175,237,209]，大目标位置为[265,157,314,208]；图4(b)中小目标位置[194,175,238,209]，大目标位置为[266,158,315,209]；图4(c)中小目标位置[197,174,240,208]，未检测到大目标；图4(d)中小目标位置[198,172,241,207]，未检测到大目标；其中前两个元素为左上角像素坐标，后两个元素为右下角像素坐标。
根据上述目标像素位置，计算4个检测网络的同一目标检测结果的交并比
Figure BDA0002901712600000133
Figure BDA0002901712600000134
小目标与大目标的IoU均大于0.5，认为其为同一目标，完成目标位置关联；其位置为两者的最大外接矩形。
用测试集对2个可见光检测网络(A、B)、2个红外检测网络(C、D)对小车(C1)、大车(C2)进行目标检测测试，对可见光图像：
APvisible_max＝max{APij|i＝1,2；j＝1,2}
对红外图像：
APinfrared_max＝max{APij|i＝1,2；j＝3,4}
对背景类(C3)，其AP值的计算方式如下：
AP(3)j＝max{APij|i＝1,2}+[1-max{APij|i＝1,2}]2×min{APij|i＝1,2}j＝1,2,3,4
其最大值为：
APbackground_max＝max{AP(3)j|j＝1,2,3,4}
本实施例的可见光/红外分布式融合多目标分类ECOC编码矩阵如表2所示。
表2具体实施例的可见光/红外分布式融合多目标分类ECOC编码矩阵
Figure BDA0002901712600000141
如图4(a)、图4(b)、图4(c)、图4(d)所示，可见光检测网络A、B，红外检测网络C、D均能检测出小车，目标类型判断正确。四个检测网络检测结果的置信度均不同。可得到小车分类结果的ECOC预测编码：
Vpredict＝[p1,p2,p3,p4,]＝[+0.88,-0.85,-0.49,+0.35]
如图4(a)、图4(b)所示，可见光检测网络A、B成功检测出大车，目标类型判断正确。如图4(c)、图4(d)所示由于红外图像模糊，特征较少，红外检测网络C、D漏检大车，检测结果被视为背景类，置信度为0.8，可得到大车分类结果的ECOC预测编码：
Vpredict＝[p1,p2,p3,p4,]＝[-0.74,+0.66,-0.8,-0.8]
计算预测编码与ECOC编码矩阵各行的欧氏距离：
Figure BDA0002901712600000142
di中距离最小的类别即为最终目标融合分类结果Cresult。
计算小车目标融合分类结果Cresult：
Cresult＝min{di|i＝1,2,3}＝min{0.4819,2.9064,1.2029}
最小值为第一项小车类0.4819，则判定该目标为小车类。
计算大车目标融合分类结果Cresult：
Cresult＝min{di|i＝1,2,3}＝min{2.6521,1.586,2.1911}
最小值为第二项大车类1.586，则判定该目标为大车类。
接下来进行分布式多目标分类置信度融合。
对于小车，在所有检测网络中具有最大置信值的检测网络为f1，置信值为0.88；根据判定的类别，取出ECOC编码矩阵中f2、f3、f4的对应类别AP值0.8014、0.7591、0.7452。得到：
Figure BDA0002901712600000151
Softmax归一化权重系数
Figure BDA0002901712600000152
Figure BDA0002901712600000153
同理，对于大车，在所有检测网络中具有最大置信值的检测网络为f1，置信值为0.74；根据判定的类别，取出ECOC编码矩阵中f2、f3、f4的对应类别AP值0.7959、0.8153、0.8078。
Softmax归一化权重系数
Figure BDA0002901712600000154
Figure BDA0002901712600000155
对于小车，4个检测网络分类结果相同，目标置信度融合结果
Figure BDA0002901712600000156
即该目标最终判定为小车类，其置信度为0.9482，提升了检测网络A、B、C、D的置信度。证明当多种检测网络检测目标结果一致时，对目标检测的置信度有提升作用。
对于大车，4个检测网络分类结果不相同，目标置信度融合结果
Figure BDA0002901712600000157
即该目标最终判定为大车类，其置信度为0.547。虽然降低了检测网络A与B对大车检测的置信度，但成功将检测网络C、D漏检的大车检测出来。这是因为C、D检测网络先验的知道大车检测的AP值为0.7779、0.7675，而背景检测的AP值为0.8153、0.8078。因此当漏检发生时，会削弱检测器A、B的检测置信度。该目标最终判定为大车类。
上述实施例分别在4个检测网络目标检测结果判别为一致及不一致时，完成了分布式融合多目标检测，提高了融合后目标检测置信度(小车)，减少漏检发生(大车)，提升复杂环境下航拍图像多目标检测的检测率、精度以及鲁棒性。

Claims (2)

1.一种可见光/红外图像多平台分布式融合多目标检测方法，其特征在于，包括以下步骤：
步骤1：构建基于FSSD的可见光航拍图像多目标检测网络和基于FSSD的红外航拍图像多目标检测网络；
步骤1-1：构建基于FSSD的可见光航拍图像多目标检测网络，对FSSD网络结构做出如下修改：
步骤1-1-1：将输入图像的大小从300*300修改为640*640；
步骤1-1-2：在FSSD网络的VGG16结构后，增加大小为20*20*512的Conv6_2融合层级，并将Conv6_2融合层级提出的特征图送入到特征融合模块；
步骤1-1-3：在特征融合模块中，将特征融合层尺寸大小从38*38改为80*80；
步骤1-1-4：将检测层级中的fea_concat_bn_ds_16和fea_concat_bn_ds_32两个层级中的padding改为1，步长改为2；
步骤1-1-5：在检测层级的最后新增大小为1*1*256的fea_concat_bn_ds_64层级；
步骤1-1-6：将检测层级的先验框个数改为42675，利用kmeans算法对图像数据集中目标先验框的长宽比先验信息进行聚类，获得可见光图像中默认的目标框长宽比为5种，即0.4，0.6，1，1.6，2.8；
步骤1-2：构建基于FSSD的红外航拍图像多目标检测网络，对FSSD网络结构做出如下修改：
步骤1-2-1：将FSSD网络的VGG16结构中的conv3_3层级提取的特征图送入到特征融合模块；
步骤1-2-2：将检测层级的先验框个数改为9700，利用kmeans算法对图像数据集中目标的先验框长宽比先验信息进行聚类，获得红外图像中默认的目标框长宽比为5种，即0.5，0.8，1，1.3，2.1；
步骤1-3：使用图像数据集中的训练图像集和测试图像集对可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别进行训练和测试，通过统计方法得到各类别目标检测的平均准确率；
步骤1-4：使用训练完成的可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别对包含目标的可见光图像和红外图像进行检测，能够得到目标外接矩形的位置、目标类别、目标归属类别的置信度；
步骤2：构建分布式融合多目标检测方法；
步骤2-1：构建多源图像多目标位置关联方法；
步骤2-1-1：假设有m个飞行平台，将k个基于FSSD的可见光航拍图像多目标检测网络f1，f2，...，fk分别搭载在飞行平台1，2，...，k上，将m-k个基于FSSD的红外航拍图像多目标检测网络fk+1，fk+2，...，fm分别搭载在飞行平台k+1，k+2，...，m上；使用m个飞行平台进行目标图像采集，每个飞行平台采集一幅图像，分别定义为H1，H2，...，Hm；再对图像H1，H2，...，Mm进行配准；
使用每个飞行平台上加载的检测网络对本飞行平台采集到的图像进行目标检测，假设在每幅图像中检测到的目标数分别为l1，l2，...，lm；
步骤2-1-2：对于图像H1中检测到的第e个目标
Figure FDA0004040362150000021
计算目标
Figure FDA0004040362150000022
的外接矩形
Figure FDA0004040362150000023
的中心点与图像H2，H3，...，Hm中所有检测到目标的外接矩形中心点之间的距离g，将图像H2，H3，...，Mm中满足距离g≤∈1的任一目标分别记为
Figure FDA0004040362150000024
Figure FDA0004040362150000025
的外接矩形分别记为
Figure FDA0004040362150000026
∈1为预设阈值；
计算目标之间的交并比IoU：
Figure FDA0004040362150000027
若IoU＞0.5，则判定
Figure FDA0004040362150000028
为同一目标，完成目标位置关联，目标位置为图像H1，H2，...，Mm中该目标的最大外接矩形；
若IoU≤0.5，则舍弃目标
Figure FDA0004040362150000029
步骤2-1-3：将e从1取到l1，重复步骤2-1-2，得到m幅图像中所有位置关联的目标：
步骤2-2：构建基于ECOC的分布式融合多目标检测方法；
步骤2-2-1：构建分布式融合多目标分类方法；
步骤2-2-1-1：建立可见光/红外分布式融合多目标分类ECOC编码矩阵；
步骤2-2-1-1-1：假设目标有n+1类，分别为C1，C2，...，Cn+1，其中C1，C2，...，Cn为n个目标类，Cn+1为背景类；对于检测网络f1，f2，...，fk，fk+1，fk+2，...，fm，采用步骤1-3的方法对测试集进行测试得到每个检测网络对每个类别的目标检测的平均准确率APij，i＝1，2，...，n+1；j＝1，2，...，m，将平均准确率APij作为码字权值，构造ECOC编码矩阵，如表1所示：
表1可见光/红外分布式融合多目标分类ECOC编码矩阵
Figure FDA0004040362150000031
表1中每个码字权值的正负性由以下步骤决定；
步骤2-2-1-1-2：对可见光图像的检测网络f1,f2,...,fk，对n个目标类C1,C2,...,Cn进行目标检测测试，APij,i＝1,2,3,...,n；j＝1,2,3,...,k的最大值为：
APvisible_max＝max{APij|i＝1,2,3,...,n；j＝1,2,3,...,k}                  (2)
将APvisible_max编码设为正值，APvisible_max所在列检测网络对应的其它目标类码字权值编码为负值；目标类C1,C2,...,Cn每一行中非APvisible_max所在列的码字权值编码与APvisible_max所在列的正负编码方式取反；
步骤2-2-1-1-3：对红外图像的检测网络fk+1,fk+2,...,fm，对n个目标类C1,C2,...,Cn进行目标检测测试，APij,i＝1,2,3,...,n；j＝k+1,k+2,...,m的最大值为：
APinfrared_max＝max{APij|i＝1,2,3,...,n；j＝k+1,k+2,k+3,...,m}           (3)
将APinfrared_max编码设为正值，APinfrared_max所在列检测网络对应的其它目标类码字权值编码为负值；目标类C1,C2,...,Cn每一行中非APinfrared_max所在列的码字权值编码与APinfrared_max所在列的正负编码方式取反；
步骤2-2-1-1-4：背景类Cn+1的AP值的计算方式如下：
AP(n+1)j＝max{APij|i＝1,2,...,n}+[1-max{APij|i＝1,2,...,n}]2×min{APij|i＝1,2,...,n}j＝1,2,...,m
AP(n+1)j的最大值为：
APbackground_max＝max{AP(n+1)j|j＝1,2,...,m}
将APbackground_max编码设为正值，其它背景类码字权值编码为负值；
步骤2-2-1-2：建立ECOC预测编码；
假设每个检测网络检测出的第e个目标属于目标类C1,C2,...,Cn之一的置信度分别为
Figure FDA0004040362150000041
定义ECOC预测编码：
Figure FDA0004040362150000042
Figure FDA0004040362150000043
中码字
Figure FDA0004040362150000044
的正负，与ECOC编码矩阵中同一检测网络相同目标类的APij的正负相同；当目标被检测为背景类时，检测网络的置信度设为δ，正负性和ECOC编码矩阵中同一检测网络背景类的AP(n+1)j的正负相同；
对步骤2-1中判定的每个位置关联的同一目标按照步骤2-2-1-2建立ECOC预测编码；
步骤2-2-1-3：多目标分类；
计算步骤2-2-1-2得到的第e个目标的ECOC预测编码与ECOC编码矩阵中各行的欧氏距离：
Figure FDA0004040362150000045
n+1个
Figure FDA0004040362150000046
值最小的
Figure FDA0004040362150000047
值对应的目标类即为第e个目标最终目标融合分类结果Cresult：
Figure FDA0004040362150000048
同理得到所有目标最终目标融合分类结果；
步骤2-2-2：构建分布式多目标分类置信度融合方法；
当置信度
Figure FDA0004040362150000049
为第e个目标属于不同目标类的置信度时，定义第e个目标目标置信度融合结果：
Figure FDA00040403621500000410
当置信度
Figure FDA00040403621500000411
为第e个目标属于同一目标类的置信度时，定义第e个目标目标置信度融合结果：
Figure FDA00040403621500000412
式中，f(Cresult)max表示分类结果为Cresult目标类且置信度最大的检测网络，β为该检测网络对应的Cresult类的AP值，
Figure FDA00040403621500000413
表示该检测网络对应Cresult类的置信度；fj表示第j个检测网络，ωj为该检测网络分类结果对应AP值经softmax归一化的权重：
Figure FDA0004040362150000051
式中，αj为非置信度最大的检测网络预测目标类别所对应的AP值；
同理得到所有目标最终目标分类置信度融合结果；
步骤3：对包含目标的可见光图像和红外图像采用步骤1和步骤2的方法进行处理，最终得到目标融合分类和置信度融合结果。
2.根据权利要求1所述的一种可见光/红外图像多平台分布式融合多目标检测方法，其特征在于，所述置信度δ的值为0.8。
CN202110058826.3A 2021-01-17 2021-01-17 一种可见光/红外图像多平台分布式融合多目标检测方法 Active CN112861924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110058826.3A CN112861924B (zh) 2021-01-17 2021-01-17 一种可见光/红外图像多平台分布式融合多目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110058826.3A CN112861924B (zh) 2021-01-17 2021-01-17 一种可见光/红外图像多平台分布式融合多目标检测方法

Publications (2)

Publication Number Publication Date
CN112861924A CN112861924A (zh) 2021-05-28
CN112861924B true CN112861924B (zh) 2023-04-07

Family

ID=76005899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110058826.3A Active CN112861924B (zh) 2021-01-17 2021-01-17 一种可见光/红外图像多平台分布式融合多目标检测方法

Country Status (1)

Country Link
CN (1) CN112861924B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674319A (zh) * 2021-08-23 2021-11-19 浙江大华技术股份有限公司 一种目标跟踪的方法、系统、设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977661A (zh) * 2017-10-13 2018-05-01 天津工业大学 基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法
CN110223318A (zh) * 2019-04-28 2019-09-10 驭势科技（北京）有限公司 一种多目标轨迹的预测方法、装置、车载设备及存储介质
CN110533051A (zh) * 2019-08-02 2019-12-03 中国民航大学 基于卷积神经网络的x光安检图像中违禁品自动检测方法
CN111611905A (zh) * 2020-05-18 2020-09-01 沈阳理工大学 一种可见光与红外融合的目标识别方法
CN111680705A (zh) * 2020-08-13 2020-09-18 南京信息工程大学 适于目标检测的mb-ssd方法和mb-ssd特征提取网络

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7471238B2 (en) * 2005-11-01 2008-12-30 The Aerospace Corporation Multitarget tracking antispoofing receiver
US9076332B2 (en) * 2006-10-19 2015-07-07 Makor Issues And Rights Ltd. Multi-objective optimization for real time traffic light control and navigation systems for urban saturated networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977661A (zh) * 2017-10-13 2018-05-01 天津工业大学 基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法
CN110223318A (zh) * 2019-04-28 2019-09-10 驭势科技（北京）有限公司 一种多目标轨迹的预测方法、装置、车载设备及存储介质
CN110533051A (zh) * 2019-08-02 2019-12-03 中国民航大学 基于卷积神经网络的x光安检图像中违禁品自动检测方法
CN111611905A (zh) * 2020-05-18 2020-09-01 沈阳理工大学 一种可见光与红外融合的目标识别方法
CN111680705A (zh) * 2020-08-13 2020-09-18 南京信息工程大学 适于目标检测的mb-ssd方法和mb-ssd特征提取网络

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FRFB: Integrate Receptive Field Block Into Feature Fusion Net for Single Shot Multibox Detector;Y. Zhu et al;《2018 14th International Conference on Semantics, Knowledge and Grids》;20190502;第173-180页 *
FSSD: Feature Fusion Single Shot Multibox Detector;Zuo-Xin Li et al;《arXiv:1712.00960v3》;20180531;第1-10页 *
一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法;杨龙等;《光学学报》;20190917(第02期);第132-140页 *
快速高效小目标检测网络算法研究;张浩;《中国优秀硕士学位论文全文数据库信息科技辑》;20210115;第2021年卷(第1期);I138-1940 *

Also Published As

Publication number Publication date
CN112861924A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
WO2020173226A1 (zh) 一种时空行为检测方法
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109241913B (zh) 结合显著性检测和深度学习的船只检测方法及系统
CN111814654B (zh) 基于马尔可夫随机场的远程塔台视频目标挂标牌方法
CN111723748A (zh) 一种红外遥感图像舰船检测方法
CN111680655A (zh) 一种面向无人机航拍影像的视频目标检测方法
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN112101221A (zh) 一种用于交通信号灯实时检测与识别的方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN113223044A (zh) 一种结合特征聚合和注意力机制的红外视频目标检测方法
CN114581831B (zh) 基于图像和点云的无人机障碍物检测和避障方法及系统
CN112861924B (zh) 一种可见光/红外图像多平台分布式融合多目标检测方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN116597326A (zh) 一种基于改进YOLOv7算法的无人机航拍小目标检测方法
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
WO2022219402A1 (en) Semantically accurate super-resolution generative adversarial networks
CN114154563A (zh) 基于混合监督训练的目标检测方法
CN116363610A (zh) 一种基于改进YOLOv5的航拍车辆旋转目标检测方法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant