CN107871119B - 一种基于目标空间知识和两阶段预测学习的目标检测方法 - Google Patents

一种基于目标空间知识和两阶段预测学习的目标检测方法 Download PDF

Info

Publication number
CN107871119B
CN107871119B CN201711059887.1A CN201711059887A CN107871119B CN 107871119 B CN107871119 B CN 107871119B CN 201711059887 A CN201711059887 A CN 201711059887A CN 107871119 B CN107871119 B CN 107871119B
Authority
CN
China
Prior art keywords
target
prediction
image
probability
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711059887.1A
Other languages
English (en)
Other versions
CN107871119A (zh
Inventor
侯彪
任仲乐
焦李成
朱浩
赵暐
刘旭
孙其功
马文萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201711059887.1A priority Critical patent/CN107871119B/zh
Publication of CN107871119A publication Critical patent/CN107871119A/zh
Application granted granted Critical
Publication of CN107871119B publication Critical patent/CN107871119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明公开了一种基于目标空间知识和两阶段预测学习的目标检测方法,利用各种数据变换的方法增大样本的数目、增加样本的多样性,训练SSD和新设计的RefineNet两个深层神经网络;对SSD初步预测结果中概率较大的预测目标通过RefineNet进一步提升判别的准确性;通过制定目标特有的空间结构约束规则减少错误的预测,得到最终的检测结果。本发明与现有的一些方法相比,同时考虑了遥感目标的视觉特性和空间特性,并利用特征提取能力卓越的深层网络实现了端到端的目标候选、特征提取与分类定位,明显提高了遥感目标的检测率,降低了虚警率。

Description

一种基于目标空间知识和两阶段预测学习的目标检测方法
技术领域
本发明属于光学遥感图像处理技术领域,涉及图像目标检测领域的应用,具体涉及一种基于目标空间知识和两阶段预测学习的目标检测方法。
背景技术
目标检测是航空和卫星图像分析领域的基本问题,在环境监测、地质危害监测、土地利用和覆盖绘图、地理信息系统更新、精细农业和城市规划等众多应用中起到至关重要的作用。
回顾光学遥感图像目标检测的发展历程,主要有四大类方法:基于模板匹配的目标检测、基于知识的目标检测、基于目标图像分析的目标检测以及基于机器学习的目标检测。当前随着航空航天器以及相关成像设备的发展,获取的高分辨光学遥感图像越来越多,单幅高分辨大场景光学遥感图像包含极为丰富的细节信息,这已经远远超出传统方法能够处理的范畴,急需更为切实有效的处理算法。
目前基于深度学习的目标检测方法成为自然图像中目标检测的研究热点,但在遥感图像的目标检测上还处于初步探索阶段,此类方法的最大优势在于能够实现端到端的目标候选、特征提取与分类定位。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于目标空间知识和两阶段预测学习的目标检测方法,用于对高分辨光学遥感影像进行特征提取和目标检测,解决现有高分辨光学遥感图像目标检测方法中缺乏有效的特征提取,对大场景目标检测率低、虚警率高的难题。
本发明采用以下技术方案:
一种基于目标空间知识和两阶段预测学习的目标检测方法,利用数据变换的方法增大样本的数目、增加样本的多样性,训练SSD和RefineNet两个深层神经网络;对SSD初步预测结果中概率较大的预测目标通过RefineNet进一步提升判别的准确性;通过制定目标特有的空间结构约束规则减少错误的预测,进一步提升检测结果,利用深层网络的特征学习能力,结合目标空间结构先验的约束,实现多类遥感目标的准确检测。
进一步的,包括以下步骤:
S1、输入高分辨光学遥感图像,将图像有重叠地分割成适合网络尺寸的像块,划分训练集和测试集,并对训练集通过各种变换实现数据扩充;
S2、将训练集送入SSD网络训练直至达到设置的终止条件;
S3、选取训练集中各类目标样本送入RefineNet网络训练直至达到设置的终止条件;
S4、将测试图像送入训练好的SSD网络得到初步的预测结果,再通过置信度阈值滤掉可能性极小的候选目标,保留大概率候选目标;
S5、截取包含大概率候选目标的预测框,放缩至合适尺寸,送入训练好的RefineNet网络得到进一步的类别和置信度判定;
S6、制定各类遥感目标的空间约束规则,滤除错误预测,并结合两次预测的置信度给出最终预测的置信度,通过非极大值抑制NMS和置信度阈值筛选得到最终预测的类别、概率和定位结果;
S7、在原高分辨光学遥感图像上可视化预测结果并计算检测率与虚警率。
进一步的,步骤S1具体为:
首先将单通道的图像通过复制转化为三通道的图像,对每幅高分辨大场景的光学遥感图像,有重叠地划分300×300的像块,间隔步长为200;
然后选择有真实标记的80%目标作为训练集,其余20%目标作为测试集,并通过旋转、镜像、对比度增强的方法扩充样本的数目;
再以0.5的概率随机调整光度参数、放缩原图像尺寸采块以增加样本的多样性,使训练样本数量和变化种类更好地满足深层网络的训练要求,同时对采块的原图像占比、长宽比范围、目标交叠比也做出限制;
最后通过减去计算得到的所有图像的强度均值,获得最终的训练集和测试集;
各种变换和约束的具体参数如下:
旋转角度:0°,90°,180°,270°;镜像:左右翻转;对比度增强:直方图均衡化;亮度变换因子:δ=32;对比度变化范围:[0.5,1.5];色度变换因子:δ=18;饱和度变化范围:[0.5,1.5];膨胀尺寸范围:[1,4];占原图像比例范围:[0.3,1];长宽比范围:[0.5,2];与目标的重叠比阈值:0.1,0.3,0.5,0.7,0.9,1。
进一步的,步骤S2具体如下:
输入整幅图像到SSD模型,先通过ImageNet数据集上预训练好的VGG16网络模型对整幅图像提取深层特征,再添加6个新的卷积神经网络CNN层,每个CNN设定不同的尺度,确定尺度参数sk及整个模型的损失函数,最后根据每个特征图坐标点上设计好的目标提取框提取特征,并用特征预测目标的类别和边界框;
确定尺度参数sk的公式如下:
Figure BDA0001454543950000031
其中,k∈[1,m],m为特征图个数,尺度参数的最小值smin=0.2,最大值smax=0.9;
整个模型的损失函数如下:
Figure BDA0001454543950000032
其中,Lconf(x,c)表示目标的识别性能,Lloc(x,l,g)表示预测目标边界框的定位性能,α表示识别性能与定位性能的平衡因子,x表示设计的目标提取框中是否包含对应的目标,N表示匹配框的数量,c表示目标的真实概率,l和g分别表示预测框和真实框的位置向量;
模型训练过程中,初始学习率为4×10-5,动量项为0.9,权重惩罚项为0.0005,最小批量为32,最大迭代次数为120000,优化方式为随机梯度下降SGD,NMS阈值为0.45,目标区域交并比IoU为0.5。
进一步的,目标识别性能具体如下:
Figure BDA0001454543950000041
其中,i∈pos表示预测框中存在目标,i∈neg表示预测框中没有目标,
Figure BDA0001454543950000042
表示第i个框被划分为第p类目标的概率,
Figure BDA0001454543950000043
表示第i个框与第p类目标的第j个个体的边界框是否匹配,匹配为1,反之为0,
Figure BDA0001454543950000044
表示第i个框被划分为负样本的概率;
预测目标边界框定位性能的公式如下:
Figure BDA0001454543950000045
其中,
Figure BDA0001454543950000046
Figure BDA0001454543950000047
分别表示第i个预测框向量和第j个目标的真实边框向量,定位的损失函数smoothL1是平滑L1损失函数,i∈pos表示预测框中存在目标,m∈{cx,cy,w,h},(cx,cy)表示边框中心点坐标,(w,h)表示边框的宽和高。
进一步的,步骤S3中,从训练集中依据给定的标准框抽取包含目标部分的像块和对应的类别标签,放缩至128×128尺寸后送入RefineNet网络进行训练,设置初始学习率为1×10-3;动量项为0.9;权重惩罚项为0.0005;最小批量为64;最大迭代次数50000;优化方式为SGD。
进一步的,步骤S4中,NMS的阈值取0.3,置信度阈值取0.12,得到第一次预测向量
Figure BDA0001454543950000048
如下:
Figure BDA0001454543950000049
其中,c1,p1,(x1,y1),(x2,y2)分别表示预测目标的类别、概率、预测框左上角和右下角的坐标。
进一步的,步骤S5中,将步骤S4保留的大概率预测框通过二次立方插值到128×128的尺寸,送入RefineNet网络进行精细化分类得到第二次预测向量
Figure BDA0001454543950000051
如下:
Figure BDA0001454543950000052
其中,c2,p2,(x1,y1),(x2,y2)分别表示预测目标的类别、概率、预测框左上角和右下角的坐标。
进一步的,步骤S6中,为了兼顾检测率和虚警率,制定如下的空间约束规则:
1)预测得到各类目标的面积
Figure BDA0001454543950000053
i∈[1,5];
2)预测得到各类目标的长宽比
Figure BDA0001454543950000054
i∈[1,5];
其中,area,ratio分别表示预测目标的面积和长宽比,i表示目标的类别,最终的预测类标c=c1,预测概率p=λ·p2+(1-λ)·p1,λ为平衡因子,实验中取0.6,此外置信度阈值和NMS分别为0.5和0.6。
进一步的,步骤S7具体如下:
S7.1、根据预测目标的类别和位置,将红色R、绿色G、蓝色B作为三基色,按照三基色上色法对各类目标的预测框分别进行上色,得到上色后的高分辨光学遥感图像,然后将其输出;
S7.2、将高分辨光学遥感图像得到的预测目标与真实目标进行比较,计算目标的检测率和虚警率,具体计算公式如下:
Figure BDA0001454543950000055
Figure BDA0001454543950000056
与现有技术相比,本发明至少具有以下有益效果:
本发明提供了一种基于目标空间知识和两阶段预测学习的高分辨光学遥感图像目标检测方法,利用各种数据变换的方法增大样本的数目、增加样本的多样性,训练SingleShot MultiBox Detector(SSD)和新设计的RefineNet两个深层神经网络;对SSD初步预测结果中概率较大的预测目标通过RefineNet进一步提升判别的准确性;通过制定目标特有的空间结构约束规则减少错误的预测,进一步提升检测结果,利用深层网络强大的特征学习能力,结合目标空间结构的先验约束,快速准确地实现多类遥感目标的检测,处理过程同时考虑了遥感目标的视觉特性和空间特性,并利用特征提取能力卓越的深层网络实现了端到端的目标候选、特征提取与分类定位,明显提高了遥感目标的检测率,降低了虚警率。
进一步的,本发明在训练阶段利用SSD网络实现目标候选、特征提取和分类定位的训练,与此同时通过设计新的RefineNet网络对多类遥感目标进行精细化的特征提取训练;测试阶段先利用训练好的SSD网络获取目标检测的初步预测,然后对部分置信度较高的候选目标区域通过训练得到的RefineNet网络进行进一步甄别,提出了两阶段精确目标检测框架,得到更为准确的目标预测,提高了检测率。
进一步的,本发明结合遥感目标的空间结构设计了相应的候选目标筛选规则,具体而言,根据训练集中各类目标的统计量(面积、长宽比)的范围,限定目标空间结构的合理区间,滤除明显偏差的候选目标,显著地降低虚警率。
综上所述,本发明将目标空间约束和目标精确分类相结合提出了一种基于目标空间知识和两阶段预测学习的高分辨光学遥感图像目标检测算法,实验结果表明可以准确有效地实现目标检测。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程图;
图2为本发明使用的SSD模型示意图;
图3为本发明使用的RefineNet模型示意图;
图4为本发明使用的高分辨大场景光学遥感图像示意图;
图5为SSD方法得到的目标预测图;
图6为提出方法得到的目标预测图。
具体实施方式
请参阅图1,本发明一种基于目标空间知识和两阶段预测学习的目标检测方法,包括以下步骤:
S1、输入高分辨光学遥感图像,将图像有重叠地分割成适合网络尺寸的像块,划分训练集和测试集,并对训练集通过各种变换实现数据扩充;
首先将单通道的图像通过复制转化为三通道的图像,对每幅高分辨大场景的光学遥感图像,有重叠地划分300×300的像块,为保证目标的完整性,间隔步长为200。
选择有真实标记的80%的目标作为训练集,其余20%目标作为测试集,并通过旋转、镜像、对比度增强的方法扩充样本的数目,再以0.5的概率随机调整光度参数、放缩原图像尺寸的手段采块以增加样本的多样性,使训练样本数量和变化种类更好地满足深层网络的训练要求,同时对采块的原图像占比、长宽比范围、目标交叠比也作出限制。
各个变换和约束的具体参数如下:
旋转角度:0°,90°,180°,270°;镜像:左右翻转;对比度增强:直方图均衡化;亮度变换因子:δ=32;对比度变化范围:[0.5,1.5];色度变换因子:δ=18;饱和度变化范围:[0.5,1.5];膨胀尺寸范围:[1,4];占原图像比例范围:[0.3,1];长宽比范围:[0.5,2];与目标的重叠比阈值:0.1,0.3,0.5,0.7,0.9,1。
最后通过减去计算得到的所有图像强度的均值108,获得最终的训练集和测试集。
S2、将训练集送入Single Shot MultiBox Detector(SSD)网络训练直至达到设置的终止条件;
请参阅图2,输入整幅图像到SSD模型,先通过ImageNet数据集上预训练好的VGG16网络模型对整幅图像提取深层特征,紧接着添加6个新的卷积神经网络convolutionalneural network(CNN)层,设定每个CNN不同的尺度来实现多尺度特征的提取。然后针对不同尺度的深层特征图设计大小不同的目标提取框,因而选取不同的尺度参数,假定有m个特征图,则尺度参数sk如下:
Figure BDA0001454543950000081
其中,k∈[1,m],尺度参数的最小值smin=0.2,最大值smax=0.9;
最后根据每个特征图坐标点上设计好的目标提取框提取特征,并将这些特征用来预测目标的类别和边界框。
整个模型的损失函数如下:
Figure BDA0001454543950000082
其中,Lconf(x,c)表示目标的识别性能,Lloc(x,l,g)表示预测目标边界框的定位性能,x表示设计的目标提取框中是否包含对应的目标,N表示匹配框的数量。
式(2)中等号右边括号内第一项表示目标识别性能,是一个如下的多类softmax损失函数:
Figure BDA0001454543950000083
其中,
Figure BDA0001454543950000084
表示第i个框被划分为第p类目标的概率,
Figure BDA0001454543950000085
表示第i个框与第p类目标的第j个个体的边界框是否匹配,匹配为1,反之为0,
Figure BDA0001454543950000086
表示第i个框被划分为负样本的概率。
第二项表示预测目标边界框定位的性能,具体如下:
Figure BDA0001454543950000087
其中,
Figure BDA0001454543950000091
Figure BDA0001454543950000092
分别表示第i个预测框向量和第j个目标的真实边框向量,定位的损失函数是平滑的L1损失函数,m∈{cx,cy,w,h},(cx,cy)表示边框中心点坐标,(w,h)表示边框的宽和高。
模型训练过程的其他超参数设置如下,初始学习率为4×10-5,动量项为0.9,权重惩罚项为0.0005,最小批量为32,最大迭代次数为120000,优化方式为随机梯度下降Stochastic gradient descent(SGD),NMS阈值为0.45,目标区域交并比Intersection ofunion(IoU)为0.5。
S3、选取训练集中各类目标样本送入新设计的RefineNet网络训练直至达到设置的终止条件;
从训练集中依据给定的标准框抽取包含目标部分的像块和对应的类别标签,放缩至合适尺寸(128×128)后送入图3所示的RefineNet网络进行训练,目标函数如公式(3)所示。
其他超参数设置如下,初始学习率为1×10-3;动量项为0.9;权重惩罚项为0.0005;最小批量为64;最大迭代次数为50000;优化方式为SGD。
S4、将测试图像送入训练好的SSD网络得到初步的预测结果,再通过置信度阈值滤掉可能性极小的候选目标,保留大概率候选目标;
NMS的阈值取0.3,置信度阈值取0.12,得到的预测向量如下:
Figure BDA0001454543950000093
其中,c1,p1,(x1,y1),(x2,y2)分别表示预测目标的类别、概率、预测框左上角和右下角的坐标。
S5、截取包含大概率候选目标的预测框,放缩至合适尺寸,送入训练好的RefineNet网络得到进一步的类别和置信度判定;
将步骤S4后保留的大概率预测框通过二次立方插值到128×128的尺寸,送入RefineNet网络进行精细化分类得到预测向量如下:
Figure BDA0001454543950000101
其中,c2,p2,(x1,y1),(x2,y2)分别表示预测目标的类别、概率、预测框左上角和右下角的坐标,由于步骤S5只是对分类的再评估,故预测框坐标(x1,y1),(x2,y2)保持不变。
S6、制定各类遥感目标的空间约束规则滤除可能错误的预测,并结合两次预测的置信度给出最终预测的置信度,通过非极大值抑制Non-maximum suppression(NMS)和置信度阈值筛选得到最终预测的类别、概率和定位结果;
通过对高分辨大场景下光学遥感目标的统计先验可知,5类待测目标(舰船、飞机、油罐、桥梁和港口)面积和长宽比参数(最大值和最小值,图中的面积值均为像素数目)的期望如下表所示:
表1各类光学遥感目标的统计参数
Figure BDA0001454543950000102
为了兼顾检测率和虚警率,结合上述目标空间尺寸的先验,制定如下的空间约束规则:
1)预测得到各类目标的面积
Figure BDA0001454543950000103
i∈[1,5];
2)预测得到各类目标的长宽比
Figure BDA0001454543950000104
i∈[1,5];
其中,area,ratio分别表示预测目标的面积和长宽比,i表示目标的类别。
最终的预测类标c=c1,预测概率p=λ·p2+(1-λ)·p1,λ为平衡因子,实验中取0.6,此外置信度阈值和NMS分别为0.5和0.6。
S7、在原高分辨光学遥感图像上可视化预测结果并计算检测率与虚警率。
S7.1、根据预测目标的类别和位置,将R(红色)、G(绿色)、B(蓝色)作为三基色,按照三基色上色法对各类目标的预测框分别进行上色(具体颜色为:舰船:蓝色,飞机:黄色,油罐:红色,桥梁:绿色,港口:红色),得到上色后的高分辨光学遥感图像,然后将其可视化展示;
S7.2、将高分辨光学遥感图像得到的预测目标与真实目标进行比较,计算目标的检测率和虚警率,具体计算公式如下:
Figure BDA0001454543950000111
Figure BDA0001454543950000112
实施例
实验条件与方法:
硬件平台为:Titan X 12GB、64GB RAM;
软件平台为:Ubuntu16.04.2,Caffe;
实验方法:分别为现有的SSD目标检测方法和本发明的方法
仿真内容与结果:
仿真试验中,根据数据集上给定的真实标记,随机选取80%的目标作为训练集,其余20%目标作为测试集,计算检测率和虚警率作为评价指标。
评价结果如表2所示,其中,Alg1是SSD的方法,Alg2是本发明的方法。
表2.本发明和对比方法在仿真实验中得到各类目标的检测率和虚警率
Figure BDA0001454543950000113
Figure BDA0001454543950000121
实验结果分析:
图4是高分2号卫星于2016年11月摄于西经110.9°,北纬32.1°的高分辨全色锐化图像,其中的主要目标为飞机和油罐。图5为基于SSD模型的目标检测结果图,图6为本发明的目标检测结果图。统计结果如表2所示。对比SSD的方法,明显可以看出图6所示得到了更好的实验结果。图6中的目标(飞机)检测率高,虚警率低,检测出的目标确定性高,总体视觉效果突出。图5所示的SSD方法对目标的错分(如将连片的飞机误分为其他类,将右下角的油罐误分为飞机)和漏分都比较严重。
本发明与现有的一些方法相比,同时考虑了遥感目标的视觉特性和空间特性,并利用特征提取能力卓越的深层网络实现了端到端的目标候选、特征提取与分类定位,明显提高了遥感目标的检测率,降低了虚警率。
综上所述,本发明提出的基于目标空间知识和两阶段预测学习的高分辨光学遥感图像目标检测方法能够充分结合传统先验知识与最新深度学习的优势,实现目标的高效准确检测。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种基于目标空间知识和两阶段预测学习的目标检测方法,其特征在于,利用数据变换的方法增大样本的数目、增加样本的多样性,训练SSD和RefineNet两个深层神经网络;对SSD初步预测结果中概率较大的预测目标通过RefineNet进一步提升判别的准确性;通过制定目标特有的空间结构约束规则减少错误的预测,进一步提升检测结果,利用深层网络的特征学习能力,结合目标空间结构先验的约束,实现多类遥感目标的准确检测,包括以下步骤:
S1、输入高分辨光学遥感图像,将图像有重叠地分割成适合网络尺寸的像块,划分训练集和测试集,并对训练集通过各种变换实现数据扩充;
S2、将训练集送入SSD网络训练直至达到设置的终止条件,具体如下:
输入整幅图像到SSD模型,先通过ImageNet数据集上预训练好的VGG16网络模型对整幅图像提取深层特征,再添加6个新的卷积神经网络CNN层,每个CNN设定不同的尺度,确定尺度参数sk及整个模型的损失函数,最后根据每个特征图坐标点上设计好的目标提取框提取特征,并用特征预测目标的类别和边界框;
确定尺度参数sk的公式如下:
Figure FDA0002882878890000011
其中,k∈[1,m],m为特征图个数,尺度参数的最小值smin=0.2,最大值smax=0.9;
整个模型的损失函数如下:
Figure FDA0002882878890000012
其中,Lconf(x,c)表示目标的识别性能,Lloc(x,l,g)表示预测目标边界框的定位性能,α表示识别性能与定位性能的平衡因子,x表示设计的目标提取框中是否包含对应的目标,N表示匹配框的数量,c表示目标的真实概率,l和g分别表示预测框和真实框的位置向量;
模型训练过程中,初始学习率为4×10-5,动量项为0.9,权重惩罚项为0.0005,最小批量为32,最大迭代次数为120000,优化方式为随机梯度下降SGD,NMS阈值为0.45,目标区域交并比IoU为0.5;
S3、选取训练集中各类目标样本送入RefineNet网络训练直至达到设置的终止条件,从训练集中依据给定的标准框抽取包含目标部分的像块和对应的类别标签,放缩至128×128尺寸后送入RefineNet网络进行训练,设置初始学习率为1×10-3;动量项为0.9;权重惩罚项为0.0005;最小批量为64;最大迭代次数50000;优化方式为SGD;
S4、将测试图像送入训练好的SSD网络得到初步的预测结果,再通过置信度阈值滤掉可能性极小的候选目标,保留大概率候选目标;
S5、截取包含大概率候选目标的预测框,放缩至合适尺寸,送入训练好的RefineNet网络得到进一步的类别和置信度判定;
S6、制定各类遥感目标的空间约束规则,滤除错误预测,并结合两次预测的置信度给出最终预测的置信度,通过非极大值抑制NMS和置信度阈值筛选得到最终预测的类别、概率和定位结果;
S7、在原高分辨光学遥感图像上可视化预测结果并计算检测率与虚警率。
2.根据权利要求1所述的一种基于目标空间知识和两阶段预测学习的目标检测方法,其特征在于,步骤S1具体为:
首先将单通道的图像通过复制转化为三通道的图像,对每幅高分辨大场景的光学遥感图像,有重叠地划分300×300的像块,间隔步长为200;
然后选择有真实标记的80%目标作为训练集,其余20%目标作为测试集,并通过旋转、镜像、对比度增强的方法扩充样本的数目;
再以0.5的概率随机调整光度参数、放缩原图像尺寸采块以增加样本的多样性,使训练样本数量和变化种类更好地满足深层网络的训练要求,同时对采块的原图像占比、长宽比范围、目标交叠比也做出限制;
最后通过减去计算得到的所有图像的强度均值,获得最终的训练集和测试集;
各种变换和约束的具体参数如下:
旋转角度:0°,90°,180°,270°;镜像:左右翻转;对比度增强:直方图均衡化;亮度变换因子:δ=32;对比度变化范围:[0.5,1.5];色度变换因子:δ=18;饱和度变化范围:[0.5,1.5];膨胀尺寸范围:[1,4];占原图像比例范围:[0.3,1];长宽比范围:[0.5,2];与目标的重叠比阈值:0.1,0.3,0.5,0.7,0.9,1。
3.根据权利要求1所述的一种基于目标空间知识和两阶段预测学习的目标检测方法,其特征在于,步骤S2中,目标识别性能具体如下:
Figure FDA0002882878890000031
其中,i∈pos表示预测框中存在目标,i∈neg表示预测框中没有目标,
Figure FDA0002882878890000032
表示第i个框被划分为第p类目标的概率,
Figure FDA0002882878890000033
表示第i个框与第p类目标的第j个个体的边界框是否匹配,匹配为1,反之为0,
Figure FDA0002882878890000034
表示第i个框被划分为负样本的概率;
预测目标边界框定位性能的公式如下:
Figure FDA0002882878890000035
其中,
Figure FDA0002882878890000036
Figure FDA0002882878890000037
分别表示第i个预测框向量和第j个目标的真实边框向量,定位的损失函数smoothL1是平滑L1损失函数,i∈pos表示预测框中存在目标,m∈{cx,cy,w,h},(cx,cy)表示边框中心点坐标,(w,h)表示边框的宽和高。
4.根据权利要求1所述的一种基于目标空间知识和两阶段预测学习的目标检测方法,其特征在于,步骤S4中,NMS的阈值取0.3,置信度阈值取0.12,得到第一次预测向量
Figure FDA0002882878890000038
如下:
Figure FDA0002882878890000039
其中,c1,p1,(x1,y1),(x2,y2)分别表示预测目标的类别、概率、预测框左上角和右下角的坐标。
5.根据权利要求1所述的一种基于目标空间知识和两阶段预测学习的目标检测方法,其特征在于,步骤S5中,将步骤S4保留的大概率预测框通过二次立方插值到128×128的尺寸,送入RefineNet网络进行精细化分类得到第二次预测向量
Figure FDA0002882878890000041
如下:
Figure FDA0002882878890000042
其中,c2,p2,(x1,y1),(x2,y2)分别表示预测目标的类别、概率、预测框左上角和右下角的坐标。
6.根据权利要求1所述的一种基于目标空间知识和两阶段预测学习的目标检测方法,其特征在于,步骤S6中,为了兼顾检测率和虚警率,制定如下的空间约束规则:
1)预测得到各类目标的面积
Figure FDA0002882878890000043
i∈[1,5];
2)预测得到各类目标的长宽比
Figure FDA0002882878890000044
i∈[1,5];
其中,area,ratio分别表示预测目标的面积和长宽比,i表示目标的类别,最终的预测类标c=c1,预测概率p=λ·p2+(1-λ)·p1,λ为平衡因子,实验中取0.6,此外置信度阈值和NMS分别为0.5和0.6。
7.根据权利要求1所述的一种基于目标空间知识和两阶段预测学习的目标检测方法,其特征在于,步骤S7具体如下:
S7.1、根据预测目标的类别和位置,将红色R、绿色G、蓝色B作为三基色,按照三基色上色法对各类目标的预测框分别进行上色,得到上色后的高分辨光学遥感图像,然后将其输出;
S7.2、将高分辨光学遥感图像得到的预测目标与真实目标进行比较,计算目标的检测率和虚警率,具体计算公式如下:
Figure FDA0002882878890000045
Figure FDA0002882878890000046
CN201711059887.1A 2017-11-01 2017-11-01 一种基于目标空间知识和两阶段预测学习的目标检测方法 Active CN107871119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711059887.1A CN107871119B (zh) 2017-11-01 2017-11-01 一种基于目标空间知识和两阶段预测学习的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711059887.1A CN107871119B (zh) 2017-11-01 2017-11-01 一种基于目标空间知识和两阶段预测学习的目标检测方法

Publications (2)

Publication Number Publication Date
CN107871119A CN107871119A (zh) 2018-04-03
CN107871119B true CN107871119B (zh) 2021-07-06

Family

ID=61753359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711059887.1A Active CN107871119B (zh) 2017-11-01 2017-11-01 一种基于目标空间知识和两阶段预测学习的目标检测方法

Country Status (1)

Country Link
CN (1) CN107871119B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734219B (zh) * 2018-05-23 2022-02-01 北京航空航天大学 一种基于全卷积神经网络结构的端到端撞击坑检测与识别方法
CN108875805A (zh) * 2018-05-31 2018-11-23 北京迈格斯智能科技有限公司 基于深度学习的利用检测识别一体化提高检测精度的方法
CN108776819A (zh) * 2018-06-05 2018-11-09 Oppo广东移动通信有限公司 一种目标识别方法、移动终端及计算机可读存储介质
CN109102469B (zh) * 2018-07-04 2021-12-21 华南理工大学 一种基于卷积神经网络的遥感图像全色锐化方法
CN108960148A (zh) * 2018-07-05 2018-12-07 济南东朔微电子有限公司 一种基于视频图像的快递面单三段码识别方法
CN109191493B (zh) * 2018-07-13 2021-06-04 上海大学 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法
CN109325520B (zh) * 2018-08-24 2021-06-29 北京航空航天大学 一种石油泄漏的检查方法、装置及系统
CN109223178B (zh) * 2018-08-29 2021-04-06 合肥工业大学 具有目标定位功能的腔镜智能边缘计算系统
CN109308458B (zh) * 2018-08-31 2022-03-15 电子科技大学 一种基于特征谱尺度变换提升小目标检测精度的方法
CN109255317B (zh) * 2018-08-31 2021-06-11 西北工业大学 一种基于双网络的航拍图像差异检测方法
CN109389078B (zh) * 2018-09-30 2022-06-21 京东方科技集团股份有限公司 图像分割方法、相应的装置及电子设备
CN109255787B (zh) * 2018-10-15 2021-02-26 杭州慧知连科技有限公司 基于深度学习和图像处理技术的丝锭划痕检测系统及方法
CN111091022A (zh) * 2018-10-23 2020-05-01 宏碁股份有限公司 机器视觉的效能评估方法与系统
CN109409286A (zh) * 2018-10-25 2019-03-01 哈尔滨工程大学 基于伪样本增强训练的船舶目标检测方法
CN111098850A (zh) * 2018-10-25 2020-05-05 北京初速度科技有限公司 一种自动停车辅助系统及自动泊车方法
CN111169468B (zh) * 2018-11-12 2023-10-27 北京魔门塔科技有限公司 一种自动泊车的系统及方法
CN109800629B (zh) * 2018-12-05 2023-04-07 天津大学 一种基于卷积神经网络的遥感图像目标检测方法
CN110032935A (zh) * 2019-03-08 2019-07-19 北京联合大学 一种基于深度学习级联网络的交通信号标识检测识别方法
CN109977878B (zh) * 2019-03-28 2021-01-22 华南理工大学 基于重加权Anchor的车辆检测方法
CN110276269B (zh) * 2019-05-29 2021-06-29 西安交通大学 一种基于注意力机制的遥感图像目标检测方法
CN110222641B (zh) * 2019-06-06 2022-04-19 北京百度网讯科技有限公司 用于识别图像的方法和装置
CN110298838A (zh) * 2019-07-09 2019-10-01 国信优易数据有限公司 一种确定样本图像的方法、装置、设备和存储介质
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111091547B (zh) * 2019-12-12 2020-09-04 哈尔滨市科佳通用机电股份有限公司 铁路货车制动梁支柱折断故障图像识别方法
CN111144494A (zh) * 2019-12-27 2020-05-12 睿魔智能科技(深圳)有限公司 物体检测模型训练方法、检测方法、装置、设备及介质
CN111241964A (zh) * 2020-01-06 2020-06-05 北京三快在线科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质
CN111551920A (zh) * 2020-04-16 2020-08-18 重庆大学 基于目标检测与双目匹配的三维目标实时测量系统和方法
CN111723748B (zh) * 2020-06-22 2022-04-29 电子科技大学 一种红外遥感图像舰船检测方法
CN112347960B (zh) * 2020-11-13 2021-09-21 成都理工大学 一种滑坡定位方法
CN112836571A (zh) * 2020-12-18 2021-05-25 华中科技大学 遥感sar图像中的舰船目标检测识别方法、系统及终端
CN112986950A (zh) * 2020-12-25 2021-06-18 南京理工大学 基于深度学习的单脉冲激光雷达回波特征提取方法
CN112946684B (zh) * 2021-01-28 2023-08-11 浙江大学 基于光学目标信息辅助的电磁遥感智能成像系统与方法
CN114359281A (zh) * 2022-03-17 2022-04-15 南方电网数字电网研究院有限公司 基于层次化集成学习的电力部件识别方法和装置
CN117423001A (zh) * 2023-12-18 2024-01-19 东北大学 基于改进ssd的岩石岩性识别方法与系统、存储介质和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710445A (zh) * 2005-07-05 2005-12-21 华东师范大学 航空高光谱遥感图像光谱域噪声自检测与去除方法
CN103530628A (zh) * 2013-10-29 2014-01-22 上海市城市建设设计研究总院 基于浮动控制点的高分辨率遥感影像正射校正方法
CN104361363A (zh) * 2014-11-25 2015-02-18 中国科学院自动化研究所 深度反卷积特征学习网络、生成方法及图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233712B2 (en) * 2006-07-28 2012-07-31 University Of New Brunswick Methods of segmenting a digital image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710445A (zh) * 2005-07-05 2005-12-21 华东师范大学 航空高光谱遥感图像光谱域噪声自检测与去除方法
CN103530628A (zh) * 2013-10-29 2014-01-22 上海市城市建设设计研究总院 基于浮动控制点的高分辨率遥感影像正射校正方法
CN104361363A (zh) * 2014-11-25 2015-02-18 中国科学院自动化研究所 深度反卷积特征学习网络、生成方法及图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Scene classification of high resolution remote sensing images using convolutional neural networks;Gong Cheng et al.;《2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)》;20161103;第767-770页 *
基于深度学习的红外遥感信息自动提取;陈睿敏,孙胜利;《红外》;20170831;第37-43页 *

Also Published As

Publication number Publication date
CN107871119A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107871119B (zh) 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN107292339B (zh) 基于特征融合的无人机低空遥感影像高分地貌分类方法
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN112183414A (zh) 一种基于混合空洞卷积的弱监督遥感目标检测方法
CN107808133A (zh) 基于无人机巡线的油气管道安全监测方法、系统及软件存储器
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN104766071B (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN112347895A (zh) 一种基于边界优化神经网络的舰船遥感目标检测方法
CN110490155B (zh) 一种禁飞空域无人机检测方法
WO2020093624A1 (zh) 一种基于多尺度检测算法的天线下倾角测量方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN111461213A (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN111027511A (zh) 基于感兴趣区块提取的遥感图像舰船检测方法
EP3770799A1 (en) A method of identifying topographic features
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN109829426A (zh) 基于高分遥感影像的铁路建设临时建筑监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant