CN110210418B - 一种基于信息交互和迁移学习的sar图像飞机目标检测方法 - Google Patents

一种基于信息交互和迁移学习的sar图像飞机目标检测方法 Download PDF

Info

Publication number
CN110210418B
CN110210418B CN201910485819.4A CN201910485819A CN110210418B CN 110210418 B CN110210418 B CN 110210418B CN 201910485819 A CN201910485819 A CN 201910485819A CN 110210418 B CN110210418 B CN 110210418B
Authority
CN
China
Prior art keywords
area
shadow
target
point
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910485819.4A
Other languages
English (en)
Other versions
CN110210418A (zh
Inventor
刘芳
焦李成
王莹
李玲玲
郭雨薇
侯彪
陈璞花
马文萍
杨淑媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910485819.4A priority Critical patent/CN110210418B/zh
Publication of CN110210418A publication Critical patent/CN110210418A/zh
Application granted granted Critical
Publication of CN110210418B publication Critical patent/CN110210418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于信息交互和迁移学习的SAR图像飞机目标检测方法,基于亮暗阈值分割与k近邻选择提取像素空间的感兴趣目标候选区域;将像素空间的每一个感兴趣目标候选区域的位置坐标对应到SAR图像的语义素描图中,得到语义空间中相应的感兴趣目标候选区域的位置和大小;提取语义空间中感兴趣目标候选区域中疑似机翼阴影的素描线段;使用机翼阴影与亮斑局部结构关系的飞机阴影补全方法,得到目标阴影区域图;利用基于素描标注信息的生成对抗迁移学习方法,实现目标阴影区域图的分类与识别,得到最终的飞机目标检测结果。本发明提高了飞机目标检测的准确率,剔除了大量虚警,适用于复杂场景下超高分辨率SAR图像中飞机目标检测。

Description

一种基于信息交互和迁移学习的SAR图像飞机目标检测方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于信息交互和迁移学习的SAR图像飞机目标检测方法,适用于复杂场景下超高分辨率SAR图像中飞机目标检测。
背景技术
合成孔径雷达(SAR)图像解译一直以来都受到研究人员的广泛关注,近年来,随着雷达技术的发展,SAR图像已经达到了超高分辨率,这给解译工作带来了机遇和挑战。飞机目标作为重要的军事目标,结构复杂,种类繁多,并且背景环境极其复杂,特别是在超高分辨率SAR图像(MiniSAR)中,通常以强散射点的形式存在,由于面信息不完整,直接进行飞机目标检测极其困难。
SAR图像中飞机目标的检测一般依赖于飞机的先验知识,例如飞机与机场跑道和停机坪之间的关系,飞机的形状特点、散射特点等,目前针对SAR图像飞机目标检测的方法有基于机场区域提取的,基于显著性的,还有基于深度学习的。
基于机场区域提取的飞机目标检测方法一般分为两步,第一步通过分割方法提取出SAR图像中机场跑道区域,第二步在机场区域中利用飞机的特性来提取飞机目标。将分割的思想引入高分辨率SAR图像目标检测任务中,可以快速从复杂场景中提取目标可能存在的区域,进而精确而高效地检测出目标。然而这种方法适用于包含大面积极低像素值的机场区域,才能进行分割和检测。
现有一种方法是从SAR图像中检测出可能存在机场的候选区域,然后使用方向局部梯度分布检测器来获得有利于候选区域的梯度纹理显著图,最后通过使用CFAR类型算法分割显著性图来检测飞机目标。该算法能够快速准确地检测飞机目标,降低虚警率。
还有一种方法是在大场景中粗略快速地定位候选区域,接着设计了一个适合SAR图像的卷积神经网络,以准确识别候选区域并获得最终的检测结果。此外,为了克服SAR数据量有限的问题,提出了四种方法来扩充数据。
已有的SAR图像飞机目标检测方法虽然能够有效地从SAR图像中检测出飞机目标,但是应用场景具有局限性。比如基于机场区域提取的方法,要求SAR图像中机场区域和其他背景区域要有明显的不同,然而在现实中,有时因为地面材质的问题,飞机的停放区域和背景区域差异不明显,因此不能通过提取机场区域获得目标候选区域。基于显著性的方法一般在机场区域提取的基础上实现,利用目标在机场区域上较为显著的特性检测飞机目标,如果不能将飞机停放区域和背景区域区分开,显著性方法也不能有效地被利用。基于深度学习的方法,需要大量的数据作为训练样本,然而SAR图像飞机目标数据有限,因此需要做数据扩充等一系列数据预处理。如果不能获得有效的训练数据,基于深度学习的方法的检测性能将不能达到预期效果。
上述飞机目标检测方法针对性强、局限性大,且不适用于超高分辨率SAR图像的复杂场景,因此随着超高分辨率SAR图像的数据不断增多,研究新颖的解译方法迫在眉睫。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于信息交互和迁移学习的SAR图像飞机目标检测方法,克服适用于中低分辨率SAR图像目标检测方法的不足,以提高超高分辨率SAR图像在复杂场景中飞机目标检测的准确率,并能准确给出飞机目标的位置和类别。
本发明采用以下技术方案:
一种基于信息交互和迁移学习的SAR图像飞机目标检测方法,包括以下步骤:
S1、对SAR图像做阈值分割处理,提取SAR图像的亮区域候选图和暗区域候选图;
S2、设置亮区域与暗区域的位置关系和距离关系,基于k近邻选择合并亮暗区域,得到多个感兴趣目标候选区域,并将邻近的区域进行合并,得到像素空间的感兴趣目标候选区域Rp,p=1,2,3,...c,c为像素空间感兴趣目标候选区域的个数;
S3、将像素空间的每一个感兴趣目标候选区域的位置坐标对应到SAR图像的语义素描图中,得到位置坐标在语义空间中相应的位置和大小,确定语义空间的感兴趣目标候选区域Sp
S4、对语义空间的感兴趣目标候选区域Sp中的语义素描线段进行分析,基于标记统计对素描线段进行分类;
S5、对语义空间的感兴趣目标候选区域Sp中代表阴影的语义素描线段集合Y进行分析,提取疑似机翼阴影的素描线段;
S6、使用机翼阴影与亮斑局部结构关系进行飞机阴影补全,若候选区域内两侧机翼阴影均完整,则采用步骤S7中的方法进行阴影补全,若候选区域中只出现一侧机翼阴影,则采用步骤S8中的方法进行阴影补全;
S7、针对两侧机翼阴影均完整的区域进行阴影补全;
S8、针对只出现一侧机翼阴影的区域进行阴影补全;
S9、设计飞机目标二值模板集合作为源域数据,并对步骤S7和步骤S8中飞机目标阴影补全方法得到的目标阴影区域图做后处理得到目标域数据;
S10、利用基于素描标注信息的生成对抗网络,通过迁移学习方法将源域数据的标签赋给步骤S9的目标域数据,实现目标阴影区域图的分类与识别。
具体的,步骤S1具体为:
S101、对SAR图像做灰度统计,得到阴影的灰度均值φY,地面的灰度均值φD,亮斑的灰度均值φL
S102、设置暗阈值为φY1,φY1的范围为[φYD],按照如下规则做分割:
Figure BDA0002085348470000041
其中,In(x,y)为SAR图像的灰度绝对值,In′(x,y)为根据暗阈值φY1做分割后的暗区域二值图的像素值;
S103、对暗区域二值图做形态学处理,通过闭操作连接缝隙,开操作消除噪声,并提取所有连通区域,得到每个区域的质心点,同时将暗区域二值图中像素值为1的像素点映射到SAR图像中,进而获得暗区域候选图;
S104、设置亮阈值为φL1,φL1=φL+ΔL,ΔL为像素值增量,按照如下规则做分割:
Figure BDA0002085348470000042
其中,In(x,y)为SAR图像的灰度绝对值,In′(x,y)为根据亮阈值φL1做分割后的亮区域二值图的像素值;
S105、对亮区域二值图做形态学处理,通过膨胀操作增大亮斑,并提取所有连通区域,得到每个区域的质心点,同时将亮区域二值图中像素值为1的像素点映射到SAR图像中,获得亮区域候选图。
具体的,步骤S2具体为:
S201、暗区域候选图中的暗区域质心点集合为A={A1,A2,...Ai,...Am},亮区域候选图中亮区域质心点集合为B={B1,B2,...Bj,...Bn},m、n分别为暗区域和亮区域的个数;
S202、暗区域质心Ai与亮区域质心Bj的位置关系为:在以图像的左上顶点为原点的平面直角坐标系中,纵轴为y轴,横轴为x轴,亮区域质心Bj的纵坐标yBj比暗区域质心Ai的纵坐标yAi小,满足yBj<yAi
S203、暗区域质心Ai与亮区域质心Bj的距离关系为:亮区域和暗区域的距离d(Ai,Bj)满足d(Ai,Bj)∈(dl,dh),dl表示亮区域和暗区域距离的最小值,dh表示亮区域和暗区域距离的最大值,
Figure BDA0002085348470000051
Lz代表机身长度的最大值,Lc代表机翼长度的最大值,ΔA表示SAR图像的分辨率;
S204、将集合A和集合B中的点合并为点集P,并对属于集合A的点标记为0,对属于集合B的点标记为1,区分暗区域质心点和亮区域质心点,集合为:
Figure BDA0002085348470000052
S205、对步骤S204中的点集P构造KD树;
S206、对点集P中每个标记为0的点
Figure BDA0002085348470000053
通过KD树搜索点
Figure BDA0002085348470000054
的最近邻点,若搜索到的最近邻点的标记为0,则将该点做已访问标记,继续搜索,直到搜索到的点标记为1,且该点与点
Figure BDA0002085348470000055
满足步骤S202中的位置关系和步骤S203中的距离关系,则将该点做已访问标记,并加入k近邻集合Nk中,若Nk中的点个数为k,则完成搜索;若遍历完所有的点,Nk中的点个数为0,则完成搜索;
S207、点集P中所有标记为0的点处理完毕,若点集P中某个标记为0的点对应的k近邻集合Nk中点的个数为0,则将该点从点集P中删除;
S208、根据上述步骤得到每个暗区域对应的k个近邻亮区域,将暗区域和这k个近邻亮区域进行合并,找到区域的最小外接矩形,将暗区域和亮区域包含进去,得到多个感兴趣目标候选区域;
S209、对于任意两个感兴趣目标候选区域,面积分别为ROIi、ROIj,如果这两个候选区域重叠部分的面积Overlapij满足
Figure BDA0002085348470000056
min(ROIi,ROIj)表示两个候选区域面积ROIi和ROIj的最小值,则将两个目标候选区域合并,当没有满足条件的候选区域合并时,得到像素空间的感兴趣目标候选区域Rp,p=1,2,3,...c,c为像素空间感兴趣目标候选区域的个数。
具体的,步骤S3具体为:
S301、将像素空间的每一个感兴趣目标候选区域的位置坐标对应到SAR图像的语义素描图中,得到位置坐标在语义空间中相应的位置和大小;
S302、将像素空间的感兴趣目标候选区域中暗区域和亮区域中像素点的位置对应到SAR图像的语义素描图中,并将暗区域内的像素点标记为0,亮区域内的像素点标记为1,得到语义空间的感兴趣目标候选区域Sp
具体的,步骤S4具体为:
S401、在语义空间中感兴趣目标候选区域Sp中,对每条素描线段,在素描线段的一侧沿着垂直于素描线段的方向,做宽度为w,长度为Li的矩形框,w的范围为[2,5],Li为当前素描线段的长度,同时在另一侧做相同大小的矩形框,统计两侧矩形框内像素点的标记;
S402、若素描线段一侧的矩形框内标记为0的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,则将该素描线段加入代表目标阴影的素描线段集合Y,Y={Y1,Y2,...Yi,...YM},M为代表目标阴影素描线段的条数;
S403、若素描线段一侧的矩形框内标记为1的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,则将该素描线段加入代表目标亮斑的素描线段集合Q,Q={Q1,Q2,...Qi,...QN},N为代表目标亮斑素描线段的条数。
具体的,步骤S5具体为:
S501、对语义空间的感兴趣目标候选区域Sp中代表阴影的语义素描线段集合Y进行分析,对素描线段Yi,若能找到同时满足步骤S502至步骤S504中的素描线段Yj,则素描线段Yi和Yj为疑似机翼阴影的素描线段;
S502、连接两条素描线段的端点形成的最大区域内标记为0的像素点的数量与该区域内像素点总数量的比值大于0.9,即两条素描线段之间的部分是暗区域;
S503、素描线段Yi的长度为Li,素描线段Yj的长度为Lj,需要满足
Figure BDA0002085348470000071
S504、若素描线段Yi和Yj的延长线相交于一点F,且形成的夹角在机翼阴影夹角范围[θalah]内,θal表示机翼阴影前缘与后缘夹角的最小值,θah表示机翼阴影前缘与后缘夹角的最大值。
具体的,步骤S6具体为:
S601、将包含疑似机翼阴影素描线段的感兴趣目标候选区域作为语义空间的飞机目标候选区域Sq,并对该区域中的每一对疑似机翼阴影素描线段Yi和Yj处理;
S602、对于素描线段Yi中远离交点F的端点E1,过该点做垂直于素描线段Yi的直线ψL1,对于素描线段Yj中远离交点F的端点E2,过该点做垂直于素描线段Yj的直线ψL2
S603、对直线ψL1和直线ψL2所形成的夹角做角平分线ψL,将其作为机翼阴影垂直方向的直线;
S604、如果在ψL远离交点F的一侧存在另一对疑似机翼阴影素描线段,则用同样的方法做这一侧机翼阴影的垂线ψR,转至步骤S605,若不存在,则转至步骤S607;
S605、若ψL和ψR之间的区域内同时存在亮斑和阴影,且此区域内的亮斑与其他区域相比占飞机目标候选区域的比例最大,则直线ψL和ψR的角平分线ψ作为与机身主轴方向一致的直线,若该直线的倾斜角在[60°,120°]范围内,则两侧机翼的阴影较为完整,机身部分的阴影被遮挡,在阴影补全的过程中用机身上的亮斑对飞机阴影进行补偿,转至步骤S7采用针对两侧机翼阴影均完整的区域的阴影补全方法;
S606、若ψL和ψR之间的区域内不存在满足条件的亮斑和阴影,则返回步骤S602处理下一对疑似机翼阴影素描线段;
S607、判断在ψL远离交点F的一侧是否存在一定面积的亮斑和阴影,且该侧区域内的亮斑与其他区域相比占飞机目标候选区域的比例最大,则转至步骤S8采用针对只出现一侧机翼阴影的区域的阴影补全方法;
S608、若在ψL远离交点F的一侧不存在满足条件的亮斑和阴影,则返回步骤S602处理下一对疑似机翼阴影素描线段;
S609、若区域内所有的疑似机翼阴影素描线段处理完毕,均未找到合适的阴影补全方法,则将该区域剔除。
具体的,步骤S7具体为:
S701、将语义空间的飞机目标候选区域Sq中代表目标阴影的素描线段集合Y加入空集合,得到仅含阴影素描线段的待连接集合Wb1
S702、亮斑的距离阈值分别设置为μb1,μb2,μb3,对代表目标亮斑的素描线段集合Q中的素描线段,若该素描线段的中点与暗区域的质心之间的距离μ小于μb1,则将素描线段加入代表亮斑的素描线段集合Bb1,若μ小于μb2,则将素描线段加入代表亮斑的素描线段集合Bb2,若μ小于μb3,则将素描线段加入代表亮斑的素描线段集合Bb3
S703、将代表目标阴影的素描线段集合Y分别加入代表亮斑的集合Bb1,Bb2,Bb3,得到三个阈值下的待连接素描线段集合Wb2,Wb3,Wb4
S704、处理每个待连接素描线段集合Wbi,将集合中的每条素描线段的起点和终点加入点集Dbi,对点集Dbi构造KD树;
S705、对于点集中每个点
Figure BDA0002085348470000081
通过KD树搜索以该点为圆心以radius为半径的圆形区域中与该点近邻的所有点集合Near,Near={near1,near2,...,neari,...,nearj},j为与该点邻近的点的个数,对于每个邻近点neari,如果没有在
Figure BDA0002085348470000082
所在的素描线段上,则将其作为起点,
Figure BDA0002085348470000083
作为终点,加入素描线段集合Wbi
S706、点集Dbi中的所有点处理完毕后,素描线段集合Wbi中不仅包含待连接的素描线段,并且包含新加入的连接邻近点的线段,此时素描线段连接完成;
S707、对于完成连接的语义空间的飞机目标候选区域Sq提取最大连通区域,并将区域内的像素点标记为0,对最大连通区域进行形态学处理,得到完成补全的目标阴影区域图;
S708、重复步骤S704至步骤S707,直到所有的待连接素描线段集合处理完毕,得到多个完成补全的目标阴影区域图。
具体的,步骤S8具体为:
S801、做直线ψL的垂线ψT,该垂线所在的方向作为机翼阴影的方向,对语义空间的飞机目标候选区域Sq中的邻近亮区域进行合并,对合并后的亮区域在机翼阴影所在的方向上搜索距离亮区域最近的暗区域,剔除不是飞机目标阴影的暗区域;
S802、对于疑似机翼阴影的素描线段Yi和Yj,素描线段一侧的矩形框内标记为0的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,即该侧是目标阴影所在的一侧,对于素描线段的另一侧标记为0的像素点进行剔除,保留代表飞机目标阴影的暗区域;
S803、更新语义空间的飞机目标候选区域Sq中代表目标阴影的素描线段集合,得到集合W,将集合中的每条素描线段的起点和终点加入点集D,对点集D构造KD树;
S804、对于点集中每个点Dk,通过KD树搜索以该点为圆心以radius为半径的圆形区域中与该点近邻的所有点集合Ne,Ne={ne1,ne2,...,nei,...,nej},j为与该点邻近的点的个数,对于每个邻近点nei,如果没有在Dk所在的素描线段上,则将其作为起点,Dk作为终点,加入素描线段集合W;
S805、点集D中的所有点处理完毕后,素描线段集合W中不仅包含待连接的素描线段,并且包含新加入的连接邻近点的线段,此时素描线段连接完成;
S806、对于完成连接的语义空间的飞机目标候选区域Sq提取最大连通区域并将区域内的像素点标记为0;
S807、对于区域中与机翼阴影垂直的直线ψL,将其按照垂直于直线ψL且远离交点F的方向进行一定步长的平移,直线与连通区域会形成交点,并计算每一次相交时交点之间的距离,对距离进行降序排序,取最大的距离值所对应的直线位置作为对称轴V1,并记录直线与连通区域形成交点的中点;
S808、将对称轴V1绕中点进行小角度旋转,得到对称轴V2和V3
S809、分别以V1,V2,V3为对称轴,将交点F所在的一侧的区域内所有的像素点的对称点标记为0,得到完成补全的目标阴影区域图。
具体的,步骤S9具体为:
S901、设计对应于自然图像中飞机目标的二值模板集合,集合中包含运输机、客机、战斗机二值模板,对于每种飞机目标,机头朝上为0°,按照顺时针方向每次递增10°,则每种飞机得到36个角度的二值图,并设计不同于飞机形状的负样本,将飞机目标二值模板集合和负样本作为源域数据;
S902、对步骤S7和步骤S8中补全后的目标阴影区域图,进行后处理,包括二值化处理以及尺寸缩放操作,处理之后的目标阴影二值图作为目标域数据。
与现有技术相比,本发明至少具有以下有益效果:
本发明一种基于信息交互和迁移学习的SAR图像飞机目标检测方法,通过结合飞机目标在像素空间的灰度信息和在语义空间的结构信息提取超高分辨率SAR图像中的飞机目标,有效地剔除了大量的虚警,针对SAR图像中阴影不完整的问题,使用机翼阴影与亮斑局部结构关系进行飞机阴影补全,不仅能对被遮挡的阴影进行修复,还可以对断裂的阴影进行合并;利用基于素描标注信息的生成对抗迁移学习方法,实现目标阴影区域图的分类与识别,得到最终的飞机目标检测结果。
进一步的,步骤S1对SAR图像做阈值分割,提取SAR图像的亮区域候选图和暗区域候选。
进一步的,步骤S2基于k近邻选择合并亮暗区域,提取像素空间的感兴趣目标候选区域。
进一步的,步骤S3将像素空间的每一个感兴趣目标候选区域的位置坐标对应到SAR图像的语义素描图中,得到位置坐标在语义空间中相应的位置和大小,确定语义空间的感兴趣目标候选区域。
进一步的,步骤S4基于标记统计对语义空间的感兴趣目标候选区域中的语义素描线段进行分类。
进一步的,步骤S5提取语义空间的感兴趣目标候选区域中疑似机翼阴影的素描线段。
进一步的,步骤S6使用机翼阴影与亮斑局部结构关系进行飞机阴影补全。
进一步的,步骤S10利用基于素描标注信息的生成对抗网络,通过迁移学习方法将源域数据的标签赋给目标域数据,实现目标阴影区域图的分类与识别。
综上所述,本发明利用飞机目标在像素空间的灰度信息和在语义空间的结构信息,通过信息交互提取超高分辨率SAR图像中的飞机目标,然后使用机翼阴影与亮斑局部结构关系进行飞机阴影补全,得到目标阴影区域图,最后利用基于素描标注信息的生成对抗迁移学习方法,实现目标阴影区域图的分类与识别,得到最终的飞机目标检测结果。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的总流程图;
图2为本发明仿真实验所使用的超高分辨率SAR图像;
图3为SAR图像灰度统计直方图;
图4为素描线段两侧标记统计矩形框示意图;
图5为两侧机翼阴影均完整的示意图;
图6为只出现一侧机翼阴影的示意图;
图7为SAR图像的暗区域候选图;
图8为SAR图像的亮区域候选图;
图9为像素空间的感兴趣目标候选区域;
图10为语义空间的感兴趣目标候选区域;
图11为感兴趣目标候选区域中目标阴影补全结果;
图12为飞机目标二值模板的部分数据;
图13为进行角度旋转后的飞机目标二值模板的部分运输机数据;
图14为超高分辨率SAR图像飞机目标检测和识别结果。
具体实施方式
本发明提供了一种基于信息交互和迁移学习的SAR图像飞机目标检测方法,基于亮暗阈值分割与k近邻选择提取像素空间的感兴趣目标候选区域;将像素空间的每一个感兴趣目标候选区域的位置坐标对应到SAR图像的语义素描图中,得到语义空间中相应的感兴趣目标候选区域的位置和大小;提取语义空间中感兴趣目标候选区域中疑似机翼阴影的素描线段;首次提出使用机翼阴影与亮斑局部结构关系的飞机阴影补全方法,得到目标阴影区域图;利用基于素描标注信息的生成对抗迁移学习方法,实现目标阴影区域图的分类与识别,得到最终的飞机目标检测结果。本发明提高了飞机目标检测的准确率,剔除了大量虚警,适用于复杂场景下超高分辨率SAR图像中飞机目标检测,解决了超高分辨率SAR图像中目标面和线常常呈现出大小不一、强度不同且不连通的亮斑使目标不完整等现象,从而导致检测率低的问题。
请参阅图1,本发明一种基于信息交互和迁移学习的SAR图像飞机目标检测方法,包括以下步骤:
S1、提取SAR图像的亮区域候选图和暗区域候选图;
S101、对SAR图像做灰度统计,灰度统计直方图如图3所示,得到阴影的灰度均值φY,地面的灰度均值φD,亮斑的灰度均值φL
S102、设置暗阈值为φY1,其中φY1的范围为[φYD],按照如下规则做分割:
Figure BDA0002085348470000131
其中,In(x,y)代表SAR图像的灰度绝对值,In′(x,y)表示根据暗阈值φY1做分割后的暗区域二值图的像素值;
S103、对暗区域二值图做形态学处理,通过闭操作连接缝隙,开操作消除噪声,并提取所有连通区域,得到每个区域的质心点,同时将暗区域二值图中像素值为1的像素点映射到SAR图像中,进而获得暗区域候选图;
S104、设置亮阈值为φL1,其中φL1=φL+ΔL,其中,ΔL为像素值增量,按照如下规则做分割:
Figure BDA0002085348470000132
其中,In(x,y)代表SAR图像的灰度绝对值,In′(x,y)表示根据亮阈值φL1做分割后的亮区域二值图的像素值;
S105、对亮区域二值图做形态学处理,通过膨胀操作增大亮斑,并提取所有连通区域,得到每个区域的质心点,同时将亮区域二值图中像素值为1的像素点映射到SAR图像中,进而获得亮区域候选图。
S2、基于k近邻选择合并亮暗区域;
S201、暗区域候选图中的暗区域质心点集合为A={A1,A2,...Ai,...Am},亮区域候选图中亮区域质心点集合为B={B1,B2,...Bj,...Bn},m、n分别为暗区域和亮区域的个数;
S202、暗区域质心Ai与亮区域质心Bj的位置关系设置如下:在以图像的左上顶点为原点的平面直角坐标系中,纵轴为y轴,横轴为x轴,亮区域质心Bj的纵坐标yBj比暗区域质心Ai的纵坐标yAi小,即满足yBj<yAi
S203、暗区域质心Ai与亮区域质心Bj的距离关系设置如下:亮区域和暗区域的距离d(Ai,Bj)需要满足d(Ai,Bj)∈(dl,dh),其中,dl表示亮区域和暗区域距离的最小值,最小值为0,dh表示亮区域和暗区域距离的最大值,
Figure BDA0002085348470000141
其中,Lz代表机身长度的最大值,即主方向上的长度,Lc代表机翼长度的最大值,即次方向上的长度,ΔA表示SAR图像的分辨率;
S204、将集合A和集合B中的点合并为点集P,并对属于集合A的点标记为0,对属于集合B的点标记为1,以此来区分暗区域质心点和亮区域质心点,因此,集合为:
Figure BDA0002085348470000142
S205、对步骤S204中的点集P构造KD树;
S206、对点集P中每个标记为0的点
Figure BDA0002085348470000143
通过KD树搜索该点的最近邻点,若搜索到的最近邻点的标记为0,则将该点做已访问标记,继续搜索,直到搜索到的点标记为1,且该点与点
Figure BDA0002085348470000144
满足步骤S202中的位置关系和步骤S203中的距离关系,则将该点做已访问标记,并加入k近邻集合Nk中,若Nk中的点个数为k,则完成搜索;若遍历完所有的点,Nk中的点个数为0,则完成搜索;
S207、点集P中所有标记为0的点处理完毕,若点集P中某个标记为0的点对应的k近邻集合Nk中点的个数为0,则将该点从点集P中删除;
S208、根据上述步骤可以得到每个暗区域对应的k个近邻亮区域,将暗区域和这k个近邻亮区域进行合并,方法是找到这些区域的最小外接矩形,将暗区域和亮区域包含进去,得到多个感兴趣目标候选区域;
S209、对于任意两个感兴趣目标候选区域,面积分别为ROIi、ROIj,如果这两个候选区域重叠部分的面积Overlapij满足
Figure BDA0002085348470000151
其中,min(ROIi,ROIj)表示两个候选区域面积ROIi和ROIj的最小值,则将这两个目标候选区域合并,当没有满足条件的候选区域可以合并时,得到像素空间的感兴趣目标候选区域Rp,p=1,2,3,...c,c为像素空间感兴趣目标候选区域的个数。
S3、提取语义空间的感兴趣目标候选区域;
S301、将像素空间的每一个感兴趣目标候选区域的位置坐标对应到SAR图像的语义素描图中,得到其在语义空间中相应的位置和大小;
S302、将像素空间的感兴趣目标候选区域中暗区域和亮区域中像素点的位置对应到SAR图像的语义素描图中,并将暗区域内的像素点标记为0,用蓝色表示,亮区域内的像素点标记为1,用绿色表示,得到语义空间的感兴趣目标候选区域Sp
S4、基于标记统计对素描线段进行分类;
S401、在语义空间中的感兴趣目标候选区域Sp中,对每条素描线段,在素描线段的一侧沿着垂直于素描线段的方向,做宽度为w,长度为Li的矩形框,其中,w的范围为[2,5],Li为当前素描线段的长度,同时在另一侧做相同大小的矩形框,统计两侧矩形框内像素点的标记,素描线段两侧标记统计矩形框示意图如图4所示;
S402、若素描线段一侧的矩形框内标记为0的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,则将该素描线段加入代表目标阴影的素描线段集合Y,Y={Y1,Y2,...Yi,...YM},M为代表目标阴影素描线段的条数;
S403、若素描线段一侧的矩形框内标记为1的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,则将该素描线段加入代表目标亮斑的素描线段集合Q,Q={Q1,Q2,...Qi,...QN},N为代表目标亮斑素描线段的条数。
S5、提取疑似机翼阴影的素描线段;
S501、对语义空间的感兴趣目标候选区域Sp中代表阴影的语义素描线段集合Y进行分析,对素描线段Yi,若能找到同时满足步骤S502至步骤S504中所述条件的素描线段Yj,则素描线段Yi和Yj为疑似机翼阴影的素描线段;
S502、连接两条素描线段的端点形成的最大区域内标记为0的像素点的数量与该区域内像素点总数量的比值大于0.9,即两条素描线段之间的部分是暗区域;
S503、素描线段Yi的长度为Li,素描线段Yj的长度为Lj,需要满足下式:
Figure BDA0002085348470000161
S504、若素描线段Yi和Yj的延长线相交于一点F,且形成的夹角在机翼阴影夹角范围[θalah]内,其中θal表示机翼阴影前缘与后缘夹角的最小值,θah表示机翼阴影前缘与后缘夹角的最大值。
S6、使用机翼阴影与亮斑局部结构关系的飞机阴影补全方法;
S601、将包含疑似机翼阴影素描线段的感兴趣目标候选区域作为语义空间的飞机目标候选区域Sq,并对该区域中的每一对疑似机翼阴影素描线段Yi和Yj做如下处理;
S602、对于素描线段Yi中远离交点F的端点E1,过该点做垂直于素描线段Yi的直线ψL1,对于素描线段Yj中远离交点F的端点E2,过该点做垂直于素描线段Yj的直线ψL2
S603、对直线ψL1和直线ψL2所形成的夹角做角平分线ψL,将其作为机翼阴影垂直方向的直线;
S604、如果在ψL远离交点F的一侧存在另一对疑似机翼阴影素描线段,则用同样的方法做这一侧机翼阴影的垂线ψR,转至步骤S605,若不存在,则转至步骤S607;
S605、若ψL和ψR之间的区域内同时存在亮斑和阴影,且此区域内的亮斑与其他区域相比占飞机目标候选区域的比例最大,则直线ψL和ψR的角平分线ψ可作为与机身主轴方向一致的直线,若该直线的倾斜角在[60°,120°]范围内,则两侧机翼的阴影较为完整,机身部分的阴影被遮挡,两侧机翼阴影均完整的示意图如图5所示,在阴影补全的过程中用机身上的亮斑对飞机阴影进行补偿,转至步骤S7采用针对两侧机翼阴影均完整的区域的阴影补全方法;
S606、若ψL和ψR之间的区域内不存在满足条件的亮斑和阴影,则返回步骤S602处理下一对疑似机翼阴影素描线段;
S607、判断在ψL远离交点F的一侧是否存在一定面积的亮斑和阴影,且该侧区域内的亮斑与其他区域相比占飞机目标候选区域的比例最大,则转至步骤S8采用针对只出现一侧机翼阴影的区域的阴影补全方法,只出现一侧机翼阴影的示意图如图6所示;
S608、若在ψL远离交点F的一侧不存在满足条件的亮斑和阴影,则返回步骤S602处理下一对疑似机翼阴影素描线段;
S609、若区域内所有的疑似机翼阴影素描线段处理完毕,均未找到合适的阴影补全方法,则将该区域剔除。
S7、对两侧机翼阴影均完整的区域的阴影补全方法;
S701、将语义空间的飞机目标候选区域Sq中代表目标阴影的素描线段集合Y加入空集合,得到仅含阴影素描线段的待连接集合Wb1
S702、亮斑的距离阈值分别设置为μb1,μb2,μb3,对代表目标亮斑的素描线段集合Q中的素描线段,若该素描线段的中点与暗区域的质心之间的距离μ小于μb1,则将素描线段加入代表亮斑的素描线段集合Bb1,若μ小于μb2,则将素描线段加入代表亮斑的素描线段集合Bb2,若μ小于μb3,则将素描线段加入代表亮斑的素描线段集合Bb3
S703、将代表目标阴影的素描线段集合Y分别加入代表亮斑的集合Bb1,Bb2,Bb3,得到三个阈值下的待连接素描线段集合Wb2,Wb3,Wb4
S704、处理每个待连接素描线段集合Wbi,将集合中的每条素描线段的起点和终点加入点集Dbi,对点集Dbi构造KD树;
S705、对于点集中每个点
Figure BDA0002085348470000181
通过KD树搜索以该点为圆心以radius为半径的圆形区域中与该点近邻的所有点集合Near,Near={near1,near2,...,neari,...,nearj},j为与该点邻近的点的个数,对于每个邻近点neari,如果没有在
Figure BDA0002085348470000182
所在的素描线段上,则将其作为起点,
Figure BDA0002085348470000183
作为终点,加入素描线段集合Wbi
S706、点集Dbi中的所有点处理完毕后,素描线段集合Wbi中不仅包含待连接的素描线段,并且包含新加入的连接邻近点的线段,此时素描线段连接完成;
S707、对于完成连接的语义空间的飞机目标候选区域Sq提取最大连通区域,并将区域内的像素点标记为0,为了使轮廓线更光滑,对最大连通区域进行形态学处理,得到完成补全的目标阴影区域图;
S708、重复步骤S704至步骤S707,直到所有的待连接素描线段集合处理完毕,得到多个完成补全的目标阴影区域图。
S8、针对只出现一侧机翼阴影的区域的阴影补全方法;
S801、做直线ψL的垂线ψT,该垂线所在的方向作为机翼阴影的方向,对语义空间的飞机目标候选区域Sq中的邻近亮区域进行合并,对合并后的亮区域在机翼阴影所在的方向上搜索距离亮区域最近的暗区域,剔除不是飞机目标阴影的暗区域;
S802、对于疑似机翼阴影的素描线段Yi和Yj,素描线段一侧的矩形框内标记为0的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,即该侧是目标阴影所在的一侧,对于素描线段的另一侧标记为0的像素点进行剔除,保留代表飞机目标阴影的暗区域;
S803、更新语义空间的飞机目标候选区域Sq中代表目标阴影的素描线段集合,得到集合W,将集合中的每条素描线段的起点和终点加入点集D,对点集D构造KD树;
S804、对于点集中每个点Dk,通过KD树搜索以该点为圆心以radius为半径的圆形区域中与该点近邻的所有点集合Ne,Ne={ne1,ne2,...,nei,...,nej},j为与该点邻近的点的个数,对于每个邻近点nei,如果没有在Dk所在的素描线段上,则将其作为起点,Dk作为终点,加入素描线段集合W;
S805、点集D中的所有点处理完毕后,素描线段集合W中不仅包含待连接的素描线段,并且包含新加入的连接邻近点的线段,此时素描线段连接完成;
S806、对于完成连接的语义空间的飞机目标候选区域Sq提取最大连通区域并将区域内的像素点标记为0;
S807、对于区域中与机翼阴影垂直的直线ψL,将其按照垂直于直线ψL且远离交点F的方向进行一定步长的平移,直线与连通区域会形成交点,并计算每一次相交时交点之间的距离,对距离进行降序排序,取最大的距离值所对应的直线位置作为对称轴V1,并记录直线与连通区域形成交点的中点;
S808、将对称轴V1绕中点进行小角度旋转,得到对称轴V2和V3
S809、分别以V1,V2,V3为对称轴,将交点F所在的一侧的区域内所有的像素点的对称点标记为0,得到完成补全的目标阴影区域图。
S9、设计源域数据和目标域数据;
S901、设计对应于自然图像中飞机目标的二值模板集合,集合中包含运输机、客机、战斗机等二值模板,对于每种飞机目标,机头朝上为0°,按照顺时针方向每次递增10°,则每种飞机得到36个角度的二值图,并设计不同于飞机形状的负样本,将飞机目标二值模板集合和负样本作为源域数据;
S902、对步骤S7和步骤S8中补全后的目标阴影区域图,为保持和源域数据的颜色和尺寸一致,进行后处理,包括二值化处理以及尺寸缩放操作,处理之后的目标阴影二值图作为目标域数据。
S10、利用基于素描标注信息的生成对抗网络,通过迁移学习方法将源域数据的标签赋给目标域数据,实现目标阴影区域图的分类与识别。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合仿真图对本发明做进一步的描述。
仿真条件:
本方法的仿真实验所在的硬件平台是Windows 7,CPU Intel(R)Core(TM)2,基本频率为3.00Hz,软件平台为Matlab R2014a。
实验所采用的图像为桑迪亚国家实验室(Sandia National Laboratories,SNL)Ka-band波段的miniSAR图像,分辨率为0.1m,大小为1671×1090,如图2所示,图像场景复杂,地物丰富,包含建筑物、停车场、树木、飞机、直升机等。
仿真内容:
仿真1
用本发明对如图2所示的超高分辨率SAR图像分别提取暗区域候选图和亮区域候选图,并基于k近邻选择合并亮暗区域得到像素空间的感兴趣目标候选区域,其中,暗区域候选图如图7所示,亮区域候选图如图8所示,合并亮暗区域得到的像素空间中的感兴趣目标候选区域如图9所示;
仿真2
将像素空间的感兴趣目标候选区域对应到SAR图像的语义素描图中,得到语义空间的感兴趣目标区域,如图10所示,对语义空间的感兴趣目标候选区域,提取疑似机翼阴影的素描线段,对包含疑似机翼阴影素描线段的感兴趣目标候选区域基于机翼阴影结构进行飞机目标阴影补全,得到目标阴影区域图,结果如图11所示,其中图11(a1)、图11(a2)和图11(a3)为飞机目标候选区域a的阴影补全结果,图11(b1)、图11(b2)和图11(b3)为飞机目标候选区域b的阴影补全结果。
仿真3
设计对应于自然图像中多种飞机目标的二值模板集合,图12为飞机目标二值模板的部分数据,图13为进行角度旋转后的飞机目标二值模板的部分运输机数据。利用迁移学习方法对目标域数据分类和识别,并将标签信息赋给目标阴影区域图所对应的像素空间的飞机目标候选区域,超高分辨率SAR图像飞机目标检测和识别结果如图14所示,不仅显示了飞机目标的位置,还给出了相应的类别。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,包括以下步骤:
S1、对SAR图像做阈值分割处理,提取SAR图像的亮区域候选图和暗区域候选图;
S2、设置亮区域与暗区域的位置关系和距离关系,基于k近邻选择合并亮暗区域,得到多个感兴趣目标候选区域,并将邻近的区域进行合并,得到像素空间的感兴趣目标候选区域Rp,p=1,2,3,…c,c为像素空间感兴趣目标候选区域的个数;
S3、将像素空间的每一个感兴趣目标候选区域的位置坐标对应到SAR图像的语义素描图中,得到位置坐标在语义空间中相应的位置和大小,确定语义空间的感兴趣目标候选区域Sp
S4、对语义空间的感兴趣目标候选区域Sp中的语义素描线段进行分析,基于标记统计对素描线段进行分类;
S5、对语义空间的感兴趣目标候选区域Sp中代表阴影的语义素描线段集合Y进行分析,提取疑似机翼阴影的素描线段;
S6、使用机翼阴影与亮斑局部结构关系进行飞机阴影补全,若候选区域内两侧机翼阴影均完整,则采用步骤S7中的方法进行阴影补全,若候选区域中只出现一侧机翼阴影,则采用步骤S8中的方法进行阴影补全;
S7、针对两侧机翼阴影均完整的区域进行阴影补全;
S8、针对只出现一侧机翼阴影的区域进行阴影补全;
S9、设计飞机目标二值模板集合作为源域数据,并对步骤S7和步骤S8中飞机目标阴影补全方法得到的目标阴影区域图做后处理得到目标域数据;
S10、利用基于素描标注信息的生成对抗网络,通过迁移学习方法将源域数据的标签赋给步骤S9的目标域数据,实现目标阴影区域图的分类与识别。
2.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S1具体为:
S101、对SAR图像做灰度统计,得到阴影的灰度均值φY,地面的灰度均值φD,亮斑的灰度均值φL
S102、设置暗阈值为φY1,φY1的范围为[φYD],按照如下规则做分割:
Figure FDA0003033220230000021
其中,In(x,y)为SAR图像的灰度绝对值,In′(x,y)为根据暗阈值φY1做分割后的暗区域二值图的像素值;
S103、对暗区域二值图做形态学处理,通过闭操作连接缝隙,开操作消除噪声,并提取所有连通区域,得到每个区域的质心点,同时将暗区域二值图中像素值为1的像素点映射到SAR图像中,进而获得暗区域候选图;
S104、设置亮阈值为φL1,φL1=φL+ΔL,ΔL为像素值增量,按照如下规则做分割:
Figure FDA0003033220230000022
其中,In(x,y)为SAR图像的灰度绝对值,I′n(x,y)为根据亮阈值φL1做分割后的亮区域二值图的像素值;
S105、对亮区域二值图做形态学处理,通过膨胀操作增大亮斑,并提取所有连通区域,得到每个区域的质心点,同时将亮区域二值图中像素值为1的像素点映射到SAR图像中,获得亮区域候选图。
3.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S2具体为:
S201、暗区域候选图中的暗区域质心点集合为A={A1,A2,…Ai,…Am},亮区域候选图中亮区域质心点集合为B={B1,B2,...Bj,...Bn},m、n分别为暗区域和亮区域的个数;
S202、暗区域质心Ai与亮区域质心Bj的位置关系为:在以图像的左上顶点为原点的平面直角坐标系中,纵轴为y轴,横轴为x轴,亮区域质心Bj的纵坐标yBj比暗区域质心Ai的纵坐标yAi小,满足yBj<yAi
S203、暗区域质心Ai与亮区域质心Bj的距离关系为:亮区域和暗区域的距离d(Ai,Bj)满足d(Ai,Bj)∈(dl,dh),dl表示亮区域和暗区域距离的最小值,dh表示亮区域和暗区域距离的最大值,
Figure FDA0003033220230000031
Lz代表机身长度的最大值,Lc代表机翼长度的最大值,ΔA表示SAR图像的分辨率;
S204、将集合A和集合B中的点合并为点集P,并对属于集合A的点标记为0,对属于集合B的点标记为1,区分暗区域质心点和亮区域质心点,集合为:
Figure FDA0003033220230000032
S205、对步骤S204中的点集P构造KD树;
S206、对点集P中每个标记为0的点Pi 0,通过KD树搜索点Pi 0的最近邻点,若搜索到的最近邻点的标记为0,则将该点做已访问标记,继续搜索,直到搜索到的点标记为1,且该点与点Pi 0满足步骤S202中的位置关系和步骤S203中的距离关系,则将该点做已访问标记,并加入k近邻集合Nk中,若Nk中的点个数为k,则完成搜索;若遍历完所有的点,Nk中的点个数为0,则完成搜索;
S207、点集P中所有标记为0的点处理完毕,若点集P中某个标记为0的点对应的k近邻集合Nk中点的个数为0,则将该点从点集P中删除;
S208、根据上述步骤得到每个暗区域对应的k个近邻亮区域,将暗区域和这k个近邻亮区域进行合并,找到区域的最小外接矩形,将暗区域和亮区域包含进去,得到多个感兴趣目标候选区域;
S209、对于任意两个感兴趣目标候选区域,面积分别为ROIi、ROIj,如果这两个候选区域重叠部分的面积Overlapij满足
Figure FDA0003033220230000041
min(ROIi,ROIj)表示两个候选区域面积ROIi和ROIj的最小值,则将两个目标候选区域合并,当没有满足条件的候选区域合并时,得到像素空间的感兴趣目标候选区域Rp,p=1,2,3,...c,c为像素空间感兴趣目标候选区域的个数。
4.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S3具体为:
S301、将像素空间的每一个感兴趣目标候选区域的位置坐标对应到SAR图像的语义素描图中,得到位置坐标在语义空间中相应的位置和大小;
S302、将像素空间的感兴趣目标候选区域中暗区域和亮区域中像素点的位置对应到SAR图像的语义素描图中,并将暗区域内的像素点标记为0,亮区域内的像素点标记为1,得到语义空间的感兴趣目标候选区域Sp
5.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S4具体为:
S401、在语义空间中感兴趣目标候选区域Sp中,对每条素描线段,在素描线段的一侧沿着垂直于素描线段的方向,做宽度为w,长度为Li的矩形框,w的范围为[2,5],Li为当前素描线段的长度,同时在另一侧做相同大小的矩形框,统计两侧矩形框内像素点的标记;
S402、若素描线段一侧的矩形框内标记为0的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,则将该素描线段加入代表目标阴影的素描线段集合Y,Y={Y1,Y2,...Yi,...YM},M为代表目标阴影素描线段的条数;
S403、若素描线段一侧的矩形框内标记为1的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,则将该素描线段加入代表目标亮斑的素描线段集合Q,Q={Q1,Q2,...Qi,...QN},N为代表目标亮斑素描线段的条数。
6.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S5具体为:
S501、对语义空间的感兴趣目标候选区域Sp中代表阴影的语义素描线段集合Y进行分析,对素描线段Yi,若能找到同时满足步骤S502至步骤S504中的素描线段Yj,则素描线段Yi和Yj为疑似机翼阴影的素描线段;
S502、连接两条素描线段的端点形成的最大区域内标记为0的像素点的数量与该区域内像素点总数量的比值大于0.9,即两条素描线段之间的部分是暗区域;
S503、素描线段Yi的长度为Li,素描线段Yj的长度为Lj,需要满足
Figure FDA0003033220230000051
S504、若素描线段Yi和Yj的延长线相交于一点F,且形成的夹角在机翼阴影夹角范围[θalah]内,θal表示机翼阴影前缘与后缘夹角的最小值,θah表示机翼阴影前缘与后缘夹角的最大值。
7.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S6具体为:
S601、将包含疑似机翼阴影素描线段的感兴趣目标候选区域作为语义空间的飞机目标候选区域Sq,并对该区域中的每一对疑似机翼阴影素描线段Yi和Yj处理;
S602、对于素描线段Yi中远离交点F的端点E1,过该点做垂直于素描线段Yi的直线ψL1,对于素描线段Yj中远离交点F的端点E2,过该点做垂直于素描线段Yj的直线ψL2
S603、对直线ψL1和直线ψL2所形成的夹角做角平分线ψL,将其作为机翼阴影垂直方向的直线;
S604、如果在ψL远离交点F的一侧存在另一对疑似机翼阴影素描线段,则用同样的方法做这一侧机翼阴影的垂线ψR,转至步骤S605,若不存在,则转至步骤S607;
S605、若ψL和ψR之间的区域内同时存在亮斑和阴影,且此区域内的亮斑与其他区域相比占飞机目标候选区域的比例最大,则直线ψL和ψR的角平分线ψ作为与机身主轴方向一致的直线,若该直线的倾斜角在[60°,120°]范围内,则两侧机翼的阴影较为完整,机身部分的阴影被遮挡,在阴影补全的过程中用机身上的亮斑对飞机阴影进行补偿,转至步骤S7采用针对两侧机翼阴影均完整的区域的阴影补全方法;
S606、若ψL和ψR之间的区域内不存在满足条件的亮斑和阴影,则返回步骤S602处理下一对疑似机翼阴影素描线段;
S607、在ψL远离交点F的一侧存在一定面积的亮斑和阴影,且该侧区域内的亮斑与其他区域相比占飞机目标候选区域的比例最大,则转至步骤S8采用针对只出现一侧机翼阴影的区域的阴影补全方法;
S608、若在ψL远离交点F的一侧不存在满足条件的亮斑和阴影,则返回步骤S602处理下一对疑似机翼阴影素描线段;
S609、若区域内所有的疑似机翼阴影素描线段处理完毕,均未找到合适的阴影补全方法,则将该区域剔除。
8.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S7具体为:
S701、将语义空间的飞机目标候选区域Sq中代表目标阴影的素描线段集合Y加入空集合,得到仅含阴影素描线段的待连接集合Wb1
S702、亮斑的距离阈值分别设置为μb1,μb2,μb3,对代表目标亮斑的素描线段集合Q中的素描线段,若该素描线段的中点与暗区域的质心之间的距离μ小于μb1,则将素描线段加入代表亮斑的素描线段集合Bb1,若μ小于μb2,则将素描线段加入代表亮斑的素描线段集合Bb2,若μ小于μb3,则将素描线段加入代表亮斑的素描线段集合Bb3
S703、将代表目标阴影的素描线段集合Y分别加入代表亮斑的集合Bb1,Bb2,Bb3,得到三个阈值下的待连接素描线段集合Wb2,Wb3,Wb4
S704、处理每个待连接素描线段集合Wbi,将集合中的每条素描线段的起点和终点加入点集Dbi,对点集Dbi构造KD树;
S705、对于点集中每个点
Figure FDA0003033220230000071
通过KD树搜索以该点为圆心以radius为半径的圆形区域中与该点近邻的所有点集合Near,Near={near1,near2,...,neari,...,nearj},j为与该点邻近的点的个数,对于每个邻近点neari,如果没有在
Figure FDA0003033220230000072
所在的素描线段上,则将其作为起点,
Figure FDA0003033220230000073
作为终点,加入素描线段集合Wbi
S706、点集Dbi中的所有点处理完毕后,素描线段集合Wbi中不仅包含待连接的素描线段,并且包含新加入的连接邻近点的线段,此时素描线段连接完成;
S707、对于完成连接的语义空间的飞机目标候选区域Sq提取最大连通区域,并将区域内的像素点标记为0,对最大连通区域进行形态学处理,得到完成补全的目标阴影区域图;
S708、重复步骤S704至步骤S707,直到所有的待连接素描线段集合处理完毕,得到多个完成补全的目标阴影区域图。
9.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S8具体为:
S801、做直线ψL的垂线ψT,该垂线所在的方向作为机翼阴影的方向,对语义空间的飞机目标候选区域Sq中的邻近亮区域进行合并,对合并后的亮区域在机翼阴影所在的方向上搜索距离亮区域最近的暗区域,剔除不是飞机目标阴影的暗区域;
S802、对于疑似机翼阴影的素描线段Yi和Yj,素描线段一侧的矩形框内标记为0的像素点的数量与该侧矩形框内像素点总数量的比值大于0.9,即该侧是目标阴影所在的一侧,对于素描线段的另一侧标记为0的像素点进行剔除,保留代表飞机目标阴影的暗区域;
S803、更新语义空间的飞机目标候选区域Sq中代表目标阴影的素描线段集合,得到集合W,将集合中的每条素描线段的起点和终点加入点集D,对点集D构造KD树;
S804、对于点集中每个点Dk,通过KD树搜索以该点为圆心以radius为半径的圆形区域中与该点近邻的所有点集合Ne,Ne={ne1,ne2,...,nei,...,nej},j为与该点邻近的点的个数,对于每个邻近点nei,如果没有在Dk所在的素描线段上,则将其作为起点,Dk作为终点,加入素描线段集合W;
S805、点集D中的所有点处理完毕后,素描线段集合W中不仅包含待连接的素描线段,并且包含新加入的连接邻近点的线段,此时素描线段连接完成;
S806、对于完成连接的语义空间的飞机目标候选区域Sq提取最大连通区域并将区域内的像素点标记为0;
S807、对于区域中与机翼阴影垂直的直线ψL,将其按照垂直于直线ψL且远离交点F的方向进行一定步长的平移,直线与连通区域会形成交点,并计算每一次相交时交点之间的距离,对距离进行降序排序,取最大的距离值所对应的直线位置作为对称轴V1,并记录直线与连通区域形成交点的中点;
S808、将对称轴V1绕中点进行小角度旋转,得到对称轴V2和V3
S809、分别以V1,V2,V3为对称轴,将交点F所在的一侧的区域内所有的像素点的对称点标记为0,得到完成补全的目标阴影区域图。
10.根据权利要求1所述的基于信息交互和迁移学习的SAR图像飞机目标检测方法,其特征在于,步骤S9具体为:
S901、设计对应于自然图像中飞机目标的二值模板集合,集合中包含运输机、客机、战斗机二值模板,对于每种飞机目标,机头朝上为0°,按照顺时针方向每次递增10°,则每种飞机得到36个角度的二值图,并设计不同于飞机形状的负样本,将飞机目标二值模板集合和负样本作为源域数据;
S902、对步骤S7和步骤S8中补全后的目标阴影区域图,进行后处理,包括二值化处理以及尺寸缩放操作,处理之后的目标阴影二值图作为目标域数据。
CN201910485819.4A 2019-06-05 2019-06-05 一种基于信息交互和迁移学习的sar图像飞机目标检测方法 Active CN110210418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910485819.4A CN110210418B (zh) 2019-06-05 2019-06-05 一种基于信息交互和迁移学习的sar图像飞机目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910485819.4A CN110210418B (zh) 2019-06-05 2019-06-05 一种基于信息交互和迁移学习的sar图像飞机目标检测方法

Publications (2)

Publication Number Publication Date
CN110210418A CN110210418A (zh) 2019-09-06
CN110210418B true CN110210418B (zh) 2021-07-23

Family

ID=67790981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910485819.4A Active CN110210418B (zh) 2019-06-05 2019-06-05 一种基于信息交互和迁移学习的sar图像飞机目标检测方法

Country Status (1)

Country Link
CN (1) CN110210418B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111063021B (zh) * 2019-11-21 2021-08-27 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN113056745A (zh) * 2020-03-14 2021-06-29 唐锐 一种倾斜矩形范围框标注方式
CN111583201B (zh) * 2020-04-26 2022-04-05 浙江大学 一种用于构建超分辨率病理显微镜的迁移学习方法
CN111899222B (zh) * 2020-07-01 2023-11-17 自然资源部第二海洋研究所 一种利用风向全自动初步定位热带气旋中心的方法及系统
CN112734788B (zh) * 2021-01-07 2024-04-09 西安电子科技大学 高分辨sar飞机目标轮廓提取方法、系统、存储介质及设备
CN114998740B (zh) * 2022-06-13 2023-07-21 中国电子科技集团公司第五十四研究所 一种基于线段分布的机场线性特征提取方法
CN115115908B (zh) * 2022-06-30 2024-08-02 湖南大学 跨域目标检测模型训练方法、目标检测方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927741A (zh) * 2014-03-18 2014-07-16 中国电子科技集团公司第十研究所 增强目标特征的sar图像合成方法
CN109145850A (zh) * 2018-08-30 2019-01-04 西安电子科技大学 基于先验信息和飞机形状的遥感图像无监督目标检测方法
CN109190684A (zh) * 2018-08-15 2019-01-11 西安电子科技大学 基于素描及结构生成对抗网络的sar图像样本生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408458B (zh) * 2014-12-09 2017-09-26 西安电子科技大学 基于射线补全区域图和特征学习的sar图像分割方法
CN106251332B (zh) * 2016-07-17 2019-05-21 西安电子科技大学 基于边缘特征的sar图像机场目标检测方法
CN109359557B (zh) * 2018-09-25 2021-11-09 东北大学 一种基于迁移学习的sar遥感图像舰船检测方法
CN109740595B (zh) * 2018-12-27 2022-12-30 武汉理工大学 一种基于机器视觉的斜向车辆检测与跟踪系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927741A (zh) * 2014-03-18 2014-07-16 中国电子科技集团公司第十研究所 增强目标特征的sar图像合成方法
CN109190684A (zh) * 2018-08-15 2019-01-11 西安电子科技大学 基于素描及结构生成对抗网络的sar图像样本生成方法
CN109145850A (zh) * 2018-08-30 2019-01-04 西安电子科技大学 基于先验信息和飞机形状的遥感图像无监督目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An iterative method for shadow enhancement in high resolution SAR images;Y. Zhang等;《2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)》;20171204;全文 *
基于几何特征的高分辨率SAR图像飞机目标解译方法;高君等;《国外电子测量技术》;20150815;第34卷(第8期);全文 *
基于深度学习和层次语义空间的SAR图像分割;孟义鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415;全文 *

Also Published As

Publication number Publication date
CN110210418A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110210418B (zh) 一种基于信息交互和迁移学习的sar图像飞机目标检测方法
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Zhang et al. CNN based suburban building detection using monocular high resolution Google Earth images
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
CN107392141B (zh) 一种基于显著性检测和lsd直线检测的机场提取方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
Xu et al. Automatic building rooftop extraction from aerial images via hierarchical RGB-D priors
CN106909902A (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN110222638B (zh) 一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法
CN105096315A (zh) 基于Gamma分布的异质超像素SAR图像分割方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN105931241A (zh) 一种自然场景图像的自动标注方法
Zheng et al. Building recognition of UAV remote sensing images by deep learning
Xiao et al. 3D urban object change detection from aerial and terrestrial point clouds: A review
CN113269049A (zh) 一种用于检测手写汉字区域的方法
CN115760898A (zh) 一种混合高斯域下道路抛洒物的世界坐标定位方法
CN111091071A (zh) 基于探地雷达双曲波拟合的地下目标检测方法及系统
Wang et al. Big Map R-CNN for object detection in large-scale remote sensing images.
CN111368603B (zh) 遥感图像的飞机分割方法、装置、可读存储介质及设备
Han et al. Accurate and robust vanishing point detection method in unstructured road scenes
CN116958837A (zh) 基于无人机的市政设施故障检测系统
Chen et al. Fast airplane detection with hierarchical structure in large scene remote sensing images at high spatial resolution
CN107862701A (zh) 基于马尔科夫随机场和混合核函数的遥感图像分割方法
Huang et al. An automatic detection and recognition method for pointer-type meters in natural gas stations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant