CN109583293A - 星载sar图像中的飞机目标检测与鉴别方法 - Google Patents
星载sar图像中的飞机目标检测与鉴别方法 Download PDFInfo
- Publication number
- CN109583293A CN109583293A CN201811187444.5A CN201811187444A CN109583293A CN 109583293 A CN109583293 A CN 109583293A CN 201811187444 A CN201811187444 A CN 201811187444A CN 109583293 A CN109583293 A CN 109583293A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- operator
- airport
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000012850 discrimination method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000003708 edge detection Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000006467 substitution reaction Methods 0.000 claims abstract description 9
- 238000003709 image segmentation Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 238000005530 etching Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 7
- 230000036961 partial effect Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 241001270131 Agaricus moelleri Species 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 239000000047 product Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 102100026827 Protein associated with UVRAG as autophagy enhancer Human genes 0.000 claims description 2
- 101710102978 Protein associated with UVRAG as autophagy enhancer Proteins 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000011179 visual inspection Methods 0.000 claims description 2
- 238000003491 array Methods 0.000 claims 1
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 239000011800 void material Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明属于雷达图像处理技术领域，具体为一种星载SAR图像中的飞机目标检测与鉴别方法。本发明的主要步骤为：机场检测：包括机场粗检测、机场目标精确分割，其中采用鉴别算子对目标进行粗定位，采用替代滤波法，减少图像干涉横条纹造成的影响及采用图像分割技术对机场目标精确定位；飞机目标检测：采用基于Canny算子的边缘检测与卷积神经网络结合的飞机目标检测算法；最后通过面积追踪与长宽比鉴别提取得到飞机目标。本发明能够高效、准确地检测出复杂背景中的飞机目标；本发明提出的飞机检测算法适用于复杂的SAR图像背景，鲁棒性高，实时性好，具有推广应用前景。
Description
发明领域
本发明属于雷达图像处理技术领域，具体涉及一种星载SAR图像中的机场与飞机目标检测与鉴别方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是利用微波进行成像的主动传感器，是一种能够全天时、全天候工作的二维高分辨率成像雷达，具有穿透云和雾的能力，低频段的SAR甚至能够穿透植被和地表。SAR的主要特点是基于雷达与目标的相对运动，将较小尺寸的实际天线孔径用数据处理的方法合成一个较大尺寸的虚拟天线孔径，从而实现大孔径天线所能提供的高方位向分辨率。SAR的这些优点使得其在军事侦察，气候与环境的监测，资源的勘探，行星的探测等领域有着广泛的应用。
随着SAR及图像解译技术的飞速发展，其极化方式越来越多，分辨率也不断提高，对于SAR图像中目标的识别也逐渐成为可能。飞机作为一类重要的检测目标，在高分辨率遥感图像中对其进行精确定位与统计具有重要意义。在民用领域，飞机是重要的交通工具，飞机检测有助于管理机场。在军事方面，飞机检测具有显著的意义，获取诸如航空类型和数量等信息，用于军事防御等方面。因此，研究SAR图像中飞机检测具有重要意义。
复杂环境下SAR图像中的飞机目标检测的首要任务就是实现高精度的机场分割，然后在机场范围中进行飞机目标检测，这样不仅可以大大降低运算量，也可以解决陆地其余杂波对飞机检测的干扰。现有的机场检测方法主要分为两类：基于提取直线特征检测机场与基于图像分割检测机场。基于提取直线特征检测机场主要是通过检测跑道直线特征。跑道作为机场的重要组成部分，其直线特征是机场最重要的特征之一。对于大场景SAR图像中机场目标，由于机场目标所占面积较小，基于提取直线特征来提取机场易受背景虚警影响，检测结果较差。对于大场景下的SAR图像，机场区域常呈现为较暗区域，基于图像分割检测机场算法较稳定，鲁棒性好。基于图像分割检测机场时常用的特征有长宽比，形状复杂度，灰度共生矩阵与Hu不变矩等。
传统的SAR图像目标检测方法主要分为2类：传统恒虚警率(Constant FalseAlarm Rate，CFAR)检测算法，基于雷达散射面积，通过对亮度信息提取进而实现目标检测。CA-CFAR(Cell-average CFAR)，SO-CFAR(Smallest of CFAR)，GO-CFAR(Greatest ofCFAR)，OS-CFAR(Order-statistic CFAR)和VI-CFAR(Variability Index CFAR)等都是CFAR的衍生算法；多特征融合检测算法，常通过手动设计特征，如几何结构，亮度分布等信息对待检测目标进行提取。由于SAR图像特殊的成像机制，且随着散射条件与地形方位角的变化，SAR图像中飞机目标散射结果具有多样性。飞机在高分辨率SAR图像中易呈现为不连续的散射点，目标易被分成许多小块。对于SAR图像中飞机目标检测，由于陆地杂波分布无规律，无法采用合适的函数对陆地背景进行建模，大量高亮散射点的存在对目标检测造成很大干扰，基于杂波建模与亮度信息提取的CFAR检测算法并不适用于复杂背景中的飞机目标检测。且由于SAR图像复杂的成像机制与散射条件的多变性，飞机目标成像呈多变性，手动设计的特征难以适应于多种情况，鲁棒性差。
发明内容
本发明的目的在于提出一种高效、准确的星载SAR图像中的飞机目标检测与鉴别方法。
本发明提出的星载SAR图像中的飞机目标检测与鉴别方法，具体步骤如下：
(1)首先采用机场粗检测算法，对大场景中机场目标进行粗定位；
(2)其次采用机场区域精确分割算法，对机场目标进行精确分割；
(3)然后采用基于Canny算子的边缘检测方法，提取机场区域中的可疑目标；
(4)最后采用基于卷积神经网络识别算法及虚警鉴别算子，对可疑目标进行识别及虚警鉴别。
所述的机场粗检测算法，包括：利用孔洞鉴别算子、形状鉴别算子及面积鉴别算子等，通过对图像分割提取的连通域进行鉴别，对大场景SAR图像中机场目标进行粗定位；
孔洞鉴别算子：连通域孔洞填充后面积与原面积差占原面积比；
形状鉴别算子：连通域面积与其最小外接矩形框面积之比；
面积鉴别算子：连通域面积与该幅图像中最大连通域面积之比；
复合鉴别算子：
所述的机场区域精确分割算法，包括：替代滤波及图像分割；
所述的基于Canny算子的边缘检测方法，包括：基于Canny算子的边缘检测和利用最优距离匹配算法对飞机离散目标进行组合；
所述的基于卷积神经网络识别算法及鉴别算子，包括基于googLeNet的卷积神经网络目标识别及面积追踪与长宽比鉴别。
本发明中，基于鉴别算子的机场目标粗检测算法流程为，首先通过图像均值滤波对图像杂波与噪声进行抑制，然后通过Otsu方法确定全局阈值对图像进行二值化处理；对二值化图像进行先膨胀后腐蚀操作，减少背景杂波影响；提取面积排名前10的连通域，利用孔洞鉴别算子、形状鉴别算子及面积鉴别算子对连通域目标进行鉴别，对大场景SAR图像中飞机目标进行粗定位。
本发明中，所述的基于图像处理的机场区域精确分割算法的流程为，对粗定位后目标区域进行灰度调整，二值化及取反等图像处理步骤，通过提取连通域对机场区域进行精确分割。
本发明中，所述的替代滤波的流程为，先检测横条纹，然后采用图像中横条纹附近图像值替代横条纹处图像值。这种滤波方法不但可以保留机场细节信息，同时对横条纹有较好的抑制作用。
本发明中，所述的基于Canny算子的边缘检测方法流程为，首先采用Canny算子对图像边缘进行提取，然后对边缘提取后的图像进行膨胀与腐蚀操作，并对边缘虚警进行剔除，实现目标粗分割。通过飞机占机场面积比算子确定可疑目标在高分辨率SAR图像中的边界框分类，进行非极大抑制，提取了包含目标与虚警的边界框。
所述的最优距离匹配算法流程为，将包含飞机离散部件与虚警的小边界框与包含飞机目标虚较大虚警的大边界框一一匹配，选取最短距离组合进行匹配，确定飞机整体目标的可能位置。
本发明中，所述的基于卷积神经网络识别算法流程为，基于GoogLeNet网络结构，首先利用已有数据进行数据增强后对网络进行训练，然后对上述流程输出的可疑目标边界框进行多灰度识别。
所述的飞机目标鉴别流程为，对多灰度目标识别的结果，基于面积鉴别算子，长宽比鉴别算子及目标识别算子，对飞机虚警目标进行鉴别。
本发明中，所述的基于多种鉴别算子提取复合特征的机场目标粗检测算法，具体流程为：
(1a)在大场景SAR图像中现对图像进行均值滤波，对背景分布中噪声与杂波进行抑制，减少其对机场目检测的干扰。基于视觉注意力机制，首先依据机场呈大面积较暗区域分布的特性提取包含机场目标的连通域；
(1b)对二值化后的图像进行先膨胀后腐蚀操作，膨胀的目的是使得机场区域中由于复杂成像与散射机制导致的机场区域不连续的地方连接；腐蚀的目的是使得由于复杂成像导致的机场区域与其余道路连接断开，减少背景分布对目标检测的影响，初步精准机场目标范围；
(1c)通过Otsu方法确定全局阈值，对图像进行二值化处理，此时机场与其余虚警目标对应像素值为0；
(1d)因为机场目标在大场景SAR图像中所占面积较大，故提取面积排名前10的连通域，通过孔洞鉴别算子、形状鉴别算子与面积鉴别算子等鉴别算子对包含机场目标的连通域进行鉴别，剔除虚警，对机场目标进行粗定位。
孔洞鉴别算子：连通域孔洞填充后面积与原面积差占原面积比；
形状鉴别算子：连通域面积与其最小外接矩形框面积之比；
面积鉴别算子：连通域面积与该幅图像中最大连通域面积之比；
特征复合鉴别算子：
。
本发明中，所述的利用替代滤波法对陆地背景干涉横条纹进行抑制,具体流程为：
(2a)对待检测目标区域基于图像亮线分布距离进行干涉条纹检测；
(2b)若检测到干涉条纹，采用原图像中干涉条纹附近图像值替换干涉条纹处图像值，这样既可抑制干涉条纹，去除其对机场检测的影响，又可避免传统滤波方法对机场目标信息的影响，保留机场细节信息。
本发明中，所述的机场区域精确分割,具体流程为：
(3a)不同SAR图像中灰度具有明显差异，首先对图像进行自适应灰度调整；
(3b)通过Otsu方法确定全局阈值，对图像进行二值化处理，此时机场与其余虚警目标对应像素值为0；
(3c)对二值化后的图像进行先膨胀后腐蚀操作，膨胀的目的是使得机场区域中由于复杂成像与散射机制导致的机场区域不连续的地方连接；腐蚀的目的是使得由于复杂成像导致的机场区域与其余道路连接断开，减少背景分布对目标检测的影响，精准机场目标范围；
(3d)对步骤(3c)中得到的二值图像进行提取最大连通域处理，因为机场目标在粗检测结果中呈大面积暗区域分布，所以该方法可以提取得到精确分割的机场区域。
本发明中，所述的基于Canny算子的边缘检测,具体流程为：
(4a)用高斯滤波器平滑图像；
令为平滑后的图像，用对图像的平滑可表示为：
其中，*代表卷积
(4b)用一阶偏导的有限差分来计算梯度的幅值和方向；
使用一阶有限差分计算偏导数阵列P与Q：
以平滑的梯度可以使用2*2一阶有限差分近似式来计算与偏导数的两个阵列与
幅值和方位角可用直角坐标到极坐标的坐标转化公式来计算：
反映了图像的边缘强度；反映了边缘的方向。使得取得局部最大值的方向角就反映了边缘的方向；
(4c)对梯度幅值进行非极大值抑制：
仅仅得到全局的梯度并不足以确定边缘，因此为确定边缘，必须保留局部梯度最大的点，而抑制非极大值。在Canny算法中，非极大值抑制是进行边缘检测的重要步骤，通俗意义上是指寻找像素点(边缘)局部最大值，将非极大值点所对应的灰度值置为0，可以剔除大部分非边缘的点。设置一个合理的虚警率，根据这个虚警率计算出每个栅格内的强度阈值，计算方法同步骤(3b)，得到一个二维阈值曲面；对步骤(4c)中得到的二维阈值曲面沿方位向和距离向分别进行加权线性最小二乘滤波，得到一个平滑后的二维阈值曲面；
(4d)用双阈值算法检测和连接边缘；
对非极大值抑制图像作用两个阈值和两者关系我们把梯度值小于的像素的灰度值设为0，得到图像1。然后把梯度值小于的像素的灰度值设为0，得到图像2。以图像2为基础，以图像1为补充来连结图像的边缘。
本发明中，所述的最优距离匹配算法,具体流程为：
(5a)对步骤(4d)得到二值图像进行连通性检测，将每个连通区域作为待检测目标点；
(5b)计算每个连通区域的最小外接矩形，依据飞机目标占机场区域比例对外接矩形进行分类：大边界框为包含可疑飞机机身目标的连通域，小边界框为包含可疑飞机部件目标的连通域；
(5c)遍历小边界框，计算与提取的大边界框之间的距离，选取最短距离，若在合理阈值范围内，则进行大小边界框匹配、合并，合并后剔除该小边界框；若未有满足要求的匹配组合，剔除该小边界框。以上步骤可实现对飞机部件的组合，完善，剔除大量独立虚警。
本发明中，所述的基于googLeNet的卷积神经网络二分类目标识别,具体流程为：
(6a)对已有TerraSAR-X波段卫星数据中人工标注飞机目标，并随机切取背景切片。原数据集共包含10张图像，大小约为6000*10000，分辨率为1.5米*1.5米；
(6b)对步骤(6a)中标注得到的飞机目标切片进行数据增强，主要操作包括：灰度调整，随机平移与旋转等操作，扩充数据集。数据集共包含468张飞机目标切片与1309张背景切片，然后将样本按0.8的比例分出了训练集与测试集；
(6c)对原googLeNet网络结构基于本数据集进行调整，对原网络结构做出如下修改：移除网络最后的全连接层，softmax层和分类输出层。设置全连接层输出为2类：飞机目标与背景，接入softmax层与分类输出层；
(6d)利用训练好的网络对(5c)中待识别边界框中目标进行识别，由于不同图像样本中目标灰度差别较大，采用多灰度识别：即提取出来的可疑目标框以0.05步长对图像灰度进行调整，共五个灰度送入目标识别网络，记录该边界框被识别为目标次数为count。
本发明中，所述的基于面积追踪，长宽比鉴别算子与目标识别算子虚警鉴别,具体流程为：
(7a)对多灰度目标识别结果中边界框计算面积鉴别算子，其具体表达式如下：
式中表示边界框长度，表示边界框宽度。
(7b)对多灰度目标识别结果中边界框计算长宽比鉴别算子，其具体表达式如下：
(7c)如果步骤(7b)得到的长宽比鉴别算子满足区间要求或者目标识别算子count满足识别次数要求，则进行面积鉴别算子比较，否则剔除该边界框。若面积鉴别算子满足要求，则保留该识别结果，否则剔除该边界框。这样得到最终检测的标准飞机目标的二值图像。
本发明提出了一种高效，精确的大场景星载合成孔径雷达图像中飞机目标检测的端到端算法。通过在大场景SAR图像中对机场进行粗检测定位出机场区域，能够利用精确分割算法获得机场的精细区域，减少陆地区域杂波对飞机检测的影响再对机场区域中的飞机目标进行检测，能够利用基于canny算子的边缘检测算法确定潜在飞机目标在机场中的位置范围，然后采用基于GoogLeNet的卷积神经网络对可疑目标进行鉴别。本发明提出的星载SAR图像飞机检测算法适用于任意的SAR图像背景，鲁棒性高，实时性好，具有推广应用前景。
附图说明
图1是本发明的飞机检测算法流程图。
图2是本发明机场粗检测算法流程图。
图3是本发明大场景SAR图像中机场检测实验采用的SAR图像。
图4是本发明实验采用的SAR图像中提取出的四种类型的连通域。
图5是本发明实验大场景SAR图像中机场粗检测效果示意图。
图6是本发明实验替代滤波效果示意图。
图7是本发明SAR图像中机场精确分割算法流程图。
图8是本发明实验的SAR图像中机场精确分割效果示意图。
图9是本发明实验的SAR图像边缘提取效果示意图，(a)为机场检测结果，(b)为目标粗分割结果。
图10是本发明最优距离匹配算法流程图。
图11是本发明实验SAR图像卷积神经网络训练数据集示意图，(a)为飞机目标切片，(b)为背景切片。
图12是本发明识别结果鉴别流程示意图。
图13是本发明实验星载SAR图像飞机目标检测结果。
具体实施方式
下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实例采用的是高分三号卫星C波段与TerraSAR卫星X波段SAR图像数据。
图1是本发明的算法流程图，该算法主要包括机场粗检测，机场区域精确分割，Canny算子边缘检测与卷积神经网络识别等步骤。
图2是本发明提出的机场粗检测算法流程图，包括图片去噪、图片二值化等形态学操作、取连通域并计算鉴别算子等步骤。
结合本实例说明本发明的具体实施过程如下：
步骤1：对待检测SAR图像做均值滤波处理，对图像杂波与噪声进行抑制。通过Otsu方法确定全局阈值，然后对图像进行二值化处理。对二值化图像进行先膨胀后腐蚀操作，减少背景杂波影响。提取面积排名前10的连通域，计算其面积算子与形状算子等鉴别算子，确定包含机场目标的图像范围；
步骤2：在步骤1得到机场粗检测图像的基础上，利用本发明提出的替代滤波算法，对SAR图像中干涉横条纹进行抑制；
步骤3：在步骤2得到海洋区域进行本发明提出的基于图像处理的机场区域精确分割操作；
步骤4：在步骤3的结果上进行基于Canny算子的边缘检测与形态学处理步骤；
步骤5：对步骤4的结果进行本发明提出的最优距离匹配操作，进行飞机部件的组合，确定飞机整体可疑目标在高分辨率SAR图像中的位置范围，剔除独立的虚警，提取包含目标与虚警的边界框；
步骤6：利用本发明采用并增强后的TerraSAR-X数据集对以googLeNet为原型的卷积神经网络进行飞机目标二分类的网络；
步骤7：在步骤6的基础上，利用训练好的卷积神经网络对步骤5中提取的包含可疑目标的目标框进行多灰度识别；
步骤8：在步骤7的基础上，利用面积追踪，长宽比鉴别等算子对识别结果进行鉴别，获取最终星载SAR图像飞机目标检测结果。
本实例SAR图像尺寸为3000*3000像素，实验的软硬件配置为Intel(R)Core(TM)i5-4590处理器、8GB内存、Matlab R2018a。本实例检测结果检测率为100％，虚警率为7.7％，检测用时21.73秒。
Claims (8)
1.一种复杂背景SAR图像中的飞机目标检测与鉴别方法，其特征在于，具体步骤如下：
(1)首先采用机场粗检测算法，对大场景中机场目标进行粗定位；
(2)其次采用机场区域精确分割算法，对机场目标进行精确分割；
(3)然后采用基于Canny算子的边缘检测方法，提取机场区域中的可疑目标；
(4)最后采用基于卷积神经网络识别算法及虚警鉴别算子，对可疑目标进行识别及虚警鉴别；
步骤(1)所述的采用机场粗检测算法，对大场景中机场目标进行粗定位，是利用孔洞鉴别算子、形状鉴别算子及面积鉴别算子，通过对图像分割提取的连通域进行鉴别，对大场景SAR图像中机场目标进行粗定位；其中：
孔洞鉴别算子：连通域孔洞填充后面积与原面积差占原面积比；
形状鉴别算子：连通域面积与其最小外接矩形框面积之比；
面积鉴别算子：连通域面积与该幅图像中最大连通域面积之比；
复合鉴别算子：
步骤(2)中所述的机场区域精确分割算法，包括：替代滤波及图像分割；
步骤(3)中所述的基于Canny算子的边缘检测方法，包括：基于Canny算子的边缘检测和利用最优距离匹配算法对飞机离散目标进行组合；
步骤(4)中所述的基于卷积神经网络识别算法及虚警鉴别算子，包括基于googLeNet的卷积神经网络目标识别及面积追踪与长宽比鉴别；
步骤(1)基于鉴别算子的机场目标粗检测算法流程为，首先通过图像均值滤波对图像杂波与噪声进行抑制，然后通过Otsu方法确定全局阈值对图像进行二值化处理；对二值化图像进行先膨胀后腐蚀操作，减少背景杂波影响；提取面积排名前10的连通域，利用孔洞鉴别算子，形状鉴别算子及面积鉴别算子对连通域目标进行鉴别，对大场景SAR图像中飞机目标进行粗定位；
步骤(2)所述的基于图像处理的机场区域精确分割的流程为，对粗定位后目标区域进行灰度调整，二值化及取反等图像处理步骤，通过提取连通域对机场区域进行精确分割；
其中，所述的替代滤波流程为，先检测横条纹，然后采用图像中横条纹附近图像值替代横条纹处图像值；
步骤(3)所述的基于Canny算子的边缘检测方法的流程为，首先采用Canny算子对图像边缘进行提取，然后对边缘提取后的图像进行膨胀与腐蚀操作，并对边缘虚警进行剔除，实现目标粗分割；
所述的最优距离匹配算法流程为，将包含飞机离散部件与虚警的小边界框与包含飞机目标虚较大虚警的大边界框一一匹配，选取最短距离组合进行匹配，确定飞机整体目标的可能位置；
步骤(4)中所述的基于卷积神经网络识别算法流程为，基于GoogLeNet网络结构，首先利用已有数据进行数据增强后对网络进行训练，然后对上述流程输出的可疑目标边界框进行多灰度识别；
所述的飞机目标鉴别流程为，对多灰度目标识别的结果，基于面积鉴别算子，长宽比鉴别算子及目标识别算子，对飞机虚警目标进行鉴别。
2.根据权利要求1所述的复杂背景SAR图像中的飞机目标检测与鉴别方法，其特征在于，所述的基于多种鉴别算子提取复合特征的机场目标粗检测算法，具体流程为：
(1a)在大场景SAR图像中对图像进行均值滤波，对背景分布中噪声与杂波进行抑制，减少其对机场目检测的干扰；基于视觉注意力机制，首先依据机场呈大面积较暗区域分布的特性提取包含机场目标的连通域；
(1b)对二值化后的图像进行先膨胀后腐蚀操作，膨胀的目的是使得机场区域中由于复杂成像与散射机制导致的机场区域不连续的地方连接；腐蚀的目的是使得由于复杂成像导致的机场区域与其余道路连接断开，减少背景分布对目标检测的影响，初步精准机场目标范围；
(1c)通过Otsu方法确定全局阈值，对图像进行二值化处理，此时机场与其余虚警目标对应像素值为0；
(1d)因为机场目标在大场景SAR图像中所占面积较大，故提取面积排名前10的连通域，通过孔洞鉴别算子、形状鉴别算子与面积鉴别算子对包含机场目标的连通域进行鉴别，剔除虚警，对机场目标进行粗定位。
3.根据权利要求2所述的复杂背景SAR图像中的飞机目标检测与鉴别方法，其特征在于，所述的利用替代滤波法对陆地背景干涉横条纹进行抑制,具体流程为：
(2a)对待检测目标区域基于图像亮线分布距离进行干涉条纹检测；
(2b)若检测到干涉条纹，采用原图像中干涉条纹附近图像值替换干涉条纹处图像值。
4.根据权利要求3所述的复杂背景SAR图像中的飞机目标检测与鉴别方法，其特征在于，所述的机场区域精确分割,具体流程为：
(3a)不同SAR图像中灰度具有明显差异，首先对图像进行自适应灰度调整；
(3b)通过Otsu方法确定全局阈值，对图像进行二值化处理，此时机场与其余虚警目标对应像素值为0；
(3c)对二值化后的图像进行先膨胀后腐蚀操作，膨胀的目的是使得机场区域中由于复杂成像与散射机制导致的机场区域不连续的地方连接；腐蚀的目的是使得由于复杂成像导致的机场区域与其余道路连接断开，减少背景分布对目标检测的影响，精准机场目标范围；
(3d)对步骤(3c)中得到的二值图像进行提取最大连通域处理。
5.根据权利要求4所述的复杂背景SAR图像中的飞机目标检测与鉴别方法，其特征在于，所述的基于Canny算子的边缘检测,具体流程为：
(4a)用高斯滤波器平滑图像；
令为平滑后的图像，用对图像的平滑表示为：
其中，*代表卷积；
(4b)用一阶偏导的有限差分来计算梯度的幅值和方向；
使用一阶有限差分计算偏导数阵列P与Q：
以平滑的梯度使用2*2一阶有限差分近似式来计算与偏导数的两个阵列与
幅值和方位角用直角坐标到极坐标的坐标转化公式来计算：
反映图像的边缘强度；反映边缘的方向；使得取得局部最大值的方向角就反映边缘的方向；
(4c)对梯度幅值进行非极大值抑制：
为确定边缘，必须保留局部梯度最大的点，而抑制非极大值；就是寻找像素点(边缘)局部最大值，将非极大值点所对应的灰度值置为0，以剔除大部分非边缘的点；设置一个合理的虚警率，根据这个虚警率计算出每个栅格内的强度阈值，计算方法同步骤(3b)，得到一个二维阈值曲面；对步骤(4c)中得到的二维阈值曲面沿方位向和距离向分别进行加权线性最小二乘滤波，得到一个平滑后的二维阈值曲面；
(4d)用双阈值算法检测和连接边缘；
对非极大值抑制图像作用两个阈值和两者关系把梯度值小于的像素的灰度值设为0，得到图像1；然后把梯度值小于的像素的灰度值设为0，得到图像2；以图像2为基础，以图像1为补充来连结图像的边缘。
6.根据权利要求5所述的复杂背景SAR图像中的飞机目标检测与鉴别方法，其特征在于所述的最优距离匹配算法,具体流程为：
(5a)对步骤(4d)得到二值图像进行连通性检测，将每个连通区域作为待检测目标点；
(5b)计算每个连通区域的最小外接矩形，依据飞机目标占机场区域比例对外接矩形进行分类：大边界框为包含可疑飞机机身目标的连通域，小边界框为包含可疑飞机部件目标的连通域；
(5c)遍历小边界框，计算与提取的大边界框之间的距离，选取最短距离，若在合理阈值范围内，则进行大小边界框匹配、合并，合并后剔除该小边界框；若未有满足要求的匹配组合，剔除该小边界框；实现对飞机部件的组合，完善，剔除大量独立虚警。
7.根据权利要求6所述的复杂背景SAR图像中的飞机目标检测与鉴别方法，其特征在于，所述的基于googLeNet的卷积神经网络二分类目标识别,具体流程为：
(6a)对已有TerraSAR-X波段卫星数据中人工标注飞机目标，并随机切取背景切片；原数据集共包含10张图像，大小约为6000*10000，分辨率为1.5米*1.5米；
(6b)对步骤(6a)中标注得到的飞机目标切片进行数据增强，主要操作包括：灰度调整，随机平移与旋转等操作，扩充数据集；数据集共包含468张飞机目标切片与1309张背景切片，然后将样本按0.8的比例分出了训练集与测试集；
(6c)对原googLeNet网络结构基于本数据集进行调整，对原网络结构做出如下修改：移除网络最后的全连接层，softmax层和分类输出层；设置全连接层输出为2类：飞机目标与背景，接入softmax层与分类输出层；
(6d)利用训练好的网络对(5c)中待识别边界框中目标进行识别，由于不同图像样本中目标灰度差别较大，采用多灰度识别：即提取出来的可疑目标框以0.05步长对图像灰度进行调整，共五个灰度送入目标识别网络，记录该边界框被识别为目标次数为count。
8.根据权利要求7所述的复杂背景SAR图像中的舰船目标检测与鉴别方法，其特征在于，所述的基于面积追踪，长宽比鉴别算子与目标识别算子虚警鉴别,具体流程为：
(7a)对多灰度目标识别结果中边界框计算面积鉴别算子，其具体表达式如下：
式中表示边界框长度，表示边界框宽度；
(7b)对多灰度目标识别结果中边界框计算长宽比鉴别算子，其具体表达式如下：
(7c)如果步骤(7b)得到的长宽比鉴别算子满足区间要求或者目标识别算子count满足识别次数要求，则进行面积鉴别算子比较，否则剔除该边界框；若面积鉴别算子满足要求，则保留该识别结果，否则剔除该边界框；这样得到最终检测的标准飞机目标的二值图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811187444.5A CN109583293B (zh) | 2018-10-12 | 2018-10-12 | 星载sar图像中的飞机目标检测与鉴别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811187444.5A CN109583293B (zh) | 2018-10-12 | 2018-10-12 | 星载sar图像中的飞机目标检测与鉴别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109583293A true CN109583293A (zh) | 2019-04-05 |
| CN109583293B CN109583293B (zh) | 2023-03-24 |
Family
ID=65920416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811187444.5A Active CN109583293B (zh) | 2018-10-12 | 2018-10-12 | 星载sar图像中的飞机目标检测与鉴别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109583293B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188661A (zh) * | 2019-05-27 | 2019-08-30 | 广州极飞科技有限公司 | 边界识别方法及装置 |
| CN110297246A (zh) * | 2019-07-16 | 2019-10-01 | 上海市气象信息与技术支持中心 | 一种组网x波段天气雷达协同自适应控制方法及系统 |
| CN110349184A (zh) * | 2019-06-06 | 2019-10-18 | 南京工程学院 | 基于迭代滤波和观测判别的多行人跟踪方法 |
| CN110378866A (zh) * | 2019-05-22 | 2019-10-25 | 中国水利水电科学研究院 | 一种基于无人机巡检的渠道衬砌破损图像识别方法 |
| CN110472472A (zh) * | 2019-05-30 | 2019-11-19 | 北京市遥感信息研究所 | 基于sar遥感图像的机场检测方法与装置 |
| CN110490889A (zh) * | 2019-08-12 | 2019-11-22 | 中电科技（合肥）博微信息发展有限责任公司 | 一种基于边缘检测的雷达目标提取方法 |
| CN111242061A (zh) * | 2020-01-17 | 2020-06-05 | 电子科技大学 | 一种基于注意力机制的合成孔径雷达舰船目标检测方法 |
| CN111353446A (zh) * | 2020-03-05 | 2020-06-30 | 广智微芯(扬州)有限公司 | 一种车道线检测方法及系统 |
| CN111460916A (zh) * | 2020-03-13 | 2020-07-28 | 温州大学大数据与信息技术研究院 | 基于隐马尔可夫模型的机场场面目标分割方法及系统 |
| CN112163450A (zh) * | 2020-08-24 | 2021-01-01 | 中国海洋大学 | 基于s3d学习算法的高频地波雷达船只目标检测方法 |
| CN113536963A (zh) * | 2021-06-25 | 2021-10-22 | 西安电子科技大学 | 基于轻量化yolo网络的sar图像飞机目标检测方法 |
| CN113705640A (zh) * | 2021-08-16 | 2021-11-26 | 中国电子科技集团公司第二十八研究所 | 基于遥感影像快速构建飞机检测数据集的方法 |
| CN115205825A (zh) * | 2022-07-15 | 2022-10-18 | 宜宾学院 | 基于改进yolov5的行车视频序列图像检测识别交通标志方法 |
| CN116310742A (zh) * | 2023-04-17 | 2023-06-23 | 中国人民解放军军事科学院军事医学研究院 | 一种用于无人机反制的类脑智能处理系统 |
| CN116310401A (zh) * | 2022-12-19 | 2023-06-23 | 南京航空航天大学 | 一种基于单演特征联合稀疏表示的跨视角sar识别方法 |
| CN116542975A (zh) * | 2023-07-05 | 2023-08-04 | 成都数之联科技股份有限公司 | 一种玻璃面板的缺陷分类方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036239A (zh) * | 2014-05-29 | 2014-09-10 | 西安电子科技大学 | 基于特征融合和聚类的高分辨sar图像快速舰船检测方法 |
| CN107145874A (zh) * | 2017-05-13 | 2017-09-08 | 复旦大学 | 复杂背景sar图像中的舰船目标检测与鉴别方法 |
| CN108416378A (zh) * | 2018-02-28 | 2018-08-17 | 电子科技大学 | 一种基于深度神经网络的大场景sar目标识别方法 |
| CN108596151A (zh) * | 2018-05-10 | 2018-09-28 | 北京航空航天大学 | 一种大场景sar图像中舰船目标切片快速提取方法 |
-
2018
- 2018-10-12 CN CN201811187444.5A patent/CN109583293B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036239A (zh) * | 2014-05-29 | 2014-09-10 | 西安电子科技大学 | 基于特征融合和聚类的高分辨sar图像快速舰船检测方法 |
| CN107145874A (zh) * | 2017-05-13 | 2017-09-08 | 复旦大学 | 复杂背景sar图像中的舰船目标检测与鉴别方法 |
| CN108416378A (zh) * | 2018-02-28 | 2018-08-17 | 电子科技大学 | 一种基于深度神经网络的大场景sar目标识别方法 |
| CN108596151A (zh) * | 2018-05-10 | 2018-09-28 | 北京航空航天大学 | 一种大场景sar图像中舰船目标切片快速提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王兆成等: "《基于单极化SAR图像的舰船目标检测》", 《科技导报》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378866B (zh) * | 2019-05-22 | 2021-04-06 | 中国水利水电科学研究院 | 一种基于无人机巡检的渠道衬砌破损图像识别方法 |
| CN110378866A (zh) * | 2019-05-22 | 2019-10-25 | 中国水利水电科学研究院 | 一种基于无人机巡检的渠道衬砌破损图像识别方法 |
| CN110188661A (zh) * | 2019-05-27 | 2019-08-30 | 广州极飞科技有限公司 | 边界识别方法及装置 |
| CN110472472A (zh) * | 2019-05-30 | 2019-11-19 | 北京市遥感信息研究所 | 基于sar遥感图像的机场检测方法与装置 |
| CN110472472B (zh) * | 2019-05-30 | 2022-04-19 | 北京市遥感信息研究所 | 基于sar遥感图像的机场检测方法与装置 |
| CN110349184A (zh) * | 2019-06-06 | 2019-10-18 | 南京工程学院 | 基于迭代滤波和观测判别的多行人跟踪方法 |
| CN110349184B (zh) * | 2019-06-06 | 2022-08-09 | 南京工程学院 | 基于迭代滤波和观测判别的多行人跟踪方法 |
| CN110297246A (zh) * | 2019-07-16 | 2019-10-01 | 上海市气象信息与技术支持中心 | 一种组网x波段天气雷达协同自适应控制方法及系统 |
| CN110297246B (zh) * | 2019-07-16 | 2021-04-02 | 上海市气象信息与技术支持中心 | 一种组网x波段天气雷达协同自适应控制方法及系统 |
| CN110490889A (zh) * | 2019-08-12 | 2019-11-22 | 中电科技（合肥）博微信息发展有限责任公司 | 一种基于边缘检测的雷达目标提取方法 |
| CN110490889B (zh) * | 2019-08-12 | 2023-05-09 | 中电科技（合肥）博微信息发展有限责任公司 | 一种基于边缘检测的雷达目标提取方法 |
| CN111242061A (zh) * | 2020-01-17 | 2020-06-05 | 电子科技大学 | 一种基于注意力机制的合成孔径雷达舰船目标检测方法 |
| CN111353446A (zh) * | 2020-03-05 | 2020-06-30 | 广智微芯(扬州)有限公司 | 一种车道线检测方法及系统 |
| CN111460916A (zh) * | 2020-03-13 | 2020-07-28 | 温州大学大数据与信息技术研究院 | 基于隐马尔可夫模型的机场场面目标分割方法及系统 |
| CN112163450A (zh) * | 2020-08-24 | 2021-01-01 | 中国海洋大学 | 基于s3d学习算法的高频地波雷达船只目标检测方法 |
| CN113536963A (zh) * | 2021-06-25 | 2021-10-22 | 西安电子科技大学 | 基于轻量化yolo网络的sar图像飞机目标检测方法 |
| CN113536963B (zh) * | 2021-06-25 | 2023-08-15 | 西安电子科技大学 | 基于轻量化yolo网络的sar图像飞机目标检测方法 |
| CN113705640A (zh) * | 2021-08-16 | 2021-11-26 | 中国电子科技集团公司第二十八研究所 | 基于遥感影像快速构建飞机检测数据集的方法 |
| CN113705640B (zh) * | 2021-08-16 | 2024-03-01 | 中国电子科技集团公司第二十八研究所 | 基于遥感影像快速构建飞机检测数据集的方法 |
| CN115205825A (zh) * | 2022-07-15 | 2022-10-18 | 宜宾学院 | 基于改进yolov5的行车视频序列图像检测识别交通标志方法 |
| CN116310401A (zh) * | 2022-12-19 | 2023-06-23 | 南京航空航天大学 | 一种基于单演特征联合稀疏表示的跨视角sar识别方法 |
| CN116310742A (zh) * | 2023-04-17 | 2023-06-23 | 中国人民解放军军事科学院军事医学研究院 | 一种用于无人机反制的类脑智能处理系统 |
| CN116310742B (zh) * | 2023-04-17 | 2023-11-28 | 中国人民解放军军事科学院军事医学研究院 | 一种用于无人机反制的类脑智能处理系统 |
| CN116542975A (zh) * | 2023-07-05 | 2023-08-04 | 成都数之联科技股份有限公司 | 一种玻璃面板的缺陷分类方法、装置、设备和介质 |
| CN116542975B (zh) * | 2023-07-05 | 2023-09-12 | 成都数之联科技股份有限公司 | 一种玻璃面板的缺陷分类方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109583293B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583293A (zh) | 星载sar图像中的飞机目标检测与鉴别方法 | |
| Kang et al. | A modified faster R-CNN based on CFAR algorithm for SAR ship detection | |
| Hou et al. | Unsupervised change detection in SAR image based on Gauss-log ratio image fusion and compressed projection | |
| Musman et al. | Automatic recognition of ISAR ship images | |
| Graziano et al. | Ship heading and velocity analysis by wake detection in SAR images | |
| CN109214439B (zh) | 一种基于多特征融合的红外图像结冰河流检测方法 | |
| CN106093890A (zh) | 建立剩余杂波图抑制雷达剩余杂波的方法 | |
| CN102109597B (zh) | 根据船舶的高分辨率sar影像识别船舶类型的方法 | |
| CN104361582A (zh) | 一种对象级高分辨率sar影像洪水灾害变化检测方法 | |
| CN107862271B (zh) | 一种舰船目标的检测方法 | |
| CN110110675A (zh) | 一种融合边缘信息的小波域分形红外卷云检测方法 | |
| Xiang et al. | Adaptive superpixel generation for SAR images with linear feature clustering and edge constraint | |
| Guo et al. | Aircraft target detection from spaceborne SAR image | |
| Nezry et al. | Supervised classification of K-distributed SAR images of natural targets and probability of error estimation | |
| Guo et al. | Aircraft detection in high-resolution SAR images using scattering feature information | |
| EP1515160B1 (en) | A target shadow detector for synthetic aperture radar | |
| CN107729903A (zh) | 基于区域概率统计和显著性分析的sar图像目标检测方法 | |
| CN112989940A (zh) | 基于高分三号卫星sar影像的筏式养殖区提取方法 | |
| CN111105419B (zh) | 一种基于极化sar图像的车辆船舶检测方法及装置 | |
| CN113343819B (zh) | 一种高效的无人机载sar图像目标分割方法 | |
| Cao et al. | Detecting the number of buildings in a single high-resolution SAR image | |
| Shi et al. | A superpixel-based coastline extraction algorithm for single-polarized ENVISAT and ERS imagery | |
| Han et al. | Aircraft target detection in polsar image based on region segmentation and multi-feature decision | |
| Zhao et al. | Automatic extraction of floating ice at Antarctic continental margin from remotely sensed imagery using object-based segmentation | |
| Tello et al. | Use of the multiresolution capability of wavelets for ship detection in SAR imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |