CN112101250B - 一种基于上下文语义感知的近岸舰船目标检测方法 - Google Patents
一种基于上下文语义感知的近岸舰船目标检测方法 Download PDFInfo
- Publication number
- CN112101250B CN112101250B CN202010987046.2A CN202010987046A CN112101250B CN 112101250 B CN112101250 B CN 112101250B CN 202010987046 A CN202010987046 A CN 202010987046A CN 112101250 B CN112101250 B CN 112101250B
- Authority
- CN
- China
- Prior art keywords
- target
- candidate
- region
- ship
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于上下文语义感知的近岸舰船目标检测方法,针对海岸区域精确监测的重大应用需求,本发明方法采用海陆分割快速定位候选区域,保留海岸线两侧的海洋区域和缓冲区域,然后采用最大稳定极值区域(MSER)法进行全局预筛选;然后对每个候选目标的背景切片进行超像素分割,提取上下文语义信息,以识别近海舰船和虚警,实验结果表明,该方法能够实现复杂海陆混合背景下近岸舰船的精确检测。
Description
技术领域
本发明涉及目标检测领域,尤其适用于SAR图像目标检测领域。
背景技术
在遥感图像处理中,合成孔径雷达因其强大的全天时、全天候、高分辨率成像能力而得到广泛应用。合成孔径雷达(SAR)在舰船探测中的应用在军事和民用领域都具有重要意义,已成为港口动态监视、海事管理、船舶救援、走私活动监测等海洋应用的重要研究课题。特别是近海舰船的检测问题已经得到了广泛的研究,而对近岸舰船的检测问题的研究却很少。与传统的近海舰船检测相比,近岸舰船检测在港口动态监测和海事管理中越来越受到重视。
在高分辨率的SAR图像中,舰船往往以小目标的形式出现,提供的形状信息很少。因此,舰船检测往往基于舰船目标呈现较明亮的特点。对于远岸舰船,可以通过局部阈值分割对其进行粗略定位,而近岸舰船所处的海陆混合环境非常复杂。与之相连接的码头区域通常具有相似的灰度和纹理特征,且具有鲜明的特征,导致近岸舰船检测虚警率较高。因此,近岸舰船检测比远岸舰船检测面临更大的挑战。
许多研究在SAR图像中的舰船检测方面取得了一些有价值的成果,其中恒虚警率(constant false alarm rate,CFAR)方法已广泛应用于舰船检测。假设背景杂波的概率密度函数具有一定的分布,计算自适应阈值完成检测过程。然而,近岸舰船的背景复杂,无法用一个合适的模型来描述。结果,检测率下降,虚警率增加。因此,CFAR及其变体不适合用于近岸舰船探测。近年来,学者们正在努力克服上述困难。大多数人使用海、陆分割的方法提取手工特征用于舰船目标检测。代表性方法例如文献“Superpixel-level cfar detectorsfor ship detection in sar imagery,IEEE Geoscience and Remote Sensing Letters,vol.15,no.9,pp.1397–1401,2018.”;和文献“New hierarchical saliency filteringfor fast ship detection in high-resolution sar images,IEEE Transactions onGeoscience and Remote Sensing,vol.55,no.1,pp.351–362,2016.”。利用显著性信息实现舰船检测,结果优于传统的基于CFAR的方法。但是,该算法仍然存在对海陆分割精度依赖程度高、人工特征设计难度大的缺点。
发明内容
本发明的目的是针对近岸舰船目标检测过程中的问题,及考虑到背景技术中现有检测算法面临的上述挑战,提出了一种基于上下文语义感知的近岸舰船目标检测方法。
本发明的具体技术方案为:一种基于上下文语义感知的近岸舰船目标检测方法,具体包括如下步骤:
步骤一:基于海陆分割定位候选区域:对近岸场景SAR图像,进行海陆分割,得到海洋区域和近岸缓冲区,缩小感兴趣区域;具体做法是将SAR图像灰度级分为L级,灰度级为第i(i=1,2,…,L)级的像素有ni个,并以每个灰度级为灰度门限求类间方差σ2(t)作为评价函数,通过最大化类间方差,确定灰度门限阈值t*,按灰度级将图像像素分为两类C0,C1,C0由灰度值在区间[1,t*]内所有像素组成,C1由灰度值在区间(t*+1,L]内所有像素组成,灰度门限阈值t*由下式确定:
步骤二:基于MSER的全局预筛选:通过步骤一去除大面积的陆地区域后,利用最大极值稳定区域算法,进行全局预筛选,定位候选舰船目标。首先将给定的SAR图像进行N个灰度值的阈值分割,得到N个对应于阈值的二值图像,然后根据极值区域的面积变化率来提取目标区域,若面积变化率不大于阈值,则该区域为候选舰船目标区域,否则从候选区域中移除该区域。
步骤三:超像素分割:近岸场景中,港口建筑物在SAR图像中形成强散射回波。这些由设施造成的强散射区域与SAR图像中的舰船区域相似,易造成虚警,因此需要对候选区域进行验证。考虑到近岸舰船所处环境的特殊性,利用目标的上下文语义信息进行舰船目标的鉴别。对于每个候选目标,利用SLIC算法进行超像素分割将候选目标背景切片分割成多个超像素块,以灵活适应各种停泊姿态的近岸舰船。
步骤四:候选目标鉴别:得到每个目标背景切片的超像素地图后,计算每个候选舰船目标的波动值,波动值可以衡量目标所处背景的像素值分布情况,利用该值能够有效鉴别真实舰船目标与虚警。当候选船的波动值大于阈值时,该候选目标被判定为虚警,并从检测结果中剔除。相反,它可以被保留并移动到下一个区域。通过对所有目标得到背景切片进行基于上下文语义信息的鉴别,可以得到一个新的二值图像,即最终的检测结果。
本发明的有益效果:本发明方法首先采用基于最大类间方差的方法进行海陆分割,确定可能存在感兴趣目标的海洋区域和近岸区域,设计了缓冲区域以减少由于海陆分割不准确而导致的漏检,从而降低对海陆分割精度的依赖。获得感兴趣区域后,利用目标区域明亮稳定的特性提取潜在目标,然而,对于近岸场景中的舰船检测,主要问题是港口建筑物在SAR图像中会形成类船区域。仅仅依靠目标的特征信息是不够的,会造成大量虚警。因此,有必要对这些候选区域进行鉴别。本发明利用近岸场景中目标所处背景承载着语境语义信息区别虚警与真实舰船目标,具体是对每个候选目标的背景切片进行超像素分割,从超像素地图中提取上下文语义信息以识别近岸舰船,消除虚警。与传统的近岸舰船处理方法相比,该方法不需要复杂的预处理、杂波建模等处理步骤。不仅利用目标自身的特性,且结合上下文语义信息,能够快速、准确地实现对近岸舰船的检测。
附图说明
图1为本发明方法流程示意图;
图2为本发明实施方式包含所有舰船目标原始图;
图3为本发明实施方式经过全局预筛选与对目标背景切片的超像素分割结果图;
图4为本发明实施方式SAR图像港口检测结果图。
具体实施方式
下面结合附图对本发明的实施例做进一步的说明。
本发明方法的流程如图1所示,具体包括如下步骤:
步骤一:将SAR图像灰度级分为L级,灰度级为第i(i=1,2,…,L)级的像素有ni个,第i级灰度出现的概率为并对SAR图像求类间方差σ2(t)作为评价函数,通过最大化类间方差,确定灰度门限阈值t*,按灰度级将图像像素分为两类C0,C1,C0由灰度值在区间[1,t*]内所有像素组成,C1由灰度值在区间(t*+1,L]内所有像素组成。
计算最佳灰度门限阈值t*由下式确定:
其中,类间方差:
其中,两部分图像的类内均值μ0(t),μ1(t),以及图像灰度总均值μ分别为:
通过海陆分割方法获取候选区域后,为减小因为分割算法导致海陆错分而引起检测舰船目标数量的误差,等比例减小分割后的陆地面积,留下海陆分割线两侧的缓冲区域及海洋区域。
步骤二:海陆分割之后,利用舰船目标在近岸SAR图像中表现为稳定的明亮区域特性,通过MSER算法进行舰船目标预筛选。
将SAR图像进行N个灰度值的阈值分割,得到N个对应于阈值的二值图像,根据极值区域的面积变化率来提取目标区域,面积变化率越小,区域越稳定。因此,将潜在舰船区域定义为使满足下式的面积变化率条件稳定极值区域。
步骤三:通过步骤二获取了潜在的候选舰船目标,考虑到近海环境的特殊性,本发明利用候选目标的上下文语义信息对舰船目标进行识别,首先利用超像素分割算法将候选目标的背景切片划分为多个超像素,减小计算量,降低图像中的冗余信息。
具体方法是,首先截取每个独立目标的背景切片,去除检测到的目标区域,只留下目标周围的背景区域,为了保证截取的切片中包含足够的背景区域,切片需满足以下公式:
其中,Stg代表目标区域的面积,Sbg代表背景区域的面积,α代表背景区域和目标区域面积比例的最低门限,本实施例中α=10。
然后,利用超像素分割算法根据像素之间的相似度和邻接度获得候选目标背景切片的超像素地图。其中,最重要的参数是超像素的个数,它决定了超像素的大小。因为每个目标的背景切片大小不同,因此本发明根据超像素的大小来设置该参数为超像素最小为16个像素。
步骤四:通过步骤三得到每个背景切片的超像素地图后,计算每个超像素地图的波动值,衡量目标所处背景的像素值分布情况,波动值计算如下式所示:
其中,V(k)代表第k个基于上下文语义感知的背景切片波动值,M代表一个切片中经过超像素处理后的网格数,Ni、N分别代表第i个超像素中的像素点个数和整个背景切片中的像素点个数,P(k)代表第k个像素点的像素值,其中,ki=1,…,Ni,k=1,…,N。
当候选船的波动值大于阈值时,该候选目标被判定为虚警,并从检测结果中剔除。相反,它可以被保留并移动到下一个区域。通过对所有目标得到背景切片进行基于上下文语义信息的鉴别,可以得到一个新的二值图像,即最终的检测结果。
图2为本发明实施方式包含所有舰船目标原始图;图3为本发明实施方式经过全局预筛选与对目标背景切片的超像素分割结果图;港口检测结果如图4所示,正确检测出的目标用矩形标记,虚警目标用三角形标记,遗漏的目标用圆形标记,基于上下文语义信息的SAR图像近岸舰船检测方法正确检测出Ntt=66个正确目标,存在Nfa=11个虚警目标。
Claims (3)
1.一种基于上下文语义感知的近岸舰船目标检测方法,具体包括如下步骤:
步骤一:基于海陆分割定位候选区域:对近岸场景SAR图像,进行海陆分割,得到海洋区域和近岸缓冲区,缩小感兴趣区域;具体做法是将SAR图像灰度级分为L级,灰度级为第i级的像素有ni个,其中,i=1,2,…,L,并以每个灰度级为灰度门限求类间方差σ2(t)作为评价函数,通过最大化类间方差,确定灰度门限阈值t*,按灰度级将图像像素分为两类C0,C1,C0由灰度值在区间[1,t*]内所有像素组成,C1由灰度值在区间(t*+1,L]内所有像素组成,灰度门限阈值t*由下式确定:
步骤二:基于MSER的全局预筛选:将给定的SAR图像进行N个灰度值的阈值分割,得到N个对应于阈值的二值图像,然后根据极值区域的面积变化率来提取目标区域,若面积变化率不大于阈值,则该区域为候选舰船目标区域,否则从候选区域中移除该区域;
步骤三:超像素分割:利用目标的上下文语义信息进行舰船目标的鉴别,对于每个候选目标,利用SLIC算法进行超像素分割将候选目标背景切片分割成多个超像素块,
步骤四:候选目标鉴别:得到每个目标背景切片的超像素地图后,计算每个候选舰船目标的波动值,当候选船的波动值大于阈值时,该候选目标被判定为虚警,并从检测结果中剔除,相反,被保留并移动到下一个区域;通过对所有目标得到背景切片进行基于上下文语义信息的鉴别,得到一个新的二值图像,即最终的检测结果;
所述的波动值计算如下式所示:
其中,V(k)代表第k个基于上下文语义感知的背景切片波动值,M代表一个切片中经过超像素处理后的网格数,Ni、N分别代表第i个超像素中的像素点个数和整个背景切片中的像素点个数,P(k)代表第k个像素点的像素值,其中,ki=1,…,Ni,k=1,…,N。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010987046.2A CN112101250B (zh) | 2020-09-18 | 2020-09-18 | 一种基于上下文语义感知的近岸舰船目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010987046.2A CN112101250B (zh) | 2020-09-18 | 2020-09-18 | 一种基于上下文语义感知的近岸舰船目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112101250A CN112101250A (zh) | 2020-12-18 |
CN112101250B true CN112101250B (zh) | 2022-07-15 |
Family
ID=73760365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010987046.2A Active CN112101250B (zh) | 2020-09-18 | 2020-09-18 | 一种基于上下文语义感知的近岸舰船目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112101250B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379695B (zh) * | 2021-06-01 | 2024-03-29 | 大连海事大学 | 局部特征差异性耦合的sar图像近岸舰船检测方法 |
CN113284135B (zh) * | 2021-06-21 | 2022-10-04 | 河北工业大学 | 基于全局与局部上下文信息的sar舰船检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604383A (zh) * | 2009-07-24 | 2009-12-16 | 哈尔滨工业大学 | 一种基于红外图像的海上目标检测方法 |
CN102621533A (zh) * | 2012-04-05 | 2012-08-01 | 电子科技大学 | 一种用于船用导航雷达的弱小目标检测方法 |
CN102663348A (zh) * | 2012-03-21 | 2012-09-12 | 中国人民解放军国防科学技术大学 | 一种光学遥感图像中的海上舰船检测方法 |
CN102855622A (zh) * | 2012-07-18 | 2013-01-02 | 中国科学院自动化研究所 | 一种基于显著性分析的红外遥感图像海面船只检测方法 |
CN107145874A (zh) * | 2017-05-13 | 2017-09-08 | 复旦大学 | 复杂背景sar图像中的舰船目标检测与鉴别方法 |
KR20180058063A (ko) * | 2016-11-23 | 2018-05-31 | 한국해양대학교 산학협력단 | 해양플랜트 비상 정지 시스템의 원격 모니터링 및 제어 시스템 |
CN109409286A (zh) * | 2018-10-25 | 2019-03-01 | 哈尔滨工程大学 | 基于伪样本增强训练的船舶目标检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765491A (zh) * | 2018-05-31 | 2018-11-06 | 成都信息工程大学 | 一种sar图像舰船目标检测方法 |
US20200272899A1 (en) * | 2019-02-22 | 2020-08-27 | Ubotica Technologies Limited | Systems and Methods for Deploying and Updating Neural Networks at the Edge of a Network |
CN110889843B (zh) * | 2019-11-29 | 2023-04-18 | 西安电子科技大学 | 基于最大稳定极值区域的sar图像舰船目标检测方法 |
-
2020
- 2020-09-18 CN CN202010987046.2A patent/CN112101250B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604383A (zh) * | 2009-07-24 | 2009-12-16 | 哈尔滨工业大学 | 一种基于红外图像的海上目标检测方法 |
CN102663348A (zh) * | 2012-03-21 | 2012-09-12 | 中国人民解放军国防科学技术大学 | 一种光学遥感图像中的海上舰船检测方法 |
CN102621533A (zh) * | 2012-04-05 | 2012-08-01 | 电子科技大学 | 一种用于船用导航雷达的弱小目标检测方法 |
CN102855622A (zh) * | 2012-07-18 | 2013-01-02 | 中国科学院自动化研究所 | 一种基于显著性分析的红外遥感图像海面船只检测方法 |
KR20180058063A (ko) * | 2016-11-23 | 2018-05-31 | 한국해양대학교 산학협력단 | 해양플랜트 비상 정지 시스템의 원격 모니터링 및 제어 시스템 |
CN107145874A (zh) * | 2017-05-13 | 2017-09-08 | 复旦大学 | 复杂背景sar图像中的舰船目标检测与鉴别方法 |
CN109409286A (zh) * | 2018-10-25 | 2019-03-01 | 哈尔滨工程大学 | 基于伪样本增强训练的船舶目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112101250A (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ao et al. | Detection and discrimination of ship targets in complex background from spaceborne ALOS-2 SAR images | |
CN109766811B (zh) | 一种星载sar图像中海面船只的端到端检测与识别方法 | |
CN107145874B (zh) | 复杂背景sar图像中的舰船目标检测与鉴别方法 | |
CN106022288B (zh) | 基于sar图像的海洋溢油信息识别与提取方法 | |
CN109117802B (zh) | 面向大场景高分遥感影像的舰船检测方法 | |
CN109740460B (zh) | 基于深度残差密集网络的光学遥感图像舰船检测方法 | |
CN107025654B (zh) | 基于全局迭代检查的sar图像自适应船只检测方法 | |
CN108171193B (zh) | 基于超像素局部信息度量的极化sar舰船目标检测方法 | |
CN109001780A (zh) | 一种自适应的sar卫星海面舰船目标在轨检测方法 | |
CN108734111A (zh) | Sar图像海面舰船识别方法 | |
CN106646469B (zh) | 基于变异系数法的sar船只检测优化方法 | |
CN112766221B (zh) | 基于船舶方向和位置多任务的sar图像船舶目标检测方法 | |
CN110378308A (zh) | 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法 | |
CN112101250B (zh) | 一种基于上下文语义感知的近岸舰船目标检测方法 | |
CN108133468B (zh) | 自适应参数增强和尾迹辅助检测的恒虚警率舰船检测方法 | |
Hou et al. | End-to-end automatic ship detection and recognition in high-resolution Gaofen-3 spaceborne SAR images | |
CN102567726B (zh) | 极地冰盖边缘区域浮冰自动提取技术 | |
Chen et al. | Rain-contaminated region segmentation of X-band marine radar images with an ensemble of SegNets | |
CN109559321A (zh) | 一种声呐图像分割方法和设备 | |
CN113673385A (zh) | 基于红外图像的海面舰船检测方法 | |
Chen et al. | Shape similarity intersection-over-union loss hybrid model for detection of synthetic aperture radar small ship objects in complex scenes | |
CN114373135A (zh) | 基于局部显著性特征度量的舰船目标检测方法 | |
CN108765440B (zh) | 一种单极化sar图像的线引导超像素海岸线提取方法 | |
Xu et al. | Intelligent ship recongnition from synthetic aperture radar images | |
CN112241956B (zh) | 基于区域生长法和变差函数的PolSAR图像山脊线提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |