CN105427313B - 基于反卷积网络和自适应推理网络的sar图像分割方法 - Google Patents
基于反卷积网络和自适应推理网络的sar图像分割方法 Download PDFInfo
- Publication number
- CN105427313B CN105427313B CN201510817299.4A CN201510817299A CN105427313B CN 105427313 B CN105427313 B CN 105427313B CN 201510817299 A CN201510817299 A CN 201510817299A CN 105427313 B CN105427313 B CN 105427313B
- Authority
- CN
- China
- Prior art keywords
- sketch
- region
- sar image
- aggregation zone
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于反卷积网络和自适应推理网络的SAR图像分割方法。主要解决现有技术需要人工经验提取图像特征的问题。其实现步骤是:(1)素描化合成孔径雷达SAR图像;(2)提取合成孔径雷达SAR图像的补全区域图;(3)对聚集区域和匀质区域分别训练反卷积网络DNN;(4)对聚集和匀质区域中互不连通区域间的结构特征进行自适应比较推理,得到聚集和匀质区域的分割结果;(5)基于分水岭方法,对步骤(2)获得的结构区域进行分割;(6)对聚集区域、匀质区域﹑结构区域进行合并,得到分割结果。本发明的分割结果具有较好的区域一致性,且提高了合成孔径雷达SAR图像的分割效果,可用于目标检测和识别。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及一种SAR图像分割方法,可用于目标检测或图像识别。
背景技术
SAR图像分割指的是根据灰度、纹理、结构、聚集性等特征将合成孔径雷达SAR图像划分成若干个互不相交的区域,并使这些特征在同一区域内呈现出相似性,而在不同区域间呈现出明显的差异性的过程。合成孔径雷达SAR图像分割的目的是简化或改变图像的表示形式,使得图像更容易理解和分析。合成孔径雷达SAR图像分割是图像理解与解译的基础,分割质量的好坏直接影响后续的分析、识别等。通常,分割越准确,识别越成功。
现有的合成孔径雷达SAR图像分割方法主要分为基于特征的方法和基于统计模型的方法。基于特征的方法主要是提取一些合成孔径雷达SAR图像的特征进行分割,比如纹理特征、边界特征以及混合特征等。基于统计模型的方法将合成孔径雷达SAR图像分割问题用概率的方式表达,将图像的特征描述为一些经验的分布,例如Gamma分布、K分布、G分布等。
林达,徐新,潘雪峰,张海涛在其发表的论文“一种新的MSTAR SAR图像分割方法,2014,39(11)”中提出了一种新的MSTAR SAR图像分割方法。该方法首先根据地物的散射机制进行属性散射中心特征提取,构造属性散射中心特征向量,然后使用马尔科夫随机场结合属性散射中心特征对MSTAR SAR图像进行空间领域关系描述,最后运用标号代价能量优化算法得到最终的分割结果。该方法存在的不足之处是,对合成孔径雷达SAR图像进行分割所使用的特征是人工设计的,人工选取特征是一件非常费力、需要专业知识的方法,能不能选取到好的特征很大程度上靠经验和运气,因此人工选取的特征的好坏往往成为整个系统性能的瓶颈。
西安电子科技大学在其申请的专利“基于区域图和统计相似性编码的SAR图像分割方法”(专利申请号201410747353.8,公开号CN 104408721A)中公开了一种基于区域图和统计相似性编码的SAR图像分割方法。该方法根据合成孔径雷达SAR图像的素描模型提取素描图并对其补全,得到划分的区域图,将区域图映射到原图得到聚集、匀质和结构区域;分别对聚集、匀质区域训练栈式降噪自编码网络,对聚集和匀质区域的各个子区域进行网络特征结构编码,得到每个子区域的结构特征表示;最后采用层次聚类的方法得到聚集和匀质区域的分割结果;对结构区域采用均值比算法进行分割;合并各区域分割结果完成SAR图像分割。该方法存在的不足之处是,所用的自动提取图像特征的栈式降噪自编码器并没有关注图像中像素间的空间关系,因此,不能更好学习图像的结构特征,降低了SAR图像分割的精度。
发明内容
本发明的目的在于克服上述已有技术的不足,提出一种基于反卷积神经网络和ART2的SAR图像分割方法,以提高合成孔径雷达SAR图像的分割效果。
为实现上述目的,本发明的技术方案如下:
1.基于反卷积网络和自适应推理网络的SAR图像分割方法,包括如下步骤:
(1)对输入的合成孔径雷达SAR图像素描化,得到合成孔径雷达SAR图像的素描图;
(2)补全素描图中的素描线段得到补全的区域图,并根据补全区域图将合成孔径雷达SAR图像映射为聚集区域、匀质区域和结构区域;
(3)对聚集区域和匀质区域分别训练反卷积网络DNN:
(3a)构造一个5层反卷积网络DNN;
(3b)对已构造的5层反卷积网络DNN中的4个反卷积层的滤波器组进行随机初始化;
(3c)对空间上不连通的各个聚集区域和空间上不连通的各个匀质区域,分别训练一个5层反卷积网络DNN,得到反卷积网络中最后一层结构特征滤波器;
(4)采用如下自适应推理网络对聚集区域中互不连通区域间的结构特征进行相似性比较推理,得到聚集区域分割结果:
(4a)用空间上不连通的各个聚集区域训练反卷积网络所得最后一层的结构特征滤波器组表示空间上不连通的各个聚集区域;
(4b)任取一个聚集区域设为A,任取一个与聚集区域A不同的聚集区域设为B,将表示聚集区域A的结构特征滤波器输入到自适应共振网络进行训练,得到n类,将训练完成后的自适应共振网络加上区域统计相似性计算模块和规则推理模块,形成聚集区域B的自适应推理网络;
(4c)由区域统计相似性计算模块和规则推理模块判定聚集区域A与聚集区域B是否相似:如果相似,则分为同一类;否则,不能分为同一类。
(5)采用如下自适应推理网络对匀质区域中互不连通区域间的结构特征进行相似性比较推理,得到匀质区域分割结果:
(5a)用空间上不连通的各个匀质区域训练反卷积网络所得最后一层的结构特征滤波器组表示空间上不连通的各个匀质区域;
(5b)任取一个匀质区域设为C,任取一个与匀质区域C不同的匀质区域设为D,将表示匀质区域C的结构特征滤波器输入到自适应共振网络进行训练,得到k类,将训练完成后的自适应共振网络加上区域统计相似性计算模块和规则推理模块,形成匀质区域D的自适应推理网络;
(5c)由区域统计相似性计算模块和规则推理模块判定匀质区域C与匀质区域D是否相似:如果相似,则分为同一类;否则,不能分为同一类。
(6)对结构区进行分割,得到结构区域的分割结果;
(7)对步骤(4)得到的聚集区域,步骤(5)得到的匀质区域,以及步骤(6)得到的结构区域进行合并,最终得到完整分割后的合成孔径雷达SAR图像。
本发明与现有技术相比具有以下优点:
第一,由于本发明构造一个5层反卷积网络DNN,克服了现有技术对合成孔径雷达SAR图像进行分割所使用的特征是人工设计的缺点,使得采用本发明可以自动提取图像的特征,比人工设计特征更加省时省力,并且自动提取的图像特征比人工设计的特征更加准确。
第二,由于本发明对空间上不连通的各个聚集区域分别训练一个5层反卷积网络DNN,克服了现有技术自动提取图像特征的深度自编码器没有关注图像中像素间的空间关系的缺点,使得采用本发明可以自动提取图像的本质特征,因此,能更好的刻画聚集区域之间的相似性,进而提高SAR图像的语义分割的性能。
第三,由于本发明设计了自适应推理网络,克服了现有神经网络只能学习而没有推理能力的缺点,适应性变得更强,进而提高SAR图像聚集区域分割的性能。
附图说明
图1是本发明的流程图;
图2是本发明自适应推理网络的结构图;
图3是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照附图1,本发明的具体步骤如下。
步骤1,素描化合成孔径雷达SAR图像。
输入合成孔径雷达SAR图像,将其素描化,得到合成孔径雷达SAR图像的素描图。
本发明使用的合成孔径雷达SAR图像素描模型是Jie-Wu等人于2014年发表在IEEETransactions on Geoscience and Remote Sensing杂志上的文章《Local maximalhomogenous region search for SAR speckle reduction with sketch-basedgeometrical kernel function》中所提出的模型,对合成孔径雷达SAR图像素描化的步骤如下:
(1.1)构造具有不同方向和尺度的边、线模板,并利用模板的方向和尺度信息构造各向异性高斯函数来计算该模板中每一点的加权系数,其中尺度个数取值为3~5,方向个数取值为18;
(1.2)按照下式,计算模板不同区域对应在合成孔径雷达SAR图像中像素的均值和方差:
其中,μ表示区域Ω对应在合成孔径雷达SAR图像中像素的均值,Ω表示模板中的一个区域,g表示区域Ω中一个像素点的位置,∈表示属于符号,Σ表示求和操作,wg表示区域Ω中位置g处的权重系数,wg的取值范围为wg∈[0,1],Ag表示区域Ω中位置g对应在合成孔径雷达SAR图像中的像素值,ν表示区域Ω与合成孔径雷达SAR图像中对应像素的方差;
(1.3)按照下式,计算合成孔径雷达SAR图像中每个像素对比值算子的响应值:
其中,R表示合成孔径雷达SAR图像中每个像素对比值算子的响应值,min{·}表示求最小值操作,a和b分别表示模板中任意两个不同区域的编号,μa和μb分别表示区域a和区域b与合成孔径雷达SAR图像中对应像素的均值;
(1.4)按照下式,计算合成孔径雷达SAR图像中每个像素对相关性算子的响应值:
其中,C表示合成孔径雷达SAR图像中每个像素对相关性算子的响应值,νa和νb分别表示区域a和区域b对应在合成孔径雷达SAR图像中像素的方差,μa和μb分别表示区域a和区域b与合成孔径雷达SAR图像中对应像素的均值,表示平方根操作;
(1.5)按照下式,融合合成孔径雷达SAR图像中像素对比值算子的响应值和合成孔径雷达SAR图像中像素对相关性算子的响应值,计算合成孔径雷达SAR图像中每个像素对各个模板的响应值:
其中,F表示合成孔径雷达SAR图像中每个像素对各个模板的响应值;
(1.6)选择具有最大响应值的模板作为合成孔径雷达SAR图像中像素的模板,并将最大响应值作为该像素的强度,将具有最大响应值的模板的方向作为该像素的方向,获得合成孔径雷达SAR图像的边线响应图和方向图;
(1.7)利用合成孔径雷达SAR图像中每个像素所选择的模板,获得合成孔径雷达SAR图像的梯度图;
(1.8)按照下式,将归一化到[0,1]的边线响应图与归一化到[0,1]的梯度图进行融合,得到强度图:
其中,I表示强度图中的强度值,x表示边线响应图中的值,y表示梯度图中的值;
(1.9)采用非极大值抑制方法,对强度图进行检测,得到建议草图;
(1.10)选取建议草图中具有最大强度的像素,将建议草图中与该最大强度的像素连通的像素连接形成建议线段,得到建议素描图;
(1.11)按照下式,计算建议素描图中素描线的编码长度增益CLG:
其中,CLG表示建议素描图中素描线的编码长度增益,Σ表示求和操作,m表示当前素描线邻域中像素的个数,t表示当前素描线邻域中像素的编号,At表示当前素描线邻域中第t个像素的观测值,At,0表示在当前素描线不能表示结构信息的假设下,该素描线邻域中第t个像素的估计值,ln(·)表示以e为底的对数操作,At,1表示在当前素描线能够表示结构信息的假设下,该素描线邻域中第t个像素的估计值;
(1.12)设定阈值T,T的取值范围为5~50,选择CLG>T的建议素描线作为最终素描图中的素描线,获得输入合成孔径雷达SAR图像对应的素描图。
步骤2提取合成孔径雷达SAR图像的区域。
(2a)按照合成孔径雷达SAR图像的素描图中素描线段的聚集度,将素描线划分为表示聚集地物的聚集素描线和表示边界、线目标以及孤立目标的素描线;
(2b)根据素描线段聚集度的直方图统计,选取聚集度等于最优聚集度的素描线段作为种子线段集{Er,r=1,2,...,m},其中Er表示种子线段集中的任一条素描线段,r为种子线段集中任一条素描线段的标号,m为线段的总条数,{·}表示集合操作;
(2c)如果种子线段集{Er,r=1,2,...,m}中的素描线段Er没有被添加进某个线段集合,则以素描线段Er为基点递归的求解新的线段集合;
(2d)使用半径为最优聚集度区间上界的圆形基元,先对线段集合中的线段进行膨胀,对膨胀后的线段集合由外向内进行腐蚀,得到补全的区域图中的聚集区域;
(2e)计算表示边界、线目标以及孤立目标的素描线中每一根素描线的长度,按照长度由长到短对这些素描线进行排序,得到排序后的素描线集合;
(2f)将计数器的初始值设置为1,将计数器α的阈值E的值设置为21;
(2g)判断计数器是否小于阈值,如果是,则执行步骤(2h),否则,执行步骤(2m);
(2h)在排序后的第α根素描线上选择3个种子点,用这3个种子点将素描线分为4等分线段,如果某个种子点恰好是素描线的端点,则将该种子点移动到所在素描线段的中点处;
(2i)在第α根素描线两侧,以第α根素描线上的每一个种子点为起点,沿着与素描线之间的夹角为1~180度的180个方向向外延伸,对延伸时所遇到表示边界、线目标以及孤立目标的素描线,聚集区域的边界,其它素描线补全得到的封闭区域的边界三种情况中的任意一种,停止延伸,得到以种子点为起点的射线,每个种子点在第α根素描线两侧各产生180条射线,按照射线与素描线夹角的大小对产生的这些射线排序;
(2j)计算所有射线的长度,用第一条射线生成第一个射线簇,对于剩余的179条射线,判断其中每一条射线的长度与其相邻的前一条射线的长度之比是否在1.25~1.5之间,若是则将该射线加入其前一条射线所在的射线簇,否则,用该射线生成一个新的射线簇;
(2k)对包含射线数目小于5的射线簇以及长度突变的射线进行修正;
(2l)连接当前素描线的端点和与其在空间位置上最近邻的射线终点,得到种子点的射线封闭圈;
(2m)合并3个种子点的射线封闭圈,得到素描线的射线封闭圈,并利用该射线封闭圈得到补全的素描线,得到当前素描线的封闭区域,将计数器α的值增加1,执行步骤(2g);
(2n)对表示边界、线目标以及孤立目标的素描线以及其补全的素描线,以每个素描线的每个素描点为中心构造大小为5×5的几何结构窗获得补全的区域图中的结构区域;
(2o)将补全的区域图中除去聚集区域和结构区域以外的部分标记为补全区域图中的不可素描区域;
(2p)将补全的区域图中的聚集区域、结构区域和不可素描区域对应到合成孔径雷达SAR图像上,得到合成孔径雷达SAR图像的聚集区域、结构区域和匀质区域。
步骤3,对聚集区域和匀质区域分别训练反卷积网络DNN。
(3.1)构造一个5层的反卷积网络DNN:
(3.1a)将反卷积网络的第1层设置为输入层;
(3.1b)将反卷积网络的第2层设置为反卷积层,反卷积层包含9个7×7大小的滤波器以及9个37×37大小的特征图,9个7×7大小的滤波器组成一个滤波器组;
(3.1c)将反卷积网络的第3层设置为反卷积层,反卷积层包含45个7×7大小的滤波器以及45个43×43大小的特征图,45个7×7大小的滤波器组成一个滤波器组;
(3.1d)将反卷积网络的第4层设置为反卷积层,反卷积层包含100个7×7大小的滤波器以及100个49×49大小的特征图,100个7×7大小的滤波器组成一个滤波器组;
(3.1e)将反卷积网络的第5层设置为反卷积层,反卷积层包含300个7×7大小的滤波器以及300个55×55大小的特征图,300个7×7大小的滤波器组成一个滤波器组。
(3.2)对空间上不连通的各个聚集区域和空间上不连通的各个匀质区域分别训练一个5层反卷积网络DNN,得到反卷积网络中滤波器。
所述的训练反卷积网络的方法,参见Matthew D.Zeiler等人于2010年发表在会议Computer Vision and Pattern Recognition上的文章《Deconvolutional Networks》,这是一种无监督层次提取图像特征的方法,具体步骤如下:
(3.2a)分别对聚集区域和匀质区域进行密集滑窗采样,采样窗口大小分别为31×31像素和17×17像素,得到聚集区域和匀质区域采样的样本。
(3.2b)分别将聚集区域和匀质区域的采样样本,输入到5层反卷积网络DNN中。
(3.2c)固定反卷积网络中特征图和滤波器组的值,通过解决一个一维最优化问题,得到反卷积网络中辅助变量的最优值。
(3.2d)固定反卷积网络中辅助变量和滤波器组的值,通过解决一个线性系统最优化问题,得到反卷积网络中特征图的最优值。
(3.2e)固定反卷积网络中特征图和辅助变量的值,通过使用梯度下降法,得到反卷积网络中滤波器。
步骤4,采用自适应推理网络对聚集区域中互不连通区域间的结构特征进行相似性比较计算,得到聚集区域分割结果:
(4.1)任取一个聚集区域设为A,任取一个与聚集区域A不同的聚集区域设为B;
(4.2)将表示聚集区域A的反卷积网络最后一层的滤波器组,设为包含300个滤波器的滤波器组;将表示聚集区域B的反卷积网络最后一层的滤波器组,设为包含300个滤波器的滤波器组;
(4.3)将步骤(4.2)中得到的聚集区域A的滤波器组输入到自适应共振网络中进行训练,得到n类,将自适应推理网络中的自适应共振网络设置为聚集区域A的已经训练完成的自适应共振网络;
(4.4)将步骤(4.2)中得到的聚集区域B的滤波器组输入到自适应推理网络中进行训练,得到m类;
(4.5)比较n与m的数值:若m>n,则计算聚集区域B中分在n类的滤波器占整个滤波器个数的比例l1;若m<n,则计算聚集区域B中分在n-m类的滤波器占整个滤波器个数的比例l2;
(4.6)根据l1和l2的值判断聚集区域A和聚集区域B的相似性:若l1<80%或者l2>20%,则判定聚集区域A和聚集区域B是结构相异的,不能分为同一类;否则,进入步骤(4.7);
(4.7)计算两个聚集区域频数统计直方图的巴氏距离α:
其中xi表示聚集区域A的第i类滤波器集合的个数,yi表示聚集区域B的第i类滤波器集合的个数;
(4.8)设定阈值τ=0.70,若α≥τ,则判定聚集区域A与聚集区域B是结构相似的,分为同一类;否则,判定聚集区域A与聚集区域B是结构相异的,不能分为同一类。
步骤5,采用自适应推理网络对匀质区域中互不连通区域间的结构特征进行相似性比较计算,得到匀质区域分割结果:
(5.1)任取一个匀质区域设为C,任取一个与匀质区域C不同的匀质区域设为D;
(5.2)将表示匀质区域C的反卷积网络最后一层的滤波器组,设为包含300个滤波器的滤波器组;将表示匀质区域D的反卷积网络最后一层的滤波器组,设为包含300个滤波器的滤波器组;
(5.3)将步骤(5.2)中得到的匀质区域C的滤波器组输入到自适应共振网络中进行训练,得到k类,将自适应推理网络中的自适应共振网络设置为匀质区域C的已经训练完成的自适应共振网络;
(5.4)将步骤(5.2)中得到的匀质区域D的滤波器组输入到自适应推理网络中进行训练,得到p类;
(5.5)比较k与p的数值:若p>k,计算匀质区域D中分在k类的滤波器占整个滤波器个数的比例若p<k,计算匀质区域D中分在k-p类的滤波器占整个滤波器个数的比例
(5.6)根据和的值判断匀质区域C和匀质区域D的相似性:若或者则判定匀质区域C和匀质区域D是结构相异的,不能分为同一类;否则,进入步骤(5.7);
(5.7)计算两个匀质区域频数统计直方图的巴氏距离β:
其中xi表示匀质区域C的第i类滤波器集合的个数,yi表示匀质区域D的第i类滤波器集合的个数;
(5.8)设定阈值σ=0.65,若β≥σ,则判定匀质区域C与匀质区域D是结构相似的,分为同一类;否则,判定匀质区域C与匀质区域D是结构相异的,不能分为同一类。
步骤6对结构区域进行分割。
(6.1)采用分水岭算法,将结构区域分割成超像素;
(6.2)在合成孔径雷达SAR图像的素描图中,将平行且距离小于7个像素的两条素描线确定为第一类线目标素描线,将第一类线目标素描线之间的超像素进行合并,作为第一类线目标;
(6.3)在合成孔径雷达SAR图像的初始素描图中,将素描线两边属于同一区域的素描线确定为第二类线目标素描线,将第二类线目标素描线两边各扩一个像素作为第二类线目标,将其它素描线作为刻画边界的素描线;
(6.4)对除了线目标和边界所覆盖的超像素以外的各个超像素,将与其相邻且灰度均值之差小于25的超像素进行合并,直到不存在相邻且灰度均值之差小于25的两个超像素为止;
(6.5)将(6.4)中合并后的各个超像素,分别合并到与该超像素灰度值均值之差最小且小于25的匀质区域中,得到对结构区域分割后的结果。
步骤7得到分割后的合成孔径雷达SAR图像。
对步骤4得到的聚集区域,步骤5得到的匀质区域,以及步骤6得到的结构区域进行合并,最终得到分割后的合成孔径雷达SAR图像。
下面结合仿真图对本发明的效果做进一步的描述。
1.仿真条件:
本发明仿真的硬件条件为:window7,CPU Core(TM)i5-3470,基本频率为3.2GHZ;软件平台为:MatlabR2014a;本发明仿真所使用的合成孔径雷达SAR图像为:Ku波段分辨率为1米的Piperiver图。
2.仿真内容:
用本发明方法对Piperiver图进行分割,该Piperiver图是来源于Ku波段分辨率为1米的合成孔径雷达SAR图像,其实验步骤如下:
首先,对图3(a)所示的Piperiver图进行区域提取,得到区域图,如图3(b)所示;
接着,对图3(b)所示的区域图中的聚集区域做分割,结果如图3(c)所示,其中相同颜色的区域表示同一种地物,不同颜色的区域表示不同的地物;
然后,对图3(b)所示的区域图中的匀质区域做分割,结果如图3(d)所示,其中颜色相同的区域表示同一种地物,颜色不同的区域表示不同的地物。
最后,对图3(b)所示的区域图中的结构区域做分割,并将结构区域分割结果合并到匀质区域的分割结果中,得到如图3(e)所示的最终的合成孔径雷达SAR图像分割结果图,其中颜色相同的区域表示同一种地物,颜色不同的区域表示不同的地物。
3.仿真效果分析:
通过上述图3(e)所示的Piperiver图的分割结果可以看到,使用本发明方法对合成孔径雷达SAR图像进行分割可以提高分割的精度,分割结果中的区域一致性更好。
Claims (8)
1.基于反卷积网络和自适应推理网络的SAR图像分割方法,包括如下步骤:
(1)对输入的合成孔径雷达SAR图像素描化,得到合成孔径雷达SAR图像的素描图;
(2)补全素描图中的素描线段得到补全的区域图,并根据补全区域图将合成孔径雷达SAR图像映射为聚集区域、匀质区域和结构区域;
(3)对聚集区域和匀质区域分别训练反卷积网络DNN:
(3a)构造一个5层反卷积网络DNN;
(3b)对已构造的5层反卷积网络DNN中的4个反卷积层的滤波器组进行随机初始化;
(3c)对空间上不连通的各个聚集区域和空间上不连通的各个匀质区域,分别训练一个5层反卷积网络DNN,得到反卷积网络中最后一层结构特征滤波器;
(4)采用如下自适应推理网络对聚集区域中互不连通区域间的结构特征进行相似性比较推理,得到聚集区域分割结果:
(4a)用空间上不连通的各个聚集区域训练反卷积网络所得最后一层的结构特征滤波器组表示空间上不连通的各个聚集区域;
(4b)任取一个聚集区域设为A,任取一个与聚集区域A不同的聚集区域设为B,将表示聚集区域A的结构特征滤波器输入到自适应共振网络进行训练,得到n类,将训练完成后的自适应共振网络加上区域统计相似性计算模块和规则推理模块,形成聚集区域B的自适应推理网络;
(4c)由区域统计相似性计算模块和规则推理模块判定聚集区域A与聚集区域B是否相似:如果相似,则分为同一类;否则,不能分为同一类;
(5)采用如下自适应推理网络对匀质区域中互不连通区域间的结构特征进行相似性比较推理,得到匀质区域分割结果:
(5a)用空间上不连通的各个匀质区域训练反卷积网络所得最后一层的结构特征滤波器组表示空间上不连通的各个匀质区域;
(5b)任取一个匀质区域设为C,任取一个与匀质区域C不同的匀质区域设为D,将表示匀质区域C的结构特征滤波器输入到自适应共振网络进行训练,得到k类,将训练完成后的自适应共振网络加上区域统计相似性计算模块和规则推理模块,形成匀质区域D的自适应推理网络;
(5c)由区域统计相似性计算模块和规则推理模块判定匀质区域C与匀质区域D是否相似:如果相似,则分为同一类;否则,不能分为同一类;
(6)对结构区进行分割,得到结构区域的分割结果;
(7)对步骤(4)得到的聚集区域,步骤(5)得到的匀质区域,以及步骤(6)得到的结构区域进行合并,最终得到完整分割后的合成孔径雷达SAR图像。
2.根据权利要求1所述的方法,其特征在于:步骤(1)中的素描化,步骤如下:
(1a)构造具有不同方向和尺度的边、线模板,并利用模板的方向和尺度信息构造各向异性高斯函数来计算该模板中每一点的加权系数,其中尺度个数取值为3~5,方向个数取值为18;
(1b)按照下式,计算模板不同区域对应在合成孔径雷达SAR图像中像素的均值和方差:
其中,μ表示区域Ω对应在合成孔径雷达SAR图像中像素的均值,Ω表示模板中的一个区域,g表示区域Ω中一个像素点的位置,∈表示属于符号,Σ表示求和操作,wg表示区域Ω中位置g处的权重系数,wg的取值范围为wg∈[0,1],Ag表示区域Ω中位置g对应在合成孔径雷达SAR图像中的像素值,ν表示区域Ω与合成孔径雷达SAR图像中对应像素的方差;
(1c)按照下式,计算合成孔径雷达SAR图像中每个像素对比值算子的响应值:
其中,R表示合成孔径雷达SAR图像中每个像素对比值算子的响应值,min{·}表示求最小值操作,a和b分别表示模板中任意两个不同区域的编号,μa和μb分别表示区域a和区域b与合成孔径雷达SAR图像中对应像素的均值;
(1d)按照下式,计算合成孔径雷达SAR图像中每个像素对相关性算子的响应值:
其中,C表示合成孔径雷达SAR图像中每个像素对相关性算子的响应值,νa和νb分别表示区域a和区域b对应在合成孔径雷达SAR图像中像素的方差,μa和μb分别表示区域a和区域b与合成孔径雷达SAR图像中对应像素的均值,表示平方根操作;
(1e)按照下式,融合合成孔径雷达SAR图像中像素对比值算子的响应值和合成孔径雷达SAR图像中像素对相关性算子的响应值,计算合成孔径雷达SAR图像中每个像素对各个模板的响应值:
其中,F表示合成孔径雷达SAR图像中每个像素对各个模板的响应值;
(1f)选择具有最大响应值的模板作为合成孔径雷达SAR图像中像素的模板,并将最大响应值作为该像素的强度,将具有最大响应值的模板的方向作为该像素的方向,获得合成孔径雷达SAR图像的边线响应图和方向图;
(1g)利用合成孔径雷达SAR图像中每个像素所选择的模板,获得合成孔径雷达SAR图像的梯度图;
(1h)按照下式,将归一化到[0,1]的边线响应图与归一化到[0,1]的梯度图进行融合,得到强度图:
其中,I表示强度图中的强度值,x表示边线响应图中的值,y表示梯度图中的值;
(1i)采用非极大值抑制方法,对强度图进行检测,得到建议草图;
(1j)选取建议草图中具有最大强度的像素,将建议草图中与该最大强度的像素连通的像素连接形成建议线段,得到建议素描图;
(1k)按照下式,计算建议素描图中素描线的编码长度增益CLG:
其中,CLG表示建议素描图中素描线的编码长度增益,Σ表示求和操作,m表示当前素描线邻域中像素的个数,t表示当前素描线邻域中像素的编号,At表示当前素描线邻域中第t个像素的观测值,At,0表示在当前素描线不能表示结构信息的假设下,该素描线邻域中第t个像素的估计值,ln(·)表示以e为底的对数操作,At,1表示在当前素描线能够表示结构信息的假设下,该素描线邻域中第t个像素的估计值;
(1l)设定阈值T,T的取值范围为5~50,选择CLG>T的建议素描线作为最终素描图中的素描线,获得输入合成孔径雷达SAR图像对应的素描图。
3.根据权利要求1所述的方法,其特征在于:步骤(2)中补全素描图中的素描线段得到补全的区域图,并根据补全区域图将合成孔径雷达SAR图像映射为聚集区域、匀质区域和结构区域,步骤如下:
(2a)按照合成孔径雷达SAR图像的素描图中素描线段的聚集度,将素描线划分为表示聚集地物的聚集素描线和表示边界、线目标以及孤立目标的素描线;
(2b)根据素描线段聚集度的直方图统计,选取聚集度等于最优聚集度的素描线段作为种子线段集{Er,r=1,2,...,m},其中Er表示种子线段集中的任一条素描线段,r为种子线段集中任一条素描线段的标号,m为线段的总条数,{·}表示集合操作;
(2c)如果种子线段集{Er,r=1,2,...,m}中的素描线段Er没有被添加进某个线段集合,则以素描线段Er为基点递归的求解新的线段集合;
(2d)使用半径为最优聚集度区间上界的圆形基元,先对线段集合中的线段进行膨胀,对膨胀后的线段集合由外向内进行腐蚀,得到补全的区域图中的聚集区域;
(2e)计算表示边界、线目标以及孤立目标的素描线中每一根素描线的长度,按照长度由长到短对这些素描线进行排序,得到排序后的素描线集合;
(2f)将计数器的初始值设置为1,将计数器α的阈值E的值设置为21;
(2g)判断计数器是否小于阈值,如果是,则执行步骤(2h),否则,执行步骤(2m);
(2h)在排序后的第α根素描线上选择3个种子点,用这3个种子点将素描线分为4等分线段,如果某个种子点恰好是素描线的端点,则将该种子点移动到所在素描线段的中点处;
(2i)在第α根素描线两侧,以第α根素描线上的每一个种子点为起点,沿着与素描线之间的夹角为1~180度的180个方向向外延伸,对延伸时所遇到表示边界、线目标以及孤立目标的素描线,聚集区域的边界,其它素描线补全得到的封闭区域的边界三种情况中的任意一种,停止延伸,得到以种子点为起点的射线,每个种子点在第α根素描线两侧各产生180条射线,按照射线与素描线夹角的大小对产生的这些射线排序;
(2j)计算所有射线的长度,用第一条射线生成第一个射线簇,对于剩余的179条射线,判断其中每一条射线的长度与其相邻的前一条射线的长度之比是否在1.25~1.5之间,若是则将该射线加入其前一条射线所在的射线簇,否则,用该射线生成一个新的射线簇;
(2k)对包含射线数目小于5的射线簇以及长度突变的射线进行修正;
(2l)连接当前素描线的端点和与其在空间位置上最近邻的射线终点,得到种子点的射线封闭圈;
(2m)合并3个种子点的射线封闭圈,得到素描线的射线封闭圈,并利用该射线封闭圈得到补全的素描线,得到当前补全的区域图中的封闭区域,将计数器α的值增加1,执行步骤(2g);
(2n)对表示边界、线目标以及孤立目标的素描线以及其补全的素描线,以每个素描线的每个素描点为中心构造大小为5×5的几何结构窗获得补全的区域图中的结构区域;
(2o)将补全的区域图中除去聚集区域和结构区域以外的部分标记为补全区域图中的不可素描区域;
(2p)将补全的区域图中的聚集区域、结构区域和不可素描区域对应到合成孔径雷达SAR图像上,得到合成孔径雷达SAR图像的聚集区域、结构区域和匀质区域。
4.根据权利要求1所述的方法,其特征在于:步骤(3a)中构造一个5层反卷积网络,步骤如下:
(3a1)将反卷积网络的第1层设置为输入层;
(3a2)将反卷积网络的第2层设置为反卷积层,该第2层反卷积层包含9个7×7大小的滤波器以及9个37×37大小的特征图,用9个7×7大小的滤波器组成第一个滤波器组;
(3a3)将反卷积网络的第3层设置为反卷积层,该第3层反卷积层包含45个7×7大小的滤波器以及45个43×43大小的特征图,用45个7×7大小的滤波器组成第二个滤波器组;
(3a4)将反卷积网络的第4层设置为反卷积层,该第4层反卷积层包含100个7×7大小的滤波器以及100个49×49大小的特征图,用100个7×7大小的滤波器组成第三个滤波器组;
(3a5)将反卷积网络的第5层设置为反卷积层,该第4层反卷积层包含300个7×7大小的滤波器以及300个55×55大小的特征图,用300个7×7大小的滤波器组成第四个滤波器组。
5.根据权利要求1所述的方法,其特征在于:步骤(3c)中训练一个5层反卷积网络DNN,步骤如下:
(3c1)分别对聚集区域和匀质区域进行密集滑窗采样,采样窗口大小分别为31×31像素和17×17像素,得到聚集区域和匀质区域采样的样本;
(3c2)分别将聚集区域和匀质区域的采样样本,输入到5层反卷积网络DNN中;
(3c3)固定反卷积网络中特征图和滤波器组的值,通过解决一个一维最优化问题,得到反卷积网络中辅助变量的最优值;
(3c4)固定反卷积网络中辅助变量和滤波器组的值,通过解决一个线性系统最优化问题,得到反卷积网络中特征图的最优值;
(3c5)固定反卷积网络中特征图和辅助变量的值,通过使用梯度下降法,得到反卷积网络中滤波器。
6.根据权利要求1所述的基于反卷积网络和自适应推理网络的SAR图像分割方法,步骤(4b)~(4c)计算空间上不连通的聚集区域A和聚集区域B的结构特征相似性测度,其步骤如下:
(4b1)任取一个聚集区域设为A,任取一个与聚集区域A不同的聚集区域设为B;
(4b2)将表示聚集区域A的反卷积网络最后一层的滤波器组,设为包含300个滤波器的滤波器组;将表示聚集区域B的反卷积网络最后一层的滤波器组,设为包含300个滤波器的滤波器组;
(4b3)将步骤(4b2)中得到的聚集区域A的滤波器组输入到自适应共振网络中进行训练,得到n类,将自适应推理网络中的自适应共振网络设置为聚集区域A的已经训练完成的自适应共振网络;
(4b4)将步骤(4b2)中得到的聚集区域B的滤波器组输入到自适应推理网络中进行训练,得到m类;
(4b5)比较n与m的数值:若m>n,则计算聚集区域B中分在n类的滤波器占整个滤波器个数的比例若m<n,则计算聚集区域B中分在n-m类的滤波器占整个滤波器个数的比例
(4b6)根据和的值判断聚集区域A和聚集区域B的相似性:若或者则判定聚集区域A和聚集区域B是结构相异的,不能分为同一类;否则,进入步骤(4b7);
(4b7)计算两个聚集区域频数统计直方图的巴氏距离α:
其中xi表示聚集区域A的第i类滤波器集合的个数,yi表示聚集区域B的第i类滤波器集合的个数;
(4b8)设定阈值τ=0.70,若α≥τ,则判定聚集区域A与聚集区域B是结构相似的,分为同一类;否则,判定聚集区域A与聚集区域B是结构相异的,不能分为同一类。
7.根据权利要求1所述的基于反卷积网络和自适应推理网络的SAR图像分割方法,步骤(5b)计算空间上不连通的匀质区域C和匀质区域D的结构特征相似性测度,其步骤如下:
(5b1)任取一个匀质区域设为C,任取一个与匀质区域C不同的匀质区域设为D;
(5b2)将表示匀质区域C的反卷积网络最后一层的滤波器组,设为包含300个滤波器的滤波器组;将表示匀质区域D的反卷积网络最后一层的滤波器组,设为包含300个滤波器的滤波器组;
(5b3)将步骤(5b2)中得到的匀质区域C的滤波器组输入到自适应共振网络中进行训练,得到k类,将自适应推理网络中的自适应共振网络设置为匀质区域C的已经训练完成的自适应共振网络;
(5b4)将步骤(5b2)中得到的匀质区域D的滤波器组输入到自适应推理网络中进行训练,得到p类;
(5b5)比较k与p的数值:若p>k,计算匀质区域D中分在k类的滤波器占整个滤波器个数的比例若p<k,计算匀质区域D中分在k-p类的滤波器占整个滤波器个数的比例
(5b6)根据和的值判断匀质区域C和匀质区域D的相似性:若或者则判定匀质区域C和匀质区域D是结构相异的,不能分为同一类;否则,进入步骤(5b7);
(5b7)计算两个匀质区域频数统计直方图的巴氏距离β:
其中xi表示匀质区域C的第i类滤波器集合的个数,yi表示匀质区域D的第i类滤波器集合的个数;
(5b8)设定阈值σ=0.65,若β≥σ,则判定匀质区域C与匀质区域D是结构相似的,分为同一类;否则,判定匀质区域C与匀质区域D是结构相异的,不能分为同一类。
8.根据权利要求1所述的基于反卷积网络和自适应推理网络的SAR图像分割方法,其特征在于:步骤(6)中对结构区域进行分割,步骤如下:
(7a)采用分水岭算法,将结构区域分割成超像素;
(7b)在合成孔径雷达SAR图像的素描图中,将平行且距离小于7个像素的两条素描线确定为第一类线目标素描线,将第一类线目标素描线之间的超像素进行合并,作为第一类线目标;
(7c)在合成孔径雷达SAR图像的初始素描图中,将素描线两边属于同一区域的素描线确定为第二类线目标素描线,将第二类线目标素描线两边各扩一个像素作为第二类线目标,将其它素描线作为刻画边界的素描线;
(7d)对除了线目标和边界所覆盖的超像素以外的各个超像素,将与其相邻且灰度均值之差小于25的超像素进行合并,直到不存在相邻且灰度均值之差小于25的两个超像素为止;
(7e)将(7d)中合并后的各个超像素,分别合并到与该超像素灰度值均值之差最小且小于25的结构区域中,得到对结构区域分割后的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510817299.4A CN105427313B (zh) | 2015-11-23 | 2015-11-23 | 基于反卷积网络和自适应推理网络的sar图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510817299.4A CN105427313B (zh) | 2015-11-23 | 2015-11-23 | 基于反卷积网络和自适应推理网络的sar图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105427313A CN105427313A (zh) | 2016-03-23 |
CN105427313B true CN105427313B (zh) | 2018-03-06 |
Family
ID=55505493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510817299.4A Active CN105427313B (zh) | 2015-11-23 | 2015-11-23 | 基于反卷积网络和自适应推理网络的sar图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105427313B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018076212A1 (zh) * | 2016-10-26 | 2018-05-03 | 中国科学院自动化研究所 | 基于反卷积神经网络的场景语义分割方法 |
CN106611421B (zh) * | 2016-12-30 | 2019-06-21 | 西安电子科技大学 | 基于特征学习和素描线段约束的sar图像分割方法 |
CN106611422B (zh) * | 2016-12-30 | 2019-06-21 | 西安电子科技大学 | 基于素描结构的随机梯度贝叶斯sar图像分割方法 |
CN106846322B (zh) * | 2016-12-30 | 2019-06-21 | 西安电子科技大学 | 基于曲线波滤波器和卷积结构学习的sar图像分割方法 |
CN106611420B (zh) * | 2016-12-30 | 2019-06-18 | 西安电子科技大学 | 基于反卷积网络和素描图方向约束的sar图像分割方法 |
CN107292268A (zh) * | 2017-06-23 | 2017-10-24 | 西安电子科技大学 | 快速脊波反卷积结构学习模型的sar图像语义分割方法 |
CN110751652B (zh) * | 2019-10-22 | 2021-11-30 | 西安电子科技大学 | 基于巴氏距离和纹理模式度量的sar图像分割方法 |
CN114862823B (zh) * | 2022-05-26 | 2024-02-13 | 同心医联科技(北京)有限公司 | 区域分割方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955913A (zh) * | 2014-02-18 | 2014-07-30 | 西安电子科技大学 | 一种基于线段共生矩阵特征和区域图的sar图像分割方法 |
CN104408731A (zh) * | 2014-12-09 | 2015-03-11 | 西安电子科技大学 | 基于区域图和统计相似性编码的sar图像分割方法 |
-
2015
- 2015-11-23 CN CN201510817299.4A patent/CN105427313B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955913A (zh) * | 2014-02-18 | 2014-07-30 | 西安电子科技大学 | 一种基于线段共生矩阵特征和区域图的sar图像分割方法 |
CN104408731A (zh) * | 2014-12-09 | 2015-03-11 | 西安电子科技大学 | 基于区域图和统计相似性编码的sar图像分割方法 |
Non-Patent Citations (2)
Title |
---|
Local Maximal Homogeneous Region Search for SAR Speckle Reduction With Sketch-Based Geometrical Kernel Function;Jie Wu等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20140930;第52卷(第9期);第5751-5764页 * |
Segmentation of SAR Images;JONG-SEN LEE;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;19891130;第27卷(第6期);第674-680页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105427313A (zh) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105427313B (zh) | 基于反卷积网络和自适应推理网络的sar图像分割方法 | |
CN105374033B (zh) | 基于脊波反卷积网络和稀疏分类的sar图像分割方法 | |
CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
CN105608692B (zh) | 基于反卷积网络和稀疏分类的极化sar图像分割方法 | |
CN104915636B (zh) | 基于多级框架显著性特征的遥感影像道路识别方法 | |
CN105869178B (zh) | 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法 | |
CN104778481B (zh) | 一种大规模人脸模式分析样本库的构建方法和装置 | |
CN110188611A (zh) | 一种引入视觉注意力机制的行人重识别方法及系统 | |
CN108830870A (zh) | 基于多尺度结构学习的卫星影像高精度农田边界提取方法 | |
CN106846322B (zh) | 基于曲线波滤波器和卷积结构学习的sar图像分割方法 | |
CN106682108A (zh) | 一种基于多模态卷积神经网络的视频检索方法 | |
CN107392130A (zh) | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 | |
CN106683102B (zh) | 基于脊波滤波器和卷积结构学习模型的sar图像分割方法 | |
CN107341813B (zh) | 基于结构学习和素描特性推理网络的sar图像分割方法 | |
Su | Scale-variable region-merging for high resolution remote sensing image segmentation | |
Zhang et al. | Semantic classification of high-resolution remote-sensing images based on mid-level features | |
CN106611423B (zh) | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 | |
CN106548160A (zh) | 一种人脸微笑检测方法 | |
CN107066972B (zh) | 基于多通道极值区域的自然场景文本检测方法 | |
CN106611421A (zh) | 基于特征学习和素描线段约束的sar图像分割方法 | |
CN109948593A (zh) | 基于结合全局密度特征的mcnn人群计数方法 | |
CN105335975B (zh) | 基于低秩分解和直方图统计的极化sar图像分割方法 | |
CN107403434A (zh) | 基于两阶段聚类的sar图像语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |