CN110210574B - 合成孔径雷达图像解译方法、目标识别装置及设备 - Google Patents
合成孔径雷达图像解译方法、目标识别装置及设备 Download PDFInfo
- Publication number
- CN110210574B CN110210574B CN201910510470.5A CN201910510470A CN110210574B CN 110210574 B CN110210574 B CN 110210574B CN 201910510470 A CN201910510470 A CN 201910510470A CN 110210574 B CN110210574 B CN 110210574B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- full
- feature
- synthetic aperture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 87
- 230000003287 optical effect Effects 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004927 fusion Effects 0.000 description 9
- 230000000670 limiting effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域,具体涉及一种合成孔径雷达图像解译方法、目标识别装置及设备,旨在解决合成孔径雷达图像解译性能不高的问题,本发明方法包括利用合成孔径雷达训练图像和光学训练图像来获取合成孔径雷达图像的解译模型;以及基于所述解译模型进行图像解译或目标识别。本发明提高了SAR图像解译性能。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种合成孔径雷达图像解译方法、目标识别装置及设备。
背景技术
合成孔径雷达图像(即,SAR图像)能够反映目标的散射特性,可以全天时、全天候对地实施观测并具有一定的地表穿透能力,这些特性使得SAR图像在目标识别方面具有独特的优势。然而,合成孔径雷达图像解译困难,限制了SAR图像的广泛应用。
发明内容
为了解决上述技术问题,即为了解决合成孔径雷达图像解译性能不高的问题,本发明的第一方面,提出了一种合成孔径雷达图像解译方法,该方法包括:利用合成孔径雷达训练图像和光学训练图像来获取合成孔径雷达图像的解译模型;以及基于所述解译模型进行图像解译或目标识别。
在一些实施例中,“利用合成孔径雷达训练图像和光学训练图像来获取合成孔径雷达图像的解译模型”,其方法为:采用自动聚类对合成孔径雷达训练图像集中的图像进行处理获取地物类型特性,以得到类别图像;根据所述类别图像和光学训练图像集中的图像生成真实全特征图像,其中,所述光学训练图像集与所述合成孔径雷达图像训练集相对应;以及至少基于所述真实全特征图像和所述合成孔径雷达训练图像学习得到解译模型。
在一些实施例中,在“基于所述解译模型进行图像解译或目标识别”之后还包括:接收输入的待解释的合成孔径雷达图像;以及根据所述解译模型生成全特征图像。
在一些实施例中,所述全特征图像包含细节特征以及散射特征差异。
在一些实施例中,“采用自动聚类对合成孔径雷达训练图像集中的图像进行处理获取地物类型特性”,其方法为:生成与合成孔径雷达训练图像对应的对数图像;以及对所述对数图像进行自动聚类提取所述地物类型特性,以得到每个所述对数图像的类别图像。
在一些实施例中,基于可用性消息和责任感消息对所述合成孔径雷达训练图像集中的图像进行自动聚类。
在一些实施例中,所述解译模型包括生成模型和判别模型。
本公开实施例还提供一种目标识别装置,包括:聚类处理模块,被配置为采用自动聚类对合成孔径雷达训练图像集中的图像进行处理获取地物类型特性,以得到类别图像;真实全特征图像获取模块,被配置为根据所述类别图像和光学训练图像集中的图像生成真实全特征图像,其中,所述光学训练图像集与所述合成孔径雷达图像训练集相对应;以及解译模型获取模块,至少基于所述真实全特征图像和所述合成孔径雷达训练图像学习得到解译模型。
在一些实施例中,所述的目标识别装置还包括输入单元,该单元至少被配置为接收输入的待识别图像。
本公开实施例还提供一种目标识别设备,该设备包括存储器和处理器,所述存储器用于存储程序,并通过所述处理器执行所述程序以实现上述合成孔径雷达图像解译方法。
本发明有益效果:
本发明在图像融合的基础上对SAR图像进行解译,在特征解译的同时提高了信息含量;
本发明基于目标识别和专家判读对图像解译的共同要求,在提高目标识别性能的同时提高了视觉解译效果;
本发明极大地提高了SAR图像解译性能,可广泛应用于SAR图像解译、目标识别、场景分类等系统中。
附图说明
图1是本发明实施例提供法合成孔径雷达图像解译方法的流程示意图一;
图2是本发明实施例提供的合成孔径雷达图像解译方法的流程示意图二;
图3是本发明实施例提供的合成孔径雷达图像解译方法的流程示意图三;
图4是本发明实施例提供的目标识别装置的组成框图;
图5是本发明实施例提供的目标识别设备的组成示意图。
具体实施方式
下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述参考在附图中示出并在以下描述中详述的非限制性示例实施例,更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是,图中示出的特征不是必须按照比例绘制。本公开省略了已知组件和技术的描述,从而不使本公开的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施,以及进一步使本领域技术人员能够实施示例实施例。因而,这些示例不应被理解为对本公开的实施例的范围的限制。
除非另外特别定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的特征的图像。
合成孔径雷达图像(即,SAR图像)和光学图像具有很强的互补性,合成孔径雷达图像和光学图像的特征融合对于提高目标识别性能和SAR图像自动解译能力具有重要作用。因此,基于SAR图像和光学图像融合的SAR图像自动解译具有重要的应用价值。
在实际应用尤其是灾害监测等领域,往往只有SAR图像而缺失光学图像。在这种背景下,需要直接从SAR图像到特征融合图像,既增加几何细节又提高目标识别性能。
如图1所示,本发明提供的合成孔径雷达成像解译方法10可以包括:步骤11,利用合成孔径雷达训练图像和光学训练图像来获取合成孔径雷达图像的解译模型;以及步骤12基于所述解译模型进行图像解译或目标识别。
本发明综合利用合成孔径雷达训练成像(SAR图像)和光学训练图像来获取SAR图像的解译模型,采用该解译模型可以达到仅利用SAR图像就可以生成能直观解译、包含细节特征并反映类别差异性的全特征图像。本发明可以广泛应用于SAR图像解译和目标识别中。
在一些实施例中,步骤11可以包括如图2所示的合成孔径雷达图像解译方法100。该解译方法100可以包括:步骤101,采用自动聚类对合成孔径雷达训练图像集中的图像进行处理获取地物类型特性,以得到类别图像;步骤102,根据所述类别图像和光学训练图像集中的图像生成真实全特征图像,其中,所述光学训练图像集与所述合成孔径雷达图像训练集相对应;以及步骤103,至少基于所述真实全特征图像和所述合成孔径雷达训练图像学习得到解译模型。
本发明的目的是针对SAR图像解译的难点和实际应用的需求,提供一种有效的SAR图像解译方法。本发明所述方法对于解译SAR图像、理解和解决目标识别的难点具有重要的意义,其主要优点如下:
本发明考虑了SAR图像的优点和缺陷,在图像融合的基础上对SAR图像进行解译,在特征解译的同时提高了信息含量。本发明充分考虑了目标识别和专家判读对图像解译的共同要求,在提高目标识别性能的同时提高了视觉解译效果。得益于上述优点,本发明极大地提高了SAR图像解译性能,可广泛应用于SAR图像解译、目标识别、场景分类等系统中。
可选的,如图2所示在一些实施例中,合成孔径雷达图像解译方法还包括:步骤104接收输入的待解释的合成孔径雷达图像;以及步骤105根据所述解译模型解译所述合成孔径雷达图像。在一些实施例中,所述全特征图像包含细节特征以及散射特征差异。
在一些实施例中,所述采用自动聚类对合成孔径雷达训练图像集中的图像进行处理获取地物类型特性的步骤包括:生成与合成孔径雷达训练图像对应的对数图像;以及对所述对数图像进行自动聚类提取所述地物类型特性,以得到每个所述对数图像的类别图像。
在一些实施例中,基于可用性消息和责任感消息对所述合成孔径雷达训练图像集中的图像进行自动聚类处理。
在一些实施例中,基于多个约束条件来获得所述解译模型,其中,所述多个约束包括别一致性约束、易解译性约束和边缘一致性约束。
下面结合图3详细示例性说明本公开实施例提供的解译方法。应指出的是,所描述的实施方式仅旨在便于对本发明的理解,而对其不起任何限定作用。
在一些实施例中,所述解译模型包括生成模型和判别模型。综上所述,如图2所示,本发明实施例提供一种合成孔径雷达图像解译方法包括:步骤S1:采用自动聚类对合成孔径雷达训练图像集中的图像进行处理以获取地物类型特性。步骤S2:由合成孔径雷达训练图像(下文简称SAR图像)和光学图像生成真实全特征融合图像。步骤S3:学习训练图像得到全特征融合图像的解译模型。步骤S4:输入待识别的SAR图像,并根据地物类型特性和得到的解译模型生成全特征融合图像。
下面通过对个步骤的详细展开对本发明一种实施例的合成孔径雷达图像解译方法进行说明。
步骤S1对SAR训练图像集中的图像进行自动聚类获取地物类型特性,其中采用自动聚类获取地物类型特性具体过程可以包括如下子步骤:
步骤S11生成与合成孔径雷达训练图像对应的对数图像。令Xk表示SAR图像训练集中第k幅训练图像,其中,k=1,L,N,N为SAR图像训练集中的训练图像的总个数。为了减少斑点噪声,对第k幅训练图像Xk进行预处理生成对数图像,即Ik=log2(Xk),log2(Xk)表示对第k幅训练图像Xk每一个像素值取对数操作后得到的对数图像Ik。
步骤S12对得到的对数图像进行自动聚类以提取地物类型特性,得到聚类中心及对数向量中每个像素的类别。
为提取SAR图像地物类型减少解译不确定性,本公开实施例在对数图像Ik上进行自动聚类。为保持不同对数图像聚类类标一致,将所有对数图像Ik的像素值依此按照“先行后列”的顺序组成对数向量A,并计算其中Ai和Ak表示对数向量A第i个像素和第k个像素的灰度值。自动聚类就是将灰度值的相似性作为相似性度量、对对数向量A中各像素值进行聚类,在初始化时把所有的像素看成潜在的聚类中心点,然后通过迭代传播责任感消息和可用性消息寻找每个类别的聚类中心并确定每个像素的分组类别。责任感消息r(i,k)表示第k个像素适合作为第i个像素的聚类中心的程度。可用性消息a(i,k)表示第i个像素选择第k个像素作为其聚类中心的可能性。自动聚类的具体过程如下:
S121设置可用消息的初始状态:a(i,k)=0;
S122根据可用性消息更新所有的责任感消息,即
S123根据责任感消息,更新所有的可用性消息,即
a(k,k)=∑j,j≠kmax[0,r(j,k)]
S124结合可用性消息和责任感消息来确定聚类中心。对于第i个像素,若使得可用性消息与责任感消息的和取最大时(即若“a(i,k)+r(i,k)”取最大值时)的参数k等于参数i,则说明像素i本身是聚类中心;若使得可用性消息与责任感消息的和取最大时的参数k与参数i不相等,则说明像素i是附属点,其聚类中心为像素k。
S125若达到设定的最大迭代次数T或数据点中的消息变化量小于给定的阈值τ,则算法结束;否则,转到第S122步。
在一些示例中,自动聚类的迭代次数取值为100(即T=100),设定的阈值为:τ=10。
S13自动聚类算法迭代结束时,可以得到聚类中心cl(l=1,L,L)及对数向量A中每个像素的类别,并最终获得N个类别图像。其中参数L为类别的总个数。将对数向量A依次按照“先行后列”的顺序恢复成与对数图像Ik对应的N个类别图像。为方便,将每个对数图像的类别图像记为Bk。
步骤2根据SAR图像训练集中的图像和光学训练图像生成真实全特征图像。全特征图像生成是利用对数SAR图像训练集合和已配准的、对应的光学图像训练集合生成完备特征的图像。设合成孔径雷达图像(即SAR图像)的对数图像Ik对应的光学图像为Vk,真实全特征图像生成的目标是根据地物类型特性训练全特征图像生成模型G,生成的真实全特征图像记为Qk=G(Ik,Vk,Bk)。生成模型G的作用是融合可见光图像的细节特征和SAR图像的散射特征,使得融合后的图像在视觉上能看到可见光图像的细节,同时又保持目标关于散射特征的差异。为了使得生成模型G达到上述要求,需要用判别式模型D对生成的全特征图像Qk施加类别一致性约束、易解译性约束和边缘一致性约束。类别一致性约束是指在生成的真实全特征图像上的地物类型分类结果与在合成孔径雷达图像(即SAR图像)的对数图像Ik上得到的类别一致,易解译性约束是指生成的真实全特征图像在颜色方面的视觉效果接近可见光图像,边缘一致性约束是指生成的真实全特征图像在边缘位置与可见光图像一致。本实施例中,类别一致性约束、易解译性约束和边缘一致性约束分别为:(D(G(Ik,Vk,Bk))-Bk)2、和
其中,||·||2,1表示矩阵的(2,1)范数。
综合上述三个约束,本实施例关于全特征图像生成模型可以表示为:
其中,α为正则化因子,在一些示例中α=0.5。判别式模型D和生成模型G都可以采用深度卷积神经网络。例如,在一些示例中生成模型G采用U-net网络结构。在一些示例中,判别式模型D是一个分类器,这个分类器的最后一层可以为Softmax函数。为了求获取全特征图像,本公开实施例的判别式模型D和生成模型G可以利用梯度下降法交替迭代。
步骤3学习SAR图像得到全特征图像的解译模型。图像解译模型训练的目的是由训练图像生成解译模型,使得在光学图像缺失的情况下仅由SAR图像生成全特征图像。设Qk为根据合成孔径雷达图像(即SAR图像)的对数图像Ik根据上述述步骤2生成的全特征图像,并假设图像解译模型为GI。图像解译模型GI的作用是使得由对数图像Ik生成的全特征图像GI(Ik,Bk)与真实全特征图像Qk一致,为此对解译模型施加类别一致性约束、易解译性约束和边缘一致性约束。类别一致性约束是指在生成的全特征图像上的分类结果与在对数SAR图像上得到的类别一致,易解译性约束是指生成的全特征图像在颜色方面的视觉效果接近可见光图像,边缘一致性约束是指生成的全特征图像在边缘位置与可见光图像一致。本实施例中,类别一致性约束、易解译性约束和边缘一致性约束分别表示为(P(GI(Ik,Bk))-Bk)2、和例如,判别式模型P是一个分类器网络,该分类器网络可以用于对生成的图像进行分类,它的作用是与图像解译模型GI进行协同学习。
综合上述三个约束,本示例关于图像解译模型的目标函数可以表示为:
其中,α为正则化因子,在一些示例中正则化因子α=0.5。在一些示例中,解译模型GI的网络结构可以与所述步骤S2的生成模型G的网络结构相同。在一些示例中,判别式模型P的网络结构与所述步骤S2的判别式模型D一致。判别式模型P和解译模型GI利用梯度下降法交替迭代求解。
需要说明的是,全特征图像生成模型的输入是类别图像Bk和光学图像,输出是模型;解译模型的输入是类别图像Bk和对数图像Ik,输出是全特征图像。
步骤4对输入的SAR测试图像根据地物类型特性和解译模型生成全特征图像。所述图像解译具体过程如下:
步骤41生成SAR测试图像的对数图像并提取地物类型特性。对于待解译的SAR图像T,先按照所述步骤S11获取对数图像R,然后基于所述步骤S13的聚类中心利用k-means算法得到对数图像R中每个像素的类别图像BR;
步骤42生成SAR测试图像的全特征图像。由图像解译模型GI生成与人类视觉相似的可见光风格的全特征图像GI(R,BR)。全特征图像GI(R,BR)目标的散射特征及其差异与SAR图像一致,但其颜色和几何细节与可见光图像一致,方便解译、判读。
综上,本公开实施例提供的解译模型生成的全特征图像包含了SAR图像的地物类型特性和光学图像的细节特征。所述SAR图像训练集的地物类型特性是通过自动聚类获取的,不需要训练样本。所述SAR图像的自动聚类是基于可用性消息和责任感消息,无需人工确定类别数。所述全特征图像是基于SAR图像、地物类型及对应光学图像自动融合生成的,不需要训练数据。所述测试SAR图像解译无需对应光学图像,但生成的全特征图像具有光学图像的视觉特征。所述全特征图像生成模型是基于生成模型和判别模型的对抗训练得到的,全特征图像生成模型旨在使生成的全特征图像保留SAR图像散射特征差异及地物类型,同时增加光学图像的细节和颜色信息。所述解译模型训练是通过类别一致性约束、易解译性约束和边缘一致性约束得到的。
如图4所示,本发明实施例还提供一种识别装置108,包括:聚类处理模块,被配置为采用自动聚类对合成孔径雷达训练图像集中的图像进行处理获取地物类型特性,以得到类别图像;真实全特征图像获取模块,被配置为根据所述类别图像和光学训练图像集中的图像生成真实全特征图像,其中,所述光学训练图像集与所述合成孔径雷达图像训练集相对应;以及解译模型获取模块,至少结合所述真实全特征图像学习所述合成孔径雷达训练图像得到解译模型。
在一些示例中,目标识别装置还包括输入单元,该输入单元至少被配置为接收输入的待识别图像。
如图5所示,本公开实施例还提供一种目标设备400,该设备包括存储器103和处理器102,存储器103用于存储程序,并通过处理器102执行所述程序以实现上述所述合成孔径雷达图像解译方法。
处理器102可以处理数据信号,可以包括各种计算结构,例如复杂指令集计算机(CISC)结构、结构精简指令集计算机(RISC)结构或者一种实行多种指令集组合的结构。
存储器103可以保存处理器102执行的指令和/或数据。这些指令和/或数据可以包括代码,用于实现本公开实施例描述的一个或多个步骤。例如,存储器103包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存(flash memory)、光存储器(opticalmemory),或者3D存储芯片或其他的本领域技术人员熟知的存储器。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的保护范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种合成孔径雷达图像解译方法,其特征在于,包括:
利用合成孔径雷达训练图像和光学训练图像来获取合成孔径雷达图像的解译模型;
基于所述解译模型进行图像解译或目标识别;
“利用合成孔径雷达训练图像和光学训练图像来获取合成孔径雷达图像的解译模型”,包括:
步骤S1,采用自动聚类对合成孔径雷达训练图像集中的图像进行处理获取地物类型特性,以得到类别图像;
其中,自动聚类的过程如下:
将对数图像的像素值按照行列顺序组成对数向量,并计算Ai和Ak表示对数向量A第i个像素和第k个像素的灰度值;所述对数图像表示对SAR图像训练集中训练图像每一个像素值取对数操作后得到的图像;所述SAR图像训练集中的训练图像即合成孔径雷达训练图像;
设置可用消息的初始状态;
根据可用性消息更新所有的责任感消息r(i,k),如下式:
责任感消息r(i,k)表示第k个像素适合作为第i个像素的聚类中心的程度,可用性消息a(i,k)表示第i个像素选择第k个像素作为其聚类中心的可能性;
根据责任感消息,更新所有的可用性消息a(i,k),如下式:
a(k,k)=∑j,j≠kmax[0,r(j,k)]
对于第i个像素,若可用性消息与责任感消息的和最大时,参数k等于参数i,则将像素i作为聚类中心;
判断是否达到设定的最大迭代次数T或数据点中的消息变化量小于给定的阈值τ,若是,则结束循环,获取聚类中心及对数向量中每个像素的类别;否则,循环跳转至责任感消息更新;
将对数向量依次按照先行后列的顺序恢复成与对数图像对应的类别图像;
步骤S2,通过第一生成模型将所述类别图像和光学训练图像集中的图像进行融合,将融合后的图像作为真实全特征图像,其中,所述光学训练图像集与所述合成孔径雷达图像训练集相对应;所述第一生成模型为全特征图像生成模型,基于U-net网络构建;
其中,所述真实全特征图像,其获取方法为:
Qk=G(Ik,Vk,Bk)
其中,Ik表示合成孔径雷达图像的对数图像,Bk表示合成孔径雷达图像的对数图像对应的类别图像,Qk表示真实全特征图像,Vk表示对数图像对应的光学图像,G表示全特征图像生成模型;
所述全特征图像生成模型其对应的目标函数为:
其中,D表示第一生成模型G对应的判别式模型,作为第一判别式模型,所述第一判别式模型为softmax分类器,(D(G(Ik,Vk,Bk))-Bk)2表示D对生成的真实全特征图像的类别一致性约束,表示D对生成的真实全特征图像的易解读性约束,表示D对生成的真实全特征图像的边缘一致性约束,||·||2,1表示矩阵的(2,1)范数,α表示正则化因子,N表示合成孔径雷达训练图像集中的训练图像的总个数,k表示合成孔径雷达训练图像集中的第k幅训练图像;
步骤S3,基于所述真实全特征图像和所述合成孔径雷达训练图像学习得到解译模型;所述解译模型包括第二生成模型、第二判别式模型;所述第二生成模型基于U-net网络构建,其与所述第一生成模型结构相同;所述第二判别式模型为softmax分类器,其与所述第一判别式模型结构相同;
其中,所述解译模型其在学习的过程中的目标函数为:
其中,GI(Ik,Bk)表示以对数图像Ik及类别图像Bk为输入、以真实全特征图像Qk为参考、由模型GI生成的图像,作为全特征图像,(P(GI(Ik,Bk))-Bk)2表示对解译模型施加的类别一致性约束,表示对解译模型施加的易解译性约束,表示对解译模型施加的边缘一致性约束,P表示第二判别式模型,GI表示第二生成模型,类别一致性约束是指生成的真实全特征图像或全特征图像上的分类结果与在对数图像上得到的类别一致,易解译性约束是指生成的真实全特征图像或全特征图像在颜色方面的视觉效果接近可见光图像,边缘一致性约束是指生成的真实全特征图像或全特征图像在边缘位置与可见光图像一致;
“基于所述解译模型进行图像解译或目标识别”,其方法为:
获取待解译或目标识别的合成孔径雷达图像,并生成合成孔径雷达图像对应的对数图像;提取所述对数图像中的地物类型特征,得到对数图像中每个像素的类别图像;
结合所述类别图像、对数图像,通过所述解译模型,生成与人类视觉相似的可见光风格的全特征图像,进而对合成孔径雷达图像进行解译或目标识别。
2.如权利要求1所述的合成孔径雷达图像解译方法,其特征在于,在“基于所述解译模型进行图像解译或目标识别”之后还包括:
接收输入的待解释的合成孔径雷达图像;以及
根据所述解译模型生成全特征图像。
3.如权利要求2所述的合成孔径雷达图像解译方法,其特征在于,所述全特征图像包含细节特征以及散射特征差异。
4.一种目标识别装置,其特征在于,包括:
聚类处理模块,被配置为采用自动聚类对合成孔径雷达训练图像集中的图像进行处理获取地物类型特性,以得到类别图像;自动聚类的过程如下:
将对数图像的像素值按照行列顺序组成对数向量,并计算Ai和Ak表示对数向量A第i个像素和第k个像素的灰度值;所述对数图像表示对SAR图像训练集中训练图像每一个像素值取对数操作后得到的图像;所述SAR图像训练集中的训练图像即合成孔径雷达训练图像;
设置可用消息的初始状态;
根据可用性消息更新所有的责任感消息r(i,k),如下式:
责任感消息r(i,k)表示第k个像素适合作为第i个像素的聚类中心的程度,可用性消息a(i,k)表示第i个像素选择第k个像素作为其聚类中心的可能性;
根据责任感消息,更新所有的可用性消息a(i,k),如下式:
a(k,k)=∑j,j≠kmax[0,r(j,k)]
对于第i个像素,若可用性消息与责任感消息的和最大时,参数k等于参数i,则将像素i作为聚类中心;
判断是否达到设定的最大迭代次数T或数据点中的消息变化量小于给定的阈值τ,若是,则结束循环,获取聚类中心及对数向量中每个像素的类别;否则,循环跳转至责任感消息更新;
将对数向量依次按照先行后列的顺序恢复成与对数图像对应的类别图像;
真实全特征图像获取模块,被配置为通过第一生成模型将所述类别图像和光学训练图像集中的图像进行融合,将融合后的图像作为真实全特征图像,其中,所述光学训练图像集与所述合成孔径雷达图像训练集相对应;
所述第一生成模型为全特征图像生成模型,基于U-net网络构建;
其中,所述真实全特征图像,其获取方法为:
Qk=G(Ik,Vk,Bk)
其中,Ik表示合成孔径雷达图像的对数图像,Bk表示合成孔径雷达图像的对数图像对应的类别图像,Qk表示真实全特征图像,Vk表示对数图像对应的光学图像,G表示全特征图像生成模型;
所述全特征图像生成模型其对应的目标函数为:
其中,D表示第一生成模型G对应的判别式模型,作为第一判别式模型,所述第一判别式模型为softmax分类器,(D(G(Ik,Vk,Bk))-Bk)2表示D对生成的真实全特征图像的类别一致性约束,表示D对生成的真实全特征图像的易解读性约束,表示D对生成的真实全特征图像的边缘一致性约束,||·||2,1表示矩阵的(2,1)范数,α表示正则化因子,N表示合成孔径雷达训练图像集中的训练图像的总个数,k表示合成孔径雷达训练图像集中的第k幅训练图像;
解译模型获取模块,至少结合所述真实全特征图像学习所述合成孔径雷达训练图像得到解译模型;所述解译模型包括第二生成模型、第二判别式模型;所述第二生成模型基于U-net网络构建,其与所述第一生成模型结构相同;所述第二判别式模型为softmax分类器,其与所述第一判别式模型结构相同;
其中,所述解译模型其在学习的过程中的目标函数为:
其中,GI(Ik,Bk)表示以对数图像Ik及类别图像Bk为输入、以真实全特征图像Qk为参考、由模型GI生成的图像,作为全特征图像,(P(GI(Ik,Bk))-Bk)2表示对解译模型施加的类别一致性约束,表示对解译模型施加的易解译性约束,表示对解译模型施加的边缘一致性约束,P表示第二判别式模型,GI表示第二生成模型,类别一致性约束是指生成的真实全特征图像或全特征图像上的分类结果与在对数图像上得到的类别一致,易解译性约束是指生成的真实全特征图像或全特征图像在颜色方面的视觉效果接近可见光图像,边缘一致性约束是指生成的真实全特征图像或全特征图像在边缘位置与可见光图像一致;
基于所述解译模型进行图像解译或目标识别,包括:
获取待解译或目标识别的合成孔径雷达图像,并生成合成孔径雷达图像对应的对数图像;提取所述对数图像中的地物类型特征,得到对数图像中每个像素的类别图像;
结合所述类别图像、对数图像,通过所述解译模型,生成与人类视觉相似的可见光风格的全特征图像,进而对合成孔径雷达图像进行解译或目标识别。
5.如权利要求4所述的目标识别装置,其特征在于,该装置还包括输入单元,该单元至少被配置为接收输入的待识别图像。
6.一种目标识别设备,该设备包括存储器和处理器,所述存储器用于存储程序,其特征在于,通过所述处理器执行所述程序以实现上述权利要求1-3任一项所述合成孔径雷达图像解译方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910510470.5A CN110210574B (zh) | 2019-06-13 | 2019-06-13 | 合成孔径雷达图像解译方法、目标识别装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910510470.5A CN110210574B (zh) | 2019-06-13 | 2019-06-13 | 合成孔径雷达图像解译方法、目标识别装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110210574A CN110210574A (zh) | 2019-09-06 |
CN110210574B true CN110210574B (zh) | 2022-02-18 |
Family
ID=67792490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910510470.5A Active CN110210574B (zh) | 2019-06-13 | 2019-06-13 | 合成孔径雷达图像解译方法、目标识别装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110210574B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560972B (zh) * | 2020-12-21 | 2021-10-08 | 北京航空航天大学 | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 |
CN113362287B (zh) * | 2021-05-24 | 2022-02-01 | 江苏星月测绘科技股份有限公司 | 一种人机协同的遥感影像智能解译方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19618155A1 (de) * | 1996-05-07 | 1997-11-13 | Dornier Gmbh | Verfahren zur Detektion und Geschwindigkeitsschätzung von bewegten Objekten in SAR-Bildern |
CN101526995A (zh) * | 2009-01-19 | 2009-09-09 | 西安电子科技大学 | 基于对角子类判决分析的合成孔径雷达目标识别方法 |
CN102540157A (zh) * | 2010-12-08 | 2012-07-04 | 中国科学院电子学研究所 | 一种基于简缩极化合成孔径雷达数据的地物分类方法 |
CN104680180A (zh) * | 2015-03-09 | 2015-06-03 | 西安电子科技大学 | 基于k均值和稀疏自编码的极化sar图像分类方法 |
WO2016205406A1 (en) * | 2015-06-16 | 2016-12-22 | King Abdulaziz City Of Science And Technology | Systems and methods for enhancing synthetic aperture radar imagery |
CN107392140A (zh) * | 2017-07-19 | 2017-11-24 | 苏州闻捷传感技术有限公司 | 基于低秩稀疏分解和增量学习的极化sar地物分类方法 |
CN108564115A (zh) * | 2018-03-30 | 2018-09-21 | 西安电子科技大学 | 基于全卷积gan的半监督极化sar地物分类方法 |
CN108764005A (zh) * | 2018-01-31 | 2018-11-06 | 华侨大学 | 一种高光谱遥感图像地物空间波谱特征提取方法及系统 |
CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
CN109711446A (zh) * | 2018-12-18 | 2019-05-03 | 中国科学院深圳先进技术研究院 | 一种基于多光谱影像和sar影像的地物分类方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9811849B2 (en) * | 2007-09-28 | 2017-11-07 | Great-Circle Technologies, Inc. | Contextual execution of automated workflows |
US10228449B2 (en) * | 2012-03-09 | 2019-03-12 | The United States Of America As Represented By The Secretary Of The Army | Method and system for jointly separating noise from signals |
-
2019
- 2019-06-13 CN CN201910510470.5A patent/CN110210574B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19618155A1 (de) * | 1996-05-07 | 1997-11-13 | Dornier Gmbh | Verfahren zur Detektion und Geschwindigkeitsschätzung von bewegten Objekten in SAR-Bildern |
CN101526995A (zh) * | 2009-01-19 | 2009-09-09 | 西安电子科技大学 | 基于对角子类判决分析的合成孔径雷达目标识别方法 |
CN102540157A (zh) * | 2010-12-08 | 2012-07-04 | 中国科学院电子学研究所 | 一种基于简缩极化合成孔径雷达数据的地物分类方法 |
CN104680180A (zh) * | 2015-03-09 | 2015-06-03 | 西安电子科技大学 | 基于k均值和稀疏自编码的极化sar图像分类方法 |
WO2016205406A1 (en) * | 2015-06-16 | 2016-12-22 | King Abdulaziz City Of Science And Technology | Systems and methods for enhancing synthetic aperture radar imagery |
CN107392140A (zh) * | 2017-07-19 | 2017-11-24 | 苏州闻捷传感技术有限公司 | 基于低秩稀疏分解和增量学习的极化sar地物分类方法 |
CN108764005A (zh) * | 2018-01-31 | 2018-11-06 | 华侨大学 | 一种高光谱遥感图像地物空间波谱特征提取方法及系统 |
CN108564115A (zh) * | 2018-03-30 | 2018-09-21 | 西安电子科技大学 | 基于全卷积gan的半监督极化sar地物分类方法 |
CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
CN109711446A (zh) * | 2018-12-18 | 2019-05-03 | 中国科学院深圳先进技术研究院 | 一种基于多光谱影像和sar影像的地物分类方法及装置 |
Non-Patent Citations (2)
Title |
---|
Model-Based Interpretation of High-Resolution SAR Images of Buildings;Raffaella Guida等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20081031;第107-118页 * |
面向对象高可信SAR数据精确处理;张继贤等;《武汉大学学报(信息科学版)》;20181231;第43卷(第12期);第1819-1827页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110210574A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108230329B (zh) | 基于多尺度卷积神经网络的语义分割方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN106295714B (zh) | 一种基于深度学习的多源遥感图像融合方法 | |
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN108009559B (zh) | 一种基于空谱联合信息的高光谱数据分类方法 | |
US20230185377A1 (en) | System and method for iterative classification using neurophysiological signals | |
CN109165682B (zh) | 一种融合深度特征和显著性特征的遥感图像场景分类方法 | |
CN109886881B (zh) | 人脸妆容去除方法 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN108230291B (zh) | 物体识别系统训练方法、物体识别方法、装置和电子设备 | |
CN110210574B (zh) | 合成孔径雷达图像解译方法、目标识别装置及设备 | |
Pavoni et al. | Semantic segmentation of benthic communities from ortho-mosaic maps | |
CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及系统 | |
Milletari et al. | Robust segmentation of various anatomies in 3d ultrasound using hough forests and learned data representations | |
Babu et al. | ABF de-hazing algorithm based on deep learning CNN for single I-Haze detection | |
CN109934147B (zh) | 基于深度神经网络的目标检测方法、系统及装置 | |
Li et al. | Multi-class weather classification based on multi-feature weighted fusion method | |
CN115346091B (zh) | 一种Mura缺陷图像数据集的生成方法和生成装置 | |
CN110751163B (zh) | 目标定位方法及其装置、计算机可读存储介质和电子设备 | |
Mace et al. | Overhead detection: Beyond 8-bits and rgb | |
CN114119970B (zh) | 目标跟踪方法及装置 | |
Dong et al. | Scene-oriented hierarchical classification of blurry and noisy images | |
CN114863164A (zh) | 一种面向小目标超分辨重建图像的目标识别模型构建方法 | |
Brosch et al. | Automatic target recognition on high resolution sar images with deep learning domain adaptation | |
CN106841054B (zh) | 种子品种识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |