CN106709463A - 基于分层语义的sar图像分类方法 - Google Patents

Abstract

一种基于分层语义的SAR图像分类方法，包括进行多尺度分割，得到不同精度的分割图；构建区域金字塔，将不同精度的分割图组合生成区域金字塔；CRF空间关联建模，包括对于区域金字塔，利用CRF建立该金字塔的每一层中区域间的空间关系；BN因果性建模，包括将区域金字塔相邻层间的因果联系通过BN进行建模，将区域金字塔层内的因果性通过BN进行建模，形成语义金字塔；统一推理，包括将联合概率表示为统一的因子图，将图像分类过程等价于推理最优状态，将推理结果作为图像分类结果。本发明联合BN和CRF建模SAR图像分类中的先验知识，其中BN构建因果关联，而CRF建模空间关系，实现分层语义分类，提高SAR图像分类性能。

Description

基于分层语义的SAR图像分类方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于分层语义的SAR图像分类方法。

背景技术

SAR(Synthetic Aperture Radar,SAR)图像分类作为SAR图像解译的重要分支，其根据数据样本信息表现的不同属性，通过计算类内相似性和类间差异性，实现对不同地物目标的分类识别。图像分类的主流方法主要包括特征描述子和模型两步，常见的特征可分为统计特征、纹理特征、形状特征等；用于分类的模型则分为产生式模型、描述模型和判别模型。对高分辨率SAR图像而言，地物目标的几何信息和结构纹理更加清晰，且具有更丰富的空间信息。分析高分辨率SAR场景时，如今已越来越关注其中的纹理、几何形状、统计分布及上下文空间关系，甚至包括使用颜色描述子来提取SAR伪彩合成图像中的颜色特征。同时，针对SAR图像特殊的成像机理和特点，在提取SAR图像的特征时，除了上述特征外，还包括目标散射特性和极化特性等，如基于分布的统计特征、极化数据中的极化分解特征。

在SAR图像分类过程中，最直接的方法是应用极化SAR数据或生成的相干矩阵和协方差矩阵作为图像特征。在早期的分类研究方法中，极化数据的单波段后向散射信息如HH，HV和VV通道或多波段数据的不同组合，已应用在包括神经网络和最大似然估计等分类器模型中。由于极化数据的成像机理，协方差矩阵获取幅度和相位方差的完整极化信息以及所有后向散射元素的相关性，因而可被用来直接作为不同分类机制的直接输入特征，如Wishart最大似然分类器，多层神经网络分类器。在过去四十年中，不同的极化目标分解算法被用于SAR图像分类，其将平均后向散射描述为独立分量之和，并将其用于极化SAR应用，更好的解译雷达数据的潜在散射特性。除了上述基于目标物理、几何和散射特性的目标分解外，纹理作为特征描述子，已被证明是SAR图像分类的有利信息来源，如灰度共生矩阵、结合统计纹理信息的小波、离散小波变换等。由于SAR图像的成像机理，颜色信息一直是极化SAR分类领域中忽视的属性，但是为了可视化目的，常常通过映射后向散射元素或目标分解分量到不同的颜色通道，如在H/V极化基础上的Pauli颜色编码，进而生成伪彩图像。

将先验知识引入分类模型是提高SAR图像分类性能的重要研究方向，例如：Wishart最大似然估计、马尔科夫随机场(Markov Random Field，MRF)、条件随机场(Conditional Random Field，CRF)等。SAR图像中低层次的特征只能表征像素级信息，而且易受噪声影响，这些特征通常用类内相似度和类间差异来度量。因而使用有效的上下文模型来整合特征描述子，对于SAR图像解译具有重要意义。采用Potts先验的MRF是一种基本的上下文模型，MRF是当前最流行的利用上下文信息来最小化全局代价函数的方法，目前已被广泛用于SAR图像解译。相比于MRF和CRF这类无向图模型，贝叶斯网络(Bayesian Network，BN)也被用于SAR图像解译。BN模型提供系统化方法来对随机变量之间的因果关系建模，利用变量之间的条件独立关系和先验知识，可实现对复杂联合分布的简化分解。根据BN结构，联合分布被分解为一组局部条件概率的乘积，更易表征变量的语义关系。在图像识别领域，BN模型可用来描述不同实体，如区域、边缘、顶点等之间的先验知识。

综上所述，引入先验信息对于稳健和有效的SAR图像分类具有重要的作用，但尚未有效果符合理想的技术方案出现。

发明内容

本发明的目的在于针对高分辨SAR图像分类问题，提出一种分层语义分类方法，通过充分利用高分辨SAR图像的先验信息，进行分层语义分类，获得高精度的分类结果。

本发明的技术方案提供一种基于分层语义的SAR图像分类方法，包括以下步骤，

步骤1，进行多尺度分割，得到不同精度的分割图；

步骤2，构建区域金字塔，包括将步骤1中生成的不同精度的分割图组合生成区域金字塔，其中从顶层到低层依次对应从粗到精细的分割图；

步骤3，CRF空间关联建模，包括对于步骤2中建立的区域金字塔，利用CRF建立该金字塔的每一层中区域间的空间关系；所述CRF为条件随机场；

步骤4，BN因果性建模，包括将区域金字塔相邻层间的因果联系通过BN进行建模，将区域金字塔层内的因果性通过BN进行建模，形成语义金字塔；所述BN为贝叶斯网络；

步骤5，统一推理，包括联合步骤3和4所得结果，将联合概率表示为统一的因子图，将图像分类过程等价于推理最优状态，将推理结果作为图像分类结果。

而且，步骤3的实现方式如下，

设输入图像经过分割后表示为超像素集X，记为X＝{x₁,x₂,…,x_M}，其中x_i|_{i＝1,2,…,M}为第m个超像素点，M为超像素集X中超像素点的数量，记y＝{y₁,y₂,…,y_M}为超像素集X对应的标签，y_i为第i个超像素点的分类标签，i＝1,2,...m，则条件概率P(y|φ(X))表示为

式中，φ(·)表示特征函数，用于将原始数据映射到特征空间中，A_i(·)为单元势函数，I_ij(·)为成对势函数，μ(·)用于描述邻域块间的关系，表示超像素块i的邻域，j用于标识邻域内第j个超像素块；Z(X)为归一化函数。

而且，引入边界先验知识，该先验知识指像素点p到边界Ω处的距离d

d＝dist(p,Ω)＝||p-p'||²

式中，p'是边界Ω上与点p最近的点，当边界两侧区域具有相同标签时，该距离越大，则相邻区域间的相关性越弱。

而且，步骤4中，所述区域金字塔相邻层间的因果联系，是指金字塔下层子区域基于其上层父母区域的分类条件概率，该分类条件概率通过步骤3中CRF的分类结果统计获得；所述区域金字塔层内的因果性，是指指区域、边界和顶点间的因果关系；其中，边界由两个具有不同类别的区域相交形成，而顶点由边界相交产生；

记y，e，v分别表示所有区域、边界和定点的集合，图像分类过程等价于推理y，e，v的最优状态y^*，e^*，v^*，设P_BN(y,e,v)为基于区域金字塔相邻层间的因果联系和层内的因果性的联合概率。

而且，步骤5的实现方式如下，

记联合概率密度为P(y,e,v,x)，由图模型的全局马尔科夫性，做如下分解

P(y,e,v,x)＝P_BN(y,e,v)·P(y|φ(x))·P(x)

其中，P(x)为常数，表示图像数据本身的先验概率；

图像分类过程等价于推理最优状态y^*，e^*，v^*，表示如下

根据上式，通过随机局部搜索进行推理，推理结果即为图像分类结果。

本发明联合BN和CRF建模SAR图像分类中的先验知识，其中BN构建因果关联，而CRF建模空间关系，实现分层语义分类，从而提高SAR图像分类性能。与现有技术相比，本发明的有益效果是：更多的先验信息被建模在分类模型中，关键是，区域金字塔相邻层间的因果关联通过BN建模。而且进一步将边界先验知识整合在CRF模型中。通过先验信息的有效利用，有益于提高SAR图像分类性能。

附图说明

图1是本发明实施例的流程图；

图2是本发明实施例中多尺度分割示意图，其中图2a、图2b、图2c分别是第一尺度、第二尺度和第三尺度的分割示意图；

图3是本发明实施例中构建条件随机场的示意图；

图4是本发明实施例中构建BN模型的示意图；

图5是本发明实施例中将BN模型转换为因子图的示意图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

本发明提出，对于输入SAR图像，首先将图像进行多尺度分割，生成区域金字塔；然后利用CRF和BN构建区域金字塔中的先验信息，生成语义金字塔；其中，区域金字塔中每一层内的空间关联信息由CRF构建，区域金字塔中相邻层间的因果先验信息由BN建模。

参见图1，本发明实施例包括以下步骤：

步骤1，多尺度分割。多尺度分割步骤的执行可采用现有技术实现，具体实现方式可以为：首先对输入SAR图像提取多个通道的特性信息，包括多通道强度特征、极化特征以及纹理特征。其次，计算每个通道的梯度，进行边缘检测。最后，利用现有技术中的分水岭算法构建初始化闭合区域，并调整分割门限生成分割精度不同的超度量等高线图(UCM)。每个UCM由多个闭合区域构成，如图2所示。例如通过调整3个不同的分割门限，生成3种分割图，分别如图2a、2b、2c所示可以看出，通过调整门限，可将输入图像分割成精度不同的分割图，分别得到第一尺度、第二尺度和第三尺度的分割示意图。

步骤2，构建区域金字塔。将步骤1中生成的不同精度的分割图组合生成区域金字塔，其中从顶层到低层依次对应粗分割图和精细分割图，本实施例中的区域金字塔包括3层。

步骤3，CRF空间关联建模。对于步骤2中建立的区域金字塔，利用CRF建立该金字塔的每一层中区域间的空间关系。具体地，将输入图像经过分割后可表示为超像素集X，即X＝{x₁,x₂,…,x_M}，其中x_i|_{i＝1,2,…,M}为第m个超像素点，M为超像素集X中超像素点的数量。记y＝{y₁,y₂,…,y_M}为该超像素集对应的标签，y_i为第i个超像素点的分类标签，i＝1,2,...m，则条件概率P(y|φ(X))可表示为

式(1)中，φ(·)表示特征函数，用于将原始数据映射到特征空间中，A_i(·)为单元势函数，I_ij(·)为成对势函数，μ(·)用于描述邻域块间的关系，表示超像素块i的邻域，j用于标识该邻域内第j个超像素块；Z(X)为归一化函数，可表示为

本实施例中，A_i(·)和I_ij(·)分别表示如下

式(3)中，w和v表示待学习参数，函数μ_ij(x)＝[|φ(x_i)-φ(x_j)|,1]^T，其中|·|表示取绝对值运算。

为提高边界处的分类准确率，本实施例中进一步提出可以引入边界先验知识，该先验知识指某一像素点p到边界Ω处的距离d

d＝dist(p,Ω)＝||p-p'||² (4)

式(4)中，p'是边界Ω上与点p最近的点。那么，当边界两侧区域具有相同标签时，该距离越大，则相邻区域间的相关性越弱。记Ω＝{Ω₁,Ω₂,…,Ω_H}为像素点p_i(此处指超像素块内第i个像素点)的H个最近距离边界，具体实施时参数H的取值可根据需要预设，其中Ω_h|_{h＝1,2,…,H}是区域R_h的边界，则引入边界先验知识后，p_i标记为c的条件概率P_BP(c|p_i,Ω,c')为

式(5)中，γ表示待学习参数，c'为CRF推理得到的初始标签。函数t(c,p_i,R_h)和F(dist(p_i,Ω_h))分别表示为

式(6)中，参数λ用于将dist(p_i,Ω_h)归一化到区间(0,1)，max(c',R_h)表示推理所得c'中区域R_h内像素点标号的最大值。因此，结合式(1)和式(5)超像素块x_i标记为y_i的条件概率可表示为

P(y_i|φ(x_i),Ω,c')∝P_Pi(y_i)·P_Li(φ(x_i)|y_i)·P_BP(y_i|φ(x_i),Ω,c') (7)

式(7)中，P_Pi(y_i)和P_Li(φ(x_i)|y_i)分别表示式(1)中的I_ij(·)和A_i(·)，加入边界先验后的条件概率P_BP(y_i|φ(x_i),Ω,c')可表示为

优选地，引入边界先验时，根据式(8)实现式(1)中条件概率P(y|φ(X))。

步骤4，BN因果性建模。区域金字塔相邻层间的因果联系可由BN进行建模，这里的因果联系指金字塔下层子区域基于其上层父母区域的分类条件概率。具体地，该条件概率P(y^d＝c_i|y^u＝c_j)可表示为

式(9)中，y^d，y^u分别表示下层子区域和其上层父母区域的类别，c_i，c_j为对应的分类标签，为条件概率，此处i、j用于作为超像素块的标号，具体取值与相应层超像素块的个数有关。该层间的分类条件概率可通过步骤3中CRF的分类结果统计获得。

除区域金字塔层间因果关联外，层内的因果性也可通过BN建模，该因果性指区域、边界和顶点间的因果关系；其中，边界由两个具有不同类别的区域相交形成，而顶点由边界相交产生。具体地，实施例用y_i|_{i＝1,2,…,n}，e_j|_{j＝1,2,…,m}和v_l|_{l＝1,2,…,t}分别表示区域、边界和顶点，此处i、j、l用于作为超像素块的标号，具体取值与相应层超像素块的个数n、m、t有关，y_i指第i个超像素块的分类标号，则e_j和v_l具有两种状态：状态1表示存在，状态0表示不存在。边界的条件概率根据相应区域得到，顶点的条件概率根据相应边界得到，实施例的具体实现如下：

e_j＝1条件概率可表示如下

式(10)中，pa(e_j)指e_j的父母区域，即形成该边界的区域。同理，v_l＝1条件概率可表示如下

式(11)中，pa(v_l)表示v_l的父母边界，即形成该顶点的边界。

利用BN将区域金字塔中因果关系建模后，可形成语义金字塔，该语义关联示例由图4所示，包括上层顶点结点v′₁和v′₂，上层边缘结点e′₁、e′₂、e′₃、e′₄和e′₅，上层区域结点y′₁、y′₂、y′₃、y′₄，下层区域结点y₁、y₂、y₃、y₄、y₅、y₆，下层边缘结点e₁、e₂、e₃、e₄、e₅、e₆、e₇，下层顶点结点v₁和v₂。记y，e，v分别表示所有区域、边界和定点的集合；那么，图像分类过程等价于推理y，e，v的最优状态y^*，e^*，v^*

式(12)中，P_BN(y,e,v)指联合概率，是基于区域金字塔相邻层间的因果联系和层内的因果性的联合概率，可进行如下分解

式(13)中，P(y_i)表示分类标签的先验概率，可建模为均匀分布。P(e_j|pa(e_j))、P(v_l|pa(v_l))分别表示边界、节点的条件概率，参见公式(10)、(11)。进一步，考虑层间的因果关联，结合式(9)则P_BN(y,e,v)可表示为

式(14)中，<u,d>∈Υ表示相邻层间区域的组合，Υ指由上下层中所有超像素块构成的集合，P_u(y,e,v)，P_d(y,e,v)表示上层和下层的联合概率，可表示为式(13)的形式。

步骤5，统一推理。联合步骤3和4，记联合概率密度为P(y,e,v,x)，由图模型的全局马尔科夫性，可做如下分解

式(15)中，P(y|x)即P(y|φ(x))，为式(1)所表示的形式；对于给定图像，P(x)为常数，表示图像数据本身的先验概率。则该联合概率可表示为统一的因子图，如图5所示，基于上层顶点、边界、标签和下层顶点、边界、标签，将联合概率表示为统一的因子图。那么，图像分类过程等价于推理最优状态y^*，e^*，v^*，可表示如下

式(16)通过随机局部搜索进行推理，推理结果即为图像分类结果。随机局部搜索具体实现可参见现有文献：H utter,F.；Hoos,H.H.；Stutzle,T.Efficient stochasticlocal search for MPE solving.Proceedings of the Nineteenth InternationalJoint Conference on Artificial Intelligence,2005,pp.169–174.

本发明所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于分层语义的SAR图像分类方法，其特征在于：包括以下步骤，

步骤1，进行多尺度分割，得到不同精度的分割图；

步骤2，构建区域金字塔，包括将步骤1中生成的不同精度的分割图组合生成区域金字塔，其中从顶层到低层依次对应从粗到精细的分割图；

步骤3，CRF空间关联建模，包括对于步骤2中建立的区域金字塔，利用CRF建立该金字塔的每一层中区域间的空间关系；所述CRF为条件随机场；

步骤4，BN因果性建模，包括将区域金字塔相邻层间的因果联系通过BN进行建模，将区域金字塔层内的因果性通过BN进行建模，形成语义金字塔；所述BN为贝叶斯网络；

步骤5，统一推理，包括联合步骤3和4所得结果，将联合概率表示为统一的因子图，将图像分类过程等价于推理最优状态，将推理结果作为图像分类结果。

2.根据权利要求1所述基于分层语义的SAR图像分类方法，其特征在于：步骤3的实现方式如下，

设输入图像经过分割后表示为超像素集X，记为X＝{x₁,x₂,…,x_M}，其中为第m个超像素点，M为超像素集X中超像素点的数量，记y＝{y₁,y₂,…,y_M}为超像素集X对应的标签，y_i为第i个超像素点的分类标签，i＝1,2,...m，则条件概率P(y|φ(X))表示为

式中，φ(·)表示特征函数，用于将原始数据映射到特征空间中，A_i(·)为单元势函数，I_ij(·)为成对势函数，μ(·)用于描述邻域块间的关系，表示超像素块i的邻域，j用于标识邻域内第j个超像素块；Z(X)为归一化函数。

3.根据权利要求2所述基于分层语义的SAR图像分类方法，其特征在于：引入边界先验知识，该先验知识指像素点p到边界Ω处的距离d

d＝dist(p,Ω)＝||p-p'||²

式中，p'是边界Ω上与点p最近的点，当边界两侧区域具有相同标签时，该距离越大，则相邻区域间的相关性越弱。

4.根据权利要求2或3所述基于分层语义的SAR图像分类方法，其特征在于：步骤4中，所述区域金字塔相邻层间的因果联系，是指金字塔下层子区域基于其上层父母区域的分类条件概率，该分类条件概率通过步骤3中CRF的分类结果统计获得；所述区域金字塔层内的因果性，是指指区域、边界和顶点间的因果关系；其中，边界由两个具有不同类别的区域相交形成，而顶点由边界相交产生；

记y，e，v分别表示所有区域、边界和定点的集合，图像分类过程等价于推理y，e，v的最优状态y*，e*，v*，设P_BN(y,e,v)为基于区域金字塔相邻层间的因果联系和层内的因果性的联合概率。

5.根据权利要求4所述基于分层语义的SAR图像分类方法，其特征在于：步骤5的实现方式如下，

记联合概率密度为P(y,e,v,x)，由图模型的全局马尔科夫性，做如下分解

P(y,e,v,x)＝P_BN(y,e,v)·P(y|φ(x))·P(x)

其中，P(x)为常数，表示图像数据本身的先验概率；

图像分类过程等价于推理最优状态y*，e*，v*，表示如下

$y^{*},e^{*},v^{*}=\arg \underset{y,e,v}{max}P(y,e,v,x)$

根据上式，通过随机局部搜索进行推理，推理结果即为图像分类结果。