CN106991411A - 基于深度形状先验的遥感图像目标精细化提取方法 - Google Patents

Abstract

本发明提供了一种基于深度形状先验的遥感图像目标精细化提取方法，其特征在于，包括以下步骤：S1：利用深度玻尔兹曼机进行形状先验模型的建模；S2：利用形状先验模型对待测图像进行目标提取。本发明的一种融合深度玻尔兹曼机形状先验模型的遥感图像目标提取方法，降低了阴影、边缘缺失等干扰因素对目标形状轮廓提取的影响。

Description

基于深度形状先验的遥感图像目标精细化提取方法

技术领域

本发明属于遥感图像处理的目标提取技术领域，特别涉及一种基于深度形状先验的遥感图像目标精细化提取方法。

背景技术

在遥感图像的判读和解译中，快速准确地进行目标分割提取具有非常重要的作用，它可以为自动解译提供重要的基础信息，如可以通过目标提取获得目标形状等先验信息，提高目标识别的精度。另外，目标粗提取的结果作为目标检测的候选内容，可以很大地提高目标检测的效率。在低分辨率遥感图像中的一些典型地物目标、如农田、湖泊、城镇等，由于目标的细节信息较少，且目标间的纹理、颜色等特征区别较为明显，我们利用这些特征通过简单的图像分割算法就可以获得较好的目标提取结果。在高分辨率遥感影像中，由于细节信息更加丰富，一些尺寸更小的目标，如飞机、车辆、房屋等，逐步成为研究人员关注的重点。这些目标本身的颜色和纹理变化较为多样，且背景地物有时会呈现出与目标相似的颜色纹理特征，另外由于图像经常受到成像噪声、光照变化、天气气候等的影响，使得目标边界有时会与背景融合在一起、目标与背景的对比度容易发生变化，因此单纯利用图像中的颜色、纹理、局部边缘等低层特征无法有效地提取到目标。

目标的形状先验知识是一种典型的高层语义特征，与图像低层特征相比，利用形状先验知识能够显著提高目标分割提取的准确性和稳定性。利用局部的形状先验约束能够更好地处理目标局部缺失、模糊和阴影等问题，而全局形状先验能够保证目标提取结果的完整性，在目标与背景的颜色、纹理等特征较为相近时准确地提取目标的整体轮廓。利用形状先验知识的关键是如何在目标提取方法中融入形状表示模型。在目标形状形变较小或较为固定的情况下，利用目标局部或整体轮廓或二值形状模板图像等较为简单的方法能够取得较好的提取结果，如遥感图像中的车辆目标，其形状多为矩形且变化较小，可利用矩形边缘拟合的方法进行提取。而当目标的形状较为多样且形变较大的情况下，这些简单的方法无法取得较好的提取结果。利用基于主动形状模型或水平集的方法虽然能在一定程度上解决这个问题，但基于主动形状模型的方法需要人工设计的参数化形状先验表示模型，而基于水平集方法在形状变化较大时建模结果不够理想。利用马尔科夫随机场或条件随机场等概率模型表示方法能较好的对图像中相邻像素的关系进行建模，从而表达局部形状约束，然而这种网络无法直接构建非临近像素间的相互关系，因此难以对全局形状进行建模。近几年，随着深度学习方法的发展，研究人员开始利用多层神经网络进行基于目标形状先验的目标提取，深度学习方法以多层神经网络结构为基础，深度神经网络模型中通常包含多个隐藏层，这些不同层的隐藏变量能够更好地表达目标形状中从全局到局部的特征。这些方法的特点都是利用多层网络模型来构建图像中的全局形状特征，以克服局部形状约束的不稳定性，然而这些方法仍然需要结合人工设计的特征达到图像分割、目标提取的目的，因此如何利用基于深度学习中的非监督特征学习方法进行目标形状先验的建模，以及利用形状先验模型的目标提取仍是一个需要研究的重点。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本发明提供了一种基于深度形状先验的遥感图像目标精细化提取方法。

(二)技术方案

根据本发明的一个方面，提供了一种基于深度形状先验的遥感图像目标精细化提取方法，其特征在于，包括以下步骤：

S1：利用深度玻尔兹曼机进行形状先验模型的建模；

S2：利用形状先验模型对待测图像进行目标提取。

(三)有益效果

从上述技术方案可以看出，本发明基于深度形状先验的遥感图像目标精细化提取方法至少具有以下有益效果其中之一：

(1)本发明提出了一种融合深度玻尔兹曼机形状先验模型的遥感图像目标提取方法，降低了阴影、边缘缺失等干扰因素对目标形状轮廓提取的影响；

(2)本发明采用一种基于深度玻尔兹曼机模型非监督学习的方法进行目标形状先验特征的建模，使得这种特征能够通过深度玻尔兹曼机参数迭代更新的方法自动优化，避免了人工特征设计中参数选择等问题带来的不确定性；

(3)本发明采用了一种融合边缘检测子和区域像素均值差的函数作为图像信息能量项，该能量项能在函数优化的过程中自动消除图像中阴影的影响。

附图说明

图1为本发明实施例遥感图像目标精细化提取方法的框架示意图。

图2为本发明实施例中飞机的目标形状样本示例图。

图3为本发明实施例中形状模板图像对齐示例图。

图4为本发明实施例中利用深度玻尔兹曼机进行形状建模的示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

在本发明的示例性实施例中，提供了一种基于深度形状先验的遥感图像目标精细化提取方法。图1为本发明实施例遥感图像目标精细化提取方法的框架示意图。如图1所示，一种基于深度形状先验的遥感图像目标精细化提取方法，包括以下步骤：S1：利用深度玻尔兹曼机进行形状先验模型的建模，其中，形状先验模型通过深度玻尔兹曼机参数迭代更新的方法进行自动优化；S2：利用形状先验模型对待测图像进行目标提取。

在本实施例中，利用一个三层的神经网络作为形状先验模型，并利用深度玻尔兹曼机的训练算法分别对一组给定的飞机目标样本形状进行建模。图2为本发明实施例中飞机的目标形状样本示例图，如图2所示，这些样本为黑白二值图像，可以看出飞机目标具有类似的十字形结构，但是不同类型目标的形状差别仍旧较大。在不考虑尺度因素下，飞机形状之间最大的区别在于机翼和机身粗细，以及尾翼和发动机的形状和布局。飞机目标之间这种具有明显的共同点以及区别特征的形状结构使得可以有效地利用多层神经网络模型进行建模。

通常来说，形状先验模型能够用两层特征进行表示：即低层局部特征(如边缘、角点)和高层全局特征(如目标部件或目标本身)。具有不变性的低层局部特征能够用在不同的目标样本上，而高层全局特征能够对图像内容进行描述，这种特征更适合处理有遮挡、噪声的目标或形状。为了得到一个能够对二值图像中的形状进行精确的全局和局部特征表示的模型，本实施例利用三层深度玻尔兹曼机对形状先验模型进行建模。

给定一组目标形状模板数据，在进行形状先验模型建模之前，我们首先要对这些形状模板做对齐处理，即保证形状模板数据在尺度和位置上相近。具体来说，位置对齐是将形状模板图像的重心统一移动到形状模板图像的中心，重心的计算方式表示为：

其中x、y表示形状模板图像中的坐标，S(x)、S(y)表示对应坐标处的像素值，u＝(x_c,y_c)表示形状重心坐标。

尺度对齐通过尺度归一化完成，其计算过程如下：

其中S_x和S_y为图像二维方向的尺度归一化系数。在进行对齐操作时，首先将重心移动到图像中央，随后对各个图像按照尺度归一化系数进行缩放，达到尺度对齐的目的。图3展示了形状模板图像对齐示例，其中图3中的(a)行为对齐前图像，(b)行为对齐后图像。

在形状模板图像进行对齐操作后，本实施例利用这些对齐的形状模板图像训练一个三层的深度玻尔兹曼机，具体训练算法如下：深度玻尔兹曼机的能量模型定义为：

其中，其中和v＝(v₁,v₂,…,v_Nv)^T表示第一隐藏层、第二隐藏层与可视层的状态向量，θ＝{W¹,W²,a¹,a²,b}是模型参数，W¹和W²分别表示从可视层到第一个隐藏层、第一个隐藏层到第二个隐藏层的对称连接权值矩阵，a¹、a²和b分别表示第一个隐藏层、第二个隐藏层和可视层的偏置项。该能量模型对可视层的边缘概率为：

其中归一化因子Z又被称为配分函数。该能量模型中各隐藏层节点的激活概率为：

σ(x)称为激活函数，其形式为sigmoid函数。其中v_i和h_j ¹分别表示第i个可视层节点与第j个第一隐藏层节点的状态，w_ij ¹表示权值矩阵W¹中连接第i个可视层节点与第j个第一隐藏层节点的权值，表示第m个第二隐藏层节点的状态，表示权值矩阵W²中连接第j个第一隐藏层节点与第m个第二隐藏层节点的权值，和分别表示第一隐藏层偏置项a¹中的第j个元素和第二隐藏层偏置项a²中的第m个元素。

当隐藏层节点的激活值确定后，利用产生式的采样过程从可视层节点中生成一幅形状模板的形状图像，该形状图像中某个点的像素为1的概率值通过如下激活函数计算：

其中，b_i表示可视层偏置项b中的第i个元素。

对模型P(v；θ)进行准确的参数推导非常困难，Hinton等利用与玻尔兹曼机参数推导类似的方法来训练深度玻尔兹曼机，其中参数梯度计算方法为：

其中h表示隐藏层的状态向量，和分别表示模型关于数据经验分布和模型真实分布的期望。在限制玻尔兹曼机中，利用对比散度算法进行这两个分布的近似估计。

对每个训练数据v，隐藏层节点的后验概率分布P(h|v；θ)将用一个近似后验概率Q(h|v；μ)代替，参数利用模型梯度的下界进行迭代更新，其计算方法如下：

其中H(Q)表示熵泛函。变分学习的特点是在最大化训练数据似然函数的同时，使近似函数和真实分布函数的KL散度尽可能小。虽然可以用近似方法进行参数估计，但是对于深度玻尔兹曼机的训练来说，参数收敛仍比较缓慢，因此常利用逐层预训练的限制玻尔兹曼机参数来初始化深度玻尔兹曼机的参数，这种初始化能将参数控制在一个较为合理的范围内，保证较快的收敛速度。

在深度玻尔兹曼机中，学习得到的权值和偏置项利用能量公式P(v^,h¹,h²；θ)定义了可能目标形状的概率分布。另外，这种三层网络的学习能高效的对形状先验的多层结构特征进行表达。网络的低层能对形状的局部特征进行编码，并将这些特征输入到更高层网络，以便提取更为复杂的形状特征。

下面具体介绍利用形状先验模型进行目标提取。

当给定一幅图像时，网络通过自下而上和自上而下的产生式采样过程获得一幅形状图像，如图4所示，这幅形状图像的每个像素点是一个介于0到1的值，表示该像素位于目标形状内的概率，图4中通过不同的灰度值来显示。从图4中可以看出，三个测试图像中，第一个为正常的飞机形状模板，第二个表示为某一样本形状部分丢失的示例，第三个可以表示任意选取的形状。从计算的结果可以看出，基于深度学习建模方法得到的形状先验十分接近于样本形状，且在图像目标部分缺失或畸变较大时仍能得到较为稳定的形状先验约束。这种特点可以很好地用来引导目标提取过程取得与样本形状接近的结果。利用形状先验模型进行目标提取就是如何将式(5)这一形状先验融入到目标的分割提取中去。这里的图像能量模型定义为：

E(α)＝E_i(q)+γE_s(α) (12)

其中q表示形状图像，E_i(q)和E_s(α)代表图像能量项和形状能量项，γ表示形状约束的权重系数。

图像能量项E_i(q)定义为：

f(x)和g(x)可以是任意形式的函数，从这个能量定义可以发现，f(x)和g(x)分别表示目标形状内部和外部背景的响应函数。另外h(x)的定义为：

它是一个目标边缘指示项，其中I表示输入的图像。

对于公式(12)中的形状能量项，利用基于深度玻尔兹曼机的能量模型进行表示，即令E_s(α)＝E_DBM(q,h¹,h²)。这种形状约束项有许多优点，首先，这种模型能够用于具有任意形状先验的数据集建模，这种三层网络的训练学习能够对目标形状建立高质量的概率分布模型，其次，这种形状先验项利用两层的特征表示模型，这能够灵活地建模全局和局部结构特征组合约束，隐藏层的数量是一个可调的参数，它的大小可以根据不同的任务需求进行设置，最后，这个形状约束项的形式与形状概率表示方法类似，因此容易利用相关优化方法进行求解。

当深度玻尔兹曼机训练完成后，得到了形状先验模型参数θ＝{W¹,W²,a¹,a²,b}。利用Split Bregman优化算法来进行形状q的优化和估计，仿照规则化函数和公式(12)，我们定义如下能量函数：

公式(15)右边第一项为边缘指示项，仿照公式(14)，将其定义为：

公式(15)右边第二项中的u表示阴影约束，μ表示阴影约束项的权重系数。与自然场景图像类似，目标阴影在遥感图像中也较为常见，不同的是由于垂直成像的特点，遥感图像中的目标阴影与成像时间和角度的关系较为规律，在某些应用中，如建筑物高度提取和重建等，这种阴影信息提供了一种较好的辅助解译手段，然而对于目标检测识别等应用来说，这些阴影信息会给目标解译带来干扰，尤其是对基于目标轮廓形状信息的目标提取来说，阴影会带来更多的边缘，降低目标提取的准确度，因此在这类应用中，需要考虑消除目标阴影带来的影响。目前遥感图像阴影区域提取的研究较多，但由于这些方法多为基于光谱特征选择的方法，因此对于复杂背景的鲁棒性较差，难以在实际应用中完整地提取目标的阴影区域，另外，遥感图像中目标的阴影区域形状变化一般较大，这使得利用阴影信息进行自动目标提取的算法设计较为困难。针对以上问题，为了减少和去除图像中阴影信息的影响，上述阴影约束定义为：

其中ε>0，mo和m_b分别表示图像中目标形状区域和形状外背景区域的像素值均值，基于概率形式的定义，通过选择一个τ∈[0,1]，利用Ω_τ＝{x：q(x)≥τ}来决定目标和背景区域的划分。这一项利用了遥感图像中的目标与背景之间的对比度差异，由于遥感图像中的阴影与目标相比通常较暗，因此在能量函数优化过程中，公式(17)中的分母项会逐渐增大，即形状外背景区域与形状内目标区域的像素值差异增大，可以将阴影区域排除在形状区域外。

基于公式(15)中的能量函数，在Split Bregman优化算法引入辅助变量令则得到优化问题表示如下：

其中：

本发明基于深度玻尔兹曼机的目标提取的过程是，当给定一幅待测图像时，首先利用产生式过程在可视层节点产生一幅形状图像，将这幅形状图像作为优化方法中形状先验模型的初始值，通过优化公式(15)中的能量函数达到目标提取的目的。方法的详细过程总结如下：

输入已训练完成的深度玻尔兹曼机参数θ＝{W¹,W²,a¹,a²,b}，新图像I及其采样得到的形状图像

初始化：令

1)计算第一个隐藏层激活概率h¹←σ(q^TW¹+W²h²+a¹)；

2)计算第二个隐藏层激活概率

3)固定隐藏层激活概率，优化更新目标形状

3.1

3.2计算

3.3计算

3.4确定目标范围Ω_τ ^k＝{x：q(x)≥τ}

3.5计算m_o和m_b；

3.6重复3.1～3.5步直至||q^k+1-q^k||<ε'；

4)重复1)～3)步直至收敛。

本发明提出一种融合深度玻尔兹曼机形状先验模型的遥感图像目标提取方法，降低了阴影、边缘缺失等干扰因素对目标形状轮廓提取的影响。采用一种基于深度玻尔兹曼机模型非监督学习的方法进行目标形状先验特征的建模，使得这种特征能够通过深度玻尔兹曼机参数迭代更新的方法自动优化，避免了人工特征设计中参数选择等问题带来的不确定性。采用了一种融合边缘检测子和区域像素均值差的函数作为图像信息能量项，该能量项能在函数优化的过程中自动消除图像中阴影的影响。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明一种基于深度形状先验的遥感图像目标精细化提取方法有了清楚的认识。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度形状先验的遥感图像目标精细化提取方法，其特征在于，包括以下步骤：

S1：利用深度玻尔兹曼机进行形状先验模型的建模；

S2：利用形状先验模型对待测图像进行目标提取。

2.根据权利要求1所述的遥感图像目标精细化提取方法，其特征在于，在步骤S1中，具体包括以下步骤：

S11：对给定的样本形状模板图像进行形状对齐；

S12：利用深度玻尔兹曼机的训练算法对形状对齐后的样本形状模板图像进行建模。

3.根据权利要求2所述的遥感图像目标精细化提取方法，其特征在于，在步骤S11中，所述形状对齐包括位置对齐和尺度对齐；其中，

位置对齐是将样本形状模板图像的重心统一移动到样本形状模板图像的中心，重心的计算方式表示为：

$\begin{array}{cc}{x}_c=\frac{\&Integral;\&Integral;xS\left(x\right)dxdy}{\&Integral;\&Integral;S\left(x\right)dxdy}& y_c=\frac{\&Integral;\&Integral;yS\left(y\right)dxdy}{\&Integral;\&Integral;S\left(y\right)dxdy}\end{array}$

其中x、y表示样本形状模板图像中的坐标，S(x)、S(y)表示对应坐标处的像素值，u＝(x_c,y_c)表示形状重心坐标；

尺度对齐通过尺度归一化完成，其计算过程如下：

$\begin{array}{cc}{S}_x={\left(\frac{\&Integral;\&Integral;{(x-x_c)}^{2}S\left(x\right)dxdy}{\&Integral;\&Integral;S\left(x\right)dxdy}\right)}^{\frac{1}{2}}& S_y={\left(\frac{\&Integral;\&Integral;{(y-y_c)}^{2}S\left(y\right)dxdy}{\&Integral;\&Integral;S\left(y\right)dxdy}\right)}^{\frac{1}{2}}\end{array}$

其中S_x和S_y为图像二维方向的尺度归一化系数。

4.根据权利要求2所述的遥感图像目标精细化提取方法，其特征在于，在步骤S12中，

深度玻尔兹曼机的能量模型定义为：

其中，其中和v＝(v₁,v₂,…,v_Nv)^T表示第一隐藏层、第二隐藏层与可视层的状态向量，θ＝{W¹,W²,a¹,a²,b}是模型参数，W¹和W²分别表示从可视层到第一个隐藏层、第一个隐藏层到第二个隐藏层的对称连接权值矩阵，a¹、a²和b分别表示第一个隐藏层、第二个隐藏层和可视层的偏置项。

5.根据权利要求4所述的遥感图像目标精细化提取方法，其特征在于，形状先验模型通过深度玻尔兹曼机参数迭代更新的方法进行自动优化，进行迭代更新的计算方法如下：

$\begin{array}{c}\ln P(v;\mathrm{\&theta;})\&GreaterEqual;-\underset{h^1,h^2}{\&Sigma;}Q(h^1,h^2|v;\mathrm{\&mu;})\ln P(v,h^1,h^2;\mathrm{\&theta;})+H\left(Q\right)-\ln Z\left(\mathrm{\&theta;}\right)\\ =\ln P(v;\mathrm{\&theta;})-KL\&lsqb;Q(h^1,h^2|v;\mathrm{\&mu;})\left|\right|P(v,h^1,h^2;\mathrm{\&theta;})\&rsqb;\end{array}$

其中H(Q)表示熵泛函。

6.根据权利要求1所述的遥感图像目标精细化提取方法，其特征在于，在步骤S2中，具体包括以下步骤：

S21：对待测图像进行采样获得形状图像；

S22：求取图像能量函数；

S23：将步骤S21获得的形状图像作为优化方法中形状先验模型的初始值，通过优化公式中的图像能量函数完成目标提取。

7.根据权利要求6所述的遥感图像目标精细化提取方法，其特征在于，在步骤S22中，所述图像能量函数为：

$E(q,h^1,h^2)={\left|\&dtri;q\right|}_e+{\mathrm{\&mu;q}}^{T}u-{\mathrm{\&gamma;E}}_{DBM}(q,h^1,h^2).$

8.根据权利要求7所述的遥感图像目标精细化提取方法，其特征在于，在所述图像能量函数的公式中，u表示阴影约束，将阴影约束定义为：

$u=\frac{I}{{(m_o-m_b)}^2+\mathrm{\&epsiv;}}$

其中ε>0，mo和m_b分别表示图像中目标形状区域和形状外背景区域的像素值均值。

9.根据权利要求6所述的遥感图像目标精细化提取方法，其特征在于，在步骤S23中，所述优化方法的详细过程如下：

输入深度玻尔兹曼机参数θ＝{W¹,W²,a¹,a²,b}，待测图像I及其采样得到的形状图像令

1)计算第一个隐藏层激活概率h¹←σ(q^TW¹+W²h²+a¹)；

2)计算第二个隐藏层激活概率

3)固定隐藏层激活概率，优化更新目标形状

$q\&LeftArrow;\arg min{\left|\&dtri;q\right|}_e+{\mathrm{\&mu;q}}^{T}u-{\mathrm{\&gamma;E}}_{DBM}(q,h^1,h^2);$

3.1

3.2计算

3.3计算

3.4确定目标范围Ω_τ ^k＝{x：q(x)≥τ}

3.5计算m_o和m_b；

3.6重复3.1～3.5步直至||q^k+1-q^k||<ε'；

4)重复1)～3)步直至收敛。

10.根据权利要求1-9任一项所述的遥感图像目标精细化提取方法，其特征在于，所述深度玻尔兹曼机为三层深度玻尔兹曼机。