CN104820992A - 一种基于超图模型的遥感图像语义相似性度量方法及装置 - Google Patents

Abstract

本发明涉及一种基于超图模型的遥感图像语义相似性度量方法，属于遥感图像处理技术领域；本发明利用超图模型对每个时相遥感图像进行建模，通过利用超图模型中顶点和超边实现遥感图像中每个像素点的语义表征，并结合超图匹配思想实现语义相似性度量，将多时相遥感图像语义相似性计算表示为多个超图模型中相同位置上顶点的相似性与顶点对应超边相似性的加权和。对比现有技术，本发明利用超图模型的高阶邻域表征能力提高复杂场景下多时相遥感图像语义相似性度量的准确性，降低了语义奇异性，以及配准误差、光照变化、季节差异等因素导致的噪声干扰；将多时相遥感图像语义相似性度量问题转化为一种超图模型匹配问题，通过最优化求解实现相似性度量。

Description

一种基于超图模型的遥感图像语义相似性度量方法及装置

技术领域

本发明涉及遥感图像语义相似性度量方法及装置，特别涉及基于超图模型的遥感图像语义相似性度量方法及装置，属于遥感图像处理技术领域。

背景技术

多时相遥感图像语义相似性度量是多时相遥感图像变化检测技术的核心。现有的多时相遥感图像语义相似性度量方法往往采用局部语义相似性对比方法，缺乏对图像全局语义表征能力，无法适应复杂场景下语义相关性的表征需求。图模型(Graph Model)是图像处理领域最常用的建模方法之一。利用图模型可以方便地实现图像中每个像素与之邻域中像素之间关系的表述，从而将空间语义上下文相关性应用于图像语义相似性度量，降低由于遥感图像配准误差、光照变化、季节差异等因素导致的虚假变化差异度量，提升多时相遥感图像语义相似性度量的准确性。然而，图模型仅仅能表征局部点对相关性，缺乏对大范围高阶语义相关性的表征，从而降低了图像语义相关性的表述能力。近年来，随着遥感图像分辨率的进一步提高，遥感图像的空间分辨率得到提升，但是图像的语义歧义性也随着复杂化，简单的局部点对语义相关性不再能满足复杂场景下语义相关性的表征需求。

超图模型(Hypergraph Model)(Berge,C.1989."Hypergraphs",North-Holland,Amsterdam.)是一种广义的图模型，超图模型与一般图模型的主要区别在于超边能连接两个以上的顶点。超图模型的相关定义如下：给定超图模型H＝(V,E,W)，其中，V＝{v₁,v₂,...,v_n}是n个顶点的有限集合，V的某一子集被称为e_i，若则称E＝{e₁,e₂,...,e_m}为超边集，W为超边的权重向量集合，对于每个超边e_i都有一个权重w(e_i)表示超节点之间的一致性。与传统的图模型相比，超图模型具备高阶邻域相关性，能够在一个较大的邻域范围内考虑图像语义之间的一致性约束关系。因此，目前迫切需要一套行之有效的将多时相遥感图像语义相似性度量问题转化为基于超图模型的相似性度量方法，从而解决复杂场景下语义相关性的表征需求。

发明内容

本发明的目的是为解决上述的将多时相遥感图像语义相似性度量问题转化为多个超图模型的相似性度量的问题，提供了一种基于超图模型的遥感图像语义相似性度量方法，通过利用多个超图模型中相同位置上顶点的相似性与顶点对应超边相似性的加权和计算，实现多时相遥感图像语义的相似性度量，以降低多时相遥感图像，特别是高分辨率遥感图像，之间由于配准误差、光照变化、季节差异等因素导致的噪声干扰，提高多时相遥感图像语义相似性度量的准确率，为遥感图像变化检测等相关应用提供技术支撑。

本发明的思想是利用超图模型对每个时相遥感图像进行建模，通过利用超图模型中顶点和超边实现遥感图像中每个像素点的语义表征，并结合超图匹配思想实现语义相似性度量，将多时相遥感图像语义相似性计算表示为多个超图模型中相同位置上顶点的相似性与顶点对应超边相似性的加权和。本质上，本发明利用了超图模型的高阶邻域表征能力，实现了基于高阶上下文相关性对比的图像语义相似性度量。

本发明的目的是通过以下技术方案实现的：

一种基于超图模型的遥感图像语义相似性度量方法，包括以下步骤：

步骤一、以每个时相遥感图像中像素为单位，逐个像素为中心提取相关特征，并以之构造每个像素的特征向量；

步骤二、分别在每个时相遥感图像上构建超图模型，其中，超图模型中每个顶点代表遥感图像的一个像素，超图模型中每条超边代表遥感图像中具有特定相似关系的像素集合，超图模型中顶点之间的权重系数代表遥感图像中像素之间的相似性；

步骤三、计算多个超图模型中对应位置上顶点之间的相似性；

步骤四、计算多个超图模型中每个顶点对应的超边之间的相似性；

步骤五、将多时相遥感图像语义相似性计算表示为多个超图模型中匹配顶点的相似性与顶点对应超边相似性的加权和。

一种基于超图模型的遥感图像语义相似性度量装置，包括图像特征提取模块、图像超图模型构建模块和超图相似性计算模块；图像特征提取模块和图像超图模型构建模块分别与超图相似性计算模块相连接；

所述图像特征提取模块用于提取遥感图像特征；

所述图像超图模型构建模块用于在每个时相遥感图像上构建超图模型；

所述超图相似性计算模块用于计算不同时相遥感图像上构建的超图模型之间的语义相似性。

有益效果

对比现有技术，本发明具有以下有益效果：

(1)利用超图模型的高阶邻域表征能力提高复杂场景下多时相遥感图像语义相似性度量的准确性，降低了语义奇异性，以及配准误差、光照变化、季节差异等因素导致的噪声干扰；

(2)将多时相遥感图像语义相似性度量问题转化为一种特殊的超图模型匹配问题，通过最优化求解实现全局的相似性度量。

附图说明

图1为本发明实施例基于超图模型的遥感图像语义相似性度量方法的流程示意图。

图2为Quickbird卫星真实测试数据集。

图3为Worldview卫星真实测试数据集。

图4为本发明方法和比对方法在Quickbird卫星真实数据集上获取的测试结果。

图5为本发明方法和比对方法在Worldview卫星真实数据集上获取的测试结果。

图6为本发明实施例基于超图模型的遥感图像语义相似性度量装置的组成结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。且在附图中，实施例以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

本发明提供了一种基于超图模型的图像语义相似性度量方法，通过利用多个超图模型中相同位置上顶点的相似性与顶点对应超边相似性的加权和计算，实现多时相遥感图像语义的相似性度量，以降低多时相遥感图像，特别是高分辨率遥感图像，之间由于配准误差、光照变化、季节差异等因素导致的噪声干扰，提高多时相遥感图像语义相似性度量的准确率，为遥感图像变化检测等相关应用提供技术支撑。

实施例1

图1为本发明实施例基于超图模型的图像语义相似性度量方法的流程示意图。如图1所示，本实施例包括以下步骤：

步骤S101，特征提取：以每个时相遥感图像中像素为单位，逐个像素为中心提取颜色特征、纹理特征、SIFT特征及熵特征，构造每个像素的特征向量；

其中，上述的多时相遥感图像X_t(t＝1,2...,n)(t为时相)必需进行配准处理，且配准误差在全图呈均匀分布。所选取的高分辨率遥感图像优选光学遥感图像，图像包含RGB三个波段。

每个时相遥感图像X_t＝{p(m,n)}(其中，(m,n)表示像素坐标，p(m,n)表示坐标(m,n)上的像素值)的特征提取步骤如下：

步骤S101a，颜色特征f_col主要是提取CIELab颜色特征(Hunter,Richard Sewall(July 1948)."Photoelectric Color-Difference Meter".inProceedings of the Winter Meeting of the Optical Society of America(JOSA),38(7):661.)，其步骤为：

(1)对输入每个时相的遥感图像进行滤波，图像滤波方法有很多，如邻域平滑滤波、中值滤波、高斯滤波等方法。其中，邻域平滑滤波方法简单、易操作。本发明中，采用邻域平滑滤波方法对每个时相遥感图像进行滤波。处理步骤如下：对于每个时相遥感图像中的每个像素p(m,n)，以坐标(m,n)为中心，取3×3大小的图像区域，计算区域中像素的光谱均值作为当前像素p(m,n)的滤波后光谱值，从而得到滤波处理后的遥感图像；

(2)将滤波后的遥感图像从RGB颜色空间通过下述公式投影到CIELab颜色空间，得到图像中每个像素在CIELab颜色空间中的颜色特征值。

       $R=\mathrm{gamma}\left(\frac{r}{255.0}\right)$

       $G=\mathrm{gamma}\left(\frac{g}{255.0}\right),---\left(1\right)$

       $B=\mathrm{gamma}\left(\frac{b}{255.0}\right)$

其中，r,g,b为遥感图像中每个像素RGB颜色空间下的三个通道值，取值范围均为[0,255]；gamma()函数是用来对图像进行非线性色调编辑的，目的是提高图像对比度；R,G,B为经gamma()函数变换后的值。gamma()函数定义为：

      

其中，x为变量，没有具体的物理含义。

       $\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=M*\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

       $M=\left[\begin{array}{ccc}0.436052025& 0.385081593& 0.143087414\\ 0.222491598& 0.716886060& 0.060621486\\ 0.013929122& 0.097097002& 0.714185470\end{array}\right]$

L＝116*f(Y/Y_n)-16,   (3)

a＝500*[f(X/X_n)-f(Y/Y_n)]

b＝200*[f(Y/Y_n)-f(Z/X_n)]

其中，X，Y，Z仅为计算中间值；M为变换常数；L，a，b分别为转换后的相应像素的CIELab颜色体系中L、a和b各分量的值；X_n，Y_n，Z_n一般默认都是1；f()函数为非线性变换函数。f()函数定义为：

      

其中，t为变量，没有具体的物理含义。

(3)得到每个像素的3维颜色特征f_col＝[L a b]；

步骤S101b，纹理特征f_tex主要是提取Gabor纹理特征(Hans G.Feichtinger,Thomas Strohmer:"Gabor Analysis and Algorithms",1998,ISBN 0-8176-3959-4.)，其步骤为：

(1)将原始输入遥感图像转化为灰度图像，转化方法为直接将图像R、G、B三个通道上每个像素的光谱值相加求均值，作为灰度图像的光谱值；

(2)构造Gabor滤波器如下：

      

x′＝mcosθ+nsinθ,   (5)

y′＝-msinθ+ncosθ

其中，λ为波长，θ为Gabor滤波器的条带方向，为Gabor滤波器的相位参数，r为长宽比，控制Gabor滤波器的椭球率，δ表示Gabor函数的高斯因子的标准差，标准差和波长的关系为：δ＝0.56λ，(m,n)为像素坐标。Gabor能量函数定义如下形式：

       $e_{\mathrm{\λ},\mathrm{\θ}}(m,n)=\sqrt{{\mathrm{\γ}}_{\mathrm{\λ},\mathrm{\θ},0}^2(m,n)+{\mathrm{\γ}}_{\mathrm{\λ},\mathrm{\θ},-\frac{\mathrm{\π}}{2}}^2(m,n)},---\left(6\right)$

其中，和分别为g_λ,θ,0(m,n)和与灰度图像卷积的结果；本发明中设定Gabor滤波器的尺度参数λ分别取[12345]，方向参数θ分别取[0π/4(2*π)/4(3*π)/4(4*π)/4(5*π)/4(6*π)/4(7*π)/4](π≈3.1415926)，可以构造40种Gabor滤波器，使用每个滤波器对灰度图像滤波，即将每个Gabor滤波器与灰度图像进行卷积；

(3)以图像中每个像素为单位，计算每个像素的Gabor纹理特征，得到每个像素的40维Gabor纹理特征：

       $f_{\mathrm{tex}}^{\′}=\left[\begin{array}{cccccc}{e}_{\mathrm{1,0}}& ...& e_{1,\frac{7*\mathrm{\π}}{4}}{e}_{\mathrm{2,0}}& ...& e_{2,\frac{7*\mathrm{\π}}{4}}...& e_{5,\frac{7*\mathrm{\π}}{4}}\end{array}\right];$

(4)将上步中获取的相同坐标位置(m,n)上图像像素的纹理特征f′_tex进行归一化处理；归一化处理公式表示如下：

f_tex＝(f′_tex-min(f′_tex))/(max(f′_tex)-min(f′_tex)),   (7)

其中，f′_tex、f_tex分别表示为纹理特征归一化处理前后的纹理特征向量。

步骤S101c，SIFT特征(D.Lowe,“Distinctive image features fromscale invariant keypoints,”Int.J.Computer Vision,vol.60,no.2,pp.91–110,Dec.2004.)提取步骤为：

(1)构建尺度空间：将输入图像I与尺度可变高斯函数G(m,n,σ)进行卷积计算，如下公式所示：

       $L(m,n,\mathrm{\σ})=G(m,n,\mathrm{\σ})\⊗I(m,n),---\left(8\right)$

其中，G(m,n,σ)是尺度可变高斯函数，σ为尺度因子，σ大小决定图像的平滑程度，为卷积算子，(m,n)为图像空间坐标。为了有效的在尺度空间检测到稳定的关键点，利用上述定义的图像的尺度空间，计算高斯差分尺度空间(DOG scale-space，Difference of Gaussianscale-space)，如下公式所示：

D(m,n,σ)＝L(m,n,kσ)-L(m,n,σ),   (9)

其中，k为常数因子；对于一幅图像I，建立其在不同尺度(scale)的图像，得到图像DOG尺度金字塔序列。

(2)检测DOG尺度空间极值点：为了寻找尺度空间的极值点，每一个采样点要和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个极值点，即特征点。

(3)除去不好的特征点：对步骤(2)得到的所有特征点，通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，空间尺度函数泰勒展开式如下：

       $D(m,n,\mathrm{\σ})=D(m,n,\mathrm{\σ})+\frac{{\∂D}^T}{\∂m}m+\frac{1}{2}{m}^T\frac{{\∂}^{2}D}{{\∂m}^2}m,---\left(10\right)$

其中，T为转置，为求导。

对上式求导，并令其为0，得到精确的位置

       $\hat{m}=-\frac{{\∂}^2{D}^{-1}}{{\∂m}^2}\frac{\∂D}{\∂m}.---\left(11\right)$

在已经检测到的特征点中，要去掉低对比度的特征点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。其中，利用近似Harris Corner检测器去除低对比度的关键点方法如下：把公式(11)代入公式(10)，只取前两项可得：

       $D\left(\hat{m}\right)=D(m,n,\mathrm{\σ})+\frac{1}{2}\frac{{\∂D}^T}{\∂m}\hat{m}.---\left(12\right)$

若该特征点就保留下来，否则丢弃。

其中，边缘响应的去除方法如下：一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2×2的Hessian矩阵H求出:

       $H=\left[\begin{array}{cc}{D}_{\mathrm{mm}}& D_{\mathrm{mn}}\\ D_{\mathrm{mn}}& D_{\mathrm{nn}}\end{array}\right],---\left(13\right)$

其中，D_mm,D_nn和D_mn分别表示公式(9)计算所得的DOG金字塔中某一尺度的图像沿m方向求导两次、沿n方向求导两次和沿m方向、n方向求导，其导数由采样点相邻差估计得到。D的主曲率和H的特征值成正比，令α为较大特征值，β为较小的特征值，则

Tr(H)＝D_mm+D_nn＝α+β

(14)

Det(H)＝D_mmD_nn-(D_mn)²＝αβ，

令α＝γβ，则

       $\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{r\β}+\mathrm{\β})}^2}{{\mathrm{r\β}}^2}=\frac{{(r+1)}^2}{r},---\left(15\right)$

(r+1)²/r的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测

       $\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}.---\left(16\right)$

如果(α+β)/αβ>(r+1)²/r，则该特征点丢弃，否则保留。其中，在参考文献(D.Lowe,“Distinctive image features from scale invariantkeypoints,”Int.J.Computer Vision,vol.60,no.2,pp.91–110,Dec.2004.)中，取r＝10。

(4)特征点方向参数计算：对经步骤(3)得到的特征点，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，如下公式所示：

       $m(m,n)=\sqrt{{(L(m+1,n)-L(m-1,n))}^2+{(L(m,n+1)-L(m,n-1))}^2}$

(17)

θ(m,n)＝αtan2((L(m,n+1)-L(m,n-1))/(L(m+1,n)-L(m-1,n)))；

其中，α为步骤(3)中的较大特征值，m(m,n)和θ(m,n)分别为像素坐标(m,n)处梯度的模值和方向，(m+1,n)、(m-1,n)、(m,n+1)和(m,n-1)为当前像素坐标(m,n)四邻域坐标，L(m+1,n)、L(m-1,n)、L(m,n+1)和L(m,n-1)的由公式(8)在给定每个关键点各自所在的尺度σ情况下计算得到。这时每个特征点包含了三个信息：位置(m，n)，所在尺度σ，方向θ(m,n)，由此可以确定一个SIFT特征区域。

(5)特征点描述子生成：对经步骤(4)得到的每个特征点，将坐标轴旋转为该特征点的方向，以确保旋转不变性。以特征点为中心取其邻近的4×4的小块中，每个小块计算8个方向的梯度直方图，得到一个128(4×4×8)维的向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量归一化，则可以进一步去除光照变化的影响，得到128维SIFT特征f_sift。

步骤S101d，熵特征提取步骤为：

(1)将原始输入遥感图像转化为灰度图像，转化方法为直接将图像R、G、B三个通道上每个像素的光谱值相加求均值，作为灰度图像的光谱值；

(2)依次以图像中的每个像素p(m,n)为中心，取5×5大小的图像区域，计算图像区域的熵，得到每个区域的1维熵特征作为该像素的熵特征。熵特征的计算公式如下：

       $e=\underset{i=1}{\overset{255}{\mathrm{\&Sigma;}}}{p}_i\log \mathrm{}{p}_i,---\left(18\right)$

其中，p_i表示图像区域中灰度值为i的像素个数占5*5图像区域中像素个数的比例。得到1维熵特征f_ent＝[e]。

步骤S101e，构造每个像素的特征向量：

将步骤S101a～步骤S101d中获取的相同坐标位置(m,n)上图像像素的颜色特征f_col、纹理特征f_tex、SIFT特征f_sift和熵特征f_ent合并形成当前像素p(m,n)的特征向量集合f＝[f_col f_tex f_sift f_ent]。

步骤S102，超图模型构建：分别在每个时相遥感图像上构建超图模型；

超图模型中每个顶点代表遥感图像的一个像素，超图模型中每条超边代表遥感图像中具有特定相似关系的像素集合，超图模型中顶点之间的权重系数代表遥感图像中像素之间的相似性。

每个时相上构建超图模型的步骤如下：以单时相图像X_t＝{p(m,n)}为例构建超图模型H_t＝(V,E,W)，图像中的每个像素p(m,n)作为超图模型H_t的一个顶点v_mn，则图像中所有像素的集合对应为超图模型的顶点集合V＝{v_mn}；将V的某一具有特定相似属性的子集称为e_i，若则称E＝{e₁,e₂,...,e_k}为超边集；W为超边的权重向量集合，对于每个超边e_i都有一个权重w(e_i)表示超边所连接的顶点之间的相似性(Berge,C.1989."Hypergraphs",North-Holland,Amsterdam.)。在每一个时相的图像上均构建一个超图模型H_t，则对于每个时相上的图像中的每个像素都有一个超图模型的顶点与之对应。由于多时相图像经过配准处理，因此，对于坐标(m,n)，每个超图模型均有一个对应顶点v_mn，步骤S101中提取的每个像素p(m,n)上的特征向量f_mn即为该顶点对应的特征向量。以每个顶点v_mn为中心，利用KNN分类器(Altman,N.S.An introduction to kernel andnearest-neighbor nonparametric regression.The AmericanStatistician.1992,46(3):175–185.)得到每个顶点的K个近邻顶点，将每个顶点的K个近邻连接起来形成该顶点对应的一条超边e_i，每条超边e_i对应一个权重系数w(e_i)，权重系数w(e_i)由每个近邻之间的欧式距离之和表示。本发明中，K选取为7.因此，对于每个顶点v_mn均有一条超边e_i与之对应。则对于每个时相的遥感图像，都有一个超图H_t；对于坐标(m,n)上每个时相的遥感图像中的像素p(m,n)，都有一个顶点v_mn和一条超边e_i与之对应。

步骤S103，相似性计算：计算多个超图模型中对应位置上顶点之间的相似性；计算多个超图模型中每个顶点对应的超边之间的相似性；将多时相遥感图像语义相似性计算表示为多个超图模型中匹配顶点的相似性与顶点对应超边相似性的加权和。多时相遥感图像相似性计算的步骤如下：

步骤S103a，计算多个超图模型中对应位置上顶点之间的相似性步骤如下：由步骤S102知道，由于多时相图像经过配准处理，对于坐标(m,n)上的每个像素均有一个顶点与之对应，因此，对于坐标(m,n)上的像素之间的相似性可以用超图模型中对应顶点之间的相似性进行度量。顶点之间的相似性计算等价于顶点的特征向量之间的距离。本发明中，利用顶点特征向量之间的距离作为其相似性度量结果：

       $v_{\mathrm{mn}}=|f_{{\mathrm{mn}}_{t_k}}-f_{{\mathrm{mn}}_{t_{k+1}}}|,---\left(19\right)$

其中，v_mn表示坐标(m,n)上第t_k时相和第t_k+1时相遥感图像对应顶点之间的相似性，和分别表示第t_k时相和第t_k+1时相遥感图像坐标(m,n)上像素的特征向量，|*|表示距离，本实施例中使用欧式距离。

步骤S103b，计算多个超图模型中每个顶点对应的超边之间的相似性步骤如下：由步骤S102知道，对应于每个顶点均有一条超边与之对应，因此，不同时相遥感图像中每个顶点对应的超边之间的相似性度量即为对应超边之间的距离。本发明中，超边之间的距离计算方法如下：

       $e_{\mathrm{mn}}=\min \underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}|f_{{\mathrm{pq}}_{t_k}}-f_{{\mathrm{pq}}_{t_{k+1}}}|,---\left(20\right)$

其中，e_mn表示坐标(m,n)上顶点v_mn对应第t_k时相和第t_k+1时相遥感图像对应超边之间的相似性，和分别表示第t_k时相和第t_k+1时相遥感图像坐标(m,n)上顶点v_mn的k个近邻的特征向量，|*|表示距离，如欧式距离，min表示取距离的最小累加和。

步骤S103c，将多时相遥感图像语义相似性计算表示为多个超图模型中匹配顶点的相似性与顶点对应超边相似性的加权和，计算方法如下：

s_mn＝v_mn+β·e_mn,   (21)

其中，s_mn表示坐标(m,n)上顶点v_mn以及对应超边e_i的相似性加权和，v_mn和e_mn分别由公式(19)和(20)计算所得，β为权重系数。本发明中，β为实数，β的取值范围为[2,3]。由公式(21)计算所得的s_mn即为多时相遥感图像在坐标(m,n)上像素之间的相似性。计算所有坐标上的像素之间的相似性，即可得到多时相遥感图像之间的相似性集合。

实施例2

如图6所示为本发明一种基于超图模型的遥感图像语义相似性度量装置的组成结构示意图，从图中可以看出，该装置包括图像特征提取模块、图像超图模型构建模块和超图相似性计算模块；图像特征提取模块和图像超图模型构建模块分别与超图相似性计算模块相连接；

所述图像特征提取模块用于提取遥感图像特征；

所述图像超图模型构建模块用于在每个时相遥感图像上构建超图模型；

所述超图相似性计算模块用于计算不同时相遥感图像上构建的超图模型之间的语义相似性。

作为优选，所述图像特征提取模块进一步由颜色特征提取单元、纹理特征提取单元、SIFT特征提取单元和熵特征提取单元组成；所述颜色特征提取单元用于提取遥感图像的CIELab颜色特征；所述纹理特征提取单元用于提取遥感图像Gabor纹理特征；所述SIFT特征提取单元用于提取遥感图像SIFT特征；所述熵特征提取单元用于提取遥感图像熵特征。

作为优选，所述图像超图模型构建模块进一步由邻域计算单元和超边构造单元组成；所述邻域计算单元用于计算每个时相遥感图像中每个像素对应顶点的K个邻域顶点；所述超边构造单元用于构造每个相遥感图像中每个顶点对应的超边。

作为优选，所述超图相似性计算模块进一步由顶点相似性计算单元、超边相似性计算单元和相似性加权计算单元组成；所述顶点相似性计算单元用于计算多时相遥感图像之间对应顶点之间的相似性；所述超边相似性计算单元用于计算多时相遥感图像之间对应顶点的超边之间的相似性；所述超边相似性计算单元用于计算多时相遥感图像之间对应顶点和超边之间的相似性加权和。

试验结果

以下进一步说明本发明的应用实例：这里将本发明上述实施例1和实施例2应用于多时相高分辨率遥感图像变化检测。实例分别给出了以QuickBird和Worldview卫星影像数据集上的测试结果。同时，还将本发明的方法与当前文献中流行的类似方法进行了比较，相应的对比结果如图2和图3所示。比对方法如下：1)比对方法一：基于马尔科夫随机场模型的遥感图像变化检测方法(L.Bruzzone and D.F.Prieto,“Automatic analysis of the difference image for unsupervisedchange detection,”IEEE Trans.Geosci.Remote Sens.vol.38,no.3,pp.1171–1182,May 2000.)；2)比对方法二：基于区域的多层级遥感图像变化检测方法(F.Bovolo,"A Multilevel Parcel-Based Approach toChange Detection in Very High Resolution".IEEE Trans.Geosci.RemoteSens.Letters,vol.6,no.1,pp.33-37,2009.)。同时，对变化检测结果从如下四个方面进行量化评价(R.Congalton.“A review of asscssing theaccuracy of classifications of remotely sensed data”,Remote Sens.Environ.,37(1):35-46,1991.)：1)误检率；2)漏检率；3)错误率；4)kappa系数。

QuickBird卫星数据包含两个时相的星载Quickbird光学遥感卫星数据，图像拍摄地点为卡塔尔乌代德空军基地，如图2所示，图像拍摄时间分别为2009年9月17日和2011年5月10日，图像空间分辨率为0.6米，图像大小为1660×1530像素。两个时相图像之间的差异为：与2009年拍摄的图像相比，2011年拍摄的图像显示基地中新增部分硬化道路，部分地面设施扩建。QuickBird卫星数据上得到的语义相似性度量结果，及比对方法的结果如图3所示。图3，从左向右，依次为本发明方法的应用结果、比对方法一的应用结果和比对方法二的应用结果。从实验结果来看，本发明方法能够准确地提取多时相高分辨率遥感图像之间的变化信息，且对由于拍摄角度等因素导致的虚假变化的误检较少；而两种比对方法的结果显示，均误检出了较多的虚假变化。因此，可以证明本发明方法提供的相似性度量方法对拍摄角度等因素导致的虚假变化有较强的鲁棒性。

Worldview卫星数据包含两个时相的星载Worldview光学遥感卫星数据，图像拍摄地点为伊朗某导弹工厂，如图4所示，图像拍摄时间分别为2011年11月3日和2011年11月22日，图像空间分辨率为0.5米，图像大小为1100×1350像素。两个时相图像之间的差异为：与2011年11月3日拍摄的图像相比，2011年11月22日拍摄的图像显示部分房屋被毁坏。Worldview卫星数据上得到的语义相似性度量结果，及比对方法的结果如图5所示。图5，从左向右，依次为本发明方法的应用结果、比对方法一的应用结果和比对方法二的应用结果。从实验结果来看，相比两种比对方法，本发明方法不仅能够准确地提取两时相高分辨率遥感图像之间的变化信息，且误检、虚检也较少，从而说明了本发明方法提供的相似性度量方法的有效性。

量化评价结果见表一。表一给出了本发明方法和两种比对方法在Quickbird卫星数据集和Worldview卫星数据集应用的量化指标。从表一所示的量化指标来看，本发明方法与两种比对方法相比，在Quickbird卫星数据集和Worldview卫星数据集上均取得最高的kappa系数值和最低的错误率，由此说明本发明方法能够更好地实现复杂场景下高分辨率遥感语义相似性准确度量。

表1

      

需要说明的是，上述对各元件的定义并不仅限于实施方式中提到的各种具体结构或形状，本领域的普通技术人员可对其进行简单地熟知地替换，例如：

(1)S101步骤中特征提取方法可以使用其他类型图像特征描述方法，对图像进行特征提取；

(2)S103步骤中超边之间的距离计算方法可以使用其他距离计算方法，例如马氏距离等，这些距离计算方法均为本领域内公知的方法，此处不再详细描述。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于超图模型的遥感图像语义相似性度量方法，其特征在于，包括以下步骤：

步骤一、以每个时相遥感图像中像素为单位，逐个像素为中心提取相关特征，并以之构造每个像素的特征向量；

步骤二、分别在每个时相遥感图像上构建超图模型，其中，超图模型中每个顶点代表遥感图像的一个像素，超图模型中每条超边代表遥感图像中具有特定相似关系的像素集合，超图模型中顶点之间的权重系数代表遥感图像中像素之间的相似性；

步骤三、计算多个超图模型中对应位置上顶点之间的相似性；

步骤四、计算多个超图模型中每个顶点对应的超边之间的相似性；

步骤五、将多时相遥感图像语义相似性计算表示为多个超图模型中匹配顶点的相似性与顶点对应超边相似性的加权和。

2.根据权利要求1所述的一种基于超图模型的遥感图像语义相似性度量方法，其特征在于：在进行步骤一所述特征提取前，还要对多时相遥感图像X_t(t＝1,2...,n)(t为时相)进行配准处理。

3.根据权利要求1所述的一种基于超图模型的遥感图像语义相似性度量方法，其特征在于：所述步骤一相关特征包括颜色特征、纹理特征、SIFT特征及熵特征。

4.根据权利要求3所述的一种基于超图模型的遥感图像语义相似性度量方法，其特征在于：所述颜色特征为CIELab颜色特征，提取过程如下：

(1)对输入的每个时相的遥感图像进行滤波；

(2)将滤波后的遥感图像从RGB颜色空间投影到CIELab颜色空间，得到图像中每个像素在CIELab颜色空间中的颜色特征值L、a和b；

(3)以L、a和b构造每个像素的3维颜色特征f_col＝[L a b]；

所述纹理特征为Gabor纹理特征，提取过程如下：

(1)将原始输入遥感图像转化为灰度图像；

(2)构造Gabor滤波器如下式所示：

x'＝mcosθ+nsinθ

y'＝-msinθ+ncosθ

其中，λ为波长，θ为Gabor滤波器的条带方向，为Gabor滤波器的相位参数，r为长宽比，δ表示Gabor函数的高斯因子的标准差，标准差和波长的关系为：δ＝0.56λ，(m,n)为像素坐标；

Gabor能量函数如下式所示：

其中，和分别为g_λ,θ,0(m,n)和与灰度图像卷积的结果；

(3)以图像中每个像素为单位，根据Gabor能量函数通过设定不同的尺度参数λ和方向参数θ计算每个像素不同状态下的能量值，并将每个像素不同状态下的能量值组合起来构成t1*t2维Gabor纹理特征；其中，t1表示不同的尺度参数λ的个数，t2表示不同的方向参数θ的个数；

(4)对Gabor纹理特征进行归一化；

所述SIFT特征提取过程如下：

(1)利用高斯差分(DOG)尺度空间对每个时相图像构建多尺度空间；

高斯差分尺度空间计算方法如下公式所示：

D(m,n,σ)＝L(m,n,kσ)-L(m,n,σ)

其中，k为常数因子；σ为尺度因子；L(m,n,σ)通过下式计算：

其中，G(m,n,σ)是尺度可变高斯函数，为卷积算子，(m,n)为图像空间坐标；

(2)DOG尺度空间上的每一个采样点与其同尺度的和上下相邻尺度的26个空间邻域采样点进行比较，检测该26个采样点中的最大或最小值，作为初始特征点；

(3)通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；

三维二次函数拟合如下所示：

去除低对比度的关键点方法如下公式所示：

去除不稳定的边缘响应点方法如下公式所示：

(4)利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数；

关键点方向参数计算如下公式所示：

θ(m,n)＝αtan2((L(m,n+1)-L(m,n-1))/(L(m+1,n)-L(m-1,n))) 

(5)以特征点为中心取其邻近的4×4的小块中，每个小块计算8个方向的梯度直方图，得到一个128(4×4×8)维的向量作为SIFT特征，并对该特征向量进行归一化；

所述熵特征提取过程如下：

(1)将原始输入遥感图像转化为灰度图像；

(2)依次以图像中的每个像素p(m,n)为中心，取m×m大小的图像区域，计算图像区域的熵，得到每个区域的1维熵特征作为该像素的熵特征。

5.根据权利要求4所述的一种基于超图模型的遥感图像语义相似性度量方法，其特征在于：所述t1＝5，λ取值分别为1，2，3，4，5；t2＝8，θ取值分别为0，π/4，(2*π)/4，(3*π)/4，(4*π)/4，(5*π)/4，(6*π)/4，(7*π)/4；m＝4。

6.根据权利要求1所述的一种基于超图模型的遥感图像语义相似性 度量方法，其特征在于：步骤三所述多个超图模型中对应位置上顶点之间的相似性通过顶点特征向量之间的距离来度量。

7.根据权利要求1所述的一种基于超图模型的遥感图像语义相似性度量方法，其特征在于：步骤四所述多个超图模型中每个顶点对应的超边之间的相似性通过不同时相遥感图像对应于同一定点的k个近邻之间的距离的最小累加和进行度量，如下式所示：

其中，e_mn表示坐标(m,n)上顶点v_mn对应第t_k时相和第t_k+1时相遥感图像对应超边之间的相似性，和分别表示第t_k时相和第t_k+1时相遥感图像坐标(m,n)上顶点v_mn的k个近邻的特征向量，|*|表示距离。

8.根据权利要求1所述的一种基于超图模型的遥感图像语义相似性度量方法，其特征在于：步骤四所述的多时相遥感图像语义相似性通过下式计算：

s_mn＝v_mn+β·e_mn

其中，v_mn表示坐标(m,n)上顶点对应第t_k时相和第t_k+1时相遥感图像之间的相似性，e_mn表示坐标(m,n)上顶点对应第t_k时相和第t_k+1时相遥感图像对应超边之间的相似性，β表示权重系数，其为实数，取值范围为[2,3]。

9.一种基于超图模型的遥感图像语义相似性度量装置，其特征在于：包括图像特征提取模块、图像超图模型构建模块和超图相似性计算模块；图像特征提取模块和图像超图模型构建模块分别与超图相似性计算模块相连接；

所述图像特征提取模块用于提取遥感图像特征；

所述图像超图模型构建模块用于在每个时相遥感图像上构建超图模型；

所述超图相似性计算模块用于计算不同时相遥感图像上构建的超图模型之间的语义相似性。

10.根据权利要求9所述的一种基于超图模型的遥感图像语义相似性度量装置，其特征在于：所述图像特征提取模块进一步由颜色特征提取单元、纹理特征提取单元、SIFT特征提取单元和熵特征提取单元组成；所述颜色特征提取单元用于提取遥感图像的CIELab颜色特征；所述纹理特征提取单元用于提取遥感图像Gabor纹理特征；所述SIFT特征提取单元用于提取遥感图像SIFT特征；所述熵特征提取单元用于提取遥感图像熵特征；

所述图像超图模型构建模块进一步由邻域计算单元和超边构造单元组成；所述邻域计算单元用于计算每个时相遥感图像中每个像素对应顶点的K个邻域顶点；所述超边构造单元用于根据邻域计算单元得到的K个邻域顶点构造每个相遥感图像中每个顶点对应的超边；

所述超图相似性计算模块进一步由顶点相似性计算单元、超边相似性计算单元和相似性加权计算单元组成；所述顶点相似性计算单元用于计算多时相遥感图像之间对应顶点之间的相似性；所述超边相似性计算单元用于计算多时相遥感图像之间对应顶点的超边之间的相似性；所述超边相似性计算单元用于计算多时相遥感图像之间对应顶点和超边之间的相似性加权和。