CN101814144A - 遥感图像中无水桥梁目标识别方法 - Google Patents

Abstract

本发明提出了一种遥感图像中的无水桥梁目标识别方法，主要解决无水桥梁的识别问题。其识别步骤是：(1)采用Canny算子对原图像进行边缘提取，根据给出的定义计算整幅图像的边缘密度和每个像素的边缘密度；(2)利用边缘密度对原图像进行二值分割；(3)用二值图像对原图像进行掩膜；(4)采用Canny算子对掩膜图像进行边缘提取，并用Hough变换提取直线；(5)根据给出的定义计算线段复杂度，最终确定出疑似桥梁区域；(6)分别计算原图像和平滑后的图像疑似桥梁区域的熵、能量、相关性、局部平稳性、惯性矩5个纹理特征量，构成一组特征矢量，并利用BP网络进行分类判决，识别出无水桥梁目标。本发明可用于遥感图像的无水桥梁目标识别。

Description

遥感图像中无水桥梁目标识别方法

技术领域

本发明属于图像处理技术领域，涉及图像目标的识别，特别是一种遥感图像中无水桥梁目标识别方法，应用于目标识别和人工智能领域。

背景技术

随着遥感技术的发展，获取高质量遥感图像的途径越来越多。遥感图像中典型目标的自动检测与识别引起了人们的广泛关注，无论在军事领域还是民用领域都有重要的应用价值。桥梁作为重要的战略目标，一直是研究的重点，许多专家学者针对特定的图像背景提出了各种有效的检测与识别方法。

马龙等人在红外技术，2007，29(10)：603-606中提出了一种针对红外图像的桥梁目标识别定位方法，该方法通过阈值分割和纹理图区域聚类相结合提取水域，然后运用统计技术求取桥梁宽度，在此基础上进行桥梁识别与定位。吴樊等人在电子与信息学报，2006，28中进行了基于知识的中高分辨率光学卫星遥感影像桥梁目标识别研究，该方法使用形态学算子提取河流，然后沿着河流中心线对桥梁进行检测，河流的提取以及桥梁的边缘检测对该算法影像很大。唐林波等人在电子学报，2007，35(3)：511-514中提出了一种航拍图像中水上桥梁的实时识别算法，该方法认为桥梁的边缘应该是互相平行的直线。从现有的研究成果看，桥梁识别的主要方法都是基于知识驱动型，也有一些使用经典的模式识别和模板匹配的算法。

目前对桥梁图像目标的识别基本上都是针对水上桥梁目标进行的，这方面已经有了一些较为成熟的算法。大多算法主要是利用水域、陆地、桥梁三者的关系，将其作为先验知识来指导图像处理，一般包括水体分割、感兴趣区域提取和桥梁识别三个步骤。其中非常关键的步骤就是利用水域与陆地的灰度值差异对图像进行二值分割，将图像分割为水域和陆地，然后，再在此基础上进行进一步的目标检测。然而在实际生活中，桥梁并不总是在河流区域之上，而且随着近些年自然环境的破坏，很多地方的河流只是在雨季才有水，甚至还有部分已经彻底断流。因而，对无水桥梁目标检测与识别的研究也具有重要的意义。

无水桥梁是指所有不是横跨在完整均匀河流之上的桥梁。在无水桥梁图像中，一般不存在完整均匀的河流，图像中可能存在一小部分没有完全干凅的河流，也可能河流已完全断流，呈现在图像上往往大部分是裸露的河床。河床的灰度值与周围的陆地相差不大，因而不能再利用灰度值差异这个先验知识来进行图像分割，因此针对水上桥梁目标的检测算法就不适用于无水桥梁目标的检测。

此外，由于无水桥梁图像的地表情况十分复杂多变，常见的河床有沙质河床、土质河床、卵石河床和滩涂湿地等，也有一些河床因长年干凅，已经被植被覆盖，甚至被作为耕地。国内外一直没有找到一种合适的方法对无水桥梁目标进行检测和识别，因此，急需一种有效的识别方法解决这一问题。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于边缘密度和线段复杂度的无水桥梁识别方法，以针对无水桥梁图像的特点，实现对无水桥梁目标的自动识别。

为实现上述目的，本发明包括如下步骤：

(1)根据无水桥梁图像的特征，定义图像的边缘密度为：

$\mathrm{\ρ}=\frac{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}}{M\×N}$

其中M表示图像的长度，N表示图像的宽度，p_ij表示边缘二值图像中像素点(i，j)的值，p_ij＝1表示边缘，p_ij＝0表示背景；

定义每个像素点的边缘密度为：

${\mathrm{\ρ}}_{\mathrm{ij}}=\frac{\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{K-1}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}}{K\×K}$

其中K表示选取的模版的大小；

(2)根据每个像素点的边缘密度ρ_ij与整幅图像的边缘密度ρ对河床与非河床区域进行二值分割，若ρ_ij＜ρ，则将像素点(i，j)的像素值置为255，若ρ_ij≥ρ，则将像素点(i，j)的像素值置为0；

(3)利用上述分割后的二值图像对原图像进行掩膜处理，再对掩膜后的图像进行边缘提取，然后利用HOUGH变换提取河床区域的直线段，沿该直线段的中垂线方向延伸若干像素，若连续若干像素的灰度值为255，则确定该线段横跨在河床之上，保留该线段；若连续若干像素的灰度值为0，则剔除该线段；

(4)根据无水桥梁目标的模型特征，定义桥梁线段复杂度为：

$\mathrm{\δ}=\frac{N}{l}+\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|{\mathrm{\θ}}_i-\mathrm{\θ}|}{N}$

其中N表示与该线段相交的线段的条数，|θ_i-θ|表示第i条与线段相交的线段与该线段的夹角，

表示与线段相交的线段与该线段的平均夹角大小，l表示该线段的长度；

(5)根据桥梁线段复杂度的定义，计算步骤(3)保留下来的线段的复杂度，若线段的复杂度大于或等于设定的阈值，则将其剔除，若线段的复杂度小于设定的阈值，则认为该线段为疑似桥梁线段而保留，得到最终平行的疑似桥梁线段，并根据平行的疑似桥梁线段确定出疑似桥梁区域；

(6)利用灰度共生矩阵法分别对原图像和平滑后的图像计算疑似桥梁区域的惯性矩、熵、局部平稳性、灰度相关性和能量5个纹理特征量，得到一组由10个纹理特征量构成的特征向量；

(7)利用上述10个纹理特征向量，采用BP网络对疑似桥梁区域进行判决，若判决结果为1，则判定该区域为桥梁；若判决结果为0，则判定该区域不是桥梁。

本发明与现有技术相比具有如下优点：

1)本发明由于利用边缘密度对河床与非河床区域进行分割，克服了河床与非河床在灰度值上比较相近，无法利用基于灰度值的分割方法对无水桥梁图像进行分割的问题。

2)本发明由于利用线段复杂度来消除疑似桥梁线段，确定疑似桥梁区域，为无水桥梁中疑似桥梁区域的确定提供了一种简单、高效的方法。

3)本发明由于综合利用多个特征量，可以有效防止个别特征偏差较大导致目标漏检或者误判。

4)本发明由于利用BP网络对多个纹理特征量进行判决，能够提高识别的准确率。

附图说明

图1是本发明的流程图；

图2是本发明的仿真结果图。

具体实施方式

步骤1，定义边缘密度和线段复杂度。

1.1)定义边缘密度

图像的边缘密度，是指在边缘图像中边缘线的像素数与该区域总像素数的比值，它是度量图像特征分布密集程度的一个参数，描述了该图像边缘信息的丰富程度，在一定程度上反映了该区域的地表复杂度。在二值图像中，若将边缘线像素点的灰度值设为255，其它点灰度值就为0，则图像边缘密度即为灰度值为255的像素点数与整幅图像的像素点数的比值。一幅M×N的边缘图像，其边缘密度为：

$\mathrm{\ρ}=\frac{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}}{M\×N}---1)$

其中p_ij表示边缘二值图像中，像素点(i，j)的值，p_ij＝1表示边缘，p_ij＝0表示背景。

根据1)式，可以将其扩展为每个像素点的边缘密度。对于像素点(i，j)，取以点(i，j)为中心的一个K×K的区域，将该区域内边缘点的像素点数与该区域像点数的比值，作为该像素点(i，j)的边缘密度：

${\mathrm{\ρ}}_{\mathrm{ij}}=\frac{\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{K-1}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}}{K^2}---2)$

其中，K表示选取的区域模版的大小。

1.2)定义线段的的复杂度

线段的的复杂度，是指单位长度上相交的线段数目加上这些线段与该线段的平均夹角大小，其定义如下：

$\mathrm{\δ}=\frac{N}{l}+\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|{\mathrm{\θ}}_i-\mathrm{\θ}|}{N}---3)$

其中，N表示与该线段相交的线段的条数；|θ_i-θ|表示第i条与线段相交的线段与该线段的夹角，用弧度表示；表示与线段相交的线段与该线段的平均夹角大小，l表示该线段的长度。

步骤2，采用Canny算子对输入的原图像进行边缘提取，得到边缘图像。

步骤3，计算边缘密度。

利用公式1)，对边缘图像的边缘密度进行计算，得到整幅图像的边缘密度记为Ave_contrate；利用公式2)，取以像素点为中心的K×K区域作为模版，对每个像素点的边缘密度进行计算，得到每个像素点的边缘密度local_contrate，模版大小K可根据实际情况设定，本实施中K取21。

步骤4，图像二值分割。

将每个像素点的边缘密度local_contrate与整幅图像的边缘密度Ave_contrate进行比较，若local_contrate＜Ave_contrate，则将该像素点的灰度值设为255，表示该区域边缘特征较简单，属于河床区域；若local_contrate＞＝Ave_contrate，则将该像素点的灰度值设为0，表示该区域边缘特征较复杂，属于非河床区域，这样就得到分割后的二值图像。

步骤5，消除小洞。

对分割后的二值图像进行一次腐蚀操作，再进行一次膨胀操作。在经过以上处理得到的二值图像中，河床区域和非河床区域会存在一些被误分割的小块，这里称为“小洞”。为了消除这些小洞，需要对二值图像做如下处理：

统计非河床区域中包含的各个白色“小洞”的面积tempAreal，设置小洞的最大面积clearBlock，若tempAreal＜clearBlock，则将这一白色区域设置为黑色；否则，就保留不变；

统计河床区域中包含的各个黑色“小洞”的面积tempArea2，若tempArea2＜clearBlock，则将这一黑色区域设置为白色；否则，就保留不变。

经过以上处理就得到最终的二值分割图像。

步骤6，图像掩膜处理。

基于桥梁一般横跨于河床之上的先验知识，将河床作为感兴趣区域进行桥梁检测，其实施步骤如下：

首先，利用步骤5得到的二值图像对原输入图像进行掩膜处理，得到掩膜后的图像；

然后，对掩膜后的图像再进行Canny边缘提取；

接着，对提取的边缘图像进行Hough变换提取直线段，沿该直线段的中垂线方向延伸若干像素，若连续若干像素的灰度值为0，则剔除该线段；若连续若干像素的灰度值为255，则确定该线段横跨在河床之上，保留该线段；

最后，计算各条线段的长度、斜率、倾角弧度和与该线段相交的线段条数。

步骤7，提取疑似桥梁线段。

根据线段复杂度的定义计算各条线段的线段复杂度，若线段的复杂度大于或等于设定的阈值，则将其剔除，若线段的复杂度小于设定的阈值，则认为该线段为疑似桥梁线段而保留；

根据桥梁目标的特征，即疑似桥梁线段一般表现为两条临近的平行线段，且两条平行线段应该有一定的距离，故将距离在设定范围内的平行线段保留，得到最终的疑似桥梁线段。

步骤8，确定疑似桥梁区域。

根据桥梁横跨在河床之上这个特征，确定桥梁线段的两个端点应该位于两岸非河床区域上，故将步骤7得到的疑似桥梁线段向两端延伸，其中向一端延伸直到连续遇到若干个灰度值为0的像素为止，取第一个像素作为桥梁线段的一个端点，向另一端延伸直到连续遇到若干个灰度值为0的像素为止，取第一个像素作为桥梁线段的另一个端点。按照此方法分别确定出两条平行的桥梁线段的四个端点坐标，将四个端点坐标所形成的区域确定为疑似桥梁区域。

步骤9，计算疑似桥梁区域纹理特征。

利用灰度共生矩阵法，分别对原图像和平滑后的图像计算疑似桥梁区域的能量、熵、惯性矩、局部平稳和相关性5个纹理特征，具体计算公式如下：

①惯性矩： $f_1=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{(i-j)}^2{P}_{\mathrm{ij}}$

其中，L表示灰度级数，P_ij表示灰度共生矩阵中位置(i，j)处元素的值。惯性矩可理解为图像的清晰度，图像越清晰，惯性矩越大，越模糊，惯性矩就越小。

②熵： $f_2=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}{\log }_2{P}_{\mathrm{ij}}$

熵反映了图像具有的信息量，即图像中纹理的复杂程度或非均匀度。若纹理越复杂，熵值越大，若灰度越均匀，熵越小。

③局部平稳性： $f_3=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\frac{P_{\mathrm{ij}}}{1+{|i-j|}^2}$

局部平稳性反映了图像纹理的规律性，纹理的规律性越强，逆差矩越大，越弱，逆差矩越小。

④相关性： $f_4=\frac{\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{\mathrm{ijP}}_{\mathrm{ij}}-{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}$

其中，

μ_x，μ_y，σ_x，σ_y分别为

与

的均值和标准差。相关性是用来表示共生矩阵中行和列的相似程度的向量。如果图像中水平方向纹理占主导，则水平共生矩阵得到的相关性大于其它方向共生矩阵得到的相关性。

⑤能量： $f_5=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}^2$

能量反映图像灰度分布的均匀程度和纹理粗细度，纹理越粗，能量越大，反之则越小。

由于图像的灰度级一般较大(一般为256级)，为了提高计算效率，可对灰度级进行适当的压缩，一般取L＝8，16或64，本实施中取L＝8。

步骤10，BP网络的判决。

利用步骤9得到的10个纹理特征向量，采用BP网络对疑似桥梁区域进行判决，若判决结果为1，则判定该区域为桥梁；若判决结果为0，则判定该区域不是桥梁；对于桥梁，则记录该桥梁的长度、宽度、端点信息，并在图中用红色矩形标出。

本实施中所设计的BP网络结构包含一个输入层、一个输出层、一个隐含层，其中输入层有10个输入节点，隐含层有6个节点，输出层有一个节点。网络的初始权值选择[-0.5，0.5]区间内的随机数，期望误差取0.0005，学习速率取0.2，动量因子取0.4。

本发明的效果可通过以下仿真进一步说明：

1)仿真环境

开发工具：Visual C++6.0、OPENCV；

操作系统：Microsoft Windows XP；

硬件配置：CPU：2GHz；

内存：2G。

2)仿真内容及结果

对原输入图像图2(a)进行边缘提取得到边缘图像如图2(b)，利用边缘密度对图2(b)进行图像分割得到二值图像如图2(c)，对二值图像图2(c)进行消除“小洞”处理得到最终的二值分割图像如图2(d)，利用二值分割图像2(d)对原图像进行掩膜，并提取边缘轮廓得到掩膜后的边缘轮廓图像如图2(e)，对掩膜后的边缘轮廓图2(e)提取疑似桥梁区域，并进行判别得到最终的识别结果标记图如图2(f)。

由图2(f)可以看出，本发明能够识别出无水桥梁图像中的桥梁目标，是一种有效的无水桥梁目标识别方法。

Claims (6)

1.一种遥感图像中无水桥梁目标识别方法，包括如下步骤：

(1)根据无水桥梁图像的特征，定义图像的边缘密度为：

$\mathrm{\ρ}=\frac{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}}{M\×N}$

其中M表示图像的长度，N表示图像的宽度，p_ij表示边缘二值图像中像素点(i，j)的值，p_ij＝1表示边缘，p_ij＝0表示背景；

定义每个像素点的边缘密度为：

$p_{\mathrm{ij}}=\frac{\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{K-1}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}}{K\×K}$

其中K表示选取的模版的大小；

(2)根据每个像素点的边缘密度ρ_ij与整幅图像的边缘密度ρ对河床与非河床区域进行二值分割，若ρ_ij＜ρ，则将像素点(i，j)的像素值置为255，若ρ_ij≥ρ，则将像素点(i，j)的像素值置为0；

(3)利用上述分割后的二值图像对原图像进行掩膜处理，再对掩膜后的图像进行边缘提取，然后利用HOUGH变换提取河床区域的直线段，沿该直线段的中垂线方向延伸若干像素，若连续若干像素的灰度值为255，则确定该线段横跨在河床之上，保留该线段；若连续若干像素的灰度值为0，则剔除该线段；

(4)根据无水桥梁目标的模型特征，定义桥梁线段复杂度为：

$\mathrm{\δ}=\frac{N}{l}+\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|{\mathrm{\θ}}_i-\mathrm{\θ}|}{N}$

其中N表示与该线段相交的线段的条数，|θ_i-θ|表示第i条与线段相交的线段与该线段的夹角，

表示与线段相交的线段与该线段的平均夹角大小，l表示该线段的长度；

(5)根据桥梁线段复杂度的定义，计算步骤(3)保留下来的线段的复杂度，若线段的复杂度大于或等于设定的阈值，则将其剔除，若线段的复杂度小于设定的阈值，则认为该线段为疑似桥梁线段而保留，得到最终平行的疑似桥梁线段，并根据平行的疑似桥梁线段确定出疑似桥梁区域；

(6)利用灰度共生矩阵法分别对原图像和平滑后的图像计算疑似桥梁区域的惯性矩、熵、局部平稳性、灰度相关性和能量5个纹理特征量，得到一组由10个纹理特征量构成的特征向量；

(7)利用上述10个纹理特征向量，采用BP网络对疑似桥梁区域进行判决，若判决结果为1，则判定该区域为桥梁；若判决结果为0，则判定该区域不是桥梁。

2.根据权利要求1所述的无水桥梁图像分割方法，其中步骤(6)所述的计算疑似桥梁区域的惯性矩，具体计算公式如下：

$f_1=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{(i-j)}^2{P}_{\mathrm{ij}}$

其中，L表示灰度级数，P_ij表示灰度共生矩阵中位置(i，j)处元素的值。

3.根据权利要求1所述的无水桥梁图像分割方法，其中步骤(6)所述的计算疑似桥梁区域的熵，具体计算公式如下：

$f_2=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}{\log }_2{P}_{\mathrm{ij}}.$

4.根据权利要求1所述的无水桥梁图像分割方法，其中步骤(6)所述的计算疑似桥梁区域的局部平稳性，具体计算公式如下：

$f_3=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\frac{P_{\mathrm{ij}}}{1+{|i-j|}^2}.$

5.根据权利要求1所述的无水桥梁图像分割方法，其中步骤(6)所述的计算疑似桥梁区域的灰度相关性，具体计算公式如下：

$f_4=\frac{\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\mathrm{ij}{P}_{\mathrm{ij}}-{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}$

其中， ${\mathrm{\μ}}_x=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}i\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}},$ ${\mathrm{\μ}}_y=\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}j\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}},$ ${\mathrm{\σ}}_x^2=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{(i-{\mathrm{\μ}}_x)}^2\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}},$ ${\mathrm{\σ}}_y^2=\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{(j-{\mathrm{\μ}}_y)}^2\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}.$

6.根据权利要求1所述的无水桥梁图像分割方法，其中步骤(6)所述的计算疑似桥梁区域的能量，具体计算公式如下：

$f_5=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}^2.$

Images