CN101430763A - 遥感图像中水上桥梁目标检测方法 - Google Patents

Abstract

本发明公开了一种从遥感图像中检测水上桥梁的方法，属于图像处理技术领域，主要解决现有技术适用范围有限的问题。具体实现过程是：从遥感图像中分割出完整连通的水域；对得到的水域区进行基于方向滤波的图像增强，在此基础上计算水域内各像素点的方向；根据不同桥梁的特点和方向设计相应的模板，并基于模板进行特征提取，选取多幅遥感图像用训练建模的方法得到基于遥感图像的桥梁分类器，对待检测图像进行模板匹配与特征提取后，通过桥梁分类器即可得到初始的桥梁检测结果；对初始检测结果进行噪声剔除，得到桥梁检测的最终结果。本发明具有无需对图像进行复杂的预处理和检测性能好的优点，用于对遥感图像的水上桥梁目标准确检测。

Description

遥感图像中水上桥梁目标检测方法

技术领域

本发明属于计算机视觉与模式识别领域，涉及一种从遥感图像中检测桥梁的方法，即以计算机为手段，从复杂的遥感图像中检测出水上桥梁，并对其精确定位。

背景技术

自然景物中人工物体的自动识别，一直是一项非常有意义但又很困难的工作。桥梁目标就是一种典型的人造目标，通过计算机视觉技术对其进行自动识别的研究，不论在军用还是民用上都有重大的意义。目前，桥梁识别尚无效果良好、适用范围广的方法。从现有的研究结果来看，主要是针对红外近(远)距离侧拍图像和高空侧拍航片中桥梁目标的识别。国外Baker DC，Hwang SS和Aggarwal JK等人对近距离侧拍桥梁的识别进行了研究，他们主要是基于彩色特征针对混凝土桥梁进行分析识别。算法较多地应用了混凝土桥梁的领域知识指导低层的处理和分割，因此属于基于知识的识别方法。国内从事桥梁目标识别方法研究的团体和机构主要有以徐胜荣、荆仁杰、姜骊黎、王伟明等为代表的浙江大学信息与智能研究所，以汪国有、左震等为代表的华中理工大学图像识别与人工智能研究所，以焦李成等为代表的西安电子科技大学智能信息处理研究所等。

徐胜荣、李忠兴等较早地对远距离侧拍桥梁进行了识别研究，他们将识别过程分为低、中、高三个处理层次。低层处理后得到一些团块基元以及相应的边沿曲线；中层处理中使用了传统Hough变换对已经获得的边沿线进行直线检测；高层处理时使用既有的桥梁知识建立模型与检测出的直线进行匹配验证。从低层的区域分割、边沿提取到中层的直线检测、线条关系分析直至高层的模型匹配都是以相应的知识为基础，是基于知识的识别方法。

姜骊黎、史册等针对遥感图像中水上桥梁识别做了相关的研究，他们同样也将识别过程分为低、中、高三个层次，各个层次都有相应的知识作为指导。与徐胜荣等不同的是：由于图像品质不同，建立的知识库内容有所区别：低层处理结果仅是团块基元，中层则使用了史册、吴宇岚等提出的团块链码跟踪识别算法BL算法，提取团块的线状特征。

以上两种算法由于都要进行直线的检测，因此算法计算复杂度较高，且对待检测桥梁的要求高，即要求待检测桥梁在水域跨度较大，并要符合一定的长宽比。

发明内容

本发明的目的在于克服上述已有直线检测方法计算复杂度高的问题，提供一种无需对图像进行复杂的预处理，且检测过程对桥梁形状和大小没有限制的遥感图像水上桥梁目标检测方法，以避免直线检测降低运算复杂度。

为实现上述目的，本发明的技术方案是在水域分割的基础上，对图像水域区进行基于方向滤波的图像增强并计算各像素点方向，再利用多模板匹配与特征提取相结合的方法检测桥梁目标。具体步骤包括：

完整水域分割步骤：对多幅遥感图像提取其中的水域特征，利用KNN分类器对所提取的水域特征进行训练建模，得到基于遥感图像的水域分类器，通过该水域分类器对待检测遥感图像的水域进行分割，并对分割结果进行数学形态学操作，得到完整连通的水域图像；

水域图像像素点方向计算步骤：对遥感图像中的水域图像进行基于方向滤波的图像增强，并将增强后的图像用方向图计算方法得到水域内各像素点的方向；

桥梁目标检测步骤：

(1)针对不同桥梁目标的特点和方向设计相应的模板，并对模板不同区域提取不同的特征；

(2)根据设计的模板对多幅桥梁图像进行模板匹配与特征提取，得到桥梁图像的特征矩阵，从该特征矩阵中选取训练样本，并利用KNN分类器对训练样本进行训练得到桥梁分类器；

(3)根据设计的模板对待检测图像进行模板匹配与特征提取，得到待检测图像的特征矩阵，通过桥梁分类器得到桥梁检测的初始结果；

后处理步骤：对初始检测结果进行噪声剔除，得到最终的桥梁目标检测结果。

本发明由于仅对分割出的水域图像进行目标检测，因此不需要对待检测遥感图像进行复杂的预处理；同时由于本发明是用模板匹配的方法检测目标，故对待检测桥梁的形状和大小没有限制；此外由于本发明未涉及变换域的直线检测，因此所有步骤都在空域基于像素进行，实现过程简单快速，复杂度低。

附图说明

图1是本发明的流程原理框图；

图2是本发明实施例输入的一幅待检测桥梁遥感图像；

图3是本发明待检测图像水域分割的初步结果图；

图4是本发明实验得到的完整连通的水域分割结果图；

图5是本发明计算连续方向图的示意图；

图6是本发明设计的方向滤波器示意图；

图7是本发明对待检测图像水域方向的滤波结果图；

图8是本发明提出的桥梁检测模板示意图；

图9是本发明将待检测图像进行目标检测所用的模板图；

图10是本发明桥梁目标检测的初步结果图；

图11是本发明对检测初步结果进行噪声去除后的结果图。

具体实施方法

参照附图1，本发明的实现步骤如下：

1.水域分割

对输入的待检测图像进行水域分割，目的是得到待检测图像中完整连通的水域区，具体分为以下几个步骤完成：

1.1)训练水域分类器

为了最大限度保持恒虚警地检测水域和避免对不同图像进行重复建模，通过对水域的结构分析，提取5个特征表示水域，在遥感图像I中取水域和非水域的子图像H，分别计算：

a.子图像灰度的均值与整幅图像灰度的均值之比x₁＝E(H)/E(I)；

b.子图像灰度的均值与整幅图像灰度最大值之比x₂＝E(H)/max(I)；

c.整幅图像灰度最小值与子图像灰度的均值之比x₃＝min(I)/E(H)；

d.子图像灰度的均值与子图像灰度的方差之比x₄＝E(H)/var(H)；

e.子图像灰度的方差与整幅图像灰度的均值之比x₅＝var(H)/E(I)；

对多幅遥感图像进行上述特征计算后，得到各幅图像的特征矩阵，从特征矩阵中选取部分水域点和非水域点作为两类样本输入给KNN分类器，对该两类样本进行特征比较，构建一个基于遥感图像的水域分类器；

1.2)对输入的待检测图像，如图2所示，按照上述方法对整幅图像逐点进行特征计算，得到整幅图像的特征矩阵，输入给训练得到的水域分类器，将特征矩阵的每一点与水域分类器中的水域特征和非水域特征进行比较，将符合水域特征的点标记为水域，得到水域分割的初始结果，如图3所示。图3显示的为二值图像，白色区域为水域，黑色为背景区域；

1.3)对得到的水域粗分割结果进行先膨胀后腐蚀相结合的操作，膨胀和腐蚀过程选用相同的算子，使整个水域连通，由于包含桥梁目标的水域面积较大，因此设定面积阈值，通常选取小于50的值，去掉面积较小的水域，再对得到的连通区域进行膨胀操作，保证水域的信息完整性，最终得到完整连通的水域分割结果，如图4所示。

2.计算水域图像像素点的方向

对输入的待检测图像分割出其水域区域后，对水域区进行基于方向滤波的图像增强，并将增强后的图像用连续方向图计算方法计算水域内各像素点的方向，具体实现过程如下：

2.1)对输入的水域图像进行基于方向滤波的图像增强

首先计算出水域区的连续方向图，将图像中各点的方向分为八个方向，如图5所示。基准点位于方向模板的中心，从水平位置开始，按逆时针方向，每隔π/8确定一个方向，分别用i＝0，1，2，…，7来表示，此方法计算的方向角范围是[0，π)。具体计算步骤如下：

1a)对于图像中的每个像素，分别计算出每个方向的灰度平均值

1b)将8个方向按两两垂直的方向分成4组，计算每组中两个平均值差的绝对值ΔM，即 $\mathrm{\ΔM}=|\stackrel{\‾}{M_j}-\stackrel{\‾}{M_{j+4}}|,$ 其中，j＝0，1，2，3。取ΔM中最大的一组中的两个方向(j_max和j_max+4)作为可能的方向；

1c)按下式求出像素P(x，y)的方向：

按此方法分别对图像中的每个像素点进行处理，得到点方向图D(x，y)；

1d)用连续滑动的w×w大小的窗口对点方向图D(x，y)中的每一点P(x，y)进行平滑处理，分别统计每个窗口内方向直方图；

1e)将直方图的峰值所对应的方向作为点P(x，y)的方向，即： $O(x,y)=\mathrm{ord}\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\left(\max \left(N_i\right)\right),$ 式中ord(A_i)＝i，ord()为取A的元素A_i的下标i的函数，根据此方法对点方向图D(x，y)中的每个点进行平滑处理，便可得到连续方向图0(x，y)。

根据上面计算出的连续方向图，设计出一套方向自适应滤波模板。其设计思想是使桥梁上各点在切线方向平滑，在法线方向锐化。方向自适应滤波器是由多个方向的滤波模板组成的，先给出水平方向的滤波模板，其他方向的滤波模板可以通过对水平方向的滤波模板进行旋转得到。水平方向滤波模板设计如图6所示，系数按u>x>y≥0，u+2x+2y-2z＝0规则选取，其他方向(2～8)的滤波器可由其旋转相应的角度得到。通过滤波模板对图像中的每个像素点进行滤波，得到滤波后的图像，如图7所示。

2.2)对增强后的水域图像的各像素点方向进行计算

经过上述滤波处理后，图像中桥梁目标得到凸显，且桥梁的一些断点被连接起来了，与原输入图像相比桥梁和周围水域的对比度增强了，在此滤波后的图像中按照上述步骤2.1)中连续方向图的计算方法再计算各像素点方向，此时计算得到的方向比从原图像中计算更精确，更有利于后续的模板匹配和桥梁目标检测。

3.桥梁目标检测

3.1)桥梁模板的设计：经过分析桥梁目标都是横跨于水面上的，以桥梁点为基准点，往两边延伸均是水域。基于此特点进行模板设计，相应的模板分为三部分，如图8所示，假设当前桥梁点的方向为垂直方向，图8中区域A内为桥梁像素点，区域BL和区域BR内为水域像素点。按照像素点方向的划分方法，将平面划分为八个方向，得到图示垂直方向的模板后，其它方向的模板由垂直方向的模板经过旋转得到；模板的大小可根据待检测桥梁目标的大小进行调节，即图8中的a，b，c值是可以按实际需要调节的。图9所示的两个模板是图2所示的实验输入图像，在检测时所用到的模板，在图2中数字1～17顺序标示出了所有待检测的桥梁，可看出该实验图像中不仅桥梁数目很多，并且这些桥梁形状各异，大小各不相同，且有些桥梁之间距离非常近，大大增加了检测难度，由最终的实验结果可看出，本发明中仅需图示的两个模板，即可检测出输入图像中各类不同的桥梁目标，所以说此模板设计方法对于桥梁检测性能良好。

3.2)基于模板的特征提取：对待检测图像中的每一点按照其方向选取相应的模板，基于模板对图像进行特征提取，即对模板的BL和BR区域所对应的图像区域提取水域特征：

x₁＝E(H)/E(I)；x₂＝E(H)/max(I)；x₃＝min(I)/E(H)；x₄＝E(H)/var(H)；x₅＝var(H)/E(I)，

对模板的A区域所对应的图像区域提取桥梁特征：

x₁＝E(H)，x₂＝var(H)，

式中，H表示模板对应的子图像，I表示整幅遥感图像，E代表求均值，var代表求方差。

按照上述特征提取方法对待检测图像水域中的每个像素点进行特征计算，对于每个像素点都构成一个12维的特征向量，因此一幅水域大小为m×n的输入图像经过计算得到一个大小为(m×n)×12的特征矩阵。

3.3)训练桥梁分类器：选取多幅桥梁遥感图像经计算得到各自的特征矩阵，在特征矩阵中选取部分桥梁点和背景点作为两类样本输入给KNN分类器，对两类样本进行特征比较，构建一个基于遥感图像的桥梁目标分类器。

3.4)对输入的待检测图像按照上述步骤3.1)和步骤3.2)对图像的水域部分进行模板匹配和特征提取，得到待检测图像的特征矩阵；将特征矩阵输入给训练得到的桥梁目标分类器，将特征矩阵中的每一点分别与桥梁目标分类器中的目标特征和背景特征进行比较；将符合目标特征的点标记为桥梁目标，得到初始检测结果，如图10所示。

4.后处理

分析初步检测结果发现其中有个别干扰点和伪目标，基于桥梁都是由一定数量的像素点构成线状目标，并且具有连续性，因此通过对检测结果中出现的单个点和相邻像素点数少于10的目标进行剔除，得到最终的桥梁目标检测结果，如图11所示。

实验结果分析

图2所示输入的待检测图像中，1—17号标识出了图像中所有待检测的桥梁，检测结果如图11所示，图中对检测结果进行了连通区域的自动标记，原图与检测结果中桥梁目标的对应关系如下表所示：

表1 待检测图(图2)和检测结果(图11)的对应关系

 

图2中的标号	图11中的标号	图2中的标号	图11中的标号
				1	1	10	12，16
2	3	11	15
				3	4	12	14
4	5	13	17，18
				5	6	14	19
6	8	15	20
				7	9	16	21
8	10	17	22
				9	11，13	伪目标	2，7

从表1中可看出，原图中待检测的17个桥梁目标全部检测成功，无一漏检，同时得到了所有桥梁像素点的位置信息，检测结果中出现的个别桥梁目标断裂和伪目标可进一步进行连接和剔除。

Claims (4)

1、一种遥感图像中水上桥梁目标检测方法，包括如下步骤：

完整水域分割步骤：对多幅遥感图像提取其中的水域特征，利用KNN分类器对所提取的水域特征进行训练建模，得到基于遥感图像的水域分类器，通过该水域分类器对待检测遥感图像的水域进行分割，并对分割结果进行数学形态学操作，得到完整连通的水域图像；

水域图像像素点方向计算步骤：对遥感图像中的水域图像进行基于方向滤波的图像增强，并将增强后的图像用连续方向图计算方法得到水域内各像素点的方向；

桥梁目标检测步骤：

(1)针对不同桥梁目标的特点和方向设计相应的模板，并对模板不同区域提取不同的特征；

(2)根据设计的模板对多幅桥梁图像进行模板匹配与特征提取，得到桥梁图像的特征矩阵，从该特征矩阵中选取训练样本，并利用KNN分类器对训练样本进行训练得到桥梁分类器；

(3)根据设计的模板对待检测图像进行模板匹配与特征提取，得到待检测图像的特征矩阵，通过桥梁分类器得到桥梁检测的初始结果；

后处理步骤：对初始检测结果进行噪声剔除，得到最终的桥梁目标检测结果。

2、根据权利要求1所述的桥梁目标检测方法，其中目标检测步骤(1)，按如下过程进行：

1a)根据桥梁是横跨在水域上的特点，将模板设定为三部分，即两边是水域，中间是桥梁，模板的方向由水域中各像素点的方向确定；

1b)利用模板对待检测图像进行特征提取，即

提取的水域特征为：x₁＝E(H)/E(I)，x₂＝E(H)/max(I)，x₃＝min(I)/E(H)，x₄＝E(H)/var(H)，x₅＝var(H)/E(I)，

提取的桥梁特征为：y₁＝E(M)，y₂＝var(M)，

式中，H代表模板中对应的水域区，M代表模板中对应的桥梁区，I代表待检测图像，E代表求均值，var代表求方差。

3、根据权利要求1所述的桥梁目标检测方法，其中目标检测步骤(2)所述的利用KNN分类器对训练样本进行训练得到桥梁分类器，是将从特征矩阵中选取出的部分桥梁目标点和背景点作为两类样本输入给KNN分类器，对两类样本进行特征比较，得到桥梁分类器。

4、根据权利要求1所述的桥梁目标检测方法，其中目标检测步骤(3)所述的通过桥梁分类器得到桥梁检测的初始结果，是将待检测图像的特征矩阵输入给桥梁分类器，将特征矩阵中的每一点分别与桥梁分类器中的目标特征和背景特征进行比较，将符合目标特征的点标记为桥梁目标。

Images