CN104331682A - 一种基于傅里叶描述子的建筑物自动识别方法 - Google Patents

Abstract

本发明公开了一种基于傅里叶描述子的建筑物自动识别方法，用于土地违法违规使用的违法建筑物自动识别，包括步骤：首先对原始的建筑物RGB彩色图像，经过滤波、增强、边缘检测等处理将其转化为灰度边缘图像；然后对灰度边缘图像按照傅里叶描述子的方法提取出所有的轮廓；接着将轮廓点写成复数的形式，对其进行离散傅里叶变换，然后对变换后的值求模，得到归一化的傅里叶描述子；并对提取的轮廓数据按照DP算法进行简化；根据简化后的建筑物轮廓建立建筑物形状标准模版库；计算与标准模版库的欧氏距离，利用欧氏距离来表示两个傅里叶描述子的相似度，最后判断提取的轮廓是否为典型建筑物形状特征，从而达到在视频图像中自动识别违法建筑物目标。

Description

一种基于傅里叶描述子的建筑物自动识别方法

技术领域

本发明涉及图像处理和模式识别领域，特别是涉及一种基于傅里叶描述子的建筑物自动识别方法。

背景技术

目前，我国城镇化进程中，村镇新增建设用地利用存在问题突出，布局混乱、扩张无序、浪费严重，违法违规形式多、分布广。主要有三大违规违法用地形式：（1）规避农用地转用和征收审批；（2）突破开发区实际范围，以各种名义新设各类开发区、工业集中区等；（3）擅自先行征地、供地、建设，先占先用，边报边占。在国土部门采用的12336举报电话系统、卫片执法、土地巡查车等一系列技术手段已经形成了“天上看、网上管、地上查”的立体监管网络，其在违法违规用地的发现处理方面取得了一定的成效。但这些技术手段也各自存在一些不足。12336举报热线有着线索无法全部实地核查和线索方向不够广泛的缺点。卫片土地执法检查也存在着一些问题：（1）成本较高，占用了宝贵的卫星资源；（2）成像角度较单一；（3）容易受到气象因素等的干扰；（4）执法周期长，无法实时高效地进行监测。对于动态巡查，目前还只停留在驾驶巡查车，对有限的几个违法用地易发区进行现场勘查，然后在现场人工拍摄照片并进行存档，之后回到办公地点对数据进行分析和比对，如发现违法用地现象再重新返回现场进行处理的工作模式。这种工作模式大大增加了工作人员的工作量，也降低了对违法用地处理的时效性。近年来，随着计算机技术、图像处理技术、模式识别技术的发展，基于视频图像的目标自动检测和识别成为图像处理与识别应用的热点研究方向，结合新的应用领域，图像处理与识别的研究呈现出新的特点。

物体的形状特征是物体外在表现最明显的基础特征之一，也是人眼视觉最容易辨别的特征之一，形状识别一直是模式识别研究的热点方向。物体的形状可以有很多种表现形式，如边界曲线的点序列坐标、边界上各点的切线方向及曲率、边界点到重心的距离等。目前人们已经提出了多种形状识别方法，如基于边界特征点[C C Chang, S M Hwang, D j Buehrer. A shape recognition scheme based on relative distance of feature points from the centroid[J]. Pattern Recognition, 1991.24(11): 1053-1063]，不变矩[S O Belkasim, M Shridhar, M Ahmadi. Pattern recogntion with moment invariant: A comparative study and new results[J]. Pattern Recognition, 1991.24: 1117-1138]，傅里叶描述子[H Kauppien, T Sepanen. An experiment comparison of autoregressive and Fourier-based descriptors in 2D shape classification[C]. IEEE Trans on PAM I, 1995.2: 201-207；E Persoon, K S Fu. Shape discrimination using Fourier descriptors[C]. IEEE Trans on PAM I, 1986.8: 388-397；C T Zahn, R Z Roskies. Fourier descriptors for plane closed curves[C]. IEEE Trans on Computers, 1972.21: 269-281]和自回归模型[S R Dubos, F H Glanz. An autoregressive model approach to two-dimensional shape classification[C]. IEEE Trans on PAM I, 1986.8: 55-56]等。国外的Kauppien对各种典型的形状识别方法进行了比较，最终通过实验表明基于物体轮廓坐标序列的傅里叶描述子具有最佳的形状识别性能。

建筑物图像中也包含有大量的形状特征信息，而且虽然实际中的建筑物随其样式不同会有很大的差别，但是其图像中总会或多或少地包含有一些典型的形状特征，如矩形、三角形等。可见，形状特征的识别在建筑物检测中有着非常重要的意义。

发明内容

本发明主要解决的技术问题是：针对现有技术的不足，提供一种基于傅里叶描述子的建筑物自动识别方法，能够提高土地违法违规建筑物发现的智能化和自动化程度，实现对视频图像中违法违规建筑物目标的自动发现和识别，实现土地巡查的自动报警和联动执法。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于傅里叶描述子的建筑物自动识别方法，用于土地违法违规使用的违法建筑物自动识别，包括以下步骤：

（100）RGB图像转化为灰度边缘图像：对于原始的建筑物RGB彩色图像，经过处理将其转化为灰度边缘图像；

（200）建筑物轮廓提取：对灰度边缘图像按照傅里叶描述子的方法提取出所有的轮廓；

（300）离散傅里叶变换：将提取的轮廓的点写成复数的形式，对其进行离散傅里叶变换，

（400）傅里叶描述子归一化：对离散傅里叶变换后的值求模，每一项的模都除以第一项的模，得到归一化的傅里叶描述子；

（500）DP直线简化：对提取的轮廓数据按照DP算法进行简化；

（600）建筑物形状标准模版库建立：根据简化后的建筑物轮廓建立建筑物形状标准模版库；

（700）计算与建筑物形状标准模版库的欧氏距离：计算两个傅里叶描述子的欧氏距离，利用欧氏距离来表示他们之间的相似度；

（800）轮廓提取效果与分析：最后判断提取的轮廓是否为典型建筑物形状特征，从而达到在视频图像中自动识别违法建筑物目标。

在本发明一个较佳实施例中，步骤（100）中所述处理包括滤波、增强和边缘检测处理。

在本发明一个较佳实施例中，步骤（400）中所述归一化的傅里叶描述子具有旋转不变性、平移不变性和尺度不变性，且与曲线的起点选择无关。

在本发明一个较佳实施例中，步骤（500）中所述DP算法为道格拉斯-普克矢量压缩算法，用来对提取的轮廓数据进行简化压缩。

在本发明一个较佳实施例中，所述DP算法包括以下步骤：

（ⅰ）对每一条直线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离d_max；

（ⅱ）用d_max与设定的线差D相比，如果d_max<D，则这条直线上的中间点全部舍去；如果d_max                                               D，则保留d_max对应的坐标点，并以该点为界，将曲线分为两部分，对这两部分重复使用该方法。

在本发明一个较佳实施例中，步骤（600）中所述建筑物形状标准模版库按以下标准创建：

矩形模版：建筑物图像中矩形类的形状特征占大多数，其中主要有门，窗，立柱及建筑物的整体轮廓，采取8个边长比不同的矩形作为模板，其长边与短边的比值分别为4、3、2.5、2、1.75、1.5、1.25和1；

三角形模板：三角形的形状特征在建筑物图像中也有很多的体现，比如人字架屋顶、屋檐等，应用在建筑领域的人字架的角度大约分布在20°-60°之间，在这里我们取4个不同角度的等腰三角形作为模板，其角度分别为25°、35°、45°、55°；

五边形模板：采取4个不同的五边形作为模板，其三角形部分取的角度分别为25°、35°、45°、55°， 其底部矩形部分底高比例取为2：1和1.5：1两种。

在本发明一个较佳实施例中，步骤（700）中所述欧氏距离的计算步骤为：

其中，K为选取的傅里叶描述子的个数，D为欧氏距离，d_i和d_j为两个不同的傅里叶描述子。

在本发明一个较佳实施例中，所述傅里叶描述子的个数K=25。

在本发明一个较佳实施例中，所述欧氏距离D的阈值为0.5，若D不大于0.5则相似，否则不相似。

本发明的有益效果是：利用数字图像处理技术对建筑物图像进行处理后，建立标准建筑物模板库，通过模板匹配法实现对违法建筑物的自动识别，提高土地违法违规建筑物发现的智能化和自动化程度，实现对视频图像中违法违规建筑物目标的自动发现和识别，实现土地巡查的自动报警和联动执法。

附图说明

图1是本发明一种基于傅里叶描述子的建筑物自动识别方法一较佳实施例的流程图；

图2是图1所示建筑物轮廓提取中定义序列S的修正方法；

图3是图1所示DP直线简化算法（道格拉斯-普克矢量压缩算法）的简化思路；

图4是图1所示建立的建筑物形状标准模版库中的矩形模版；

图5是图1所示建立的建筑物形状标准模版库中的三角形模版；

图6是图1所示建立的建筑物形状标准模版库中的五边形模版；

图7是图1所示欧氏距离计算中K值取值不同对应傅里叶逆变换对原图还原的高低频显示；

图8是图1所示建筑物轮廓提取中的齿轮二值化图像轮廓的提取效果图；

图9是图1所示一建筑物轮廓提取的效果图；

图10是图1所示另一建筑物轮廓提取的效果图；

图11是图1所示轮廓提取效果与分析中欧氏距离为0.215时的轮廓匹配的实验效果图；

图12是图1所示轮廓提取效果与分析中欧氏距离为0.397时的轮廓匹配的实验效果图；

图13是图1所示轮廓提取效果与分析中欧氏距离为0.074时的轮廓匹配的实验效果图；

图14是图1所示轮廓提取效果与分析中欧氏距离为0.080时的轮廓匹配的实验效果图；

图15是图1所示轮廓提取效果与分析中欧氏距离为0.139时的轮廓匹配的实验效果图；

图16是图1所示轮廓提取效果与分析中欧氏距离为0.150时的轮廓匹配的实验效果图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1-图16所示，本发明实施例包括：

一种基于傅里叶描述子的建筑物自动识别方法，用于土地违法违规使用的违法建筑物自动识别，包括以下步骤：

（100）RGB图像转化为灰度边缘图像：对于原始的建筑物RGB彩色图像，经过滤波、增强、边缘检测等处理将其转化为灰度边缘图像；

（200）建筑物轮廓提取：对灰度边缘图像按照傅里叶描述子的方法提取出所有的轮廓；

（300）离散傅里叶变换：将提取的轮廓的点写成复数的形式，对其进行离散傅里叶变换，

（400）傅里叶描述子归一化：对离散傅里叶变换后的值求模，每一项的模都除以第一项的模，得到归一化的傅里叶描述子；

（500）DP直线简化：对提取的轮廓数据按照DP算法进行简化；

（600）建筑物形状标准模版库建立：根据简化后的建筑物轮廓建立建筑物形状标准模版库；

（700）计算与建筑物形状标准模版库的欧氏距离：计算两个傅里叶描述子的欧氏距离，利用欧氏距离来表示他们之间的相似度；

（800）轮廓提取效果与分析：最后判断提取的轮廓是否为典型建筑物形状特征，从而达到在视频图像中自动识别违法建筑物目标。

建筑物轮廓提取

步骤（200）中建筑物轮廓提取的主要任务是将表示物体形状的封闭的单个像素宽的点序列从边缘图像中提取出来，是进行形状识别的前提和基础。轮廓提取的关键在于算法要在物体形状的拐弯曲折处要能快速地回归到形状的外缘，保证形状特征不失真。

建筑物轮廓提取的步骤如下：

（1）设定目标轮廓所包含的最少点数N，如果少于N则认定其为干扰曲线；

（2）对图像中的边缘点进行遍历，将首先遍历到的点假定为轮廓的起始点，建立轮廓点集合P，添加起始点到P；

（3）定义序列S={-1, 1, 0, 1, 1, 1, 1, 0, 1, -1, 0, -1, -1, -1, -1, 0}，表示轮廓搜索的顺序，按照S的顺序对当前点的八邻域像素点进行搜索，第一个搜索的点为（-1,1），在当前点(x,y)的基础上进行计算为(x-1,y+1)，即当前点左下方的点；

（4）如果该点非边缘点，则按照S的顺序继续搜索；如果到达S的终点未找到边缘点，说明此曲线非目标轮廓，继续步骤(2)；

（5）如果该点为边缘点，则添加其到集合P，然后将S序列循环为第一个位置为该点的前一个坐标。如对初始的S，如果该点为(1,1)，即右下方的点，那就将S修改为{0,1,1,1…}，下次搜索采用的S的第一个搜索坐标就变为(0,1)，这样可以保证始终追踪轮廓的外围边缘；

（6）如果当前边缘点与起始点的距离为1，且轮廓的长度（即轮廓包含的边缘点的个数）大于设定的轮廓最小长度N，则轮廓完成循环，提取轮廓结束，此处的轮廓最小长度N可设定为图像长宽大小的一定比例，如N=min(height,width)/10；

（7）算法中S的修正方法可以用图2表示。

傅里叶描述子归一化

步骤（400）中傅里叶描述子归一化的步骤如下：

假设C是位于复平面的一个封闭的曲线。如果沿着这个曲线按逆时针方向定速运动，那我们就可以获得一个复函数z(t)，其中：t为时间变量。如果我们将速度定位环绕边界一周正好需要时间为2π，那在环绕曲线多次后就可以获得一个周期为2π的周期函数。z(t)可以用傅里叶级数表示：

              (1)

T_n就叫做曲线C的傅里叶描述子。时间t与曲线长度L的关系可以表述为：

t=2πs/L                 (2)

傅里叶描述子T_n可以由以下公式给出：

       (3)

傅里叶描述子受曲线形状和起始点的影响。在数字图像数据中，边界坐标是离散的，方程z(s)也不连续。假设z(k)是z(s)的离散版本，那傅里叶描述子T_n就可以用z(k)的离散傅里叶变换获得

z(k) ←DFT（离散傅里叶变换）→T_n         (4)

这样傅里叶描述子T_n就成为：

                (5)

为了使归一化的傅里叶描述子具有旋转、平移和尺度不变性，我们可以对傅里叶描述子进一步进行归一化处理。将形状边界起始点位置平移a长度，物体放大r倍，旋转角度α和平移位移(x₀,y₀)后，可以计算其傅里叶变换系数为：

                (6)

由公式(6)可以看出，用傅里叶描述子来描述形状时，系数幅值||T_n||,u=0,1,2,N-1，具有旋转不变性和缩放不变性，且不受曲线起点选择的影响。当物体发生平移时，改变的仅为其T₀分量F(x₀+iy₀)分量的值。我们将||T_u||除以||T₁||就可以得到归一化后的傅里叶描述子d(u)，如下所示：

                   (7)

归一化后的傅里叶描述子d(u)具有旋转、平移和尺度不变性，且与曲线的起点选择无关。

直线简化算法

实际图像的轮廓并不是规范的，图像上的直线实际可能是由许多折线组成的，步骤（200）中提取得出的轮廓因此也会有这种情况。这会给我们带来两个方面的问题：

（1）增大了计算量。由于干扰的增多，需要计算的像素点数也就增多，如果不加处理直接进行计算，那势必会增加计算量。

（2）影响匹配的精度。由于我们设定的轮廓都是边缘工整的，所以不对原始轮廓进行处理的话会大大影响匹配的精度。

鉴于以上两个原因，我们采用了步骤（500）中的DP算法，即道格拉斯-普克矢量压缩算法来对轮廓数据进行简化压缩。其基本思路是，对每一条直线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离d_max；用d_max与设定的线差D相比，如果d_max<D，则这条直线上的中间点全部舍去；如果d_max D，则保留d_max对应的坐标点，并以该点为界，将曲线分为两部分，对这两部分重复使用该方法。DP算法的思路可以用图3表示。

建筑物形状标准模版库建立

步骤（600）中所述建筑物形状标准模版库由以下几个部分组成：

（1）矩形模板

建筑物图像中矩形类的形状特征占大多数，其中主要有门、窗、立柱及建筑物的整体轮廓。由图8-图10我们可以看出建筑物的矩形形状特征的边长比分布是比较广的，所以我们采取了8个边长比不同的矩形作为模板，其长边与短边的比值分别为4、3、2.5、2、1.75、1.5、1.25和1，如图4所示。

（2）三角形模板

三角形的形状特征在建筑物图像中也有很多的体现，比如人字架屋顶，屋檐等。应用在建筑领域的人字架的角度大约分布在20°-60°之间，在这里我们取4个不同角度的等腰三角形作为模板，其角度分别为25°、35°、45°、55°，附图5所示。

（3）五边形模板

实际建筑物的外部整体形状非常复杂，且随着拍照角度的不同也有很多不同的变换，在很多情况下由于周围环境的遮挡或者不完整也难以提取出符合需要的形状特征。在此我们主要考虑了其中的简单情况。对于一般的矩形类的外部轮廓可以用矩形模板进行匹配。如果建筑物采用了人字架屋顶结构，那么对应其侧面为五边形。针对此情况，根据人字架三角形角度的不同，我们采取了4个不同的五边形作为模板，其三角形部分取的角度分别为25°、35°、45°、55°， 其底部矩形部分底高比例取为2：1和1.5：1两种，如图6所示。

计算与建筑物形状标准模版库的欧氏距离

得到归一化的傅里叶描述子之后，计算两个描述子的欧氏距离，用欧氏距离表示它们之间的相似度。

     (8)

其中，K为我们取的傅里叶描述子的个数。由傅里叶变换的性质可以知道，低频部分反映了信号的整体特征，在这里对应的是形状的粗略轮廓特征，高频部分反映信号的细节特征，对应着形状的细节特征。K值取值不同对应傅里叶逆变换对原图的还原如图7所示。

从图7中可以看到，在取值较低的时候，傅里叶变换仅能反映原图的大致轮廓，随着取值的加大，其对原图的还原越来越接近，在取值达到60左右的时候，基本可以准确完整的反映原图的特征信息。一般来说，形状越复杂则对应应取较多的值，在建筑物图像中，我们选定的目标形状特征较为简单，所以在这里我们取K=25。

D越小表示越相似，D等于0表示完全相似。我们取阈值T=0.5，若D不大于0.5则相似，否则不相似。

轮廓提取效果与分析

取一个齿轮的二值化图像，其最终的轮廓提取效果如图8所示。实际的建筑物图像效果测试如图9、图10所示。

图8显示了在干扰较少、图像轮廓完整的情况下提取效果是比较理想的，能够准确反映出原图像的形状特征。图9和图10是比较典型的实际建筑物图像的轮廓提取效果。可以看到，实际的建筑物外部轮廓一般都是不完整的，能够提取出的大多为建筑物的一些内部轮廓（比如矩形的门窗等），且其实际轮廓相比标准的矩形轮廓有较大的偏差。

建筑物形状识别测试与分析

对于图8-图10提取的轮廓特征和图4-图6中给出的模板库，取K=25，T=0.5，最终完成匹配轮廓为6个，如图11-图16所示。

从测试结果看出：

（1）原图提取的封闭轮廓有8个，采用傅里叶描述子的方法对轮廓进行匹配，最终完成匹配6个，且完成的匹配对较为相似，说明此算法可以实现我们对建筑物轮廓检测的要求。

（2）没有完成匹配的2个轮廓特征是由于其实际轮廓存在较大的变形和扭曲，计算出的傅里叶描述子对应也会有很大的偏差。

实际的耕地图像除了建筑物之外其他可能存在封闭轮廓特征的物体主要有电线杆、农用机械、农田设施以及其他各种标牌等，这些物体一般不会大量存在，所以从某种意义上只要我们可以从图像中提取出足够多的封闭轮廓就可以大致估计出图像中存在有目标建筑物。采用傅里叶描述子对封闭轮廓进行进一步的检测和识别可以进一步的验证建筑物的存在与否。另外由于考虑到建筑物与镜头距离的因素，建筑物较近时可以提取出的封闭轮廓相应就会比较大，较远时提取出的封闭轮廓会比较小，这两种情况下按照式(8)计算距离会有不同的偏差，如果取距离阈值T太大的话，会导致某些符合要求的轮廓匹配不成功，所以在这里我们取阈值T=0.5，既满足一定的精度要求，又可以匹配一些大小变换较大的轮廓特征。

本发明揭示了一种基于傅里叶描述子的建筑物自动识别方法，利用数字图像处理技术对建筑物图像进行处理后，建立标准建筑物模板库，通过模板匹配法实现对违法建筑物的自动识别，提高土地违法违规建筑物发现的智能化和自动化程度，实现对视频图像中违法违规建筑物目标的自动发现和识别，实现土地巡查的自动报警和联动执法。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，包括以下步骤：

（100）RGB图像转化为灰度边缘图像：对于原始的建筑物RGB彩色图像，经过处理将其转化为灰度边缘图像；

（200）建筑物轮廓提取：对灰度边缘图像按照傅里叶描述子的方法提取出所有的轮廓；

（300）离散傅里叶变换：将提取的轮廓的点写成复数的形式，对其进行离散傅里叶变换，

（400）傅里叶描述子归一化：对离散傅里叶变换后的值求模，每一项的模都除以第一项的模，得到归一化的傅里叶描述子；

（500）DP直线简化：对提取的轮廓数据按照DP算法进行简化；

（600）建筑物形状标准模版库建立：根据简化后的建筑物轮廓建立建筑物形状标准模版库；

（700）计算与建筑物形状标准模版库的欧氏距离：计算两个傅里叶描述子的欧氏距离，利用欧氏距离来表示他们之间的相似度；

（800）轮廓提取效果与分析：最后判断提取的轮廓是否为典型建筑物形状特征，从而达到在视频图像中自动识别违法建筑物目标。

2.根据权利要求1所述的一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，步骤（100）中所述处理包括滤波、增强和边缘检测处理。

3.根据权利要求1所述的一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，步骤（400）中所述归一化的傅里叶描述子具有旋转不变性、平移不变性和尺度不变性，且与曲线的起点选择无关。

4.根据权利要求1所述的一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，步骤（500）中所述DP算法为道格拉斯-普克矢量压缩算法，用来对提取的轮廓数据进行简化压缩。

5.根据权利要求4所述的一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，所述DP算法包括以下步骤：

（ⅰ）对每一条直线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离d_max；

（ⅱ）用d_max与设定的线差D相比，如果d_max<D，则这条直线上的中间点全部舍去；如果d_max D，则保留d_max对应的坐标点，并以该点为界，将曲线分为两部分，对这两部分重复使用该方法。

6.根据权利要求1所述的一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，步骤（600）中所述建筑物形状标准模版库按以下标准创建：

矩形模版：采取8个边长比不同的矩形作为模板，其长边与短边的比值分别为4、3、2.5、2、1.75、1.5、1.25和1；

三角形模板：取4个不同角度的等腰三角形作为模板，其角度分别为25°、35°、45°、55°；

五边形模板：采取4个不同的五边形作为模板，其三角形部分取的角度分别为25°、35°、45°、55°， 其底部矩形部分底高比例取为2：1和1.5：1两种。

7.根据权利要求1所述的一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，步骤（700）中所述欧氏距离的计算步骤为：

其中，K为选取的傅里叶描述子的个数，D为欧氏距离，d_i和d_j为两个不同的傅里叶描述子。

8.根据权利要求7所述的一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，所述傅里叶描述子的个数K=25。

9.根据权利要求7所述的一种基于傅里叶描述子的建筑物自动识别方法，其特征在于，所述欧氏距离D的阈值为0.5，若D不大于0.5则相似，否则不相似。