CN107292238A - 基于空间拓扑关系约束和消失点的建筑物轮廓识别方法 - Google Patents

Abstract

本发明公开了一种基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，将采集的图像经过预处理得到建筑物直线轮廓后，通过M估计子抽样一致性估计算法得到消失点，同时通过分类直线获得消失点水平垂直属性；然后根据水平方向的消失点连线的倾角将建筑物轮廓进行初判断；将满足条件的水平消失点完成重新检测代价函数并根据空间拓扑关系约束，判断识别建筑物轮廓。本发明解决了快速发现违章建筑、查处土地违法的困难，弥补了二维图像的深度信息的缺失，大幅度提高了检测结果的鲁棒性和实时性。

Description

基于空间拓扑关系约束和消失点的建筑物轮廓识别方法

技术领域

本发明涉及一种基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，属于图像识别技术领域。

背景技术

当今社会，违章建筑建造、土地违法使用等现象十分严重，能够快速识别建筑物并保证检测结果的鲁棒性和实时性显得十分重要。因此弥补二维图像的深度信息并判断建筑物的轮廓信息是解决此问题的关键。

在三维世界里中，规则的立方体的某一个角会对应三条两两垂直的边，对应于现实世界中的规则建筑物，同样会呈现这样的轮廓信息。人眼由于有先验知识，我们能很快从只剩下边缘轮廓的图像中区分出建筑物和其他自然物体。而对于计算机视觉来说，建筑物还原到二维图像空间的图像，建筑物就变成了直线轮廓信息，失去了三维空间中的“深度”信息，同时由于建筑物在拍摄过程中，由于拍摄角度和树木的遮挡的影响，轮廓信息有一定程度的缺失。针对于上述问题，结合建筑物轮廓区别于自然物体在形态特征上的特点，对于可以判定图像中是否含有建筑物的技术的需求日益凸显。

发明内容

本发明所要解决的技术问题是提供一种基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，弥补拍摄的二维图像缺失的深度信息，识别建筑物的轮廓，提高检测结果的鲁棒性和实时性。

本发明为解决上述技术问题采用以下技术方案

本发明提供一种基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，包括以下具体步骤：

步骤1，对采集到的建筑物图像进行预处理，得到建筑物的直线段轮廓信息；

步骤2，采用M估计子抽样一致性估计算法对步骤1得到的建筑物的直线段轮廓信息进行消失点估计，得到三个消失点；

步骤3，对步骤2中得到的三个消失点的方向属性进行判定，将三个消失点分为两个水平方向消失点和一个垂直方向消失点；

步骤4，判断步骤3中的两个水平方向消失点的连线与图像水平方向的夹角是否小于30°，若是则执行步骤5，否则判定采集到的建筑物图像中不存在建筑物；

步骤5，减小M估计子抽样一致性估计算法的代价函数阈值，采用M估计子抽样一致性估计算法对步骤1得到的建筑物的直线段轮廓信息再次进行消失点估计，重新得到三个消失点；

步骤6，对步骤5中重新得到的三个消失点进行方向属性以及坐标位置判定，若满足下述三个条件：1)垂直方向消失点与图像中心之间的距离大于设定第一阈值，2)两个水平方向消失点之间的距离大于设定第二阈值，3)两个水平方向消失点的连线与图像水平方向的夹角小于25°，则判定采集到的建筑物图像中存在建筑物，否则判定采集到的建筑物图像中不存在建筑物。

作为本发明的进一步优化方案，步骤1包括如下步骤：

1.1，通过数学形态开闭算法对采集到的建筑物图像进行预处理；

1.2，对预处理后的图像进行边缘检测；

1.3，对步骤1.2中的边缘检测结果进行直线检测；

1.4，采用形态特征去干扰算法对步骤1.3中的直线检测结果进行筛选，剔除其中的干扰直线，得到建筑物的直线段轮廓信息。

作为本发明的进一步优化方案，步骤1.2中采用Canny算子对预处理后的图像进行边缘检测。

作为本发明的进一步优化方案，步骤1.3中采用LSD直线检测方法对步骤1.2中的边缘检测结果进行直线检测。

作为本发明的进一步优化方案，步骤3中对步骤2中得到的三个消失点的方向属性进行判定，具体为：

首先，对消失点对应的分类直线进行方向属性判定；然后，通过直线的方向属性得到对应消失点方向属性；最后，将三个消失点分为两个水平方向消失点和一个垂直方向消失点。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明通过引入“三线垂直”空间约束关系，更好利用空间直线特征关系，提高检测结果鲁棒性和实时性。在直线检测中，由于环境干扰引起的空间“同一条线段”轮廓切分现象，利用消失点来进行直线分类，使更多直线信息得以利用，更好地表述空间轮廓关系。

附图说明

图1是本发明的建筑物识别方法的整体框图。

图2是本发明的立方体透视成像形成的三个方向的消失点示意图。

图3是本发明的拍摄建筑物时形成的消失点示意图。

图4是本发明的建筑物轮廓、顶点和消失点之间的关系示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明一种基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，利用消失点检测和空间拓扑关系约束，在二维图像缺失“深度”信息的情况下，通过M估计子抽样一致性估计算法、消失点方向的判定、水平方向消失点连线的倾角和代价函数的重检测以及空间拓扑约束关系，判断并识别出建筑物轮廓。

如图1所示，本发明一种基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，包括如下步骤：

S1、将采集到的图像，通过数学形态开闭算法预处理、Canny算法边缘处理、LSD直线检测和形态特征去干扰算法剔除干扰直线，为步骤S2提供待处理的建筑物直线段轮廓信息。具体进行的数据处理包括如下步骤：

a、用数学形态学的开闭运算进行图像预处理；

b、用Canny算子对预处理后的图像进行边缘检测，以便减少光照不均匀引起的直线轮廓不完整的问题，方便后续直线检测；

c、用LSD直线检测算法对边缘图像进行直线检测，并根据上章的去干扰算法来剔除其中杂乱直线，以避免树木、草地等对直线检测结果的干扰；

d、用形态特征去干扰算法剔除干扰直线，从而得到待处理的直线段轮廓，方便得出直线对应的消失点。

S2、将步骤S1中的待处理的直线段进行M估计子抽样一致性(M-estimator SAmpleand Consensus，MSAC)估计算法，得到三个消失点。具体进行的数据处理包括如下步骤：

a、通过M估计子抽样一致性算法，在检测到的直线中选取最小样本集，估计消失点，由此随机选取一组最小样本集来估计消失点。由于一个消失点至少需要两根平行线相交汇聚而成，因此这里我们选取两根直线进行消失点位置的最佳估计为：v^*＝l_i×l_j，v^*是消失点最佳估计值，l_i、l_j是观测到的直线。

b、根据所估计的消失点获取合意集，并计算代价函数。

c、重复以上两步，根据得到的当前消失点所对应的合意集，计算其代价函数。直到找到一个更好的合意集的可能性已低于某一阈值，即认为找到了最佳合意集，结束迭代过程，得到所求的消失点。

d、根据上步得到的最佳合意集，求解距离函数最小值来估计消失点的位置；v是其次坐标系下的消失点，l_i是观测到的直线。

S3、由步骤S2中得到的三个消失点，首先对消失点对应的分类直线进行方向属性判定，然后通过直线的方向属性，得到消失点方向属性，从而将3个消失点分为2个水平方向消失点和1个垂直方向消失点。

S4、由步骤S3中方向属性为水平方向的2个消失点，求其2个水平方向的消失点连线与图像水平方向的夹角是否小于30°,如果不满足条件，则判定不存在建筑物轮廓，若满足，则进行步骤S5进一步判定。

由于空间轮廓关系的相互约束，消失点能在二维图像空间体现出三维直线之间的空间约束关系，故对水平方向的消失点进行位置验证。若倾角大于30°，则表明消失点检测严重不符合空间约束关系，判定不包含建筑物轮廓；如果存在两个水平方向消失点，且其连线的倾角小于30°，即满足步骤S4的判断条件。

S5、减小M估计子抽样一致性估计算法的代价函数阈值，重新求解三个消失点，同时通过直线属性重新得到消失点方向属性，然后对消失点坐标位置进行判定；若三个消失点满足下述三个条件：1)垂直方向消失点与图像中心之间的距离大于设定第一阈值，2)两个水平方向消失点之间的距离大于设定第二阈值，3)两个水平方向消失点的连线与图像水平方向的夹角小于25°，则判定采集到的建筑物图像中存在建筑物，否则判定采集到的建筑物图像中不存在建筑物。

对于初步符合空间约束关系的消失点，减少代价函数的阈值(阈值减少量根据实际需要确定)，来对代价函数进行重检测，更新三个消失点；再对消失点和分类后的直线特征进行拓扑关系进行验证，最终判断是否含有建筑物。具体进行的数据处理包括如下步骤：

a、对代价函数重检测：计算每一条直线与其他消失点的代价值，如果代价值小于直线在当前合意集中的代价值，则将直线从当前合意集中剔除，更换到代价最小的合意集中，使整个消失点算法具有更准确的结果和更强的抗干扰能力。

b、根据空间拓扑约束关系理论，对消失点和聚类后的直线特征进行拓扑关系进行验证。在二维图像坐标系中，对每个消失点坐标位置进行判定，最终判定是否含有建筑物。若：1)垂直方向消失点与图像中心之间的距离大于设定第一阈值(认为垂直方向消失点的位置相对于图像中心位于“无穷远处”，即垂直方向消失点远离图像中心，一般来说阈值可取比图片尺寸的10倍以上)；2)两个水平方向消失点之间的距离大于设定第二阈值(一般为图像宽度的2倍)；3)水平消失点连线倾角，即两个水平方向消失点的连线与图像水平方向的夹角小于25°，则判定存在建筑物轮廓；反之，则表明不存在建筑物轮廓。

本发明选取MSAC消失点估计算法，对于建筑物的轮廓进行消失点的估计，根据步骤S2所得到的消失点是完全依赖于代价函数的值，无法利用消失点检测直接判定建筑物直线轮廓信息。空间轮廓信息相互约束，为建筑物轮廓识别提供理论依据。

本发明利用建筑物空间拓扑关系约束理论，结合消失点检测算法，提出了基于消失点和空间拓扑关系约束对建筑物进行识别技术。通过对检测到三个消失点空间拓扑关系约束，对直线轮廓进行判定，从而判断是否存在建筑物。

图2是本发明的立方体透视成像形成的三个方向的消失点示意图，图3是本发明的拍摄建筑物时形成的消失点示意图，图4是本发明的建筑物轮廓、顶点和消失点之间的关系示意图。图4中，实线表示轮廓，+表示顶点，·表示消失点。

本发明将采集的图像经过预处理得到建筑物直线轮廓后，通过M估计子抽样一致性估计算法得到消失点，同时通过分类直线获得消失点水平垂直属性；然后根据水平方向的消失点连线的倾角将建筑物轮廓进行初判断；将满足条件的水平消失点完成重新检测代价函数并根据空间拓扑关系约束，判断识别建筑物轮廓。本发明解决了快速发现违章建筑、查处土地违法的困难，弥补了二维图像的深度信息的缺失，大幅度提高了检测结果的鲁棒性和实时性。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，其特征在于，包括以下具体步骤：

步骤1，对采集到的建筑物图像进行预处理，得到建筑物的直线段轮廓信息；

步骤2，采用M估计子抽样一致性估计算法对步骤1得到的建筑物的直线段轮廓信息进行消失点估计，得到三个消失点；

步骤3，对步骤2中得到的三个消失点的方向属性进行判定，将三个消失点分为两个水平方向消失点和一个垂直方向消失点；

步骤4，判断步骤3中的两个水平方向消失点的连线与图像水平方向的夹角是否小于30°，若是则执行步骤5，否则判定采集到的建筑物图像中不存在建筑物；

步骤5，减小M估计子抽样一致性估计算法的代价函数阈值，采用M估计子抽样一致性估计算法对步骤1得到的建筑物的直线段轮廓信息再次进行消失点估计，重新得到三个消失点；

步骤6，对步骤5中重新得到的三个消失点进行方向属性以及坐标位置判定，若满足下述三个条件：1)垂直方向消失点与图像中心之间的距离大于设定第一阈值，2)两个水平方向消失点之间的距离大于设定第二阈值，3)两个水平方向消失点的连线与图像水平方向的夹角小于25°，则判定采集到的建筑物图像中存在建筑物，否则判定采集到的建筑物图像中不存在建筑物。

2.根据权利要求1所述的基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，其特征在于，步骤1包括如下步骤：

1.1，通过数学形态开闭算法对采集到的建筑物图像进行预处理；

1.2，对预处理后的图像进行边缘检测；

1.3，对步骤1.2中的边缘检测结果进行直线检测；

1.4，采用形态特征去干扰算法对步骤1.3中的直线检测结果进行筛选，剔除其中的干扰直线，得到建筑物的直线段轮廓信息。

3.根据权利要求2所述的基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，其特征在于，步骤1.2中采用Canny算子对预处理后的图像进行边缘检测。

4.根据权利要求2所述的基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，其特征在于，步骤1.3中采用LSD直线检测方法对步骤1.2中的边缘检测结果进行直线检测。

5.根据权利要求1所述的基于空间拓扑关系约束和消失点的建筑物轮廓识别方法，其特征在于，步骤3中对步骤2中得到的三个消失点的方向属性进行判定，具体为：

首先，对消失点对应的分类直线进行方向属性判定；然后，通过直线的方向属性得到对应消失点方向属性；最后，将三个消失点分为两个水平方向消失点和一个垂直方向消失点。