CN111652241B - 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法 - Google Patents

融合影像特征与密集匹配点云特征的建筑物轮廓提取方法 Download PDF

Info

Publication number
CN111652241B
CN111652241B CN202010096437.5A CN202010096437A CN111652241B CN 111652241 B CN111652241 B CN 111652241B CN 202010096437 A CN202010096437 A CN 202010096437A CN 111652241 B CN111652241 B CN 111652241B
Authority
CN
China
Prior art keywords
building
straight line
line segments
matching
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010096437.5A
Other languages
English (en)
Other versions
CN111652241A (zh
Inventor
艾海滨
王庆栋
张力
孙钰珊
杜全叶
许彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy of Surveying and Mapping
Original Assignee
Chinese Academy of Surveying and Mapping
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Academy of Surveying and Mapping filed Critical Chinese Academy of Surveying and Mapping
Priority to CN202010096437.5A priority Critical patent/CN111652241B/zh
Publication of CN111652241A publication Critical patent/CN111652241A/zh
Application granted granted Critical
Publication of CN111652241B publication Critical patent/CN111652241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法，所述建筑物轮廓提取方法包括：步骤1，从航空影像中生成三维密集图像匹配(DIM)点云和正射影像；步骤2，融合所述DIM点云和所述航空影像进行单体建筑物掩膜的检测；步骤3，基于线匹配的粗糙建筑物轮廓线检测；步骤4，通过融合匹配线和粗糙建筑物掩膜的轮廓线对建筑物边界规则化。本发明能够提高地物分类的精度；能够提高检测精度；能够生成规则化的建筑物轮廓线。

Description

融合影像特征与密集匹配点云特征的建筑物轮廓提取方法
技术领域
本发明涉及测绘科学与技术领域，特别涉及一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法。
背景技术
建筑物是城区的重要地物，如何从场景中提取建筑物一直是国内外学者研究的重点与热点。倾斜航空影像具有“立面可见，无遮挡”的优势，不仅可以提供建筑物屋顶信息，还可以提供建筑物立面信息。因此，研究如何利用倾斜航空影像提取建筑物具有重要的研究价值及社会效益。
目前，融合DIM(Dense Image Matching，密集图像匹配)点云特征与影像特征的文献主要集中在单体植被相关的检测领域，而涉及融合影像和DIM点云特征检测建筑物的文献较少。第一种方法可以在倾斜航空影像上检测建筑物立面，并利用被检测到的立面生成一个建筑物模型，然后使用DIM点云验证该建筑物，从而达到建筑物建模的目的；第二种方法可以利用影像中的线段信息和 DIM点云进行建筑物验证；在这两种方法中，都将立面作为最重要的特征，导致此类算法仍存在检测小建筑物能力不足的问题。第三种方法可以利用DIM点云生成高度图、高度标准差图和高度梯度图，同时在不同尺度下对原始影像进行分割，提取分割影像斑块的信息，然后根据已定义的规则依次检测草地，树木，立面，屋顶和道路；与前两种方法不同的是，该方法充分借助了影像所提供的特征去检测各类地物，一定程度弥补了前两种方法的不足；但是，该方法仍存在一些缺陷：一方面，该方法是一种基于层次语义的建筑物检测方法，特征阈值的好坏严重影响地物分类的精度，而阈值的选定又较为困难；另一方面，该方法仅使用9个特征来检测5类地物，导致了检测精度并不是很高，屋顶的制图精度也仅有81％的问题。
针对上述问题，本发明提供了一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法，以解决现有技术中特征阈值的好坏严重影响地物分类的精度，以及检测精度不高的问题。
发明内容
(一)发明目的
为克服上述现有技术存在的至少一种缺陷，本发明提供了一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法，能够提高地物分类的精度；能够提高检测精度；能够生成规则化的建筑物轮廓线。
(二)技术方案
作为本发明的第一方面，本发明公开了一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法，包括以下步骤：
步骤1，从航空影像中生成DIM点云和正射影像；
步骤2，融合所述DIM点云和所述航空影像进行单体建筑物掩膜的检测；
步骤3，基于线匹配的粗糙建筑物轮廓线检测；
步骤4，通过融合匹配线和粗糙建筑物掩膜的轮廓线对建筑物边界规则化。
一种可能的实施方式中，在所述步骤1中，利用DSM生成所述正射影像。
一种可能的实施方式中，在所述步骤1中，采用改进的PTD算法对所述DIM 点云进行滤波，并利用航空影像特征检测建筑物或植被，从而基于共线方程将植被点移除。
一种可能的实施方式中，在所述步骤2中，移除DIM点中的杂点，并将DIM 点投影到XOY平面上生成二值影像，进行连通区域检测，从而获得单体建筑物掩膜。
一种可能的实施方式中，所述步骤3包括以下步骤：
步骤3.1，基于所述DIM点云、所述正射影像和所述建筑物掩膜的所述粗糙建筑物轮廓线提取；
步骤3.2，利用已提取的所述粗糙建筑物轮廓线辅助所述航空影像上直线段的匹配。
一种可能的实施方式中，所述步骤3.2包括以下步骤：
步骤3.2.1，根据所述单体建筑物掩膜，获取对应的DIM点云和相关航空影像块，并从各个所述航空影像块中提取直线段；
步骤3.2.2，根据提取的所述粗糙建筑物轮廓线，获取每个所述粗糙建筑物轮廓线对应的候选匹配线段集；
步骤3.2.3，采用基于三视影像的线匹配算法对候选匹配线段进行匹配；
步骤3.2.4，持续迭代步骤3.2.2和步骤3.2.3，直至所有的所述粗糙建筑物轮廓线被完全处理。
一种可能的实施方式中，所述步骤3.2.2包括以下步骤：
步骤3.2.2.1，将二维空间的所述粗糙建筑物轮廓线转换为三维空间的所述粗糙建筑物轮廓线；
步骤3.2.2.2，根据共线方程将步骤3.2.2.1中内插获取的三维空间点投影到选定的所述航空影像上；
步骤3.2.2.3，将投影到所述航空影像块上的二维点拟合为直线段，以拟合的所述直线段为中心，创建拟合直线段的缓冲区，若检核到所述航空影像块上提取的所述直线段与所建的所述缓冲区相交，则该直线段被标记为所述候选匹配线段。
一种可能的实施方式中，在所述步骤3.2.3中，从所述候选匹配线段集中选取所述候选匹配线段生成三维线段，根据所述三维线段选择并检核匹配线段，从而生成新的建筑物轮廓线。
一种可能的实施方式中，所述步骤4包括以下步骤：
步骤4.1，将从所述建筑物掩膜中提取的所述粗糙建筑物轮廓线的方向调整至所述建筑物的主方向或垂直方向；
步骤4.2，进行平行直线段的合并；
步骤4.3，补全合并直线段间存在的间隙，并删除无效多边形，从而生成建筑物规则轮廓线。
一种可能的实施方式中，在所述步骤4.1中，利用匹配后获取的所述建筑物轮廓线确定所述建筑物的主方向。
(三)有益效果
本发明提供的一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法，该方法从航空影像中生成DIM点云和正射影像，进而融合所述DIM点云和所述航空影像进行单体建筑物掩膜的检测，从而进行基于线匹配的粗糙建筑物轮廓线检测，并通过融合匹配线和粗糙建筑物掩膜的轮廓线对建筑物边界规则化。所述建筑物轮廓提取方法可以获得与融合Lidar点云和航空影像建筑物轮廓线提取方法相近的建筑物轮廓线提取效果；不仅能够提高地物分类的精度，以及检测精度；而且在复杂环境中能够生成规则化的建筑物轮廓线。
本发明提供的一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法，由于综合考虑DIM点云与航空影像纹理特征，同时结合共线方程，将地物点中的植被点移除，从而克服了正射影像与DIM点云的遮挡带来的问题，因此具有较高的鲁棒性和准确率。
附图说明
以下参考附图描述的实施例是示例性的，旨在用于解释和说明本发明，而不能理解为对本发明的保护范围的限制。
图1是本发明提供的一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法的流程图。
图2是本发明提供的基于Agisoft PhotoScan的DIM点云和正射影像生成的流程图。
图3是本发明提供的生成的候选匹配线段集的结构示意图。
图4(a)是本发明提供的三视影像直线段匹配的结构示意图。
图4(b)是本发明提供的两条线段距离的定义的结构示意图。
图5(a)是本发明提供的5个平行直线段合并前的结构示意图。
图5(b)是本发明提供的5个平行直线段合并后的结构示意图。
图6(a)是本发明提供的多边形线段的初始状态的结构示意图。
图6(b)是本发明提供的搜索过程中多边形线段的状态的结构示意图。
图6(c)是本发明提供的搜索过程中多边形线段的状态的结构示意图。
图6(d)是本发明提供的搜索过程中多边形线段的状态的结构示意图。
图6(e)是本发明提供的保留的非重叠单个多边形的结构示意图。
图7(a)是本发明提供的生成的正射影像的结构示意图。
图7(b)是本发明提供的生成的DIM点云的结构示意图。
图8是本发明提供的单体建筑物检测结果的结构示意图。
图9(a)是本发明提供的从DIM点云中提取的粗糙建筑物轮廓线的结构示意图。
图9(b)是本发明提供的从正射影像中提取的粗糙建筑物轮廓线的结构示意图。
图9(c)是本发明提供的从建筑物掩膜中提取的粗糙建筑物轮廓线的结构示意图。
图9(d)是本发明提供的通过匹配提取的新的建筑物轮廓线的结构示意图。
图10是本发明提供的从多个航空影像中提取的直线段的结构示意图。
图11是本发明提供的一个单体建筑物线匹配结果的结构示意图。
图12a是本发明提供的粗糙建筑物轮廓线方向调整后的结构示意图。
图12b是本发明提供的平行直线段合并结果的结构示意图。
图12c是本发明提供的直线段间空隙填充的结构示意图。
图12d是本发明提供的直线段间空隙填充的结果的结构示意图。
图12e是本发明提供的保留的多边形的结构示意图。
图12f是本发明提供的生成的建筑物规则轮廓线的结构示意图。
附图标记：
101      IMG-1(第1张航空影像块)
202      IMG-2(第2张航空影像块)
303      IMG-i(第i张航空影像块)
404      IMG-n(第n张航空影像块)
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。
需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面参考图1-12详细描述本发明提供的一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法的第一实施例。如图1-12所示，本实施例提供的建筑物轮廓提取方法主要包括：步骤1、步骤2、步骤3和步骤4。
本发明是为了更加精准的获取建筑物矢量轮廓，在建筑物检测后，提出的一种基于线匹配的建筑物轮廓线规则化方法。
步骤1，从航空影像中生成DIM点云和正射影像；为简化研究，本发明可以由应用商业软件Agisoft Photoscan生成DIM点云和正射影像。因此，我们可以将描述基于AgisoftPhotoscan的工作流程来描述DIM点云和正射影像的生成过程。
步骤2，融合所述DIM点云和所述航空影像进行单体建筑物掩膜的检测；在步骤2中，可以获取到单体建筑物掩膜(mask)，该掩膜的轮廓线粗糙、不规则，为语义化构建建筑物模型，需对粗糙建筑物轮廓规则化。
步骤3，基于线匹配的粗糙建筑物轮廓线检测；建筑物轮廓线规则化在本质上是对建筑物粗糙轮廓线的重新修正和描述，如果建筑物粗糙的轮廓可被建筑物真实的边缘替代，那么建筑物轮廓线规则化即可完成。基于该思想，本发明可以借助航空影像提供的直线段信息完成建筑物轮廓线的规则化。正射影像在生成过程中可能存在扭曲和遮挡等缺陷。因此，本发明采用来自航空影像中的直线段特征完成建筑物轮廓线的规则化。然而，位于航空影像上的直线段的坐标系为二维影像坐标系，要将其转换为真实建筑物轮廓线需对这些直线段进行匹配。
步骤4，通过融合匹配线和粗糙建筑物掩膜的轮廓线对建筑物边界规则化。尽管步骤3中已通过线匹配获取了建筑物轮廓线，然而，这些建筑物轮廓线不能够完全替代建筑物掩膜的粗糙建筑物轮廓线，基于此，步骤4将采用融合匹配线段和从建筑物掩膜中提取的粗糙建筑物轮廓线对建筑物轮廓线规则化。
其中，在所述步骤1中，利用DSM生成所述正射影像。如图2所示，基于 AgisoftPhotoScan的DIM点云和正射影像生成主要分为五步，具体如下：
步骤1.1，将航空影像、位姿数据(含角元素)以及像机校准参数等数据输入到软件中；
步骤1.2，对航空影像进行特征点提取和匹配；同时计算出每个相机的准确位置和姿态；
步骤1.3，密集匹配生成DIM点云；Agisoft PhotoScan采用一种类似SGM 的算法生成DIM点云。生成的DIM点云如图7(b)所示；
步骤1.4，利用DIM点生成Mesh。本质上讲，Mesh就是测区的DSM；
步骤1.5，利用DSM生成正射影像。生成的正射影像如图7(a)所示。
其中，在所述步骤1中，采用改进的PTD算法对所述DIM点云进行滤波，并利用航空影像特征检测建筑物或植被，从而基于共线方程将植被点移除。点云滤波是单体建筑物检测的重要步骤，主要目的是为了分离地面点和地物点；本发明采用改进的PTD算法(又称为渐进三角网点云滤波算法或者渐近不规则三角网加密滤波算法)对DIM点云进行滤波，从而达到从DIM点云中移除地面点和低矮杂物的目的，点云滤波后，地物点中包含植被点和建筑物点。采用面向对象的检测方法将航空影像分类为植被和建筑物，并且在已分类的航空影像的帮助下，利用共线方程从地物点中移除植被点，保留建筑物点。
改进的PTD算法包括：基于建筑物立面的种子点选取；基于PTD算法的初始阶段迭代加密；基于多尺度的迭代加密。所述种子点可以为地面点和地物点。
其中，在所述步骤2中，移除DIM点中的杂点，并将DIM点投影到XOY平面上生成二值影像，进行连通区域检测，从而获得单体建筑物掩膜。检测到的建筑物DIM点中含有一些杂点，这些杂点将影响建筑物的最终检测结果；因此，在生成建筑物检测结果之前，可以先移除这些杂点，以此来保证检测结果的准确性。由于这些杂点一般零散的分布在三维空间内，点的密度低，所以可以采用一定的方法移除杂点。
杂点移除后，将三维DIM点投影到XOY平面上生成二值影像，DIM点云是离散的，投影到XOY平面上的二维影像不免会有一些空洞，因此，应首先将生成的二维图像进行连通区域检测，每个单独的二值斑块即代表一个单独的建筑物；然后，再使用形态学闭运算对每个斑块进行运算，最后生成的结果如图8所示。
其中，所述步骤3包括以下步骤：
步骤3.1，基于所述DIM点云、所述正射影像和所述建筑物掩膜的所述粗糙建筑物轮廓线提取；
步骤3.2，利用已提取的所述粗糙建筑物轮廓线辅助所述航空影像上直线段的匹配。
为获取正确的匹配线段，本发明将借助来自DIM点云、正射影像和建筑物掩膜中提取的粗糙建筑物轮廓线辅助航空影像中直线段的匹配，该过程主要包括步骤3.1和步骤3.2。
在步骤3.1中，三种粗糙建筑物轮廓线的提取结果如图9(a-c)所示。三种粗糙建筑物轮廓线的提取流程具体如下：
基于DIM点云的粗糙建筑物轮廓线提取。就DIM点云而言，建筑物立面就是建筑物轮廓线,因此，如何从DIM点云中提取粗糙建筑物轮廓线，就转换为了如何从DIM点云中检测建筑物立面的问题。DIM点云在建筑立面处的密度远大于其它位置的密度,基于此，本发明采用投影点密度法(the density of projected points，DoPP)来获取建筑物的立面；该方法首先将DIM点云投影在二维平面上，并按照一定尺度将二维平面格网化。如果落入单元网格中的点的数量超过阈值 DoPPthr,则该单元网格被标记为255；否则，则该单元网格被标记为0。通过该方法，可生成宽度为2-3像素代表建筑物轮廓的二值影像。随后，采用骨架线细化算法来细化立面轮廓。最后，利用基于Freeman链代码的直线检测器生成粗糙建筑物轮廓线。
基于正射影像的粗糙建筑物轮廓线提取。该过程主要分为三个步骤：首先，采用CannyLines直线段检测算子，从正射影像中提取直线段；然后，以第2步骤中获取的单体建筑物掩膜的不规则轮廓线为中心，按照给定尺寸的大小建立缓冲区，如果提取的直线段与该缓冲区相交，则可将此直线段被视为候选建筑物轮廓线；最后，将候选建筑物轮廓线离散为二维点，假定候选建筑物轮廓线离散化后的点的个数为Numt，位于缓冲区中的点数为Numi，Numi/Numt表示落入缓冲区的候选建筑物轮廓线的长度。此值越大,则候选建筑物轮廓线是粗糙建筑物轮廓线的概率就越大。在本发明中,如果此比率大于0.6,则候选建筑物轮廓线被视为粗糙建筑物轮廓线。
基于建筑物掩膜的粗糙建筑物轮廓线提取。尽管之前提取的建筑物斑块不规则，但仍可提供粗糙建筑物轮廓线。本发明采用摩尔邻域跟踪算法，获取建筑物斑块(即二值斑块)的粗糙建筑物轮廓线。该算法为二进制图像中的对象提供了一个有组织的点列表。然后使用Douglas-Peucker算法为将各个建筑物的栅格图像转换为矢量，从而生成粗糙建筑物轮廓线。
其中，所述步骤3.2包括以下步骤：
步骤3.2.1，根据所述单体建筑物掩膜，获取对应的DIM点云和相关航空影像块，并从各个所述航空影像块中提取直线段；
步骤3.2.2，根据提取的所述粗糙建筑物轮廓线，获取每个所述粗糙建筑物轮廓线对应的候选匹配线段集；
步骤3.2.3，采用基于三视影像的线匹配算法对候选匹配线段进行匹配；
步骤3.2.4，持续迭代步骤3.2.2和步骤3.2.3，直至所有的所述粗糙建筑物轮廓线被完全处理。
在线匹配过程中，基本处理单元是单体建筑物。
步骤3.2.1中包括以下步骤：
步骤3.2.1.1，从图8中选取一个建筑物斑块；
步骤3.2.1.2，根据建筑物斑块对应的平面坐标，获取相应的DIM点云；
步骤3.2.1.3，按照共线方程，将DIM点投影到航空影像上，同时从多个航空影像中获取单个建筑物相应的兴趣区域(region of interest,ROI)；随后利用直线段检测器CannyLine从相应的ROI中提取直线段。提取的直线段可以如图10所示。
在步骤3.2.3中所述的三视影像可以为航空影像。
在步骤3.2.4中，就一个单体建筑物而言，匹配后的粗糙建筑物轮廓线(即新的建筑物轮廓线)如图9(d)和图11所示。
其中，所述步骤3.2.2包括以下步骤：
步骤3.2.2.1，将二维空间的所述粗糙建筑物轮廓线转换为三维空间的所述粗糙建筑物轮廓线；
步骤3.2.2.2，根据共线方程将步骤3.2.2.1中内插获取的三维空间点投影到选定的所述航空影像上；
步骤3.2.2.3，将投影到所述航空影像块上的二维点拟合为直线段，以拟合的所述直线段为中心，创建拟合直线段的缓冲区，若检核到所述航空影像块上提取的所述直线段与所建的所述缓冲区相交，则该直线段被标记为所述候选匹配线段。
一条粗糙建筑物轮廓线所对应的候选匹配线段集的提取过程主要分为上述三个步骤。在步骤3.2.2.1中，首先，选取一个粗糙建筑物轮廓线，并按照给定的间隔(本发明取0.1m)将该粗糙建筑物轮廓线离散为二维散点；然后，结合DIM点云，使用最近的邻域插值算法将离散的二维散点转换为三维空间点。为避免建筑物立面对插值的影响，在插值之前利用投影密度法(DoPP)检测建筑立面，并予以删除，以便我们能够获得每个内插点的精确坐标值。
本发明在投影过程中均进行了遮挡检测。
在步骤3.2.2.3中，以拟合的直线段为中心，按照给定的阈值，创建拟合直线段的缓冲区，并在航空影像块上，检核在航空影像块上提取的直线段是否与所建的缓冲区相交。
在一个航空影像块中，与缓冲区相交的直线段数量可能有多条。为了降低行匹配的复杂度，且由于直线段越长，其匹配可靠性越大的特点，我们可以在这些直线段中，只选择最长的一条直线段作为该航空影像块的候选匹配线段。处理完所有对应的航空影像块后，一条粗糙建筑物轮廓线所对应的候选匹配线段集生成。生成的候选匹配线段集如图3所示，101表示IMG-1(第1张航空影像块)，202表示IMG-2(第2张航空影像块)，303表示IMG-i(第i张航空影像块)，404表示IMG-n(第n张航空影像块),其中IMG-n(第n张航空影像块)中的直线段为最终选定的候选匹配线段。
其中，在所述步骤3.2.3中，从所述候选匹配线段集中选取所述候选匹配线段生成三维线段，根据所述三维线段选择并检核匹配线段，从而生成新的建筑物轮廓线。步骤3.2.3可以包括以下步骤：
步骤3.2.3.1,从候选匹配线段集中选取最长的两条候选匹配线段。如图4(a) 所示，摄影位置点C1与候选匹配线段Line1不在同一条直线上，相似的，摄影位置点C2和C3也分别与候选匹配线段Line2和Line3不在同一条直线上。因此，C1与 Line1可以生成一个空间三维平面；C2和Line2亦可生成一个空间三维平面；两个空间三维平面相交即可生成一个三维线段Projected Line。
步骤3.2.3.2,将生成的三维线段投影到三视影像IMG-3上。如果投影到三视影像上的线与Line3相互交叠(如图4(b)所示)，则计算两条线段之间的距离和角度；如果两条线段没有交叠，则返回步骤3.2.3.1，从未被选取过的候选匹配线段中，重新选取候选匹配线段。在该过程中，应注意遮挡检测。两条线段之间的距离表达式如下：
d＝(d1+d2+d3+d4)/4
式中，d1,d2,d3,d4定义可见图4(b)。如果两条线段之间的角度小于 6°，并且两条线段之间的距离小于0.5m，则这三条候选匹配线段可以被看成匹配线段；否则返回步骤3.2.3.1。
步骤3.2.3.3,为确保匹配的鲁棒性和准确性，需对步骤3.2.3.2中获取的匹配线段进行检核。首先选取摄影位置点C1和匹配线段Line1生成空间三维平面，选取摄影位置点C3和Line3生成另一个空间三维平面；两个空间三维平面生成一个三维线段。将该三维线段投影到IMG-2上，检核投影线段和Line2是否交叠，计算投影线段与Line2的距离和角度，并检核计算所得距离和角度是否满足阈值。同样，通过Line2和Line3会生成一个三维线段，并将该线段投影到IMG-1上，检核是否交叠和两条线之间的距离和角度是否满足阈值。如果均满足，则这三条匹配线段被认定为匹配线段。否则步骤3.2.3.1。
步骤3.2.3.4,利用Line1，Line2和Line3生成三维线段；并将生成的三维线段投影到其它航空影像上；按照给定的阈值，搜索同名线段；利用同名线段创建三维线段,并将三维线段投影到XOY平面上；可以创建新的建筑物轮廓线。
其中，所述步骤4包括以下步骤：
步骤4.1，将从所述建筑物掩膜中提取的所述粗糙建筑物轮廓线的方向调整至所述建筑物的主方向或垂直方向；
步骤4.2，进行平行直线段的合并；
步骤4.3，补全合并直线段间存在的间隙，并删除无效多边形，从而生成建筑物规则轮廓线。
在步骤4.1中，理论上，粗糙建筑物轮廓线的方向应该与建筑物的主方向一致或垂直。因此，在建筑物轮廓线规则化之前，需计算建筑物的主方向。
建筑物的主方向计算后，根据建筑物的主方向将建筑物掩膜的粗糙建筑物轮廓线调整至建筑物的主方向或垂直方向。粗糙建筑物轮廓线的调整过程主要分为两步。首先，选取一条粗糙建筑物轮廓线,计算调整角度；然后，粗糙建筑物轮廓线围绕处理线的中点旋转。调整后的粗糙建筑物轮廓线如图12a所示。
在步骤4.2中，5条平行直线段(L1、L2、L3、L4和L5)合并成一条直线段的过程如图5所示，其具体过程如下：(1)首先，在直线段集合内选取最长的直线段L2，同时，以0.7m为宽度，为直线段L2创建一个缓冲区域。创建的缓存区域如图5(a)所示；(2)遍历其余未被处理的直线段，如果有直线段平行于L2，并与直线段L2的缓冲区相交，则该直线段被加入到线段集Lm中。如图5(b) 所示，直线段L1,L3,L4,L5被选取，被添加至线段集Lm中。
假定直线段Li的方程为：y＝ax+bi。很显然位于线段集Lm内的直线段的长度影响合并直线段的最终位置。直线段越长，权重越大。因此，合并后的直线段的方程如下式所示：
式中，li表示直线段Li的长度。另外，为获取合并后最终的直线段。我们将每条被合并直线段的端点投影到生成的直线段，并将所有的投影点加入到点集P中。计算点集P中每两个点的距离，其中最长的直线段即为合并后的直线段。生成的直线段结果如图5(b)中的直线段L。平行直线段合并后的结果如图12b所示。
在步骤4.3中，线段合并后，两个合并直线段之间仍存在间隙。为了获得完整的建筑物轮廓线，应将这些空隙补全。如图12c所示，点B是直线段AB的端点，直线段AB和直线段CD之间存在空隙。为填补这些空隙，本发明提出一种新的方法解决该问题。该方法具体包括：
步骤4.3.1,首先，计算从B点到其他直线段的三个方向(沿直线段AB的方向和两个垂直方向)的距离。如图12c所示,从点B到直线段CD的距离为Bk；从点B到直线段EF的距离为Bm+mE；从点B到直线段HG的距离为Bn+nG。
步骤4.3.2,搜索从点B到其他直线段计算距离之间的最小距离。直线段Bk 是直线段AB和CD之间的间隙。
步骤4.3.3,继续执行上述两个步骤，直到所有直线段间的间隙都被填充。结果如图12d所示。
直线段间的间隙填充后，应删除里面的无效多边形(如图12d中的矩形 EFIJ)。在此过程之前，我们需要从整个多边形中检索非重叠单个多边形。搜索非重叠单个多边形的过程如图6所示。包括以下步骤：
步骤a,首先，对所有的直线段端点进行编码，并标记所有直线段。如果直线段位于整个多边形的外部轮廓上,则该直线段标记为1；否则，直线段标记为 2,多边形线段的初始状态如图6(a)所示，图6(a)中的ABCDEFTUVXMNOSRA 可以标记为1，OPR、FGHK、GW和VWKLM可以标记为2。
步骤b,从线条数据集中任意选择一条直线段作为起始边。在这里,我们选取直线段ef作为起始边。
步骤c,搜索共享相同端点f的直线段。如果搜索到的直线段中只有一条直线段，则该直线段就是下一个线段。如果找到两个或多个直线段，按照顺时针计算每个候选线段与此直线段EF之间的角度。线路FT和FE之间的角度为270°, 线段FG和FE之间的角度为90°。根据角度最小原则，选择直线段FG作为目标线段。
步骤d,继续搜索，直到起始边EF。对于搜索路径上的所有直线段,减去1, 并保存单个多边形ABCDEFGHKLMNNPRA。如果线段RABCDEF和MNO标记为0,则从多边形中删除该直线段,如图6(b)所示。
步骤e,搜索,直到删除所有直线段。删除直线段的过程如图6(c)和6(d) 所示，最终结果如图6(e)所示。
获取每个多边形后，假定每个多边形内应含有的像素个数为Num1，其中代表建筑物的像素的个数为Num2；如果Num2/Num1大于给定的阈值(本发明可以取该阈值为0.5)，则该多边形被保留；否则，删除该多边形。最终保留的多边形如图12e所示。将保留的单个多边形合并；合并多边形即是建筑物的轮廓线。最终建筑物规则轮廓线如图12f所示。
其中，在所述步骤4.1中，利用匹配后获取的所述建筑物轮廓线确定所述建筑物的主方向。建筑物通常有一个或多个主方向。相较于从建筑物掩膜中提取的粗糙建筑物轮廓线，匹配线段的方向更加可靠、准确，基于此，本发明利用已匹配好的新的建筑物轮廓线确定建筑物主方向。首先，从匹配线段中，选取最长的一条直线段；在0°到180°区间内，建立区间宽度为20°的集合。并将匹配后获取的建筑物轮廓线放入每个区间内，计算每个区间的方向。计算公式如下：
式中，disi为区间内每条线段的长度，anglei为每条线段的方向。然后，以角度为横轴，以线段长为竖轴，建立直方图，直方图中最大值即为建筑物的主方向。由于建筑物样式多样，有些建筑物结构复杂，建筑物方向可能不止一个。如果一个区间的总长度值不小于最大值的0.3倍,则该角度值可视为建筑物的另一个方向。
本发明从航空影像中生成DIM点云和正射影像，进而融合所述DIM点云和所述航空影像进行单体建筑物掩膜的检测，从而进行基于线匹配的粗糙建筑物轮廓线检测，并通过融合匹配线和粗糙建筑物掩膜的轮廓线对建筑物边界规则化。本发明所述的一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法，可以获得与融合Lidar点云和航空影像建筑物轮廓线提取方法相近的建筑物轮廓线提取效果；能够提高地物分类的精度，以及检测精度；在复杂环境中能够生成规则化的建筑物轮廓线。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种融合影像特征与密集匹配点云特征的建筑物轮廓提取方法，其特征在于，包括以下步骤：
步骤1，从航空影像中生成DIM点云和正射影像；
步骤2，融合所述DIM点云和所述航空影像进行单体建筑物掩膜的检测；
步骤3，基于线匹配的粗糙建筑物轮廓线检测；
步骤4，通过融合匹配线和粗糙建筑物掩膜的轮廓线对建筑物边界规则化；
在所述步骤2中，移除DIM点中的杂点，并将DIM点投影到XOY平面上生成二值影像，进行连通区域检测，从而获得单体建筑物掩膜；
所述步骤3包括以下步骤：
步骤3.1，基于所述DIM点云、所述正射影像和所述建筑物掩膜的所述粗糙建筑物轮廓线提取；
步骤3.2，利用已提取的所述粗糙建筑物轮廓线辅助所述航空影像上直线段的匹配；
所述步骤3.2包括以下步骤：
步骤3.2.1，根据所述单体建筑物掩膜，获取对应的DIM点云和相关航空影像块，并从各个所述航空影像块中提取直线段；
步骤3.2.2，根据提取的所述粗糙建筑物轮廓线，获取每个所述粗糙建筑物轮廓线对应的候选匹配线段集；
步骤3.2.3，采用基于三视影像的线匹配算法对候选匹配线段进行匹配；
步骤3.2.4，持续迭代步骤3.2.2和步骤3.2.3，直至所有的所述粗糙建筑物轮廓线被完全处理；
所述步骤3.2.2包括以下步骤：
步骤3.2.2.1，将二维空间的所述粗糙建筑物轮廓线转换为三维空间的所述粗糙建筑物轮廓线；
步骤3.2.2.2，根据共线方程将步骤3.2.2.1中内插获取的三维空间点投影到选定的所述航空影像上；
步骤3.2.2.3，将投影到所述航空影像块上的二维点拟合为直线段，以拟合的所述直线段为中心，创建拟合直线段的缓冲区，若检核到所述航空影像块上提取的所述直线段与所建的所述缓冲区相交，则该直线段被标记为所述候选匹配线段；
在所述步骤3.2.3中，从所述候选匹配线段集中选取所述候选匹配线段生成三维线段，根据所述三维线段选择并检核匹配线段，从而生成新的建筑物轮廓线。
2.根据权利要求1所述的建筑物轮廓提取方法，其特征在于，在所述步骤1中，利用DSM生成所述正射影像。
3.根据权利要求2所述的建筑物轮廓提取方法，其特征在于，在所述步骤1中，采用改进的渐近不规则三角网加密滤波算法对所述DIM点云进行滤波，并利用航空影像特征检测建筑物或植被，从而基于共线方程将植被点移除。
4.根据权利要求1所述的建筑物轮廓提取方法，其特征在于，所述步骤4包括以下步骤：
步骤4.1，将从所述建筑物掩膜中提取的所述粗糙建筑物轮廓线的方向调整至所述建筑物的主方向或垂直方向；
步骤4.2，进行平行直线段的合并；
步骤4.3，补全合并直线段间存在的间隙，并删除无效多边形，从而生成建筑物规则轮廓线。
5.根据权利要求4所述的建筑物轮廓提取方法，其特征在于，在所述步骤4.1中，利用匹配后获取的所述建筑物轮廓线确定所述建筑物的主方向。
CN202010096437.5A 2020-02-17 2020-02-17 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法 Active CN111652241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010096437.5A CN111652241B (zh) 2020-02-17 2020-02-17 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010096437.5A CN111652241B (zh) 2020-02-17 2020-02-17 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法

Publications (2)

Publication Number Publication Date
CN111652241A CN111652241A (zh) 2020-09-11
CN111652241B true CN111652241B (zh) 2023-04-28

Family

ID=72344487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010096437.5A Active CN111652241B (zh) 2020-02-17 2020-02-17 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法

Country Status (1)

Country Link
CN (1) CN111652241B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489212B (zh) * 2020-12-07 2022-05-17 武汉大学 一种基于多源遥感数据的建筑物智能化三维测图方法
CN114049462B (zh) * 2021-11-09 2022-05-10 中国人民解放军61646部队 一种三维模型单体化方法及装置
CN114332134B (zh) * 2022-03-08 2022-06-17 航天宏图信息技术股份有限公司 一种基于密集点云的建筑物立面提取方法和装置
CN116580160B (zh) * 2023-07-12 2023-12-15 深圳大学 一种建筑物单体分割和结构重建耦合处理方法及相关装置
CN117152672B (zh) * 2023-09-06 2024-08-06 理工雷科智途(北京)科技有限公司 一种基于点云多边形拟合的船舱行驶区域划分方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103017739B (zh) * 2012-11-20 2015-04-29 武汉大学 基于激光雷达点云与航空影像的真正射影像的制作方法
CN104484668B (zh) * 2015-01-19 2017-11-10 武汉大学 一种无人机多重叠遥感影像的建筑物轮廓线提取方法
CN109827548A (zh) * 2019-02-28 2019-05-31 华南机械制造有限公司 无人机航测数据的处理方法

Also Published As

Publication number Publication date
CN111652241A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652241B (zh) 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法
CN106780524B (zh) 一种三维点云道路边界自动提取方法
Yu et al. Automatic 3D building reconstruction from multi-view aerial images with deep learning
Cheng et al. Integration of LiDAR data and optical multi-view images for 3D reconstruction of building roofs
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
CN111047695B (zh) 一种城市群高度空间信息及等高线的提取方法
CN115564926B (zh) 基于影像建筑物结构学习的三维面片模型构建方法
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
Rau et al. Bridge crack detection using multi-rotary UAV and object-base image analysis
CN103703490A (zh) 用于产生三维特征数据的设备、用于产生三维特征数据的方法、以及其上记录有用于产生三维特征数据的程序的记录介质
Pang et al. SGM-based seamline determination for urban orthophoto mosaicking
CN103839286B (zh) 一种对象语义约束的真正射影像优化采样方法
Maltezos et al. Automatic detection of building points from LiDAR and dense image matching point clouds
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
KR101549155B1 (ko) 라이다 자료를 활용한 구조물의 직선경계 추출방법
Karsli et al. Automatic building extraction from very high-resolution image and LiDAR data with SVM algorithm
Wang Automatic extraction of building outline from high resolution aerial imagery
Li et al. New methodologies for precise building boundary extraction from LiDAR data and high resolution image
Zhou et al. 3D building change detection between current VHR images and past lidar data
Dahlke et al. Comparison Between Two Generic 3D Building Reconstruction Approaches–Point Cloud Based vs. Image Processing Based
Lee et al. Determination of building model key points using multidirectional shaded relief images generated from airborne LiDAR data
CN114943711A (zh) 基于LiDAR点云和影像的建筑物提取方法和系统
Mi et al. Automatic road structure detection and vectorization Using Mls point clouds
Yu et al. Advanced approach for automatic reconstruction of 3d buildings from aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant