CN114820976B - 融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质 - Google Patents

融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质 Download PDF

Info

Publication number
CN114820976B
CN114820976B CN202210450419.1A CN202210450419A CN114820976B CN 114820976 B CN114820976 B CN 114820976B CN 202210450419 A CN202210450419 A CN 202210450419A CN 114820976 B CN114820976 B CN 114820976B
Authority
CN
China
Prior art keywords
building
roof
model
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210450419.1A
Other languages
English (en)
Other versions
CN114820976A (zh
Inventor
陈彪
孔宪娟
陈家亮
林高远
彭欣月
李晓雯
许瀚彬
陈庆超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ogilvy Technology Co ltd
Original Assignee
Ogilvy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ogilvy Technology Co ltd filed Critical Ogilvy Technology Co ltd
Priority to CN202210450419.1A priority Critical patent/CN114820976B/zh
Publication of CN114820976A publication Critical patent/CN114820976A/zh
Application granted granted Critical
Publication of CN114820976B publication Critical patent/CN114820976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像识别与纹理映射技术，为融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质，方法包括：建立支持数据访问接口及三维建模接口的建筑数据库；通过建筑实例分割模型识别遥感影像中的建筑轮廓，通过屋顶分类识别模型识别遥感影像中的建筑屋顶样式，提取建筑轮廓；建立屋顶模型生成的算法集，根据建筑屋顶样式及建筑轮廓多边形生成屋顶模型；在终端设备中展示三维地图，拍摄抓取目标建筑的空间平面特征，动态更新三维白模；通过终端设备拍摄建筑立面图像，处理得到规整的立面纹理图像并映射至三维白模立面，形成带立面纹理风格的建筑模型。本发明数据获取便捷，简单易用，可实现众包建模，降低数据采集成本，缩短更新周期。

Description

融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储 介质
技术领域
本发明涉及计算机图像识别与纹理映射技术，具体为融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质。
背景技术
为了更好的规划、建设和管理农村，需要构建农村三维场景一张图。但现阶段农村房屋数据较为稀缺，如何快速地构建农村三维建筑模型是数字底板建设的重要内容。
常规三维建筑建模依靠人机交互，需首先获得建筑图纸，这种方法虽然模型漂亮，但是存在图纸获取困难、建模成本高、耗时长、覆盖范围小等问题。随着摄影测量与激光扫描技术的发展，三维建筑建模取得了很大的进展。但集中建模的方式资金投入大、维护周期较长，并不适用于偏远欠发达的农村或地区。同时，若要对建筑进行单体化，还需要二次处理，降低了建筑的业务黏性。
发明内容
一方面，本发明提出了融合遥感影像与拍摄影像的农村建筑建模方法，通过遥感影像识别建筑轮廓与屋顶样式，并自动拉成三维建筑白模；通过终端拍摄方式获取建筑立面纹理图像与建筑高度；将建筑立面纹理图像映射至三维建筑白模的各立面，得到完整的三维实景建筑模型。对比手工建模或倾斜摄影建模方法，本发明数据获取便捷，简单易用，可实现众包建模，降低数据采集的成本，缩短更新周期。
另一方面，基于相同的发明构思，本发明还提出融合遥感影像与拍摄影像的农村建筑建模系统，以及上述建模方法所对应的存储介质。
为实现上述目的，本发明建模方法采用如下技术方案：融合遥感影像与拍摄影像的农村建筑建模方法，包括以下步骤：
S1、建立支持数据访问接口及三维建模接口的建筑数据库；
S2、建立建筑轮廓及建筑屋顶样式的样本库，并训练得到建筑实例分割模型和屋顶分类识别模型；
S3、通过建筑实例分割模型识别遥感影像中的建筑轮廓，通过屋顶分类识别模型识别遥感影像中的建筑屋顶样式；根据建筑轮廓分割结果和屋顶样式识别结果，提取建筑轮廓；
S4、建立屋顶模型生成的算法集，根据建筑屋顶样式及建筑轮廓多边形生成屋顶模型；
S5、在终端设备中展示三维地图，其中三维地图中的三维建筑白模通过终端设备调用三维建模接口动态生成；
S6、选择要处理的目标建筑，通过AR交互拍摄抓取目标建筑的空间平面特征，然后再抓取目标建筑的底部角点和垂直向上的顶部角点；计算拍摄倾角，计算出建筑高度，同时动态更新三维场景的三维建筑白模；
S7、选择目标建筑立面的拍摄方向；通过终端设备拍摄建筑立面图像，利用角点识别算法识别出建筑边缘角点，并进行图像矫正，获得规整的建筑立面纹理图像；
S8、将建筑立面纹理图像映射至三维建筑白模的立面，形成带立面纹理风格的建筑模型。
相应地，本发明的建模系统采用如下技术方案来实现：融合遥感影像与拍摄影像的农村建筑建模系统，包括：
支持数据访问接口及三维建模接口的建筑数据库；
模型建立模块，用于建立建筑轮廓及建筑屋顶样式的样本库，并训练得到建筑实例分割模型和屋顶分类识别模型；
建筑轮廓提取模块，通过建筑实例分割模型识别遥感影像中的建筑轮廓，通过屋顶分类识别模型识别遥感影像中的建筑屋顶样式；根据建筑轮廓分割结果和屋顶样式识别结果，提取建筑轮廓；
屋顶模型生成模块，用于建立屋顶模型生成的算法集，根据建筑屋顶样式及建筑轮廓多边形生成屋顶模型；
终端设备，用于展示三维地图，其中三维地图中的三维建筑白模通过终端设备调用三维建模接口动态生成；
选择要处理的目标建筑，通过终端设备的AR交互拍摄抓取目标建筑的空间平面特征，然后再抓取目标建筑的底部角点和垂直向上的顶部角点；计算拍摄倾角，计算出建筑高度，同时动态更新三维场景的三维建筑白模；
选择目标建筑立面的拍摄方向；通过终端设备拍摄建筑立面图像，利用角点识别算法识别出建筑边缘角点，并进行图像矫正，获得规整的建筑立面纹理图像；将建筑立面纹理图像映射至三维建筑白模的立面，形成带立面纹理风格的建筑模型。
本发明的存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时，实现所述农村建筑建模方法的步骤。
与现有的手工建模或倾斜摄影建模等常规方案相比，本发明取得的有益效果包括：
本发明在建筑建模过程中融合了高分遥感影像与拍摄影像，分为两个主要实施步骤，第一步是基于卷积神经网络识别提取遥感影像中的建筑物，可在服务器上完成；第二步是利用手机等终端拍摄功能完善的建筑细节，包括建筑立面纹理及建筑高度信息。
也就是说，本发明首先通过高分遥感影像识别建筑轮廓与屋顶样式，并自动拉成三维建筑白模；其次通过手机等终端拍摄方式获取建筑立面纹理图像与建筑高度；最后基于纹理映射技术将建筑立面纹理图像映射至三维建筑白模的各立面，得到完整的三维实景建筑模型。其中，三维建筑白模的各立面采用角点识别与形状矫正算法，形成规整的立面图像；纹理映射技术根据空间位置与映射函数将终端拍摄的建筑立面纹理图像映射至三维建筑白模的表面。
本发明建模方法的数据获取便捷，简单易用，可实现众包参与，降低了数据采集、获取的成本，缩短更新周期，节省了大量人力物力，为农村三维场景一张图的底板建设提供有力的技术支撑，为农村建筑物的快速建模提供了一种简单且高效的新方法。
附图说明
图1为本发明实施例中建模方法的总流程图。
图2为本发明实施例中屋顶模型的生成流程图。
图3为本发明实施例中屋顶模型的生成结果图。
图4为本发明实施例的4-方向Freeman链码原理图。
图5为本发明实施例的4-方向Freeman链码序列：其中(a)为人字形屋顶基底4-方向链码序列，(b)为屋顶轮廓4-方向链码序列。
图6为本发明实施例中基于建筑轮廓拉伸墙体的流程图。
图7为本发明实施例中建筑高度获取的原理图。
具体实施方式
下面结合实施例和说明书附图，对本发明的具体实施方式做进一步说明，但本发明的实施方式并不限于此。
实施例1
如图1所示，本实施例中融合遥感影像与拍摄影像的农村建筑建模方法，具体包括以下步骤：
步骤1、建立建筑数据库，建筑数据库包括建筑单体信息表、建筑纹理表和建筑屋顶表，用于存储建筑id码、建筑轮廓、建筑屋顶样式、建筑坐标、纹理材质、建筑模型等建筑信息。
所建立的建筑数据库支持数据访问接口及三维建模接口(也叫三维建筑模型生成接口、三维模型接口)。具体来说，建筑数据库可基于RESTful接口规范，实现后端数据访问、更新等接口。建筑数据库还基于3D图像引擎，实现建筑单体信息生成三维模型接口；该接口具备如下建模能力：根据建筑轮廓与建筑高度，生成建筑墙体模型；如有材质纹理信息，则生成带纹理的墙体；如有屋顶模型，则生成带屋顶的三维模型。
表1.建筑单体信息表(building表)
表2建筑纹理表(buildingtexture表)
表3建筑屋顶表(buildingroof表)
也就是说，在本实施例中，建立的建筑数据库包括建筑单体信息表、建筑纹理表和建筑屋顶表；其中建筑单体信息表包括建筑id码、建筑轮廓、建筑屋顶样式、建筑坐标等信息；建筑纹理表包括纹理图像、纹理图像对应的建筑面；建筑屋顶表包括屋顶样式、屋顶模型等信息；建筑纹理表、建筑屋顶表通过建筑id码与建筑信息表进行关联。
步骤2、建立建筑轮廓及建筑屋顶样式的样本库，基于卷积神经网络训练得到建筑实例分割模型和屋顶分类识别模型。
本实施例中，步骤2包括：
步骤21、利用LabelMe标注工具打开高分遥感影像数据，并标注出建筑轮廓，同时提取建筑屋顶样式，分别建立建筑轮廓和建筑屋顶样式两个样本库；
步骤22、利用MASK R-CNN分割算法训练得到建筑实例分割模型，利用Res-Net算法训练得到建筑屋顶样式的分类识别模型。
步骤3、通过建筑实例分割模型识别遥感影像中的建筑轮廓，通过屋顶分类识别模型识别遥感影像中的建筑屋顶样式；根据建筑轮廓分割结果和屋顶样式识别结果，提取建筑轮廓；将提取的建筑轮廓结果存入建筑数据库的建筑单体信息表。
具体来说，步骤3包括：
步骤31、利用步骤2得到的两个模型对待处理的遥感影像数据进行处理，实现建筑轮廓的分割及屋顶样式的识别；其中，建筑轮廓的分割结果为建筑掩码图像，建筑屋顶样式的识别结果为屋顶类型。
步骤32、对步骤31输出的建筑掩码图像进行二值化处理，利用形态学算法对图像中的建筑掩码进行边缘平滑、细狭缝消除、细连通截断等处理；
步骤33、提取步骤32处理后的建筑掩码图像的几何轮廓，得到建筑轮廓多边形；计算建筑轮廓多边形的特征，包括面积、形状等特征，并利用自适应阈值法或聚类分析算法对多边形进行分类处理，去除面积过小、形状过于狭长的多边形，根据实际情况切割面积过大或不规则的多边形，得到处理后的建筑轮廓多边形；
步骤34、计算步骤33处理后的建筑轮廓多边形中的所有多边形的最小外接矩形，如果最小外接矩形的面积与多边形的面积的比值在设定范围内，则以最小外接矩形为该建筑轮廓，否则采用简化多边形算法，得到建筑轮廓。例如，当最小外接矩形的面积约等于多边形的面积时，两者的比值约等于1，则以最小外接矩形为该建筑轮廓。
步骤35、将识别的建筑轮廓存入建筑数据库中的建筑单体信息表。
步骤4、建立屋顶模型生成的算法集，根据建筑屋顶样式及建筑轮廓多边形生成屋顶模型，并保存至建筑数据库的建筑屋顶表。
在本实施例中，步骤4包括：
步骤41、建立屋顶模型生成的算法集，算法集所包括的算法可自动生成平屋顶、坡屋顶、人字屋顶等屋顶结构。
步骤42、首先根据步骤31识别的屋顶类型(即屋顶样式)过滤出屋顶生成的算法，然后根据建筑轮廓的多边形及匹配算法生成屋顶模型；其中，匹配算法使用矩或链码技术(freeman)可实现较好的屋顶匹配效果。
步骤43、将所生成的屋顶模型更新保存至建筑数据库的建筑屋顶表。
以人字形屋顶结构为例，如图2所示，匹配算法使用链码技术实现的过程如下：
步骤421、人字形屋顶结构的屋顶基底为四边形，根据4-方向Freeman链码进行编码，得到屋顶基底的Freeman链码序列；
步骤422、将建筑轮廓多边形传入匹配算法，并利用4-方向Freeman链码对建筑轮廓多边形进行编码，得到建筑轮廓的Freeman链码序列；
步骤423、将建筑轮廓的Freeman链码序列与屋顶基底的Freeman链码序列进行匹配，确定坡面和非坡面；
步骤424、计算屋脊线、屋顶坡度、屋脊高度等特征位置点，其中屋脊高度根据屋顶坡度计算得到；
步骤425、构建屋顶坡面和非坡面的Mesh数据，赋予屋顶材质，屋顶材质由材质库提供。
所生成的屋顶模型如图3所示，屋顶模型的底部31为建筑轮廓多边形，并由多面墙体32围合形成建筑物的侧面；建筑屋顶基底33的形状与建筑轮廓多边形相同，且两者相互平行，从建筑屋顶基底的左右两侧向上垂直延伸形成屋顶非坡面34，从建筑屋顶基底的前后两侧向上倾斜延伸形成屋顶坡面35；前后两侧延伸形成的屋顶坡面相交形成屋脊线36，屋脊线到屋顶基底的距离为屋脊高度，屋顶非坡面与屋顶坡面相交。
其中，4-方向Freeman链码算法是将每个线段的方向用如图4所示的数字方法来进行编码，将形状轮廓的二维坐标序列转换为一串由集合{0,1,2,3}中的元素组成的一维链码序列；对一维链码序列进行旋转归一化后，该一维链码序列的走向不随图形的旋转、缩放、平移变换而发生改变，如图5所示，可实现两个多边形的匹配。
步骤5、在手机等终端设备中展示三维地图，其中三维地图中的三维建筑白模通过终端设备调用三维建模接口动态生成。
用于展示三维地图的智能手机等终端设备，其应具备AR摄影、定位、陀螺仪等功能或硬件设备。手机等终端设备基于3D图形引擎，调用建筑数据库的三维建模接口，如图6所示，设置建筑高度并基于建筑轮廓拉伸墙体，根据建筑轮廓与建筑高度生成建筑墙体模型；如建筑纹理表有材质纹理信息则生成带纹理的墙体，否则生成白模墙体；如建筑屋顶表有屋顶模型则生成带屋顶的三维建筑白模，最后展示3D GIS场景；具体实现过程如下：
步骤51、获取建筑轮廓多边形，并将建筑轮廓多边形的顶点按逆时针排列。
步骤52、获取建筑轮廓多边形的边，逐一根据建筑轮廓多边形的每条边和建筑高度，构建生成每个墙体的三维Mesh数据；本实施例中，设墙体左下角为纹理原点，其他顶点的UV值由距离计算得到。
也就是说，在本步骤中逐一对所获取的建筑轮廓多边形的每条边进行操作，逐一生成相应墙体的三维Mesh数据。
步骤53、利用多边形分割三角化算法生成墙体顶部Mesh数据。
步骤54、整合三维Mesh数据和顶部Mesh数据，构建得到完整的三维建筑白模。
步骤55、利用手机等移动终端的三维渲染技术展示包括影像、高程、白模的3D GIS场景。
步骤6、采集员选择要处理的目标建筑，通过AR交互拍摄抓取目标建筑的空间平面特征，然后再抓取目标建筑的底部角点和垂直向上的顶部角点；在抓取过程中实时获得硬件传感器参数，计算拍摄倾角，根据三角函数原理计算出建筑高度，并更新至建筑数据库的建筑单体信息表，同时动态更新三维场景的三维建筑白模。
如图7所示，具体实现过程为：
步骤61、选择要处理的目标建筑的三维建筑白模，在水平地面上通过AR交互拍摄抓取目标建筑的空间平面特征，获取拍摄镜头的拍摄高度h；
步骤62、获取目标建筑的底部角点，令拍摄镜头到建筑底部的水平距离为D，令拍摄俯角(拍摄镜头中轴线与地面夹角)为θD,则水平距离D可由下式计算得到：
D＝h/tan(θD) (1)
步骤63、获取目标建筑的顶部角点，令拍摄镜头到建筑顶部的垂直高度差为H，令拍摄仰角(拍摄镜头中轴线与建筑顶部夹角)为θH，则垂直高度差H可由下式计算得到：
H＝D·tan(θD) (2)
步骤64、最终的建筑高度building_height为拍摄镜头的拍摄高度h与拍摄镜头到建筑顶部的垂直高度差H之和，即：
最后将计算结果更新至建筑数据库的建筑单体信息表，同时动态更新三维场景的三维建筑白模。
步骤7、通过自动或人机交互等方式选择目标建筑立面的拍摄方向；通过手机等终端设备拍摄建筑立面图像，利用角点识别算法识别出建筑边缘角点，以半自动的方式进行图像矫正，获得规整的建筑立面纹理图像。如果建筑立面较大，无法一次性拍摄完整，则通过多张图片拼接算法得到完整建筑立面图像，再识别建筑立面纹理图像。
在本实施例中，首先根据导航信息获得采集员朝向(即确定手机等终端设备拍摄目标建筑立面的方向)，自动切换建筑立面或通过旋转三维场景主动选择目标建筑立面。然后利用手机等终端设备拍摄建筑立面图像；如果目标建筑物的尺寸超出终端设备的可摄影范围，可拍摄多张图像拼接得到完整的建筑立面图像。最后利用角点识别算法识别出建筑立面图像中的建筑边缘角点，基于建筑边缘角点进行图像透视矫正及裁剪得到建筑立面纹理图像，纹理图像为二维图像。
其中，角点识别算法利用EDLine算法检测终端设备所拍摄图像中的建筑物四个边缘角点，将完整建筑立面从拍摄图像中提取出来；具体步骤包括：
步骤71、计算终端设备所拍摄图像中的EDLine；
步骤72、提取所有EDLine两端的端点；
步骤73、对步骤72中提取的所有端点进行凸包运算，并移除非凸包点；
步骤74、穷举凸包点中所有四个点的子集合，计算所围成的四边形面积；
步骤75、取四边形面积最大的凸包点子集，即为该建筑立面的四个角点。
在本实施例中，半自动的方式是指先通过角点检测算法自动识别建筑立面角点，以获得建筑立面图像的范围。当识别准确度不高的情况下，则允许人工交互对四个角点实施拖动微调。其中，透视矫正采用透视变换算法，对角点识别算法提取的建筑立面图像的边缘角点求取坐标矩阵；裁剪为通过手机等终端设备进行人机交互，对图像进行边缘进行裁剪。
步骤8、将拍摄识别得到的建筑立面纹理图像映射至三维建筑白模的立面，形成带立面纹理风格的建筑模型，保存纹理信息至建筑数据库的建筑纹理表，并实时更新三维场景。
本实施例中，步骤8包括：
步骤81、将步骤7得到的建筑立面纹理图像映射至目标建筑的三维建筑白模立面，即首先建立建筑立面纹理图像的边缘角点与三维建筑白模立面的边缘角点的一一对应关系，利用纹理映射技术实现二维纹理图像到三维建筑白模立面的贴图。
步骤82、将纹理图像、纹理图像对应的三维建筑白模立面(统称纹理信息)保存到建筑数据库的建筑纹理表。
步骤83、调用三维模型生成接口，更新前端(即手机等终端设备)的三维场景。
步骤9、对目标建筑的其它立面重复步骤7至步骤8，直至该目标建筑完成全部立面纹理贴图。
也就是说，在本步骤中现场采集员移步至目标建筑的下一个立面，重复步骤7至步骤8，直至该目标建筑完成全部立面纹理贴图。
步骤10、将成片的单体三维模型发布标准的OGC三维服务(如3D Tiles)，以支持三维场景的快速展示。
调用三维模型接口将所有已完成纹理贴图的目标建筑生成三维模型，并保存至本地。然后利用八叉树等算法将所有的三维模型发布成OGC三维服务(如3D Tiles)，以提高场景渲染效率，实现快速展示，可用于最终成果的浏览及应用。
实施例2
本实施例与实施例1基于相同的发明构思，本实施例提供的是融合遥感影像与拍摄影像的农村建筑建模系统，包括以下模块：
支持数据访问接口及三维建模接口的建筑数据库；
模型建立模块，用于建立建筑轮廓及建筑屋顶样式的样本库，并训练得到建筑实例分割模型和屋顶分类识别模型；
建筑轮廓提取模块，通过建筑实例分割模型识别遥感影像中的建筑轮廓，通过屋顶分类识别模型识别遥感影像中的建筑屋顶样式；根据建筑轮廓分割结果和屋顶样式识别结果，提取建筑轮廓；
屋顶模型生成模块，用于建立屋顶模型生成的算法集，根据建筑屋顶样式及建筑轮廓多边形生成屋顶模型；
终端设备，用于展示三维地图，其中三维地图中的三维建筑白模通过终端设备调用三维建模接口动态生成；
选择要处理的目标建筑，通过终端设备的AR交互拍摄抓取目标建筑的空间平面特征，然后再抓取目标建筑的底部角点和垂直向上的顶部角点；计算拍摄倾角，计算出建筑高度，同时动态更新三维场景的三维建筑白模；
选择目标建筑立面的拍摄方向；通过终端设备拍摄建筑立面图像，利用角点识别算法识别出建筑边缘角点，并进行图像矫正，获得规整的建筑立面纹理图像；将建筑立面纹理图像映射至三维建筑白模的立面，形成带立面纹理风格的建筑模型。
本实施例系统中的上述各模块，与实施例1的各步骤是对应的关系，用于执行实施例1各步骤的实现过程，各模块的功能及其详细实现过程，在本实施例中不赘述。
此外，本实施例还提供相应的存储介质，存储介质上存储有计算机指令，当计算机指令被处理器执行时，实现实施例1中农村建筑建模方法的各步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (10)

1.融合遥感影像与拍摄影像的农村建筑建模方法，其特征在于，包括以下步骤：
S1、建立支持数据访问接口及三维建模接口的建筑数据库；
S2、建立建筑轮廓及建筑屋顶样式的样本库，并训练得到建筑实例分割模型和屋顶分类识别模型；
S3、通过建筑实例分割模型识别遥感影像中的建筑轮廓，通过屋顶分类识别模型识别遥感影像中的建筑屋顶样式；根据建筑轮廓分割结果和屋顶样式识别结果，提取建筑轮廓；
S4、建立屋顶模型生成的算法集，根据建筑屋顶样式及建筑轮廓多边形生成屋顶模型；
S5、在终端设备中展示三维地图，其中三维地图中的三维建筑白模通过终端设备调用三维建模接口动态生成；
S6、选择要处理的目标建筑，通过AR交互拍摄抓取目标建筑的空间平面特征，然后再抓取目标建筑的底部角点和垂直向上的顶部角点；计算拍摄倾角，计算出建筑高度，同时动态更新三维场景的三维建筑白模；
S7、选择目标建筑立面的拍摄方向；通过终端设备拍摄建筑立面图像，利用角点识别算法识别出建筑边缘角点，并进行图像矫正，获得规整的建筑立面纹理图像；
S8、将建筑立面纹理图像映射至三维建筑白模的立面，形成带立面纹理风格的建筑模型；
步骤S3包括：
S31、利用建筑实例分割模型和屋顶分类识别模型对待处理的遥感影像数据进行处理，实现建筑轮廓的分割及屋顶样式的识别；其中，建筑轮廓的分割结果为建筑掩码图像，建筑屋顶样式的识别结果为屋顶类型；
S32、对建筑掩码图像进行二值化处理，利用形态学算法对图像中的建筑掩码进行边缘平滑、细狭缝消除、细连通截断处理；
S33、提取步骤S32处理后的建筑掩码图像的几何轮廓，得到建筑轮廓多边形；计算建筑轮廓多边形的特征，利用自适应阈值法或聚类分析算法对多边形进行分类处理，得到处理后的建筑轮廓多边形；
S34、计算处理后的建筑轮廓多边形中的所有多边形的最小外接矩形，如果最小外接矩形的面积与多边形的面积的比值在设定范围内，则以最小外接矩形为该建筑轮廓，否则采用简化多边形算法，得到建筑轮廓。
2.根据权利要求1所述的农村建筑建模方法，其特征在于，步骤S2包括：
S21、利用标注工具打开高分遥感影像数据，并标注出建筑轮廓，同时提取建筑屋顶样式，分别建立建筑轮廓和建筑屋顶样式两个样本库；
S22、利用MASK R-CNN分割算法训练得到建筑实例分割模型，利用Res-Net算法训练得到建筑屋顶样式的分类识别模型。
3.根据权利要求1所述的农村建筑建模方法，其特征在于，步骤S1建立的建筑数据库，包括建筑单体信息表、建筑纹理表和建筑屋顶表；其中建筑单体信息表包括建筑id码、建筑轮廓、建筑屋顶样式、建筑坐标；建筑纹理表包括纹理图像、纹理图像对应的建筑面；建筑屋顶表包括屋顶样式、屋顶模型；建筑纹理表、建筑屋顶表通过建筑id码与建筑单体信息表进行关联。
4.根据权利要求1所述的农村建筑建模方法，其特征在于，步骤S4包括：
S41、建立屋顶模型生成的算法集，用于自动生成包括平屋顶、坡屋顶、人字屋顶在内的屋顶结构；
S42、根据屋顶样式过滤出屋顶生成的算法，然后根据建筑轮廓的多边形及匹配算法生成屋顶模型。
5.根据权利要求4所述的农村建筑建模方法，其特征在于，匹配算法使用链码技术实现人字形屋顶结构的过程如下：
S421、人字形屋顶结构的屋顶基底为四边形，根据4-方向Freeman链码进行编码，得到屋顶基底的Freeman链码序列；
S422、将建筑轮廓多边形传入匹配算法，并利用4-方向Freeman链码对建筑轮廓多边形进行编码，得到建筑轮廓的Freeman链码序列；
S423、将建筑轮廓的Freeman链码序列与屋顶基底的Freeman链码序列进行匹配，确定坡面和非坡面；
S424、计算包括屋脊线、屋顶坡度、屋脊高度在内的建筑特征位置点，其中屋脊高度根据屋顶坡度计算得到；
S425、构建屋顶坡面和非坡面的Mesh数据，赋予屋顶材质。
6.根据权利要求1所述的农村建筑建模方法，其特征在于，步骤S5的终端设备基于3D图形引擎调用三维建模接口，设置建筑高度并基于建筑轮廓拉伸墙体，生成三维建筑白模，包括：
S51、获取建筑轮廓多边形，并将建筑轮廓多边形的顶点按逆时针排列；
S52、获取建筑轮廓多边形的边，逐一根据建筑轮廓多边形的每条边和建筑高度，构建生成每个墙体的三维Mesh数据；
S53、利用多边形分割三角化算法生成墙体顶部Mesh数据；
S54、整合三维Mesh数据和顶部Mesh数据，构建得到完整的三维建筑白模；
S55、利用移动终端的三维渲染技术展示包括影像、高程、白模的3D GIS场景。
7.根据权利要求1所述的农村建筑建模方法，其特征在于，步骤S6包括：
S61、选择要处理的目标建筑的三维建筑白模，通过AR交互拍摄抓取目标建筑的空间平面特征，获取拍摄镜头的拍摄高度h；
S62、获取目标建筑的底部角点，令拍摄镜头到建筑底部的水平距离为D，令拍摄俯角为θD，根据拍摄俯角和拍摄高度计算水平距离D；
S63、获取目标建筑的顶部角点，令拍摄镜头到建筑顶部的垂直高度差为H，令拍摄仰角为θH，根据水平距离和拍摄仰角计算垂直高度差H；
S64、建筑高度为拍摄镜头的拍摄高度h与拍摄镜头到建筑顶部的垂直高度差H之和。
8.融合遥感影像与拍摄影像的农村建筑建模系统，其特征在于，包括：
支持数据访问接口及三维建模接口的建筑数据库；
模型建立模块，用于建立建筑轮廓及建筑屋顶样式的样本库，并训练得到建筑实例分割模型和屋顶分类识别模型；
建筑轮廓提取模块，通过建筑实例分割模型识别遥感影像中的建筑轮廓，通过屋顶分类识别模型识别遥感影像中的建筑屋顶样式；根据建筑轮廓分割结果和屋顶样式识别结果，提取建筑轮廓；
屋顶模型生成模块，用于建立屋顶模型生成的算法集，根据建筑屋顶样式及建筑轮廓多边形生成屋顶模型；
终端设备，用于展示三维地图，其中三维地图中的三维建筑白模通过终端设备调用三维建模接口动态生成；
选择要处理的目标建筑，通过终端设备的AR交互拍摄抓取目标建筑的空间平面特征，然后再抓取目标建筑的底部角点和垂直向上的顶部角点；计算拍摄倾角，计算出建筑高度，同时动态更新三维场景的三维建筑白模；
选择目标建筑立面的拍摄方向；通过终端设备拍摄建筑立面图像，利用角点识别算法识别出建筑边缘角点，并进行图像矫正，获得规整的建筑立面纹理图像；将建筑立面纹理图像映射至三维建筑白模的立面，形成带立面纹理风格的建筑模型；
其中，提取建筑轮廓的过程包括：
利用建筑实例分割模型和屋顶分类识别模型对待处理的遥感影像数据进行处理，实现建筑轮廓的分割及屋顶样式的识别；其中，建筑轮廓的分割结果为建筑掩码图像，建筑屋顶样式的识别结果为屋顶类型；
对建筑掩码图像进行二值化处理，利用形态学算法对图像中的建筑掩码进行边缘平滑、细狭缝消除、细连通截断处理；
提取处理后的建筑掩码图像的几何轮廓，得到建筑轮廓多边形；计算建筑轮廓多边形的特征，利用自适应阈值法或聚类分析算法对多边形进行分类处理，得到处理后的建筑轮廓多边形；
计算处理后的建筑轮廓多边形中的所有多边形的最小外接矩形，如果最小外接矩形的面积与多边形的面积的比值在设定范围内，则以最小外接矩形为该建筑轮廓，否则采用简化多边形算法，得到建筑轮廓。
9.根据权利要求8所述的农村建筑建模系统，其特征在于，屋顶模型的生成过程包括：
建立屋顶模型生成的算法集，用于自动生成包括平屋顶、坡屋顶、人字屋顶在内的屋顶结构；
根据屋顶样式过滤出屋顶生成的算法，然后根据建筑轮廓的多边形及匹配算法生成屋顶模型。
10.存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实现权利要求1-7中任一项所述农村建筑建模方法的步骤。
CN202210450419.1A 2022-04-24 2022-04-24 融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质 Active CN114820976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210450419.1A CN114820976B (zh) 2022-04-24 2022-04-24 融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210450419.1A CN114820976B (zh) 2022-04-24 2022-04-24 融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114820976A CN114820976A (zh) 2022-07-29
CN114820976B true CN114820976B (zh) 2023-07-18

Family

ID=82508194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210450419.1A Active CN114820976B (zh) 2022-04-24 2022-04-24 融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114820976B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115806B (zh) * 2022-08-30 2022-11-22 北京飞渡科技有限公司 一种基于单基元解析的屋顶参数化重构方法及系统
CN115496876B (zh) * 2022-09-19 2024-04-16 阿里巴巴（中国）有限公司 一种建筑物建模方法、地图渲染方法、装置和设备
CN115797591B (zh) * 2022-12-05 2023-06-09 浙江柒和环境艺术设计有限公司 一种虚拟建筑模型生成方法及系统
CN116152458A (zh) * 2023-03-14 2023-05-23 南京宇天智云仿真技术有限公司 一种基于影像的三维仿真建筑生成方法
CN117272491B (zh) * 2023-11-21 2024-05-31 广东广宇科技发展有限公司 一种基于ai绘图模型的快速建模方法、设备及介质
CN117787016A (zh) * 2024-02-23 2024-03-29 深圳市易图资讯股份有限公司 一种建筑信息模型到cim平台的转换系统与方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012141A2 (en) * 2002-07-26 2004-02-05 Zaxel Systems, Inc. Virtual reality immersion system
CN111629193A (zh) * 2020-07-28 2020-09-04 江苏康云视觉科技有限公司 一种实景三维重建方法及系统
KR102212075B1 (ko) * 2020-09-09 2021-02-04 어스앤컴퍼니 주식회사 2차원 건축 도면에 표현된 벽체의 3차원 도면 모델링 방법 및 프로그램

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140245210A1 (en) * 2013-02-28 2014-08-28 Donan Engineering Co., Inc. Systems and Methods for Collecting and Representing Attributes Related to Damage in a Geographic Area
CN104463969B (zh) * 2014-12-09 2017-09-26 广西界围信息科技有限公司 一种对航空倾斜拍摄的地理照片的模型的建立方法
CN106327573B (zh) * 2016-08-25 2019-03-12 成都慧途科技有限公司 一种针对城市建筑的实景三维建模方法
CN108320323B (zh) * 2017-01-18 2021-10-01 华为技术有限公司 一种建筑物三维建模方法及装置
JP2018144262A (ja) * 2017-03-01 2018-09-20 株式会社ミマキエンジニアリング 三次元造形装置及び三次元造形方法
CN108648269B (zh) * 2018-05-11 2023-10-20 北京建筑大学 三维建筑物模型的单体化方法和系统
CN114241024B (zh) * 2021-11-10 2022-10-21 泰瑞数创科技(北京)股份有限公司 基于滑动边缘检测的人工神经网络建筑物纹理贴图方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012141A2 (en) * 2002-07-26 2004-02-05 Zaxel Systems, Inc. Virtual reality immersion system
CN111629193A (zh) * 2020-07-28 2020-09-04 江苏康云视觉科技有限公司 一种实景三维重建方法及系统
KR102212075B1 (ko) * 2020-09-09 2021-02-04 어스앤컴퍼니 주식회사 2차원 건축 도면에 표현된 벽체의 3차원 도면 모델링 방법 및 프로그램

Also Published As

Publication number Publication date
CN114820976A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114820976B (zh) 融合遥感影像与拍摄影像的农村建筑建模方法、系统及存储介质
CN112163251B (zh) 建筑模型单体化方法、装置、存储介质及电子设备
US7509241B2 (en) Method and apparatus for automatically generating a site model
CN110738618B (zh) 一种基于双目相机的不规则堆料体积测量方法
Pylvanainen et al. Automatic alignment and multi-view segmentation of street view data using 3d shape priors
CN114612488A (zh) 建筑物单体化信息提取方法、计算机装置及存储介质
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
WO2018176929A1 (zh) 一种图像背景虚化方法及装置
CN105719277A (zh) 一种基于测绘与二维图像的变电站三维建模方法及系统
CN113379901A (zh) 利用大众自拍全景数据建立房屋实景三维的方法及系统
CN109978997A (zh) 一种基于倾斜影像的输电线路三维建模方法和系统
CN116091709B (zh) 建筑物的三维重建方法、装置、电子设备和存储介质
CN116805356A (zh) 建筑模型的构建方法、设备及计算机可读存储介质
Jisen A study on target recognition algorithm based on 3D point cloud and feature fusion
CN114782357A (zh) 一种用于变电站场景的自适应分割系统及方法
CN111445571B (zh) 一种用于室内设计多种效果图一次生成方法及系统
Li et al. Low-cost 3D building modeling via image processing
Assfalg et al. Spin images for retrieval of 3D objects by local and global similarity
TW201816725A (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
CN111462294A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN117115358B (zh) 数字人自动建模方法及装置
Bletterer et al. Towards the reconstruction of wide historical sites: A local graph-based representation to resample gigantic acquisitions
US20240087231A1 (en) Method, apparatus, computer device and storage medium for three-dimensional reconstruction of indoor structure
CN108446671A (zh) 一种人脸追踪方法及系统
CN117115274B (zh) 三维信息的确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant