CN117132737A - 一种三维建筑模型构建方法、系统及设备 - Google Patents

一种三维建筑模型构建方法、系统及设备 Download PDF

Info

Publication number
CN117132737A
CN117132737A CN202311393626.9A CN202311393626A CN117132737A CN 117132737 A CN117132737 A CN 117132737A CN 202311393626 A CN202311393626 A CN 202311393626A CN 117132737 A CN117132737 A CN 117132737A
Authority
CN
China
Prior art keywords
building
model
dimensional
image
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311393626.9A
Other languages
English (en)
Other versions
CN117132737B (zh
Inventor
李炫�
李永鑫
袁野
刘立
唐伟
韩艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Institute Of Geographic Information Cartography Ministry Of Natural Resources
Original Assignee
Third Institute Of Geographic Information Cartography Ministry Of Natural Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Institute Of Geographic Information Cartography Ministry Of Natural Resources filed Critical Third Institute Of Geographic Information Cartography Ministry Of Natural Resources
Priority to CN202311393626.9A priority Critical patent/CN117132737B/zh
Publication of CN117132737A publication Critical patent/CN117132737A/zh
Application granted granted Critical
Publication of CN117132737B publication Critical patent/CN117132737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种三维建筑模型构建方法、系统及设备,涉及城市规划领域,该方法包括:根据多视立体卫星影像生成目标区域内各个建筑的三维点云;将三维点云输入至卫星影像Mesh模型,生成所述目标区域的真正射影像;卫星影像Mesh模型是根据探测区域内各个建筑的三维点云构建的;探测区域包括目标区域;将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓;根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型;所述归一化数字表面模型是根据所述目标区域内各个建筑的三维点云构建的;所述三维建筑模型用于表征所述目标区域内建筑的分布情况。本发明能够提高提取的建筑轮廓的准确性以及所建立的三维建筑模型的准确性。

Description

一种三维建筑模型构建方法、系统及设备
技术领域
本发明涉及城市规划领域,特别是涉及一种三维建筑模型构建方法、系统及设备。
背景技术
在大规模的城市重点工程不断涌现的背景下,传统的二维地理信息可视化效果差、空间分析能力不足已无法有效满足城市精准治理、科学规划和智能管控的需要。城市三维模型通过直观、立体、真实的展示城市地物要素,可为城市数字化建设、现代化治理提供精准可靠的三维空间框架和分析基础数据,是实景三维建设的重要组成部分,对于城市规划与管理、城市交通、应急响应、导航等各个领域都具有重要作用。
城市三维模型作为实景三维建设的重要组成部分,包含建筑物轮廓、高度、位置等基础信息,随着深度学习技术与遥感技术深度融合发展,“遥感+AI”的方式为快速获取建筑物的轮廓提供了可能。但受卫星传感器姿态影响,卫星侧视成像会导致原始影像发生几何形变,建筑物在正射影像中常表现为顶底偏移的现象,基于正射影像提取的轮廓与实际也存在位置偏移。
发明内容
本发明的目的是提供一种三维建筑模型构建方法、系统及设备,以解决现有所构建的城市三维模型与实际建筑存在偏差的问题。
为实现上述目的,本发明提供了如下方案:
一种三维建筑模型构建方法,包括:
根据多视立体卫星影像生成目标区域内各个建筑的三维点云;
将所述三维点云输入至卫星影像Mesh模型,生成所述目标区域的真正射影像;所述卫星影像Mesh模型是根据探测区域内各个建筑的三维点云构建的;所述探测区域包括所述目标区域;
将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓;
根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型;所述归一化数字表面模型是根据所述目标区域内各个建筑的三维点云构建的;所述三维建筑模型用于表征所述目标区域内建筑的分布情况。
可选的,根据多视立体卫星影像生成目标区域内各个建筑的三维点云,具体包括:
利用所述多视立体卫星影像,采用尺度不变特征变换匹配连接点,并结合所述目标区域内的控制点进行光束法区域网平差,生成单幅核线影像;
采用金字塔搜索策略以及半全局立体匹配算法逐像素搜索所述单幅核线影像的同名点,生成多视影像视差图;
集合平差后的有理多项式系数,根据所述多视影像视差图生成所述目标区域内各个建筑的三维点云。
可选的,所述卫星影像Mesh模型的构建过程具体包括:
采用Delaunay曲面重构算法对所述三维点云进行三角剖分,构建三角网;
利用有理函数模型计算所述三角网内有纹理面片的像素坐标;
根据所述像素坐标构建纹理图像和所述三角网内曲面点之间的的纹理映射关系;
修正所述三角网的阴影和遮挡区域错误,根据所述纹理映射关系构建所述卫星影像Mesh模型。
可选的,将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓,具体包括:
在所述深度学习模型的基础上,根据所述真正射影像提取初始建筑轮廓栅格;
对所述初始建筑轮廓栅格进行形态学开运算处理,生成第一建筑栅格;
对所述第一建筑栅格进行形态学闭运算处理,生成第二建筑栅格;
对所述第二建筑栅格进行建筑轮廓优化,生成初步优化后的建筑矢量;
获取所述初步优化后的建筑矢量的最小外接矩形,确定所述初步优化后的建筑矢量与所述最小外接矩形的第一比值;
根据所述第一比值确定规则化后的建筑轮廓。
可选的,根据所述第一比值确定规则化后的建筑轮廓,具体包括:
判断所述第一比值是否大于设定阈值;
若是,确定所述最小外接矩形为规则化后的建筑轮廓;
若否,采用Shi-Tomasi算法深度优化建筑物轮廓,生成规则化后的建筑轮廓。
可选的,所述深度学习模型的构建过程具体包括:
获取建筑训练样本数据集;
基于真正射影像对所述建筑训练样本数据集中的建筑物进行标记;
基于具有标记的建筑训练样本数据集,使用交叉熵损失函数以及异步随机梯度下降方法训练所述深度学习模型,直至所述交叉熵损失函数达到设定阈值。
可选的,根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型,具体包括:
将所述三维点云输入至所述归一化数字表面模型中,生成建筑高度;其中,利用滤波方法构建所述归一化数字表面模型;
基于所述规则化后的建筑轮廓,去除所述建筑轮廓范围所述建筑高度中的离群建筑高度;
将所述建筑轮廓范围内剩余的建筑高度的中位数作为最终建筑高度;
根据所述规则化后的建筑轮廓以及所述最终建筑高度构建三维建筑模型。
一种三维建筑模型构建系统,包括:
三维点云生成模块,用于根据多视立体卫星影像生成目标区域内各个建筑的三维点云;
真正射影像生成模块,用于将所述三维点云输入至卫星影像Mesh模型,生成所述目标区域的真正射影像;所述卫星影像Mesh模型是根据探测区域内各个建筑的三维点云构建的;所述探测区域包括所述目标区域;
规则化后的建筑轮廓生成模块,用于将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓;
三维建筑模型构建模块,用于根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型;所述归一化数字表面模型是根据所述目标区域内各个建筑的三维点云构建的;所述三维建筑模型用于表征所述目标区域内建筑的分布情况。
一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述三维建筑模型构建方法。
一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述三维建筑模型构建方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:根据多视立体卫星影像生成目标区域内各个建筑的三维点云,通过构建卫星影像Mesh模型,基于三维点云生成目标区域的真正射影像,以生成规则化后的建筑轮廓,构建三维建筑模型。与正射影像相比,真正射影像能够消除地形起伏与地面三维目标引起的投影变形,实现垂直视角下房屋建筑、高架桥等地面空间目标的清晰展示,有效避免了卫星侧视成像引起的偏移误差和相互遮挡,提高了三维建筑模型的准确性;且利用深度学习模型提取建筑轮廓,并对建筑轮廓进行规则化处理,生成规则化后的建筑轮廓,使得提取的建筑轮廓更贴近建筑实际边缘,提高了提取的建筑轮廓的准确性,进一步提高了所建立的三维建筑模型的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为实施例一所提供的三维建筑模型构建方法流程图;
图2为异步随机梯度下降示意图;
图3为第一夹角判断示意图;
图4为第二夹角判断示意图;
图5为实施例二所提供的三维建筑模型构建方法流程图;
图6为高精度三维点云示意图;
图7为归一化数字表面模型获取示意图;
图8为卫星Mesh模型示意图;
图9为正射影像(DOM)示意图;
图10为真正射影像(TDOM)示意图;
图11为基于深度学习模型提取建筑轮廓流程图;
图12为建筑轮廓规则化处理示意图;
图13为建筑三维模型示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种三维建筑模型构建方法、系统及设备,提高了提取的建筑轮廓的准确性,进一步提高了所建立的三维建筑模型的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明一种三维建筑模型构建方法,包括:
步骤101:根据多视立体卫星影像生成目标区域内各个建筑的三维点云。
在实际应用中,所述步骤101具体包括:利用所述多视立体卫星影像,采用尺度不变特征变换匹配连接点,并结合所述目标区域内的控制点进行光束法区域网平差,生成单幅核线影像;采用金字塔搜索策略以及半全局立体匹配算法逐像素搜索所述单幅核线影像的同名点,生成多视影像视差图;金子塔搜索策略运用所述单幅核线影像,由粗到精对影像金子塔的每一层进行特征点搜索匹配,直至所述单幅核线影像完成匹配;集合平差后的有理多项式系数,根据所述多视影像视差图生成所述目标区域内各个建筑的三维点云。
步骤102:将所述三维点云输入至卫星影像Mesh模型,生成所述目标区域的真正射影像;所述卫星影像Mesh模型是根据探测区域内各个建筑的三维点云构建的;所述探测区域包括所述目标区域。
在实际应用中,所述卫星影像Mesh模型的构建过程具体包括:采用Delaunay曲面重构算法对所述三维点云进行三角剖分,构建三角网;利用有理函数模型计算所述三角网内有纹理面片的像素坐标;根据所述像素坐标构建纹理图像和所述三角网内曲面点之间的纹理映射关系;修正所述三角网的阴影和遮挡区域错误,根据所述纹理映射关系构建所述卫星影像Mesh模型。
步骤103:将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓。
在实际应用中,所述步骤103具体包括:在所述深度学习模型的基础上,根据所述真正射影像提取初始建筑轮廓栅格;对所述初始建筑轮廓栅格进行形态学开运算处理,生成第一建筑栅格;对所述第一建筑栅格进行形态学闭运算处理,生成第二建筑栅格;对所述第二建筑栅格进行建筑轮廓优化,生成初步优化后的建筑矢量;获取所述初步优化后的建筑矢量的最小外接矩形,确定所述初步优化后的建筑矢量与所述最小外接矩形的第一比值;根据所述第一比值确定规则化后的建筑轮廓。
根据所述第一比值确定规则化后的建筑轮廓,具体包括:判断所述第一比值是否大于设定阈值;若是,确定所述最小外接矩形为规则化后的建筑轮廓;若否,采用Shi-Tomasi算法深度优化建筑物轮廓,生成规则化后的建筑轮廓。
所述深度学习模型的构建过程具体包括:获取建筑训练样本数据集;基于真正射影像对所述建筑训练样本数据集中的建筑物进行标记;基于具有标记的建筑训练样本数据集,使用交叉熵损失函数以及异步随机梯度下降方法训练所述深度学习模型,直至所述交叉熵损失函数达到设定阈值。
构建并训练深度学习模型,提取建筑轮廓,包含以下步骤:
1)在目标区域内构建建筑训练样本数据集。基于真正射影像(True DigitalOrthophoto Map,TDOM)对建筑物进行标记,并采用色彩变化,缩放、旋转等几何变形,镜像、移位等空间变化,模糊、噪声等图像滤镜等多个维度的增强操作,丰富样本特征。
构建建筑训练样本数据集需要遵循以下条件:①训练样本应该涵盖多种建筑类型,影像上能独立分辨的房屋建筑物应按外轮廓线逐幢独立采集;②最小建筑面应该保持在20平方米或者40个像素以上;③建筑轮廓应形态尽量规则。
2)基于深度学习模型,使用交叉熵损失函数(1)和异步随机梯度下降(Asynchronous Stochastic Gradient Descent,ASGD)方法,如图2所示,通过并行训练方式,迭代训练深度学习模型,直至损失函数达到阈值停止训练。
异步随机梯度下降方法中,某个工作节点在第t次迭代开始时获取到当前深度学习模型和随机抽取的建筑训练样本数据(/>,/>),计算出相应的随机梯度/>,并将其返回更新到全局模型上;所述全局模型为深度学习模型。
图2中,为第t次迭代被τ个工作节点更新后的模型,/>为第t次迭代被τ+1个工作节点更新后的模型,/>为第t+1次迭代训练后的模型,/>为第t+1次迭代的随机梯度,(/>,/>)为第t次迭代开始时随机抽取的建筑训练样本数据。
(1)
式中,为交叉熵损失函数值,/>为真实标签,/>为预测概率,k为样本个数;j为当前样本。
3)利用训练好的深度学习模型对目标区域进行建筑轮廓自动提取,并对建筑轮廓进行规则化处理。具体包括以下步骤:
步骤1:基于训练好的深度学习模型基础上,利用真正射影像自动提取得到初始建筑轮廓栅格。
步骤2:利用自动提取的初始建筑轮廓栅格进行形态学开运算处理,在保证位置和形状不便的前提下,去除孤立的小点和毛刺,得到第一建筑栅格。
步骤3:基于第一建筑栅格进行形态学闭运算处理,填充内部空洞,得到第二建筑栅格。
步骤4:使用Canny边缘检测算法进行边缘提取,并运用Harris角点检测算法进行轮廓角点提取,顺序保留角点集,并采用道格拉斯-普克(Douglas-Peucker)算法进行建筑轮廓优化,得到初步优化的建筑矢量,针对初步优化的建筑,剔除非建筑矢量。
步骤5:获取初步优化的建筑矢量的最小外接矩形,计算初步优化的建筑矢量与最小外接矩形的比值,若比值大于阈值(如0.85),则最小外接矩形就是建筑轮廓规则化结果,若比值小于阈值,视为复杂建筑,采用Shi-Tomasi算法深度优化建筑物轮廓。
基于Shi-Tomasi算法进行建筑局部轮廓角点提取,依次提取出所有角点,利用有序的轮廓点坐标与提取的角点坐标进行欧式距离计算,按照欧式距离最小对角点进行重新排序,对于重新排序后的轮廓点矢量依次迭代计算相邻边的夹角,如图3-图4所示,设两点形成的线段为/>,/>、/>两点形成的线段为/>,线段/>和线段/>为相邻边,根据/>和/>的斜率计算线段/>和线段/>形成的夹角,选取/>、/>、/>的位置不同,形成的线段/>和线段/>的夹角也不同,在图3中θ1表示为第一夹角,在图4中θ2表示为第二夹角。设定夹角集合/>,a为夹角,当夹角∈T,则剔除当前角点,否则保留当前角点,依次连接所有角点,完成建筑规则化处理。
步骤104:根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型;所述归一化数字表面模型是根据所述目标区域内各个建筑的三维点云构建的;所述三维建筑模型用于表征所述目标区域内建筑的分布情况。
在实际应用中,所述步骤104具体包括:将所述三维点云输入至所述归一化数字表面模型中,生成建筑高度;其中,利用滤波方法构建所述归一化数字表面模型;基于所述规则化后的建筑轮廓,去除所述建筑轮廓范围所述建筑高度中的离群建筑高度;将所述建筑轮廓范围内剩余的建筑高度的中位数作为最终建筑高度;根据所述规则化后的建筑轮廓以及所述最终建筑高度构建三维建筑模型。
在实际应用中,运用布料模拟滤波算法(Cloth Simulation Filter,CSF)去除噪声并分离地面点与非地面点,通过反距离权重插值方法(即式2和式3)获取待求坐标值,构建数字表面模型(Digital Surface Model,DSM)和数字高程模型(Digital ElevationModel,DEM),并对DSM与DEM进行差值处理,得到归一化数字表面模型。
(2)
(3)
式中:(X,Y,Z)为待插值点坐标;(,/>,/>)为原始点云坐标;/>为第i个原始点云的权重;q为反距离权重插值法中的幂次,一般为2;n为以插值点为中心以R为搜索半径的点云总数,搜索半径R根据实景情况设定。
在实际应用中,将规则化后的建筑轮廓与归一化数字表面模型(nDSM)进行叠加,去除规则化后的建筑轮廓范围内的nDSM离群值,获取规则化后的建筑轮廓范围内中位数作为建筑高度,构建三维建筑模型。通过构建三维建筑模型,直观、立体、真实表达目标区域内建筑分布情况,为城市精细治理、国土空间规划管控等提供空间数据底板,促进自然资源、国土空间治理体系和治理能力现代化。
实施例二
以某一城市的立体卫星影像作为数据源,快速构建城市三维建筑模型,对本发明的技术方案进行详细说明,流程如图5所示,具体实施步骤如下:
(1)根据多视立体卫星影像以及其他参数及相关控制资料匹配获取高精度三维点云。
利用立体卫星前视、后视、下视全色和多光谱影像及对应的RPC参数,先进行影像融合和匀色处理,采用尺度不变特征变换(Scale Invariant Feature Transform,SIFT)匹配连接点,结合目标区域控制点进行光束法区域网平差。采用半全局立体匹配(Semi-Global Matching,SGM)算法,获取多视影像视差图,生成目标区域内的高精度三维点云,如图6所示。
(2)利用点云滤波获取归一化数字表面模型。
运用布料模拟滤波算法(Cloth Simulation Filter,CSG)去除噪声并分离地面点与非地面点,通过反距离权重插值方法,按照2米的格网大小分别构建数字表面模型(DSM)和数字高程模型(DEM),并进行差值处理,得到归一化数字表面模型,如图7所示。
(3)通过曲面重建构建卫星Mesh模型,生成真正射影像(TDOM)。
利用上述获取的高精度三维点云,采用Delaunay曲面重建算法进行三角剖分,构建三角网,通过有理函数模型来模拟成像模型,完成纹理映射。
首先利用有理函数模型,计算所有纹理面片的像素坐标;然后基于坐标建立纹理图像和曲面点之间的对应关系,通过纹理图像和曲面点间的对应关系纹理映射,修正部分阴影和遮挡区域错误,构建卫星Mesh模型,如图8所示。
(4)基于卫星Mesh模型输出真正射影像(TDOM),如图9-图10所示。
与正射影像(DOM)相比,真正射影像(TDOM),消除了地形起伏与地面三维目标引起的投影变形,实现了垂直视角下房屋建筑、高架桥等地面空间目标的清晰展示,有效避免了卫星侧视成像引起的偏移误差和相互遮挡。
(5)构建并训练深度学习模型(以下简称模型),提取建筑轮廓。具体流程如图11所示,主要包含以下步骤:
1)构建训练样本数据集(即建筑训练样本数据集)。
利用上述获取的真正射影像利用专家知识对建筑物进行标记。样本构建是应集中且包含目标区域内居民楼、厂房、商业建筑等不同建筑类型,并遵循以下:①建筑训练样本数据应该涵盖多种建筑类型,影像上能独立分辨的房屋建筑物应按外轮廓线逐幢独立采集;②最小建筑面应该保持在20平方米或者40个像素以上;③建筑轮廓应形态尽量规则。
建筑训练样本数据标记完成后,将30%矢量与影像作为验证样本集,用于验证训练模型精度,剩余建筑矢量及影像进行二值化标签处理,得到初始建筑训练样本集数据。同时,为丰富样本特征,采用色彩变化,缩放、旋转等几何变形,镜像、移位等空间变化,模糊、噪声等图像滤镜等多个维度的增强操作,得到建筑训练样本数据集。
2)构建并训练深度学习模型。
构建U-Net++深度学习模型,采用并行训练的方式,对模型绩效训练,多次迭代后,形成预训练模型。并利用训练后的模型对验证样本集进行精度验证,结合专家知识,进行行有针对性的样本补充、模型参数调整,再次训练形成最终的优化建筑模型。
3)建筑轮廓提取与规则化处理。首先,运用优化建筑模型,提取得到目标区建筑轮廓栅格;然后,按照5×5的窗体大小,对建筑栅格进行形态学开运算,去除孤立的小点和毛刺,得到第一建筑栅格;再次,按照5×5的窗体大小,对第一建筑栅格进行形态学闭运算,填充内部空洞,得到第二建筑栅格;再Canny边缘检测算法提取建筑边缘,利用Harris角点检测算法提取轮廓角点,采用道格拉斯-普克(Douglas-Peucker)算法进行建筑轮廓优化,得到初步优化的建筑矢量,计算建筑矢量面积,提出面积小于20平方米的非建筑矢量;最后通过提取建筑矢量与最小外接比值判定建筑复杂程度,比值阈值为0.9,对于比值小于阈值的建筑,采用Shi-Tomasi算法深度优化建筑物轮廓,如图12所示。
(6)叠加归一化数字表面模型,获取建筑高度。将规则化后的建筑轮廓与nDSM进行叠加,去除建筑轮廓范围内nDSM离群值,获取建筑轮廓范围内中位数作为建筑高度,得到三维建筑模型,如图13所示。
本发明通过构建卫星影像Mesh模型,生成真正射影像,改正了原始影像的几何变形,消除了建筑投影误差引起的顶底偏移,采用深度学习模型提取建筑轮廓,并通过对建筑轮廓的规则化处理,进一步提高了建筑轮廓的准确性,提取的建筑轮廓更贴近建筑实际边缘。
通过运用滤波方法获取归一化数字表面模型进行建筑高度提取,有效剔除了噪声点对于建筑高度的影响,通过极大地保障了建筑高度的精度。
实施例三
为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种三维建筑模型构建系统。
一种三维建筑模型构建系统,包括:
三维点云生成模块,用于根据多视立体卫星影像生成目标区域内各个建筑的三维点云。
真正射影像生成模块,用于将所述三维点云输入至卫星影像Mesh模型,生成所述目标区域的真正射影像;所述卫星影像Mesh模型是根据探测区域内各个建筑的三维点云构建的;所述探测区域包括所述目标区域。
规则化后的建筑轮廓生成模块,用于将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓。
三维建筑模型构建模块,用于根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型;所述归一化数字表面模型是根据所述目标区域内各个建筑的三维点云构建的;所述三维建筑模型用于表征所述目标区域内建筑的分布情况。
实施例四
本发明实施例提供一种电子设备包括存储器及处理器,该存储器用于存储计算机程序,该处理器运行计算机程序以使电子设备执行实施例一提供的三维建筑模型构建方法。
在实际应用中,上述电子设备可以是服务器。
在实际应用中,电子设备包括:至少一个处理器(processor)、存储器(memory)、总线及通信接口(Communications Interface)。
其中:处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口,用于与其它设备进行通信。
处理器,用于执行程序,具体可以执行上述实施例所述的方法。
具体地,程序可以包括程序代码,该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器,用于存放程序。存储器可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
基于以上实施例的描述,本申请实施例提供一种存储介质,其上存储有计算机程序指令,计算机程序指令可被处理器执行以实现任意实施例所述的方法。
本申请实施例提供的三维建筑模型构建系统以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供语音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网性能。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子设备。
至此,已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序,以实现期望的结果。在某些实施方式中,多任务处理和并行处理可以是有利的。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带、磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种三维建筑模型构建方法,其特征在于,包括:
根据多视立体卫星影像生成目标区域内各个建筑的三维点云,具体包括:
利用所述多视立体卫星影像,采用尺度不变特征变换匹配连接点,并结合所述目标区域内的控制点进行光束法区域网平差,生成单幅核线影像;
采用金字塔搜索策略以及半全局立体匹配算法逐像素搜索所述单幅核线影像的同名点,生成多视影像视差图;金子塔搜索策略运用所述单幅核线影像,由粗到精对影像金子塔的每一层进行特征点搜索匹配,直至所述单幅核线影像完成匹配;
集合平差后的有理多项式系数,根据所述多视影像视差图生成所述目标区域内各个建筑的三维点云;
将所述三维点云输入至卫星影像Mesh模型,生成所述目标区域的真正射影像;所述卫星影像Mesh模型是根据探测区域内各个建筑的三维点云构建的;所述探测区域包括所述目标区域;
将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓;
根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型;所述归一化数字表面模型是根据所述目标区域内各个建筑的三维点云构建的;所述三维建筑模型用于表征所述目标区域内建筑的分布情况。
2.根据权利要求1所述的三维建筑模型构建方法,其特征在于,所述卫星影像Mesh模型的构建过程具体包括:
采用Delaunay曲面重构算法对所述三维点云进行三角剖分,构建三角网;
利用有理函数模型计算所述三角网内有纹理面片的像素坐标;
根据所述像素坐标构建纹理图像和所述三角网内曲面点之间的的纹理映射关系;
修正所述三角网的阴影和遮挡区域错误,根据所述纹理映射关系构建所述卫星影像Mesh模型。
3.根据权利要求1所述的三维建筑模型构建方法,其特征在于,将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓,具体包括:
在所述深度学习模型的基础上,根据所述真正射影像提取初始建筑轮廓栅格;
对所述初始建筑轮廓栅格进行形态学开运算处理,生成第一建筑栅格;
对所述第一建筑栅格进行形态学闭运算处理,生成第二建筑栅格;
对所述第二建筑栅格进行建筑轮廓优化,生成初步优化后的建筑矢量;
获取所述初步优化后的建筑矢量的最小外接矩形,确定所述初步优化后的建筑矢量与所述最小外接矩形的第一比值;
根据所述第一比值确定规则化后的建筑轮廓。
4.根据权利要求3所述的三维建筑模型构建方法,其特征在于,根据所述第一比值确定规则化后的建筑轮廓,具体包括:
判断所述第一比值是否大于设定阈值;
若是,确定所述最小外接矩形为规则化后的建筑轮廓;
若否,采用Shi-Tomasi算法深度优化建筑物轮廓,生成规则化后的建筑轮廓。
5.根据权利要求3或4所述的三维建筑模型构建方法,其特征在于,所述深度学习模型的构建过程具体包括:
获取建筑训练样本数据集;
基于真正射影像对所述建筑训练样本数据集中的建筑物进行标记;
基于具有标记的建筑训练样本数据集,使用交叉熵损失函数以及异步随机梯度下降方法训练所述深度学习模型,直至所述交叉熵损失函数达到设定阈值。
6.根据权利要求1所述的三维建筑模型构建方法,其特征在于,根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型,具体包括:
将所述三维点云输入至所述归一化数字表面模型中,生成建筑高度;其中,利用滤波方法构建所述归一化数字表面模型;
基于所述规则化后的建筑轮廓,去除所述建筑轮廓范围所述建筑高度中的离群建筑高度;
将所述建筑轮廓范围内剩余的建筑高度的中位数作为最终建筑高度;
根据所述规则化后的建筑轮廓以及所述最终建筑高度构建三维建筑模型。
7.一种三维建筑模型构建系统,其特征在于,包括:
三维点云生成模块,用于根据多视立体卫星影像生成目标区域内各个建筑的三维点云;所述根据多视立体卫星影像生成目标区域内各个建筑的三维点云,具体包括:
利用所述多视立体卫星影像,采用尺度不变特征变换匹配连接点,并结合所述目标区域内的控制点进行光束法区域网平差,生成单幅核线影像;
采用金字塔搜索策略以及半全局立体匹配算法逐像素搜索所述单幅核线影像的同名点,生成多视影像视差图;金子塔搜索策略运用所述单幅核线影像,由粗到精对影像金子塔的每一层进行特征点搜索匹配,直至所述单幅核线影像完成匹配;
集合平差后的有理多项式系数,根据所述多视影像视差图生成所述目标区域内各个建筑的三维点云;
真正射影像生成模块,用于将所述三维点云输入至卫星影像Mesh模型,生成所述目标区域的真正射影像;所述卫星影像Mesh模型是根据探测区域内各个建筑的三维点云构建的;所述探测区域包括所述目标区域;
规则化后的建筑轮廓生成模块,用于将所述真正射影像输入至深度学习模型中,生成规则化后的建筑轮廓;
三维建筑模型构建模块,用于根据所述规则化后的建筑轮廓以及归一化数字表面模型构建三维建筑模型;所述归一化数字表面模型是根据所述目标区域内各个建筑的三维点云构建的;所述三维建筑模型用于表征所述目标区域内建筑的分布情况。
8.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-6中任一项所述的三维建筑模型构建方法。
9.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的三维建筑模型构建方法。
CN202311393626.9A 2023-10-26 2023-10-26 一种三维建筑模型构建方法、系统及设备 Active CN117132737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311393626.9A CN117132737B (zh) 2023-10-26 2023-10-26 一种三维建筑模型构建方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311393626.9A CN117132737B (zh) 2023-10-26 2023-10-26 一种三维建筑模型构建方法、系统及设备

Publications (2)

Publication Number Publication Date
CN117132737A true CN117132737A (zh) 2023-11-28
CN117132737B CN117132737B (zh) 2024-01-26

Family

ID=88858462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311393626.9A Active CN117132737B (zh) 2023-10-26 2023-10-26 一种三维建筑模型构建方法、系统及设备

Country Status (1)

Country Link
CN (1) CN117132737B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392853A (zh) * 2023-12-11 2024-01-12 山东通维信息工程有限公司 一种基于云端的大数据智能车道控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354883A (zh) * 2015-11-25 2016-02-24 武汉大学 基于点云的3ds Max快速精细三维建模方法及系统
CN110866531A (zh) * 2019-10-15 2020-03-06 深圳新视达视讯工程有限公司 一种基于三维建模的建筑物特征提取方法、系统及存储介质
WO2021185322A1 (zh) * 2020-03-18 2021-09-23 广州极飞科技有限公司 图像处理方法及相关装置
CN114119884A (zh) * 2021-11-09 2022-03-01 中国科学院空天信息创新研究院 一种基于高分七号卫星影像的建筑物lod1模型构建方法
CN114241125A (zh) * 2021-11-30 2022-03-25 感知天下(北京)信息科技有限公司 一种基于多视角卫星影像精细三维建模方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354883A (zh) * 2015-11-25 2016-02-24 武汉大学 基于点云的3ds Max快速精细三维建模方法及系统
CN110866531A (zh) * 2019-10-15 2020-03-06 深圳新视达视讯工程有限公司 一种基于三维建模的建筑物特征提取方法、系统及存储介质
WO2021185322A1 (zh) * 2020-03-18 2021-09-23 广州极飞科技有限公司 图像处理方法及相关装置
CN114119884A (zh) * 2021-11-09 2022-03-01 中国科学院空天信息创新研究院 一种基于高分七号卫星影像的建筑物lod1模型构建方法
CN114241125A (zh) * 2021-11-30 2022-03-25 感知天下(北京)信息科技有限公司 一种基于多视角卫星影像精细三维建模方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAWEN YU 等: "Automatic 3D building reconstruction from multi-view aerial images with deep learning", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》, vol. 171, pages 155 - 170, XP086428523, DOI: 10.1016/j.isprsjprs.2020.11.011 *
张登稣: "基于深度学习的尺度自适应多视三维重建方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 3, pages 138 - 577 *
黄焜昀: "基于机载LiDAR点云的建筑物提取及三维重建研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》, no. 2, pages 008 - 674 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392853A (zh) * 2023-12-11 2024-01-12 山东通维信息工程有限公司 一种基于云端的大数据智能车道控制系统
CN117392853B (zh) * 2023-12-11 2024-04-12 山东通维信息工程有限公司 一种基于云端的大数据智能车道控制系统

Also Published As

Publication number Publication date
CN117132737B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN110176032B (zh) 一种三维重建方法及装置
CN112862874B (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
CN110349215B (zh) 一种相机位姿估计方法及装置
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
CN111143489B (zh) 基于图像的定位方法及装置、计算机设备和可读存储介质
CN112489099A (zh) 点云配准方法、装置、存储介质及电子设备
CN116433843A (zh) 基于双目视觉重建路线的三维模型重建方法及装置
Condorelli et al. A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images
CN114202632A (zh) 网格线性结构恢复方法、装置、电子设备及存储介质
CN114972646A (zh) 一种实景三维模型独立地物的提取与修饰方法及系统
CN112270748B (zh) 基于图像的三维重建方法及装置
CN113902802A (zh) 视觉定位方法及相关装置、电子设备和存储介质
CN107610216B (zh) 基于粒子群优化多视角立体点云生成方法及应用的摄像机
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN116758219A (zh) 基于神经网络的区域感知多视角立体匹配三维重建方法
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
CN112288817B (zh) 基于图像的三维重建处理方法及装置
CN109118576A (zh) 基于bds位置服务的大型场景三维重建系统及重建方法
CN115187736A (zh) 目标地图生成方法以及装置、ar地图生成方法以及装置
Haque et al. Robust feature-preserving denoising of 3D point clouds
Mo et al. Cross-based dense depth estimation by fusing stereo vision with measured sparse depth

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant