CN114549543A - 建筑物的三维模型构建方法、装置、终端及存储介质 - Google Patents
建筑物的三维模型构建方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN114549543A CN114549543A CN202111655005.4A CN202111655005A CN114549543A CN 114549543 A CN114549543 A CN 114549543A CN 202111655005 A CN202111655005 A CN 202111655005A CN 114549543 A CN114549543 A CN 114549543A
- Authority
- CN
- China
- Prior art keywords
- building
- image
- information
- height
- roof
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 180
- 238000000034 method Methods 0.000 claims abstract description 89
- 238000000605 extraction Methods 0.000 claims description 219
- 230000006870 function Effects 0.000 claims description 56
- 230000011218 segmentation Effects 0.000 claims description 48
- 238000010586 diagram Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 27
- 230000004913 activation Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种建筑物的三维模型构建方法、装置、终端及存储介质,建筑物的三维模型构建方法包括:对获取的遥感图像进行分割处理,得到多个区域图像;遥感图像包括建筑物;对多个区域图像分别进行目标检测,得到建筑物的屋顶信息;对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息;基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。本申请通过对区域图像分别进行目标检测、高度和方向检测,进而预测建筑物的屋顶信息、高度信息和方向信息,根据预测得到的建筑物的屋顶信息、高度信息和方向信息构建得到建筑物的三维模型,进而提升对遥感影像中建筑物的三维模型构建的精确度。
Description
技术领域
本发明涉及模型构建技术领域,特别是涉及一种建筑物的三维模型构建方法、装置、终端及存储介质。
背景技术
建筑物三维重建在城市建设与规划、灾害损失评估、城市国土环境评估以及军事监视等领域具有重要意义。遥感影像具有数据量大、信息量丰富、覆盖范围广、分辨率高等优点,因此利用遥感影像进行建筑物三维重建已成为当前遥感领域应用研究的热点问题。
现有技术中,最普遍的方法为使用双目立体匹配技术进行重建,该方法能获得更高的重建精度,然而该技术往往需要星载或机载的、有一定倾斜度、满足一定交会角、基高比等条件的两幅或多幅遥感影像作为输入数据,对数据源的要求更高、耗时长、成本高,且数据源相对有限,对检测范围也有一定的局限性。其次,利用单幅遥感图像进行重建,这类方法往往使用图像中阴影、额外的高程数据信息,如数字表面模型(DSM)等,然而使用额外高程数据信息的方法严重受限于地形起伏的影响和复杂的输入信息,使用阴影的算法虽然简单易行,却存在不同影像中阴影变化区间差异较大,导致方法普适性和鲁棒性较差、绿地树木水体等地物与阴影相似,导致算法误检程度高、遥感影像地物信息复杂等问题导致阴影区域斑点噪声严重等问题。
发明内容
本发明主要解决的技术问题是提供一种建筑物的三维模型构建方法、装置、终端及存储介质,解决现有技术中建筑物三维模型重建的精确度低的问题。
为解决上述技术问题,本发明采用的第一个技术方案是:提供一种建筑物的三维模型构建方法,建筑物的三维模型构建方法包括:对获取的遥感图像进行分割处理,得到多个区域图像;遥感图像包括建筑物;对多个区域图像分别进行目标检测,得到建筑物的屋顶信息;对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息;基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。
其中,对获取的遥感图像进行分割处理,得到多个区域图像,包括:通过重叠裁剪的方法对获取的遥感图像进行裁剪,得到多个区域图像。
其中,对多个区域图像分别进行目标检测,得到建筑物的屋顶信息,包括:对区域图像进行特征提取,得到目标特征;对目标特征进行检测,得到包含屋顶的子区域图像;基于区域图像对应的目标特征对子区域图像进行图像掩码处理,得到屋顶掩码图像;基于区域图像与遥感图像的关联关系,将多个区域图像分别对应的屋顶掩码图像进行拼接,得到遥感图像对应的屋顶信息。
其中,对区域图像进行特征提取,得到目标特征,还包括:对区域图像进行特征提取,得到区域图像特征;对区域图像特征进行上采样处理或下采样处理,得到预处理区域图像;对预处理区域图像进行特征提取,得到对应的目标特征;对目标特征进行检测,得到包含屋顶的子区域图像,包括:对预处理区域图像分别对应的目标特征进行屋顶检测,得到区域图像中包含屋顶的子区域图像。
其中,屋顶信息包括建筑物的检测框和建筑物的屋顶轮廓;基于区域图像与遥感图像的关联关系,将多个区域图像分别对应的屋顶掩码图像进行拼接,得到遥感图像对应的屋顶信息,包括:基于区域图像与遥感图像的位置关系和尺寸关系,将屋顶掩码图像映射到遥感图像上,得到遥感图像中包含的所有建筑物的检测框和检测框中包含的建筑物的屋顶轮廓。
其中,基于区域图像与遥感图像的关联关系,将多个区域图像分别对应的屋顶掩码图像进行拼接,得到遥感图像的屋顶信息,还包括:响应于多个区域图像重叠,则计算区域图像对应的屋顶掩码图像的重叠率和置信度;保留重叠率小于预设重叠率,且置信度大于预设置信度的屋顶掩码图像。
其中,基于区域图像与遥感图像的位置关系和尺寸关系,将屋顶掩码图像映射到遥感图像上,得到遥感图像中包含的所有建筑物的检测框和检测框中包含的建筑物的屋顶轮廓,之后还包括:判断组成轮廓的各相邻边之间的角度是否小于预设角度;如果相邻的两个边之间的角度小于预设角度,则删除两个边的共用点。
其中,对多个区域图像分别进行目标检测,得到建筑物的屋顶信息,包括:通过实例分割网络对区域图像进行目标检测,得到建筑物的屋顶信息;其中,实例分割网络包括第一特征提取模块、目标检测模块和语义分割掩码模块。
其中,训练得到实例分割网络的步骤;包括:获取第一训练样本集;第一训练样本集包括多张第一样本图像,第一样本图像标注目标建筑物的真实框、真实框中语义信息的真实类别、屋顶的真实中心位置、屋顶的真实掩码图;通过初始目标检测网络对第一样本图像进行检测,得到目标建筑物的预测框、预测框中语义信息的预测类别、屋顶的预测中心位置、屋顶的预测掩码图;基于目标建筑物的真实框和预测框、真实框中语义信息的真实类别和预测框中语义信息的预测类别、屋顶的真实中心位置和屋顶的预测中心位置、屋顶的真实掩码图和屋顶的预测掩码图构建第一损失函数;利用第一损失函数对初始目标检测网络进行迭代训练得到实例分割网络。
其中,对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息,包括:通过高度及方向检测网络对区域图像进行特征提取,得到区域图像对应的灰度图;基于各区域图像与遥感图像的关联关系,将多个区域图像分别对应的灰度图进行拼接,得到遥感图像对应的整体灰度图;基于遥感图像对应的整体灰度图,确定建筑物的方向信息和高度信息。
其中,高度及方向检测网络包括第二特征提取模块;第二特征提取模块包括依次级联的特征转换层、第一特征提取层和第二特征提取层;通过高度及方向检测网络对区域图像进行特征提取,得到区域图像对应的灰度图,包括:特征转换层对区域图像进行特征转换,得到三维数据的特征图;第一特征提取层对三维数据的特征图进行特征提取,得到区域特征图;第二特征提取层对区域特征图进行特征提取,得到第一特征图。
其中,高度及方向检测网络还包括高度信息提取模块,高度信息提取模块包括多个依次级联的高度信息提取单元,高度信息提取单元包括第一线性层和第一激活函数层;高度信息提取模块与第二特征提取模块连接;通过高度及方向检测网络对区域图像进行特征提取,得到区域图像对应的灰度图,还包括:第一线性层将上一高度信息提取单元输出的结果与对应的第二特征提取模块输出的结果进行关联后进行特征提取,得到对应的高度特征图;第一激活函数层对高度特征图进行解码,得到区域图像中各像素的高度数据。
其中,高度及方向检测网络还包括方向信息提取模块,方向信息提取模块包括多个依次级联的方向信息提取单元,方向信息提取单元包括第二线性层和第二激活函数层;方向信息提取模块与第二特征提取模块连接;通过高度及方向检测网络对区域图像进行特征提取,得到区域图像对应的灰度图,还包括:第二线性层将上一方向信息提取单元输出的结果与对应的第二特征提取模块输出的结果进行关联后进行特征提取,得到对应的方向特征图;第二激活函数层对方向特征图进行解码,得到区域图像中各像素的方向数据。
其中,基于遥感图像对应的整体灰度图,确定建筑物的方向信息和高度信息,包括:根据整体灰度图中各像素的方向数据和高度数据,确定建筑物的方向信息和高度信息。
其中,基于各区域图像与遥感图像的关联关系,将多个区域图像分别对应的灰度图进行拼接,得到遥感图像中建筑物的高度信息和方向信息,还包括:判断各区域图像之间是否具有重叠区域;如果至少两个区域图像之间具有重叠区域,则对重叠区域对应的至少两个灰度图进行合并处理,得到重叠区域对应的灰度图。
其中,对重叠区域对应的至少两个灰度图进行合并处理,得到重叠区域对应的灰度图,包括:基于如下的拼接公式对重叠区域对应的至少两个灰度图进行处理;拼接公式如下所示:
Hi=a*Bi+(1-a)*Pi (公式1)
式中:Hi为重叠区域的高度值;Bi为第一个灰度图中重叠区域的高度预测值,Pi为第二个灰度图的高度预测值,β为参数,d表示像素i到重叠边缘的距离;α为权重,默认为0.5。
其中,训练得到高度及方向检测网络的步骤,包括:获取第二训练样本集;第二训练样本集包括多张第二样本图像,第二样本图像中标注目标建筑物的真实高度和真实方向;通过初始特征检测网络对第二样本图像进行检测,得到目标建筑物的预测高度和预测方向;基于目标建筑物的真实高度和预测高度构建第二损失函数;基于目标建筑物的真实方向与预测方向构建第三损失函数;利用第二损失函数和第三损失函数对初始特征检测网络进行迭代训练得到高度及方向检测网络。
其中,基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型,包括:根据屋顶信息、高度信息和方向信息,确定建筑物的地基位置;根据地基位置、高度信息、屋顶信息构建建筑物三维模型。
为解决上述技术问题,本发明采用的第二个技术方案是:提供一种建筑物的三维模型构建装置,建筑物的三维模型构建装置包括:分割模块,用于对获取的遥感图像进行分割处理,得到多个区域图像;遥感图像包括建筑物;目标检测模块,用于对多个区域图像分别进行目标检测,得到建筑物的屋顶信息;高度和方向检测模块,用于对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息;构建模块,用于基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。
为解决上述技术问题,本发明采用的第三个技术方案是:提供一种终端,该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序,处理器用于执行程序数据以实现上述建筑物的三维模型构建方法中的步骤。
为解决上述技术问题,本发明采用的第四个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述建筑物的三维模型构建方法中的步骤。
本发明的有益效果是:区别于现有技术的情况,提供的建筑物的三维模型构建方法、装置、终端及存储介质,建筑物的三维模型构建方法包括:对获取的遥感图像进行分割处理,得到多个区域图像;遥感图像包括建筑物;对多个区域图像分别进行目标检测,得到建筑物的屋顶信息;对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息;基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。本申请通过对获取的遥感图像进行分割处理,进而有效避免屋顶、裙楼或密集连接的建筑物,由于粘连而导致高低不同的相邻建筑物被识别成同一建筑物;通过对区域图像分别进行目标检测、高度和方向检测,进而预测建筑物的屋顶信息、高度信息和方向信息,根据预测得到的建筑物的屋顶信息、高度信息和方向信息构建得到建筑物的三维模型,进而提升对遥感影像中建筑物的三维模型构建的精确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明提供的建筑物的三维模型构建方法的流程示意图;
图2是本发明提供的建筑物的三维模型构建方法一实施例的流程示意图;
图3是本发明提供的建筑物的三维模型构建方法一具体实施例的流程示意图;
图4是图3提供的建筑物的三维模型构建方法中步骤S201一具体实施例的流程示意图;
图5是图3提供的建筑物的三维模型构建方法中步骤S202一具体实施例的流程示意图;
图6是本实施例中提供的重叠率为50%的遥感图像重叠裁剪的示意图;
图7是图3提供的建筑物的三维模型构建方法中步骤S205一具体实施例的流程示意图;
图8是本发明提供的实例分割网络一具体实施例的结构示意图;
图9是图7提供的建筑物的三维模型构建方法中得到的屋顶信息图;
图10是图3提供的建筑物的三维模型构建方法中步骤S206一具体实施例的流程示意图;
图11是本发明提供的高度和方向特征提取网络一具体实施例的结构示意图;
图12是图10提供的建筑物的三维模型构建方法中得到的整体灰度图;
图13(a)是通过本申请中的柔和过渡的拼接方式将灰度图进行拼接得到的整体灰度图;
图13(b)是通过传统方法将灰度图进行拼接得到的整体灰度图;
图14(a)是本申请提供的原始遥感图像分割一实施例的示意图;
图14(b)是本申请提供的原始遥感图像分割另一实施例的示意图;
图14(c)是本申请提供权重参数α与距离d之间的曲线图;
图15(a)是本申请提供的一实施例中的原始遥感图像;
图15(b)是本申请提供的一实施例中原始遥感图像对应的屋顶信息图;
图15(c)是本申请提供的一实施例中原始遥感图像对应的整体灰度图;
图15(d)是本申请提供的一实施例中原始遥感图像对应的建筑物三维模型;
图16是本发明提供的建筑物的三维模型构建装置的示意框图;
图17是图16提供的建筑物的三维模型中目标检测模块一具体实施例的示意框图;
图18是图16提供的建筑物的三维模型中高度和方向检测模块一具体实施例的示意框图;
图19是本发明提供的终端一实施方式的示意框图;
图20是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明所提供的一种建筑物的三维模型构建方法做进一步详细描述。
请参阅图1,图1是本发明提供的建筑物的三维模型构建方法的流程示意图。本实施例中提供建筑物的三维模型构建方法,建筑物的三维模型构建方法包括如下步骤。
S11:对获取的遥感图像进行分割处理,得到多个区域图像。
具体地,获取遥感图像,其中,遥感图像包括建筑物。通过重叠裁剪的方法对遥感图像进行裁剪,得到多个区域图像。
S12:对多个区域图像分别进行目标检测,得到建筑物的屋顶信息。
具体地,对区域图像进行特征提取,得到目标特征;对目标特征进行检测,得到包含屋顶的子区域图像;基于区域图像对应的目标特征对子区域图像进行图像掩码处理,得到屋顶掩码图像;基于区域图像与遥感图像的关联关系,将多个区域图像分别对应的屋顶掩码图像进行拼接,得到遥感图像对应的屋顶信息。屋顶信息包括建筑物的检测框和建筑物的屋顶轮廓;基于区域图像与遥感图像的位置关系和尺寸关系,将屋顶掩码图像映射到遥感图像上,得到遥感图像中包含的所有建筑物的检测框和检测框中包含的建筑物的屋顶轮廓。
在一具体实施例中,对区域图像进行特征提取,得到区域图像特征;对区域图像特征进行上采样处理或下采样处理,得到预处理区域图像;对预处理区域图像进行特征提取,得到对应的目标特征;对预处理区域图像分别对应的目标特征进行屋顶检测,得到区域图像中包含屋顶的子区域图像。
在一具体实施例中,响应于多个区域图像重叠,则计算区域图像对应的屋顶掩码图像的重叠率和置信度;保留重叠率小于预设重叠率,且置信度大于预设置信度的屋顶掩码图像。
在另一具体实施例中,判断组成轮廓的各相邻边之间的角度是否小于预设角度;如果相邻的两个边之间的角度小于预设角度,则删除两个边的共用点。
在另一具体实施例中,通过实例分割网络对区域图像进行目标检测,得到建筑物的屋顶信息;其中,实例分割网络包括第一特征提取模块、目标检测模块和语义分割掩码模块。
S13:对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息。
具体地,通过高度及方向检测网络对区域图像进行特征提取,得到区域图像对应的灰度图;基于各区域图像与遥感图像的关联关系,将多个区域图像分别对应的灰度图进行拼接,得到遥感图像对应的整体灰度图;基于遥感图像对应的整体灰度图,确定建筑物的方向信息和高度信息。
在一具体实施例中,高度及方向检测网络包括第二特征提取模块;第二特征提取模块包括依次级联的特征转换层、第一特征提取层和第二特征提取层;特征转换层对区域图像进行特征转换,得到三维数据的特征图;第一特征提取层对三维数据的特征图进行特征提取,得到区域特征图;第二特征提取层对区域特征图进行特征提取,得到第一特征图。
高度及方向检测网络还包括高度信息提取模块,高度信息提取模块包括多个依次级联的高度信息提取单元,高度信息提取单元包括第一线性层和第一激活函数层;高度信息提取模块与第二特征提取模块连接。第一线性层将上一高度信息提取单元输出的结果与对应的第二特征提取模块输出的结果进行关联后进行特征提取,得到对应的高度特征图;第一激活函数层对高度特征图进行解码,得到区域图像中各像素的高度数据。
高度及方向检测网络还包括方向信息提取模块,方向信息提取模块包括多个依次级联的方向信息提取单元,方向信息提取单元包括第二线性层和第二激活函数层;方向信息提取模块与第二特征提取模块连接;第二线性层将上一方向信息提取单元输出的结果与对应的第二特征提取模块输出的结果进行关联后进行特征提取,得到对应的方向特征图;第二激活函数层对方向特征图进行解码,得到区域图像中各像素的方向数据。
根据整体灰度图中各像素的方向数据和高度数据,确定建筑物的方向信息和高度信息。
在一可选实施例中,判断各区域图像之间是否具有重叠区域;如果至少两个区域图像之间具有重叠区域,则对重叠区域对应的至少两个灰度图进行合并处理,得到重叠区域对应的灰度图。
在一具体实施例中,基于如下的拼接公式对至少两个灰度图的重叠部分进行处理;拼接公式如下所示:
Hi=a*Bi+(1-a)*Pi (公式1)
式中:Hi为重叠区域的高度值;Bi为第一个灰度图中重叠区域的高度预测值,Pi为第二个灰度图的高度预测值,β为参数,d表示像素i到重叠边缘的距离;α为权重,默认为0.5。
S14:基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。
具体地,根据屋顶信息、高度信息和方向信息,确定建筑物的地基位置;根据地基位置、高度信息、屋顶信息构建建筑物三维模型。
请参阅图2,图2是本发明提供的建筑物的三维模型构建方法一实施例的流程示意图。在一具体实施例中,获取高分辨率的遥感图像,通过重叠裁剪的方法对获取的原始遥感图像进行滑窗裁剪,得到由多个低分辨率的区域图像组成的遥感图像集。通过实例分割网络对遥感图像集中的各区域图像分别进行建筑物的屋顶检测,得到各区域图像对应的检测结果。其中,检测结果包括建筑物的检测框和建筑物的屋顶轮廓,根据各区域图像与遥感图像的关联关系,将各区域图像对应建筑物的检测框和建筑物的屋顶轮廓进行拼接,得到遥感图像中各建筑物的屋顶信息。通过高度和方向特征提取网络对遥感图像集中的各区域图像进行高度和方向检测,得到各区域图像对应的高度结果和方向结果。其中,高度结果包括区域图像中各像素的高度数据,方向结果包括区域图像中各像素的方向数据。将各区域图像对应的方向结果和高度结果进行拼接,得到遥感图像中各建筑物的高度信息和方向信息。根据建筑物的屋顶信息、方向信息和高度信息构建建筑物的三维模型。
本实施例提供的建筑物的三维模型构建方法包括:对获取的遥感图像进行分割处理,得到多个区域图像;遥感图像包括建筑物;对多个区域图像分别进行目标检测,得到建筑物的屋顶信息;对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息;基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。本申请通过对获取的遥感图像进行分割处理,进而有效避免屋顶、裙楼或密集连接的建筑物,由于粘连而导致高低不同的相邻建筑物被识别成同一建筑物;通过对区域图像分别进行目标检测、高度和方向检测,进而预测建筑物的屋顶信息、高度信息和方向信息,根据预测得到的建筑物的屋顶信息、高度信息和方向信息构建得到建筑物的三维模型,进而提升对遥感影像中建筑物的三维模型构建的精确度。
请参阅图3,图3是本发明提供的建筑物的三维模型构建方法一具体实施例的流程示意图。本实施例中提供一种建筑物的三维模型构建方法,该建筑物的三维模型构建方法包括如下步骤。
S201:训练得到实例分割网络。
具体地,初始目标检测网络包括初始第一特征提取模块、初始目标检测模块和初始语义分割掩码模块,通过下述的步骤对初始目标检测网络中各个模块中的参数进行修正,得到实例分割网络。其中,实例分割网络包括第一特征提取模块、目标检测模块和语义分割掩码模块。
在一具体实施例中,初始目标检测网络是以centermask作为网络框架。其中,第一特征提取模块使用VoVNetV2+FPN(Feature Pyramid Networks,特征金字塔网络),第一特征提取模块中,每经过一个池化层,特征图缩小一个尺度,最后得到与池化层个数相同的特征图。在本实施例中,池化层的个数为五个,因此可以得到五张不同尺寸的特征图。目标检测网络使用FCOS(Fully Convolutional One-Stage Object Detection,全卷积一级目标检测)网络。语义分割掩膜模块使用SAG-Mask(Spatial Attention-Guided Mask,空间注意力引导掩码)网络,通过SAG-Mask网络可以预测出28*28的尺寸的掩码图,最后放缩到预测框对应大小。
请参阅图4,图4是图3提供的建筑物的三维模型构建方法中步骤S201一具体实施例的流程示意图。
对初级目标检测网络进行训练得到实例分割网络的具体步骤如下。
S2011:获取第一训练样本集。
具体地,第一训练样本集包括多张第一样本图像,第一样本图像为标注有目标建筑物的屋顶真实信息的图像。在一具体实施例中,第一样本图像为标注有目标建筑物的真实框、真实框中语义信息的真实类别、屋顶的真实中心位置、屋顶的真实掩码图。第一样本图像可以为高分辨率遥感图像分割得到的区域图像,也可以为通过摄像机采集的包含目标建筑物的图像。
S2012:通过初始目标检测网络对第一样本图像进行检测,得到目标建筑物的预测框、预测框中语义信息的预测类别、屋顶的预测中心位置、屋顶的预测掩码图。
具体地,通过初始目标检测网络对第一样本图像进行建筑物检测,得到第一样本图像包含的目标建筑物的屋顶预测信息。在一具体实施例中,初始目标检测网络对第一样本图对象进行建筑物屋顶检测,得到目标建筑物的预测框、预测框中语义信息的预测类别、屋顶的预测中心位置、屋顶的预测掩码图。
S2013:基于目标建筑物的真实框和预测框、真实框中语义信息的真实类别和预测框中语义信息的预测类别、屋顶的真实中心位置和屋顶的预测中心位置、屋顶的真实掩码图和屋顶的预测掩码图构建第一损失函数。
具体地,通过目标建筑物的真实框和预测框、真实框中语义信息的真实类别和预测框中语义信息的预测类别、屋顶的真实中心位置和屋顶的预测中心位置、屋顶的真实掩码图和屋顶的预测掩码图构建第一损失函数。其中,第一损失函数包括MSE(Mean SquaredError,均值方差)Loss和BCE(Binary Cross-Entropy,二元交叉熵)Loss。
S2014:利用第一损失函数对初始目标检测网络进行迭代训练得到实例分割网络。
具体地,通过目标建筑物的真实框和预测框、真实框中语义信息的真实类别和预测框中语义信息的预测类别、屋顶的真实中心位置和屋顶的预测中心位置、屋顶的真实掩码图和屋顶的预测掩码图之间的误差值对初始目标检测网络进行迭代训练得到实例分割网络。
在一可选实施例中,初始目标检测网络的结果反向传播,根据第一损失函数反馈的损失值对初始目标检测网络的权重进行修正。在一可选实施例中,也可以对初始目标检测网络的参数进行修正,实现对初始目标检测网络的训练。
将包含有建筑物屋顶的遥感图像输入到初始目标检测网络中,初始目标检测网络对目标建筑物的屋顶、屋顶类别、屋顶中心位置和屋顶真实掩码图进行预测。当目标建筑物的真实框和预测框、真实框中语义信息的真实类别和预测框中语义信息的预测类别、屋顶的真实中心位置和屋顶的预测中心位置、屋顶的真实掩码图和屋顶的预测掩码图之间的误差值小于预设阈值,预设阈值可以自行设置,例如1%、5%等,则停止对初始目标检测网络的训练并获得实例分割网络。
S202:训练得到高度及方向检测网络。
具体地,对初始特征检测网络进行训练得到高度及方向检测网络。其中,高度及方向检测网络类似于U-Net网络。
请参阅图5,图5是图3提供的建筑物的三维模型构建方法中步骤S202一具体实施例的流程示意图。
S2021:获取第二训练样本集。
具体地,第二训练样本集包括多张第二样本图像,第二样本图像中标注有图像中每一像素中包含的目标建筑物的真实高度和真实方向。第二样本图像可以为高分辨率遥感图像分割得到的区域图像,也可以为通过摄像机采集的包含目标建筑物的图像。
S2022:通过初始特征检测网络对第二样本图像进行检测,得到目标建筑物的预测高度和预测方向。
具体地,通过初始特征检测网络中的初始第二特征提取模块进行目标建筑物检测,得到目标建筑物特征图,初始高度信息提取模块对目标建筑物特征图中目标建筑物的高度信息进行特征提取,得到每一像素中目标建筑物的预测高度。初始方向信息提取模块根据目标建筑物特征图预测目标建筑物从屋顶指向地基的预测方向。
S2023:基于目标建筑物的真实高度和预测高度构建第二损失函数;基于目标建筑物的真实方向与预测方向构建第三损失函数。
具体地,基于第二样本图像中每一像素中包含的目标建筑物的真实高度和预测高度构建第二损失函数,第二损失函数为结构相似性指数(structural similarity index,SSIM)损失函数和MSE损失函数的加权和。SSIM损失函数可以计算图像中每个像素个体的亮度、对比度和结构指标,比MSE损失函数更注重细节差异。通过SSIM损失函数和MSE损失函数既考虑了每一像素个体的精度,也考虑了整个图像的细节。
基于第二样本图像中每一像素中包含的目标建筑物的真实方向和预测方向构建第三损失函数,第三损失函数为MSE损失函数和余弦相似度(Cosine Similarity)损失函数的加权和。通过MSE损失函数和余弦相似度损失函数可以提升初始方向信息提取模块的训练精确度。
S2024:利用第二损失函数和第三损失函数对初始特征检测网络进行迭代训练得到高度及方向检测网络。
具体地,通过目标建筑物的真实高度和预测高度以及目标建筑物的真实方向与预测方向之间的误差值对初始特征检测网络进行迭代训练得到高度及方向检测网络。
在一可选实施例中,初始特征检测网络的结果反向传播,根据第二损失函数和第三损失函数反馈的损失值对初始特征检测网络的权重进行修正。在一可选实施例中,也可以对初始特征检测网络的参数进行修正,实现对初始特征检测网络的训练。
将包含有建筑物的遥感图像输入到初始特征检测网络中,初始特征检测网络对图像中每一像素中目标建筑物的高度和方向进行预测。当图像中每一像素中的目标建筑物的预测高度和真实高度、预测方向和真实方向之间的误差值均小于预设阈值,预设阈值可以自行设置,例如1%、5%等,则停止对初始特征检测网络的训练并获得高度及方向检测网络。
通过训练得到的高度及方向检测网络能够精确地检测遥感影像中包含的建筑物的高度信息和建筑物的方向信息。其中,方向信息为建筑物的屋顶指向建筑物的地基的方向。
S203:获取遥感图像。
具体地,遥感图像可以是以卫星作为遥感平台,通过卫星上装载的对地观测遥感仪器对地球表面进行扫描所获得的遥感图像。本实施例中的遥感图像具有高分辨率、成图面积大、含信息丰富和拍摄面域广的特点。遥感图像可以为彩色图像,也可以为黑白图像。图像遥感图像包括至少一个建筑物。
S204:通过重叠裁剪的方法对遥感图像进行裁剪,得到多个区域图像。
具体地,由于高分辨率的遥感影像所需的存储空间较大,为了减少检测过程中的计算量,提高检测准确率和精确度,可以对原始获取的高分辨率遥感图像进行剪裁,以得到多个小分辨率的彩色图像或黑白图像。
由于后续步骤中需要将各小分辨率的彩色图像或黑白图像中检测得到的高度信息、方向信息以及屋顶信息拼接回原始遥感图像的尺寸。为了避免将检测结果进行拼接时出现拼接缝隙的问题出现,本实施例采用重叠裁剪的方法对遥感图像进行剪裁,使各小分辨率的彩色图像或黑白图像的检测结果拼接回原始遥感图像的尺寸时,能够连续且不出现缝隙。在一具体实施例中,两个相邻的小分辨率的彩色图像或黑白图像的重叠率为25%,裁剪后小分辨率的彩色图像或黑白图像的像素尺寸为512*512。请参阅图6,图6是本实施例中提供的重叠率为50%的遥感图像重叠裁剪的示意图。在其它可选实施例中,两个相邻的小分辨率的彩色图像或黑白图像的重叠率也可以为50%。具体地,裁剪重叠率可以根据需求自行设置。其中,小分辨率的彩色图像或黑白图像作为区域图像。
在一可选实施例中,可以根据检测结果的不同,采用其它方式实现对原始遥感图像的裁剪。
S205:通过实例分割网络对区域图像进行目标检测,得到建筑物的屋顶信息。
请参阅图7至图9,图7是图3提供的建筑物的三维模型构建方法中步骤S205一具体实施例的流程示意图;图8是本发明提供的实例分割网络一具体实施例的结构示意图;图9是图7提供的建筑物的三维模型构建方法中得到的屋顶信息图。
具体地,实例分割网络包括第一特征提取模块、目标检测模块和语义分割掩码模块,如图8。在一实施例中,可以预先对区域图像进行预处理,例如,转换数据类型。
S2051:对区域图像进行特征提取,得到目标特征。
具体地,第一特征提取模块包括多个依次级联的屋顶特征提取单元。对区域图像进行上采样处理或下采样处理,得到多个尺度不同的预处理区域图像;对预处理图像进行特征提取,得到对应的目标特征。
在本实施例中,第一特征提取模块包括五个屋顶特征提取单元。将获取的各区域图像分别输入至实例分割网络中,第一特征提取模块中的第一个屋顶特征提取单元对区域图像进行特征提取后,并进行尺寸调节得到第一目标特征;第二个屋顶特征提取单元对第一目标特征继续进行特征提取,并进行尺寸调节,得到第二目标特征;第三个屋顶特征提取单元对第二目标特征继续进行特征提取,并进行尺寸调节,得到第三目标特征;第四个屋顶特征提取单元对第三目标特征继续进行特征提取,并进行尺寸调节,得到第四目标特征;第五个屋顶特征提取单元对第四目标特征继续进行特征提取,并进行尺寸调节,得到第五目标特征。其中,第一目标特征、第二目标特征、第三目标特征、第四目标特征和第五目标特征的尺寸和包含信息的丰富程度均不相同,但对应的目标建筑物是相同的。第一目标特征、第二目标特征、第三目标特征、第四目标特征和第五目标特征均为区域图像对应的不同尺寸的特征图。
S2052:对目标特征进行检测,得到区域图像中屋顶的位置信息。
具体地,通过实例分割网络中的目标检测模块对多个预处理区域图像分别对应的目标特征进行检测,得到区域图像中屋顶的位置信息。
在一具体实施例中,通过目标检测模块对第一特征提取模块得到的第一目标特征、第二目标特征、第三目标特征、第四目标特征和第五目标特征进行建筑物屋顶检测,得到区域图像中屋顶的位置信息。也就是说,根据第一目标特征、第二目标特征、第三目标特征、第四目标特征和第五目标特征检测得到建筑物屋顶的检测框。
S2053:基于区域图像对应的目标特征和区域图像中屋顶的位置信息进行图像掩码处理,得到屋顶掩码图像。
具体地,对图像进行掩码操作是指通过掩码核算子重新计算图像中各个像素的值,掩码核子刻画邻域像素点对新像素值的影响程度,同时根据掩码算子中权重因子对原像素点进行加权平均,进而确定区域图像中的屋顶轮廓,检测区域图像中的屋顶区域。
在一具体实施例中,将区域图像中屋顶的位置信息和获取的第一目标特征、第二目标特征、第三目标特征、第四目标特征和第五目标特征输入到语义分割掩码模块中,语义分割掩码模块基于屋顶的位置信息在第一目标特征、第二目标特征、第三目标特征、第四目标特征和第五目标特征中对应位置的特征信息对区域图像进行二值化处理,屋顶区域的像素值为255,区域图像中不属于屋顶区域的部分的像素值为0,进而得到屋顶掩码图像。
通过上述步骤可以得到各个区域图像对应的屋顶掩码图像。在一具体实施例中,通过上述步骤可以得到各个区域图像中的屋顶检测框,以及屋顶检测框中包含的屋顶轮廓。
S2054:基于区域图像与遥感图像的关联关系,将多个区域图像分别对应的屋顶掩码图像进行拼接,得到遥感图像的屋顶信息。
具体地,基于区域图像与遥感图像的位置关系和尺寸关系,将各个区域图像对应的屋顶掩码图像映射到遥感图像上,通过各个区域图像对应的屋顶掩码图像构成屋顶信息。也就是说,将各个区域图像对应的屋顶掩码图像进行拼接,得到遥感图像对应的屋顶信息图,如图9。
由于上述步骤中是采用重叠裁剪的方式对遥感图像进行裁剪,使得相邻多个区域图像有重叠的部分,在进行拼接过程中也会出现重叠。因此需要判断相邻的两个区域图像是否具有重叠区域。如果相邻的两个区域图像不具有重叠区域,则将区域图像对应的屋顶掩码图像直接拼接在遥感图像对应的位置。即可以直接使用区域图像中的屋顶的检测框,将其对应在遥感图像的对应位置。如果相邻的两个区域图像具有重叠区域,则将区域图像对应的屋顶掩码图像映射到高分辨率的遥感图像上,基于掩码的非极大值抑制,对重叠区域的屋顶掩码图像进行处理,删除重叠率不小于预设重叠率,和/或置信度不大于预设置信度的屋顶掩码图像,保留重叠率小于预设重叠率,且置信度大于预设置信度的屋顶掩码图像。也就是说,将所有屋顶的检测框映射回高分辨率的遥感图像中,对所有屋顶的检测框基于掩码的非极大值抑制,进而保留重叠率小于预设重叠率,且置信度大于预设置信度的屋顶掩码图像。
S2055:根据屋顶掩码图像提取屋顶的轮廓。
具体地,由于屋顶掩码图像中屋顶区域的像素值为255,非屋顶区域的像素值为0,因此,屋顶掩码图像中相邻两个像素的像素值不同时,像素的像素值为255的像素为屋顶区域的一个边界点,将多个边界点连接,形成屋顶的轮廓。
S2056:将组成轮廓的各相邻边之间的角度与预设角度进行比较。
具体地,为了进一步避免屋顶掩码图中出现的大小不一致的空洞对屋顶检测结果造成影响,提升定位目标建筑物的屋顶的像素位置的速度,需要对屋顶掩码图像进行预处理。
在本实施例中,屋顶的预设形状为矩形或圆形,因此屋顶的轮廓以内应该是不存在空洞的,将轮廓以内的区域形成连通域进行提取,并计算各连通域的面积,将面积小于预设面积的连通域作为屋顶。
进一步,为了提高屋顶轮廓的检测精度,常规定义中,屋顶的轮廓不存在角度小于预设角度的凸起,因此对得到的屋顶的轮廓进行提取,判断组成屋顶的轮廓的相邻两条边之间的角度是否小于预设角度,进而确定组成屋顶的轮廓的相邻两边中是否存在组成凸起的边。
S2057:响应于轮廓的相邻的两个边之间的角度小于预设角度,删除两个边的共用点。
具体地,如果相邻的两个边之间的角度小于预设角度,则删除两个边的共用点,将两个边远离公共点的端点相互连接。
本实施例中,通过实例分割网络对建筑物的屋顶进行单体分割,能够有效避免屋顶、裙楼或密集连接的建筑物掩码图因为粘连原因,而导致高低不同的相邻建筑物被识别成同一建筑物。
S206:通过高度及方向检测网络对区域图像进行特征提取,得到区域图像对应的灰度图。
请参阅图10至图12,图10是图3提供的建筑物的三维模型构建方法中步骤S206一具体实施例的流程示意图;图11是本发明提供的高度和方向特征提取网络一具体实施例的结构示意图;图12是图10提供的建筑物的三维模型构建方法中得到的整体灰度图。
具体地,高度及方向检测网络包括第二特征提取模块、高度信息提取模块和方向信息提取模块。其中,第二特征提取模块分别与高度信息提取模块和方向信息提取模块连接。第二特征提取模块作为编码部分,高度信息提取模块和方向信息提取模块作为解码部分,如图11。
S2061:第二特征提取模块对区域图像进行特征提取,得到对应的特征图。
第二特征提取模块包括多个子特征提取单元,子特征提取单元包括依次级联的特征转换层、第一特征提取层和第二特征提取层。在本实施例中,子特征提取单元为四个,且四个子特征提取单元依次级联。其中,第二特征提取模块采用segformer网络结构作为网络框架,且通过依次级联的子特征提取单元一层一层进行编码。特征转换层对应一个OverlapPatch Embeddings(重叠片嵌入),Overlap Patch Embeddings用于将四维数据转换为三维数据。第一特征提取层对应一个Attn(Attention,注意),Attn作为注意力模块。第二特征提取层对应一个MLP(Multilayer Perceptron,多层神经器),第二特征提取层包括线性层、卷积层和激活层,第二特征提取层用于对第一特征提取层提取的特征图继续进行特征提取。
在一具体实施例中,四个子特征提取单元的结构相同。将区域图像输入第二特征提取模块中,第二特征提取模块中的第一个子特征提取单元中的特征转换层将区域图像中的四位数据转换为三维数据的特征图;第一特征提取层对三维数据的特征图进行特征提取,得到区域特征图;再经过第二特征提取层对区域特征图进行特征提取得到第一特征图,第二个子特征提取单元对第一特征图进行特征提取得到第二特征图,第三个子特征提取单元对第二特征图进行特征提取得到第三特征图,第四个子特征提取单元对第三特征图进行特征提取得到第四特征图。其中,第一特征图、第二特征图、第三特征图、第四特征图的尺寸不相同,各特征图中包含的特征数据的丰富程度也不相同。
S2062:通过高度信息提取模块对区域特征对应的特征图进行检测,得到区域特征中各像素的高度数据。
高度信息提取模块包括多个依次级联的高度信息提取单元。在本实施例中,高度信息提取单元为四个。其中,高度信息提取单元包括第一线性层以及与第一线性层连接的第一激活函数层。第二特征提取模块中的最后一个子特征提取单元提取的特征图输入到高度信息提取模块中第一个高度信息提取单元的第一线性层。
在一具体实施例中,将第四特征图输入到高度信息提取模块中的第一个高度信息提取单元中的第一线性层,第一线性层对第四特征图进行特征提取,得到对应的高度特征图;并通过第一激活函数层对高度特征图进行激活,得到第五特征图。将第五特征图和第三特征图输入到第二个高度信息提取单元进行特征提取,得到第六特征图;将第六特征图和第二特征图输入到第三个高度信息提取单元进行特征提取,得到第七特征图;将第七特征图和第一特征图输入到第四个高度信息提取单元进行特征提取,得到第八特征图。通过第八特征图对区域图像中各像素中的目标建筑物的高度进行检测,得到各像素的高度数据。
通过上述步骤可以得到各区域图像中各像素对应的高度数据。
S2063:通过方向信息提取模块对区域图像对应的特征图进行检测,得到区域图像中各像素的方向数据。
方向信息提取模块包括多个依次级联的方向信息提取单元。在本实施例中,方向信息提取单元为四个。其中,方向信息提取单元包括第二线性层以及与第二线性层连接的第二激活函数层。第二特征提取模块中的最后一个子特征提取单元提取的特征图输入到方向信息提取模块中第一个方向信息提取单元的第二线性层。
在一具体实施例中,将第四特征图输入到方向信息提取模块中的第一个方向信息提取单元中的第二线性层,第二线性层对第四特征图进行特征提取,得到方向特征图;并通过第二激活函数层对方向特征图进行激活,得到第九特征图。将第九特征图和第三特征图输入到第二个方向信息提取单元进行特征提取,得到第十特征图;将第十特征图和第二特征图输入到第三个方向信息提取单元进行特征提取,得到第十一特征图;将第十一特征图和第一特征图输入到第四个方向信息提取单元进行特征提取,得到第十二特征图。通过第十二特征图对区域图像中各像素中的目标建筑物的方向进行检测,得到各像素的方向数据。
通过上述步骤可以得到各区域图像中各像素对应的方向数据。
S207:基于区域图像与遥感图像的位置关系和尺寸关系,将各区域图像对应灰度图进行拼接,得到遥感图像对应的整体灰度图。
具体地,基于各区域图像与遥感图像的关联关系,将区域图像对应的灰度图映射到遥感图像上,多个灰度图构成遥感图像的整体灰度图,如图12。其中,整体灰度图中的灰度值代表像素的高度,像素值的范围为1~1000。
也就是说,遥感图像的整体灰度图为各个区域图像对应的高度数据和方向数据拼接得到的遥感图像对应的高度和方向数据映射图。
由于相邻的两个区域或多个区域图像之间存在重叠区域,为了避免重叠区域对应的灰度图均映射于整体灰度图中,出现信息重复的现象,则需要根据两个区域图像对应的重叠部分,对对应的至少两个灰度图的重叠部分进行处理。
响应于至少两个区域图像分别对应的灰度图出现重叠,则结合至少两个灰度图的重叠部分的高度信息和方向信息对重叠部分进行处理。
请参阅图13(a)和图13(b),图13(a)是通过本申请中的柔和过渡的拼接方式将灰度图进行拼接得到的整体灰度图;图13(b)是通过传统方法将灰度图进行拼接得到的整体灰度图。
如果采用传统方式保留重叠部分对应的一组高度信息和方向信息后,再进行高度信息和方向信息的拼接,则在各区域图像对应的各灰度图之间会存在拼缝,如图13(b)所示。本实施例采用柔和过渡的拼接方式进行拼接,则相邻两个或多个区域图像的重叠区域的灰度值可以通过对应的拼接公式得到,进而得到无拼缝的整体灰度图,如图13(a)所示。
具体地,基于如下的拼接公式对至少两个灰度图的重叠部分进行处理。
拼接公式如下所示:
Hi=a*Bi+(1-a)*Pi (公式1)
式中:Hi为重叠区域的高度值;Bi为第一个灰度图中重叠区域的高度预测值,Pi为第二个灰度图的高度预测值,β为参数,d表示像素i到重叠边缘的距离;α为权重,默认为0.5。
请参阅图14(a)至图14(c),图14(a)是本申请提供的原始遥感图像分割一实施例的示意图;图14(b)是本申请提供的原始遥感图像分割另一实施例的示意图;图14(c)是本申请提供权重参数α与距离d之间的曲线图。
根据设定的重叠率对原始的遥感图像进行裁剪,确定不同的区域图像的重叠区域,如图14(a)和图14(b)所示。根据重叠区域中不同的像素距离重叠边缘的距离确定同一像素在第一个灰度图和第二个灰度图中的权重值。其中,权重值α的取值范围,默认为0.5,如图14(c)所示。在本实施例中,β取0.08。
本实施例中提出的柔和过渡的拼接方式,能够有效的消除区域图像对应的灰度图在拼接时,在拼接边界出现缝隙。该方式适用于左右相邻的两个灰度图进行拼接,也适用于上下两个灰度图进行拼接。
S208:基于遥感图像对应的整体灰度图,确定建筑物的方向信息和高度信息。
具体地,根据步骤S206和步骤S207可以得到各屋顶所属的建筑物对应的高度信息和方向信息,根据建筑物的高度信息和方向信息可以快速得到屋顶的平均高度、平均视觉方向和位置信息,进而得到遥感图像中包含的所有建筑物的屋顶的相关信息。
S209:根据屋顶信息、高度信息和方向信息,确定建筑物的地基位置。
具体地,将屋顶所属的建筑物的方向信息通过正交分解成(dx,dy),根据步骤S208得到的对应建筑物屋顶的平均高度H与建筑物的方向信息得到建筑物屋顶到建筑物地基的距离为(H*dx,H*dy),进而根据屋顶的位置信息、屋顶与地基的距离和屋顶与地基之间的方向信息得到建筑物的地基位置。
在一具体实施例中,将屋顶像素Ri沿着(dx,dy)的方向前进H个像素,得到建筑物的地基位置,进而确定地基的高度。
S210:根据地基位置、高度信息、屋顶信息构建建筑物三维模型。
具体地,通过建筑物的地基位置、建筑物的方向信息以及屋顶位置构建建筑物对应建筑物三维模型。
请参阅图15(a)至图15(d),图15(a)是本申请提供的一实施例中的原始遥感图像;图15(b)是本申请提供的一实施例中原始遥感图像对应的屋顶信息图;图15(c)是本申请提供的一实施例中原始遥感图像对应的整体灰度图;图15(d)是本申请提供的一实施例中原始遥感图像对应的建筑物三维模型。
在一具体实施例中,获取待处理图像,待处理图像中包含建筑物,如图15(a)。通过实例分割网络对待处理图像进行检测,得到待处理图像中包含的建筑物的屋顶信息图,如图15(b)。通过高度及方向检测网络对待处理图像进行检测,得到待处理图像对应的整体灰度图,如图15(c)。其中,整体灰度图中包含有建筑物的方向信息和高度信息。根据建筑物的屋顶信息、建筑物的方向信息和高度信息确定建筑物的地基位置。根据建筑物的地基位置、建筑物的高度信息和屋顶信息构建建筑物对应的建筑物三维模型,如图15(d)。
本实施例提供一种建筑物的三维模型构建方法,通过对获取的遥感图像进行分割处理,得到多个区域图像;遥感图像包括建筑物;对多个区域图像分别进行目标检测,得到建筑物的屋顶信息;对多个区域图像分别进行高度检测,得到建筑物的高度信息和方向信息;基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。本申请通过对获取的遥感图像进行分割处理,进而有效避免屋顶、裙楼或密集连接的建筑由于粘连而导致高低不同的相邻建筑物被识别成同一建筑物,便于对屋顶的阁楼进行识别;通过实例分割网络对区域图像分别进行目标检测,提高了屋顶信息的检测精度;通过高度和方向检测网络对区域图像分别进行高度和方向检测,提高了对建筑物的高度信息和方向信息的检测精度,根据检测得到的建筑物的屋顶信息、高度信息和方向信息构建得到建筑物的三维模型,进而提升对遥感影像中建筑物及屋顶阁楼的三维模型构建的精确度。
参阅图16,图16是本发明提供的建筑物的三维模型构建装置的示意框图。在本实施例中提供一种建筑物的三维模型构建装置100,建筑物的三维模型构建装置100包括分割模块1、目标检测模块2、高度和方向检测模块3和构建模块4。
分割模块1用于对获取的遥感图像进行分割处理,得到多个区域图像;遥感图像包括建筑物;目标检测模块2用于对多个区域图像分别进行目标检测,得到建筑物的屋顶信息;高度和方向检测模块3用于对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息;构建模块4用于基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。
其中,分割模块1通过重叠裁剪的方法对获取的遥感图像进行裁剪,得到多个区域图像。
参阅图17,图17是图16提供的建筑物的三维模型中目标检测模块一具体实施例的示意框图。
在一具体实施例中,目标检测模块2包括第一特征提取模块21、屋顶检测模块22和屋顶掩码模块23。
第一特征提取模块21用于对区域图像进行特征提取,得到区域图像特征;对区域图像特征进行上采样处理或下采样处理,得到预处理区域图像;对预处理区域图像进行特征提取,得到对应的目标特征。
屋顶检测模块22用于对区域图像进行特征提取,得到目标特征。具体地,屋顶检测模块22用于对预处理区域图像分别对应的目标特征进行屋顶检测,得到区域图像中包含屋顶的子区域图像。
屋顶掩码模块23用于根据区域图像对应的目标特征对子区域图像进行图像掩码处理,得到屋顶掩码图像。
目标检测模块2还用于基于区域图像与遥感图像的关联关系,将多个区域图像分别对应的屋顶掩码图像进行拼接,得到遥感图像对应的屋顶信息。具体地,屋顶信息包括建筑物的检测框和建筑物的屋顶轮廓。目标检测模块2基于区域图像与遥感图像的位置关系和尺寸关系,将屋顶掩码图像映射到遥感图像上,得到遥感图像中包含的所有建筑物的检测框和检测框中包含的建筑物的屋顶轮廓。且目标检测模块2还用于响应于多个区域图像重叠,则计算区域图像对应的屋顶掩码图像的重叠率和置信度;保留重叠率低且置信度高的屋顶掩码图像;并用于判断组成轮廓的各相邻边之间的角度是否小于预设角度;如果相邻的两个边之间的角度小于预设角度,则删除两个边的共用点。
参阅图18,图18是图16提供的建筑物的三维模型中高度和方向检测模块一具体实施例的示意框图。
在一具体实施例中,高度和方向检测模块3包括第二特征提取模块31、高度信息提取模块32和方向信息提取模块33。
具体地,第二特征提取模块31包括多个依次级联的第二特征提取单元311,第二特征提取单元311包括依次级联的特征转换层3111、第一特征提取层3112和第二特征提取层3113。特征转换层3111用于对区域图像进行特征转换,得到三维数据的特征图;第一特征提取层3112用于对三维数据的特征图进行特征提取,得到区域特征图;第二特征提取层3113用于对区域特征图进行特征提取,得到第一特征图。
具体地,高度信息提取模块32包括多个依次级联的高度信息提取单元321,高度信息提取单元321包括第一线性层3211和第一激活函数层3212;高度信息提取模块32与第二特征提取模块31连接。第一线性层3211用于将上一高度信息提取单元321输出的结果与对应的第二特征提取模块31输出的结果进行关联后进行特征提取,得到对应的高度特征图;第一激活函数层3212用于对高度特征图进行解码,得到区域图像中各像素的高度数据。
具体地,方向信息提取模块33包括多个依次级联的方向信息提取单元331,方向信息提取单元331包括第二线性层3311和第二激活函数层3312;方向信息提取模块33与第二特征提取模块31连接。第二线性层3311用于将上一方向信息提取单元331输出的结果与对应的第二特征提取模块31输出的结果进行关联后进行特征提取,得到对应的方向特征图;第二激活函数层3312用于对方向特征图进行解码,得到区域图像中各像素的方向数据。
高度和方向检测模块3还用于根据整体灰度图中各像素的方向数据和高度数据,确定建筑物的方向信息和高度信息;还用于判断各区域图像之间是否具有重叠区域;响应于至少两个区域图像之间具有重叠区域,则用于对重叠区域对应的至少两个灰度图进行合并处理,得到重叠区域对应的灰度图。
在一具体实施例中,高度和方向检测模块3用于根据如下的拼接公式对重叠区域对应的至少两个灰度图进行处理。
拼接公式如下所示:
Hi=a*Bi+(1-a)*Pi (公式1)
式中:Hi为重叠区域的高度值;Bi为第一个灰度图中重叠区域的高度预测值,Pi为第二个灰度图的高度预测值,β为参数,d表示像素i到重叠边缘的距离;α为权重,默认为0.5。
具体地,构建模块4用于根据屋顶信息、高度信息和方向信息,确定建筑物的地基位置;根据地基位置、高度信息、屋顶信息构建建筑物三维模型。
本实施例提供的建筑物的三维模型构建装置包括分割模块、目标检测模块、高度和方向检测模块和构建模块。分割模块用于对获取的遥感图像进行分割处理,得到多个区域图像;目标检测模块用于对多个区域图像分别进行目标检测,得到建筑物的屋顶信息;高度和方向检测模块用于对多个区域图像分别进行高度和方向检测,得到建筑物的高度信息和方向信息;构建模块用于基于建筑物的屋顶信息、高度信息和方向信息,构建得到建筑物三维模型。通过对获取的遥感图像进行分割处理,进而有效避免屋顶、裙楼或密集连接的建筑由于粘连而导致高低不同的相邻建筑物被识别成同一建筑物;通过对区域图像分别进行目标检测和高度检测,进而预测建筑物的屋顶信息、高度信息和方向信息,根据预测得到的建筑物的屋顶信息、高度信息和方向信息构建得到建筑物的三维模型,进而提升对遥感影像中建筑物的三维模型构建的精确度。
参阅图19,图19是本发明提供的终端一实施方式的示意框图。该实施方式中的终端70包括:处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序,该计算机程序被处理器71执行时实现上述建筑物的三维模型构建方法中,为避免重复,此处不一一赘述。
参阅图20,图20是本发明提供的计算机可读存储介质一实施方式的示意框图。本申请的实施方式中还提供一种计算机可读存储介质90,计算机可读存储介质90存储有计算机程序901,计算机程序901中包括程序指令,处理器执行程序指令,实现本申请实施方式提供的建筑物的三维模型构建方法。
其中,计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元,例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备,例如计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上仅为本发明的实施方式,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (21)
1.一种建筑物的三维模型构建方法,其特征在于,所述建筑物的三维模型构建方法包括:
对获取的遥感图像进行分割处理,得到多个区域图像;所述遥感图像包括建筑物;
对所述多个区域图像分别进行目标检测,得到所述建筑物的屋顶信息;
对所述多个区域图像分别进行高度和方向检测,得到所述建筑物的高度信息和方向信息;
基于所述建筑物的屋顶信息、所述高度信息和所述方向信息,构建得到建筑物三维模型。
2.根据权利要求1所述建筑物的三维模型构建方法,其特征在于,
所述对获取的遥感图像进行分割处理,得到多个区域图像,包括:
通过重叠裁剪的方法对获取的所述遥感图像进行裁剪,得到多个所述区域图像。
3.根据权利要求1所述建筑物的三维模型构建方法,其特征在于,
所述对所述多个区域图像分别进行目标检测,得到所述建筑物的屋顶信息,包括:
对所述区域图像进行特征提取,得到目标特征;
对所述目标特征进行检测,得到包含屋顶的子区域图像;
基于所述区域图像对应的所述目标特征对所述子区域图像进行图像掩码处理,得到屋顶掩码图像;
基于所述区域图像与所述遥感图像的关联关系,将多个所述区域图像分别对应的所述屋顶掩码图像进行拼接,得到所述遥感图像对应的所述屋顶信息。
4.根据权利要求3所述建筑物的三维模型构建方法,其特征在于,
所述对所述区域图像进行特征提取,得到目标特征,还包括:
对所述区域图像进行特征提取,得到区域图像特征;
对所述区域图像特征进行上采样处理或下采样处理,得到预处理区域图像;
对所述预处理区域图像进行特征提取,得到对应的所述目标特征;
所述对所述目标特征进行检测,得到包含屋顶的子区域图像,包括:
对所述预处理区域图像分别对应的所述目标特征进行屋顶检测,得到所述区域图像中包含所述屋顶的子区域图像。
5.根据权利要求3所述建筑物的三维模型构建方法,其特征在于,所述屋顶信息包括建筑物的检测框和所述建筑物的屋顶轮廓;
所述基于所述区域图像与所述遥感图像的关联关系,将多个所述区域图像分别对应的所述屋顶掩码图像进行拼接,得到所述遥感图像对应的所述屋顶信息,包括:
基于所述区域图像与所述遥感图像的位置关系和尺寸关系,将所述屋顶掩码图像映射到所述遥感图像上,得到所述遥感图像中包含的所有所述建筑物的检测框和所述检测框中包含的所述建筑物的屋顶轮廓。
6.根据权利要求5所述建筑物的三维模型构建方法,其特征在于,
所述基于所述区域图像与所述遥感图像的关联关系,将所述多个区域图像分别对应的所述屋顶掩码图像进行拼接,得到所述遥感图像的屋顶信息,还包括:
响应于多个所述区域图像重叠,则计算所述区域图像对应的所述屋顶掩码图像的重叠率和置信度;
保留所述重叠率小于预设重叠率,且所述置信度大于预设置信度的所述屋顶掩码图像。
7.根据权利要求5所述建筑物的三维模型构建方法,其特征在于,
所述基于所述区域图像与所述遥感图像的位置关系和尺寸关系,将所述屋顶掩码图像映射到所述遥感图像上,得到所述遥感图像中包含的所有所述建筑物的检测框和所述检测框中包含的所述建筑物的屋顶轮廓,之后还包括:
判断组成所述轮廓的各相邻边之间的角度是否小于预设角度;
如果相邻的两个所述边之间的所述角度小于所述预设角度,则删除所述两个边的共用点。
8.根据权利要求1所述建筑物的三维模型构建方法,其特征在于,
所述对所述多个区域图像分别进行目标检测,得到所述建筑物的屋顶信息,包括:
通过实例分割网络对所述区域图像进行目标检测,得到所述建筑物的屋顶信息;其中,所述实例分割网络包括第一特征提取模块、目标检测模块和语义分割掩码模块。
9.根据权利要求8所述建筑物的三维模型构建方法,其特征在于,
训练得到所述实例分割网络的步骤;包括:
获取第一训练样本集;所述第一训练样本集包括多张第一样本图像,所述第一样本图像标注目标建筑物的真实框、所述真实框中语义信息的真实类别、屋顶的真实中心位置、所述屋顶的真实掩码图;
通过初始目标检测网络对所述第一样本图像进行检测,得到所述目标建筑物的预测框、所述预测框中语义信息的预测类别、所述屋顶的预测中心位置、所述屋顶的预测掩码图;
基于所述目标建筑物的所述真实框和所述预测框、所述真实框中语义信息的真实类别和所述预测框中语义信息的预测类别、所述屋顶的真实中心位置和所述屋顶的预测中心位置、所述屋顶的真实掩码图和所述屋顶的预测掩码图构建第一损失函数;
利用所述第一损失函数对所述初始目标检测网络进行迭代训练得到所述实例分割网络。
10.根据权利要求1所述建筑物的三维模型构建方法,其特征在于,
所述对所述多个区域图像分别进行高度和方向检测,得到所述建筑物的高度信息和方向信息,包括:
通过高度及方向检测网络对所述区域图像进行特征提取,得到所述区域图像对应的灰度图;
基于各所述区域图像与所述遥感图像的关联关系,将所述多个区域图像分别对应的所述灰度图进行拼接,得到所述遥感图像对应的整体灰度图;
基于所述遥感图像对应的所述整体灰度图,确定所述建筑物的方向信息和高度信息。
11.根据权利要求10所述建筑物的三维模型构建方法,其特征在于,所述高度及方向检测网络包括第二特征提取模块;所述第二特征提取模块包括依次级联的特征转换层、第一特征提取层和第二特征提取层;
所述通过高度及方向检测网络对所述区域图像进行特征提取,得到所述区域图像对应的灰度图,包括:
所述特征转换层对所述区域图像进行特征转换,得到三维数据的特征图;
所述第一特征提取层对所述三维数据的特征图进行特征提取,得到区域特征图;
所述第二特征提取层对所述区域特征图进行特征提取,得到第一特征图。
12.根据权利要求11所述建筑物的三维模型构建方法,其特征在于,所述高度及方向检测网络还包括高度信息提取模块,所述高度信息提取模块包括多个依次级联的高度信息提取单元,所述高度信息提取单元包括第一线性层和第一激活函数层;所述高度信息提取模块与所述第二特征提取模块连接;
所述通过高度及方向检测网络对所述区域图像进行特征提取,得到所述区域图像对应的灰度图,还包括:
所述第一线性层将上一所述高度信息提取单元输出的结果与对应的所述第二特征提取模块输出的结果进行关联后进行特征提取,得到对应的高度特征图;
所述第一激活函数层对所述高度特征图进行解码,得到所述区域图像中各像素的高度数据。
13.根据权利要求12所述建筑物的三维模型构建方法,其特征在于,所述高度及方向检测网络还包括方向信息提取模块,所述方向信息提取模块包括多个依次级联的方向信息提取单元,所述方向信息提取单元包括第二线性层和第二激活函数层;所述方向信息提取模块与所述第二特征提取模块连接;
所述通过高度及方向检测网络对所述区域图像进行特征提取,得到所述区域图像对应的灰度图,还包括:
所述第二线性层将上一所述方向信息提取单元输出的结果与对应的所述第二特征提取模块输出的结果进行关联后进行特征提取,得到对应的方向特征图;
所述第二激活函数层对所述方向特征图进行解码,得到所述区域图像中各像素的方向数据。
14.根据权利要求13所述建筑物的三维模型构建方法,其特征在于,
所述基于所述遥感图像对应的所述整体灰度图,确定所述建筑物的方向信息和高度信息,包括:
根据所述整体灰度图中各像素的所述方向数据和所述高度数据,确定所述建筑物的方向信息和高度信息。
15.根据权利要求10所述建筑物的三维模型构建方法,其特征在于,
所述基于各所述区域图像与所述遥感图像的关联关系,将所述多个区域图像分别对应的所述灰度图进行拼接,得到所述遥感图像中所述建筑物的高度信息和方向信息,还包括:
判断各所述区域图像之间是否具有重叠区域;
如果至少两个所述区域图像之间具有所述重叠区域,则对所述重叠区域对应的至少两个所述灰度图进行合并处理,得到所述重叠区域对应的灰度图。
17.根据权利要求10所述建筑物的三维模型构建方法,其特征在于,
训练得到所述高度及方向检测网络的步骤,包括:
获取第二训练样本集;所述第二训练样本集包括多张第二样本图像,所述第二样本图像中标注目标建筑物的真实高度和真实方向;
通过初始特征检测网络对所述第二样本图像进行检测,得到所述目标建筑物的预测高度和预测方向;
基于所述目标建筑物的所述真实高度和所述预测高度构建第二损失函数;基于所述目标建筑物的所述真实方向与所述预测方向构建第三损失函数;
利用所述第二损失函数和所述第三损失函数对所述初始特征检测网络进行迭代训练得到所述高度及方向检测网络。
18.根据权利要求1所述建筑物的三维模型构建方法,其特征在于,
所述基于所述建筑物的屋顶信息、所述高度信息和所述方向信息,构建得到建筑物三维模型,包括:
根据所述屋顶信息、所述高度信息和所述方向信息,确定所述建筑物的地基位置;
根据所述地基位置、所述高度信息、所述屋顶信息构建所述建筑物三维模型。
19.一种建筑物的三维模型构建装置,其特征在于,所述建筑物的三维模型构建装置包括:
分割模块,用于对获取的遥感图像进行分割处理,得到多个区域图像;所述遥感图像包括建筑物;
目标检测模块,用于对所述多个区域图像分别进行目标检测,得到所述建筑物的屋顶信息;
高度和方向检测模块,用于对所述多个区域图像分别进行高度和方向检测,得到所述建筑物的高度信息和方向信息;
构建模块,用于基于所述建筑物的屋顶信息、所述高度信息和所述方向信息,构建得到建筑物三维模型。
20.一种终端,其特征在于,所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序,所述处理器用于执行程序数据以实现如权利要求1~18任一项所述建筑物的三维模型构建方法中的步骤。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~18任一项所述建筑物的三维模型构建方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111655005.4A CN114549543A (zh) | 2021-12-30 | 2021-12-30 | 建筑物的三维模型构建方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111655005.4A CN114549543A (zh) | 2021-12-30 | 2021-12-30 | 建筑物的三维模型构建方法、装置、终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114549543A true CN114549543A (zh) | 2022-05-27 |
Family
ID=81669999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111655005.4A Pending CN114549543A (zh) | 2021-12-30 | 2021-12-30 | 建筑物的三维模型构建方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549543A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898119A (zh) * | 2022-07-08 | 2022-08-12 | 浙江大华技术股份有限公司 | 一种建筑物轮廓绘制方法、装置、设备及介质 |
CN115496876A (zh) * | 2022-09-19 | 2022-12-20 | 阿里巴巴(中国)有限公司 | 一种建筑物建模方法、地图渲染方法、装置和设备 |
CN116091709A (zh) * | 2023-04-10 | 2023-05-09 | 北京百度网讯科技有限公司 | 建筑物的三维重建方法、装置、电子设备和存储介质 |
CN116152458A (zh) * | 2023-03-14 | 2023-05-23 | 南京宇天智云仿真技术有限公司 | 一种基于影像的三维仿真建筑生成方法 |
CN116310189A (zh) * | 2023-05-22 | 2023-06-23 | 浙江大华技术股份有限公司 | 地图模型构建方法及终端 |
CN116363319A (zh) * | 2023-06-01 | 2023-06-30 | 浙江国遥地理信息技术有限公司 | 一种建筑物屋顶的建模方法、建模装置、设备及介质 |
CN116385651A (zh) * | 2023-04-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像处理方法、神经网络模型的训练方法、装置和设备 |
CN116863331A (zh) * | 2023-06-20 | 2023-10-10 | 北京图知天下科技有限责任公司 | 建筑群目标屋顶区域的确定方法、装置以及电子设备 |
-
2021
- 2021-12-30 CN CN202111655005.4A patent/CN114549543A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898119A (zh) * | 2022-07-08 | 2022-08-12 | 浙江大华技术股份有限公司 | 一种建筑物轮廓绘制方法、装置、设备及介质 |
CN114898119B (zh) * | 2022-07-08 | 2022-11-01 | 浙江大华技术股份有限公司 | 一种建筑物轮廓绘制方法、装置、设备及介质 |
CN115496876A (zh) * | 2022-09-19 | 2022-12-20 | 阿里巴巴(中国)有限公司 | 一种建筑物建模方法、地图渲染方法、装置和设备 |
CN115496876B (zh) * | 2022-09-19 | 2024-04-16 | 阿里巴巴(中国)有限公司 | 一种建筑物建模方法、地图渲染方法、装置和设备 |
CN116152458A (zh) * | 2023-03-14 | 2023-05-23 | 南京宇天智云仿真技术有限公司 | 一种基于影像的三维仿真建筑生成方法 |
CN116091709A (zh) * | 2023-04-10 | 2023-05-09 | 北京百度网讯科技有限公司 | 建筑物的三维重建方法、装置、电子设备和存储介质 |
CN116385651A (zh) * | 2023-04-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像处理方法、神经网络模型的训练方法、装置和设备 |
CN116310189A (zh) * | 2023-05-22 | 2023-06-23 | 浙江大华技术股份有限公司 | 地图模型构建方法及终端 |
CN116310189B (zh) * | 2023-05-22 | 2023-09-01 | 浙江大华技术股份有限公司 | 地图模型构建方法及终端 |
CN116363319A (zh) * | 2023-06-01 | 2023-06-30 | 浙江国遥地理信息技术有限公司 | 一种建筑物屋顶的建模方法、建模装置、设备及介质 |
CN116363319B (zh) * | 2023-06-01 | 2023-08-04 | 浙江国遥地理信息技术有限公司 | 一种建筑物屋顶的建模方法、建模装置、设备及介质 |
CN116863331A (zh) * | 2023-06-20 | 2023-10-10 | 北京图知天下科技有限责任公司 | 建筑群目标屋顶区域的确定方法、装置以及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114549543A (zh) | 建筑物的三维模型构建方法、装置、终端及存储介质 | |
US11682197B2 (en) | Computer vision systems and methods for geospatial property feature detection and extraction from digital images | |
CN113516135B (zh) | 一种基于深度学习的遥感影像建筑物提取及轮廓优化方法 | |
CN109241913B (zh) | 结合显著性检测和深度学习的船只检测方法及系统 | |
CN111914686B (zh) | 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统 | |
CN110796048B (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
US11657533B2 (en) | Computer vision systems and methods for ground surface condition detection and extraction from digital images | |
WO2017071160A1 (zh) | 一种大幅面遥感图像海陆分割的方法及系统 | |
CN111523414A (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
CN115641327B (zh) | 一种基于大数据的建筑工程质量监理和预警系统 | |
CN101957991A (zh) | 一种遥感图像配准方法 | |
US20210027055A1 (en) | Methods and Systems for Identifying Topographic Features | |
CN111145120A (zh) | 能见度检测方法、装置、计算机设备和存储介质 | |
CN114387521A (zh) | 基于注意力机制和边界损失的遥感影像建筑物提取方法 | |
CN110673146A (zh) | 气象预测图检测方法、装置、计算机设备和可读存储介质 | |
WO2021092797A1 (zh) | 图像的配准方法、终端以及计算机存储介质 | |
CN113963314A (zh) | 降雨量监测方法、装置、计算机设备及存储介质 | |
CN117036457A (zh) | 一种屋顶面积的测量方法、装置、设备及存储介质 | |
CN116403114A (zh) | 一种基于深度学习的遥感影像目标识别方法及系统 | |
CN115187545A (zh) | 高空间分辨率遥感图像的处理方法、系统及存储介质 | |
Qayyum et al. | Monitoring of vegetation near power lines based on dynamic programming using satellite stereo images | |
Hu et al. | Cascaded deep neural networks for predicting biases between building polygons in vector maps and new remote sensing images | |
CN117456542B (zh) | 图像匹配方法、装置、电子设备及存储介质 | |
AU2024204170A1 (en) | Computer vision systems and methods for geospatial property feature detection and extraction from digital images | |
CN118298441A (zh) | 图像匹配方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |