CN114758087A - 一种城市信息模型的构建方法及装置 - Google Patents
一种城市信息模型的构建方法及装置 Download PDFInfo
- Publication number
- CN114758087A CN114758087A CN202210677015.6A CN202210677015A CN114758087A CN 114758087 A CN114758087 A CN 114758087A CN 202210677015 A CN202210677015 A CN 202210677015A CN 114758087 A CN114758087 A CN 114758087A
- Authority
- CN
- China
- Prior art keywords
- cloud data
- point cloud
- city
- monomer
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000000178 monomer Substances 0.000 claims abstract description 119
- 230000011218 segmentation Effects 0.000 claims abstract description 76
- 238000010276 construction Methods 0.000 claims abstract description 61
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000004744 fabric Substances 0.000 claims description 43
- 238000004088 simulation Methods 0.000 claims description 36
- 230000005764 inhibitory process Effects 0.000 claims description 23
- 230000001629 suppression Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Abstract
本申请提供了一种城市信息模型的构建方法及装置，涉及图像处理技术领域，包括：按照多个城市构建要素对目标城市的城市点云数据进行要素分割，确定与每个城市构建要素对应的多个单体点云数据；针对每个单体点云数据，按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获得多个平面区域，并根据多个平面区域之间的连接性，形成该单体点云数据对应的单体实例模型；针对每个单体实例模型，使用包含该单体实例模型对应的实物的多张卫星图片进行纹理贴图映射，以获得该单体实例模型对应的实例纹理模型；根据所获得的多个实例纹理模型，形成目标城市的城市信息模型。通过本申请的方法，简化了多要素构建城市信息模型的过程。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种城市信息模型的构建方法及装置。
背景技术
城市信息模型是以建筑信息模型、地理信息系统、物联网等技术为基础，整合城市地上地下、室内室外、历史现状未来多维多尺度信息模型数据和城市感知数据，构建起三维数字空间的城市信息有机综合体。
CIM（City Information Modeling，城市信息模型）本身包含了建筑、交通、植被、地形、水体、桥梁、隧道、规划等多个要素，现有技术中，由于各要素对应的数据源，涵盖了如卫星影像、倾斜摄影、激光点云、道路街景、GIS（地理信息科学）、OpenStreetMap（公开地图）等多种不同形式。
因此，现有技术中针对不同的要素模型构建所涉及的不同类型的数据源，往往需要分别建立不同的构建方法以完成对不同要素模型的构建，且各要素彼此之间的模型构建方法并不统一，增加了基于多要素构建城市信息模型的复杂程度。
发明内容
有鉴于此，本申请的目的在于至少提供一种城市信息模型的构建方法及装置，通过本申请的方法，简化了多要素构建城市信息模型的过程。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种城市信息模型的构建方法，方法包括：按照多个城市构建要素对目标城市的城市点云数据进行要素分割，确定与每个城市构建要素对应的多个单体点云数据；针对每个单体点云数据，按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获得多个平面区域，并根据多个平面区域之间的连接性，形成该单体点云数据对应的单体实例模型；针对每个单体实例模型，使用包含该单体实例模型对应的实物的多张卫星图片进行纹理贴图映射，以获得该单体实例模型对应的实例纹理模型；根据所获得的多个实例纹理模型，形成目标城市的城市信息模型。
在一种可能的实施方式中，按照多个城市构建要素对目标城市的城市点云数据进行区域分割，确定与每个城市构建要素对应的多个实例单体点云数据的步骤包括：获取目标城市的多张卫星图片；针对每张卫星图片，使用第一预设图像语义分割网络，按照多个城市构建要素对该张卫星图片进行像素级分割，获得该张卫星图片对应的分割结果图；对各卫星图片对应的分割结果图进行融合，确定融合分割结果图；将城市点云数据正射投影至融合分割结果图，以将城市点云数据参照融合分割结果图分割为与每个城市构建要素对应的多个单体点云数据。
在一种可能的实施方式中，通过以下方式确定每个单体点云数据对应的单体实例模型：按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获取多个平面区域，其中，每个平面区域包含属于同一平面的点；针对每个平面区域，通过预设平面拟合模型对该平面区域内的多个点进行平面拟合，确定该平面区域对应的拟合平面；根据各拟合平面之间的连接性关系，确定各拟合平面之间连接过渡的平滑损失；结合各拟合平面的独立参数损失以及各拟合平面之间连接过渡的平滑损失，建立该单体实例模型的目标损失函数；根据目标损失函数，确定各平面区域对应的最优拟合平面；由所确定的各最优拟合平面形成该单体点云数据对应的单体实例模型。
在一种可能的实施方式中，通过以下方式获得每个单体实例模型对应的要素实例纹理模型：使用预设超分网络分别对包含该单体实例模型对应的实物的多张卫星图片进行图像处理，得到处理后的多张卫星图片；使用处理后的多张卫星图片对该单体实例模型进行纹理贴图映射，得到待处理实例纹理模型；再次使用预设超分网络对待处理实例纹理模型进行图像处理，得到该单体实例模型对应的实例纹理模型。
在一种可能的实施方式中，多个城市构建要素包括第一类构建要素和第二类构建要素，第一类构建要素为由多个实例组成的要素，第二类构建要素为描述整个城市形态的全局性要素，每个单体实例模型是根据与第一类构建要素对应的单体点云数据来确定的，其中，方法还包括：根据第二类构建要素对应的单体点云数据，确定目标城市的地理信息模型，其中，通过以下方式形成目标城市的城市信息模型：根据各单体实例模型对应的实例纹理模型以及地理信息模型，形成城市信息模型。
在一种可能的实施方式中，第二类构建要素包括地形要素，其中，通过以下方式获得地形要素对应的地理信息模型：根据目标城市的城市点云数据和正射影像，确定进行地形模拟的目标抑制区域图像；根据目标抑制区域图像，确定地形要素对应的单体点云数据；将地形要素对应的单体点云数据进行倒置处理，并对倒置处理后的结果进行地形模拟，确定目标城市的地理信息模型。
在一种可能的实施方式中，根据目标城市的城市点云数据和正射影像，确定进行地形模拟的目标抑制区域图像的步骤包括：使用第二预设图像语义分割网络，对城市点云数据进行分类处理，并将分类处理后的城市点云数据正射投影至预设平面，得到城市点云数据的二维特征图像；使用第三预设图像语义分割网络，识别目标城市的正射影像中的抑制区域，确定待处理抑制区域图像；根据二维特征图像和待处理抑制区域图像，确定进行目标城市的地形模拟的目标抑制区域图像。
在一种可能的实施方式中，根据地形模拟的目标抑制区域图像，确定地形要素对应的单体点云数据的步骤包括：针对目标抑制区域图像中的每个像素点：确定该像素点对应的像素通道值；判断该像素点对应的像素通道值是否处于黑色范围区间；若该像素点对应的像素通道值处于黑色范围区间，则将该像素点对应的城市点云数据中的点添加到地形要素对应的单体点云数据中；若该像素点对应像素通道值处于白色范围区间，则获取该像素点的邻近点集合，将邻近点集合中具备最小像素通道值的点添加到地形要素对应的单体点云数据中。
在一种可能的实施方式中，将地形要素对应的单体点云数据进行倒置处理，并对倒置处理后的结果进行地形模拟，确定目标城市的地理信息模型的步骤包括：获取用于进行地形模拟的布料；对布料进行初始化，并将地形要素对应的单体点云数据进行倒置处理；将初始化后的布料置于倒置后的地形要素对应的单体点云数据的上方；根据布料的预设重力系数、预设布料弹力系数进行对倒置后的地形要素对应的单体点云数据进行布料掉落物理模拟；根据布料掉落物理模拟的过程中布料网格的变化，对地形要素对应的单体点云数据进行拟合，以确定目标城市的地理信息模型。
第二方面，本申请实施例还提供一种城市信息模型的构建装置，构建装置包括：第一分割模块，用于按照多个城市构建要素对目标城市的城市点云数据进行要素分割，确定与每个城市构建要素对应的多个单体点云数据；第二分割模块，用于针对每个单体点云数据，按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获得多个平面区域，并根据多个平面区域之间的连接性，形成该单体点云数据对应的单体实例模型；纹理映射模块，用于针对每个单体实例模型，使用包含该单体实例模型对应的实物的多张卫星图片进行纹理贴图映射，以获得该单体实例模型对应的实例纹理模型；模型创建模块，用于根据所获得的多个实例纹理模型，形成目标城市的城市信息模型。
本申请实施例提供了一种城市信息模型的构建方法及装置，涉及图像处理技术领域，包括：按照多个城市构建要素对目标城市的城市点云数据进行要素分割，确定与每个城市构建要素对应的多个单体点云数据；针对每个单体点云数据，按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获得多个平面区域，并根据多个平面区域之间的连接性，形成该单体点云数据对应的单体实例模型；针对每个单体实例模型，使用包含该单体实例模型对应的实物的多张卫星图片进行纹理贴图映射，以获得该单体实例模型对应的实例纹理模型；根据所获得的多个实例纹理模型，形成目标城市的城市信息模型。通过本申请的方法，简化了多要素构建城市信息模型的过程。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种城市信息模型的构建方法的流程图；
图2示出了本申请实施例所提供的一种城市信息模型的构建方法的功能模块示意图；
图3示出了本申请实施例提供的一种确定地理信息模型的步骤的流程图；
图4示出了本申请实施例提供的一种确定地理信息模型的功能示意图；
图5示出了本申请实施例提出的一种部分区域布料异常掉落的示意图；
图6示出了本申请实施例提供的一种城市信息模型的构建装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
现有技术中针对不同的要素模型构建所涉及的不同类型的数据源，往往需要分别建立不同的构建方法以完成对不同要素模型的构建，且各要素彼此之间的模型构建方法并不统一，增加了基于多要素构建城市信息模型的复杂程度。
基于此，本申请实施例提供了一种城市信息模型的构建方法，通过本申请的方法，简化了多要素构建城市信息模型的过程，具体如下：
请参阅图1，图1示出了本申请实施例所提供的一种城市信息模型的构建方法的流程图。如图1所示，本申请实施例提供的构建方法，包括以下步骤：
S100、按照多个城市构建要素对目标城市的城市点云数据进行要素分割，确定与每个城市构建要素对应的多个单体点云数据。
具体的，多个城市构建要素包括但不限于以下项中至少一项：地形要素、水域要素、建筑要素以及植被要素，其中，按照多个城市构建要素对目标城市的城市点云数据进行区域分割，确定与每个城市构建要素对应的多个实例单体点云数据的步骤包括：
获取目标城市的多张卫星图片。
在一优选实施例中，请参阅图2，图2示出了本申请实施例所提供的一种城市信息模型的构建方法的功能模块示意图，具体的，如图2所示，在现有数据不包含目标城市的城市点云数据时，需要获取目标城市的多张卫星图片，并基于多张卫星图片进行三维重建，以确定目标城市的城市点云数据，其中，多张卫星图片为目标城市的多张不同角度的图片。
其中，三维重建包括特征匹配以及点云重建两部分。
具体的，针对多张卫星图片，可以先利用SIFT特征匹配算法以及对极约束条件等对多张卫星图片I中的像素点进行特征匹配，并根据每张卫星图片中各像素点对应的特征信息，确定每张卫星图片对应的相机的内外参数以及各像素点对应的世界坐标，然后，利用MVS（Multiple View Stereo，多视角立体视觉）等相应技术，进行目标城市的点云重建，即可恢复较为稠密的目标城市的城市点云数据，基于多张卫星图片重建城市点云数据的过程可以通过现有来源软件实现，例如colmap等。
在具体实施中，如图2所示，在获取到目标城市的城市点云数据后，需要对城市点云数据进行点云分割，其中，点云分割包括多光谱图像分割以及PointNet点云分割。
针对每张卫星图片，使用第一预设图像语义分割网络，按照多个城市构建要素对该张卫星图片进行像素级分割，获得该张卫星图片对应的分割结果图，对各卫星图片对应的分割结果图进行融合，确定融合分割结果。
在一具体实施例中，多光谱图像分割采用第一预设图像语义分割网络，即将多张卫星图片分别输入第一预设图像语义分割网络，以通过第一预设图像语义分割网络对每张卫星图片进行像素级分割，获取分割后的多张分割结果图，具体的，可以通过以下公式确定融合分割结果图：
在该公式中，
表示融合分割结果图，
表示第m张卫星图片，
表示使用第一预设图像语义分割网络S对第m张卫星图片进行分割后得到的分割结果图，其中，
，其中，
表示卫星图片的数量，
表示对多张分割结果图进行融合处理，获取融合分割结果图
。
将城市点云数据正射投影至融合分割结果图，以将城市点云数据参照融合分割结果图分割为与每个城市构建要素对应的多个单体点云数据。
在一具体实施例中，根据获取到的城市点云数据以及融合分割结果图，采用PointNet点云分割，具体的，将城市点云数据正射投影至融合分割结果图上，即可实现按照多个城市构建要素对城市点云数据进行要素分割,获取每个城市构建要素对应的多个单体点云数据，例如，针对城市构建要素
，其中，
∈（地形要素、水域要素、建筑要素以及植被要素），i指示了具体的城市构建要素，按照要素实例
获取对应的单体点云数据
，其中，
表示第i类城市构建要素中第j个要素实例，
，其中，
表示第i类城市构建要素中要素实例的个数，例如i表示建筑要素，那么，
即表示建筑要素中的第j栋建筑，i表示树木要素，那么，
即表示植被要素中的第j个树木。
返回图1，S200、针对每个单体点云数据，按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获得多个平面区域，并根据所述多个平面区域之间的连接性，形成该单体点云数据对应的单体实例模型。
在一优选实施例中，如图2所示，在对城市点云数据进行点云分割获取每个城市构建要素对应的多个单体点云数据后，基于每个城市构建要素对应的多个单体点云数据，构建与每个单体点云数据对应的单体实例模型，其中通过以下方式确定每个单体点云数据对应的单体实例模型：
按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获取多个平面区域，其中，每个平面区域包含属于同一平面的点。
在一优选实施例中，可以通过以下公式获取每个单体点云数据分割后的多个平面区域：
在该公式中，
表示对第i类城市构建要素的第j个要素实例对应的单体点云数据
按照各点所属的平面进行区域分割，
表示单体点云数据
分割后得到的第
个平面区域，其中，
，
表示单体点云数据
分割后得到的平面区域的数量。
针对每个平面区域，通过预设平面拟合模型对该平面区域内的多个点进行平面拟合，确定该平面区域对应的拟合平面，根据各拟合平面之间的连接性关系，确定各拟合平面之间连接过渡的平滑损失，结合各拟合平面的独立参数损失以及各拟合平面之间连接过渡的平滑损失，建立该单体实例模型的目标损失函数，根据目标损失函数，确定各平面区域对应的最优拟合平面，由所确定的各最优拟合平面形成该单体点云数据对应的单体实例模型。
在一具体实施例中，通过以下公式确定各平面区域对应的最优拟合平面：
在该公式中，
表示目标损失函数，
表示单体点云数据
分割后得到的第
个平面区域
对应的拟合平面，
表示拟合平面
对应的独立参数损失，
表示独立参数损失
对应的权重，
表示拟合平面
对应的平面间的连接性关系，
表示拟合平面
对应的之间连接过渡的平滑损失，
表示
对应的权重。
在该公式中，
表示求解最小目标损失函数，以获取单体点云数据
对应的
个最优拟和平面，根据所确定的各最优拟合平面形成该单体点云数据对应的单体实例模型。
返回图1，S300、针对每个单体实例模型，使用包含该单体实例模型对应的实物的多张卫星图片进行纹理贴图映射，以获得该单体实例模型对应的实例纹理模型。
在一具体实施例中，如图2所示，在获取到多个单体实例模型后，需要对每个单体实例模型进行纹理贴图映射，以获取各单体实例模型对应的实例纹理模型，其中，通过以下方式获得每个单体实例模型对应的要素实例纹理模型：
使用预设超分网络分别对包含该单体实例模型对应的实物的多张卫星图片进行图像处理，得到处理后的多张卫星图片，使用处理后的多张卫星图片对该单体实例模型进行纹理贴图映射，得到待处理实例纹理模型，再次使用预设超分网络对待处理实例纹理模型进行图像处理，得到该单体实例模型对应的实例纹理模型。
在一优选实施例中，针对获取到的单体实例模型，先根据每张卫星图片对应的相机的内外参数以及单体实例模型中各点对应的地理坐标，将单体实例模型中各点对应的地理坐标转换为WGS84坐标，其中，预设超分网络用于提高图像的质量。
在一具体实施例中，基于卫星图像的获取方式，很难获取到高精度卫星图像，用于成像的卫星常常在离地150-1500千米的高空中，再高清的摄像头也很难清晰的拍摄出地表的全貌，同时，天气、角度、光照等因素也会让图片的呈现大有不同，本申请采用预设超分网络模型，该预设超分网络以BSRGAN为参考，以低分辨率-高分辨率图像作为图像数据集的数据标签进行对抗训练，让预设超分网络模型学习到图像超分的能力，同时为了降低天气、角度、光照等因素造成的卫星影像的差异对后续模型生成的影响，会对数据集中输入图像进行数据增强，包括但不限于滤波、灰度变换、颜色对比度变换等，于是，对于原始卫星图像，经过预设超分网络模型，可以得到其真实高分辨率的图像，将这些提高后的卫星图像作为输入，即可得到纹理贴图映射后的待处理实例纹理模型。
对于每个待处理实例纹理模型，虽然已经对原始卫星图像进行了质量提升，但由于多张卫星图像的均衡，依然会导致待处理实例纹理模型较为模糊，因此，本申请再次对待处理实例纹理模型进一步使用预设超分网络模型进行图像质量提升，其中，本申请针对待处理实例纹理模型各面的法向量进行聚类，选最大类别为主方向，其他方向依次确定进行截图，最后将待处理实例纹理模型送入预设超分网络模型，即可得到高分辨率的单体实例模型。
使用以下公式对单体实例模型进行纹理贴图映射：
在该公式中，
表示单体点云数据
对应的单体实例模型，使用预设超分网络
表示预设超分网络，
表示处理后的多张卫星图片I，
表示使用处理后的多张卫星图片I对单体实例模型
进行纹理贴图映射，得到待处理实例纹理模型，
表示使用预设超分网络
对待处理实例纹理模型再次进行图像质量提升，最终获得高精度的单体实例模型
。
返回图1，S400、根据所获得的多个实例纹理模型，形成目标城市的城市信息模型。
在一具体实施例中，在获取到目标城市的城市信息模型后，还可以使用进行异常检测的神经网络模型，对目标城市不同时间的卫星图片进行实时识别，识别出相对于当前城市信息模型具有变化部分的卫星图片，然后使用具备变化部分的卫星图片，执行上述步骤S100~步骤S400，以步骤城市变化，完成对城市信息模型的修正。
在一优选实施例中，多个城市构建要素包括第一类构建要素和第二类构建要素，第一类构建要素为由多个实例组成的要素，第二类构建要素为描述整个城市形态的全局性要素，每个单体实例模型是根据与第一类构建要素对应的单体点云数据来确定的，
其中，本申请的构建方法还包括：
根据第二类构建要素对应的单体点云数据，确定目标城市的地理信息模型，其中，通过以下方式形成目标城市的城市信息模型：
根据各单体实例模型对应的实例纹理模型以及地理信息模型，形成城市信息模型。
在一优选实施例中，第二类构建要素包括地形要素，请参阅图3，图3示出了本申请实施例提供的一种确定地理信息模型的步骤的流程图，请参阅图4，图4示出了本申请实施例提供的一种确定地理信息模型的功能示意图，如图3和图4所示，通过以下方式获得地形要素对应的地理信息模型：
S510、根据目标城市的城市点云数据和正射影像，确定进行地形模拟的目标抑制区域图像。
具体的，请参阅图5，图5示出了本申请实施例提出的一种部分区域布料异常掉落的示意图，如图5所示，采用布料模拟的方法对目标城市进行地形模拟，对于布料模拟的方法，受布料M的弹性限制，在对目标城市的大而平的区域DSM进行布料模拟时，例如厂房以及林区所在的区域，由于布料弹性、张力不足，布料受重力影像有所下坠，针对于此类问题，在使用布料模拟建立地理信息模型过程中，对布料进行一定弹性抑制。
具体的，如图4所示，根据目标城市的城市点云数据和正射影像，确定进行地形模拟的目标抑制区域图像的步骤包括：
使用第二预设图像语义分割网络，对城市点云数据进行分类处理，并将分类处理后的城市点云数据正射投影至预设平面，得到城市点云数据的二维特征图像。
在一优选实施例中，第二预设图像语义分割网络可以为PointNet等神经网络，针对城市点云数据，可以使用PointNet神经网络模型进行分类，将城市点云数据中每点对应的图像特征通过正射投影至xy平面，得到二维特征图像
∈
，其中，
和
分别对应目标城市的正射影像的高和宽。
使用第三预设图像语义分割网络，识别目标城市的正射影像中的抑制区域，确定待处理抑制区域图像。
在一优选实施例中，第三预设图像语义分割网络可以为PointRender神经网络模型，对于目标城市的正射影像，使用预设的PointRender神经网络模型，按像素点对正射影像中的建筑、林区等对布料模拟存在抑制作用的区域进行识别，得到待处理抑制区域图像
∈ 
，这里，考虑到PointRender神经网络模型对与图像识别推理的不稳定性，在PointRender神经网络模型中设置置信度阈值，保留置信度高的建筑、林区作为待处理抑制区域图像。
根据二维特征图像和待处理抑制区域图像，确定进行目标城市的地形模拟的目标抑制区域图像。
在一具体实施例中，在获取到二维特征图像和待处理抑制区域图像后，同时对二维特征图像和待处理抑制区域图像进行腐蚀操作并进行交集处理，以确定进行目标城市的地形模拟的目标抑制区域图像。
通过以下公式确定进行目标城市的地形模拟的目标抑制区域图像：
在该公式中，
表示地形模拟的目标抑制区域图像，
表示待处理抑制区域图像，
表示腐蚀操作后的待处理抑制区域图像，
表示二维特征图像，
表示腐蚀操作后的二维特征图像，
表示获取腐蚀操作后的待处理抑制区域图像与腐蚀操作后的二维特征图像的交集，
表示对所述交集进行腐蚀处理，得到地形模拟的目标抑制区域图像。
返回图3和图4，S520、根据目标抑制区域图像，确定地形要素对应的单体点云数据。
优选地，如图4所示，在获取目标抑制区域图像后，根据目标抑制区域图像进行抑制区填充，以获取地形要素对应的单体点云数据。
根据目标抑制区域图像，进行抑制区填充，以确定地形要素对应的单体点云数据的步骤包括：
针对目标抑制区域图像中的每个像素点：确定该像素点对应的像素通道值，判断该像素点对应的像素通道值是否处于黑色范围区间，若该像素点对应的像素通道值处于黑色范围区间，则将该像素点对应的城市点云数据中的点添加到地形要素对应的单体点云数据中，若该像素点对应像素通道值处于白色范围区间，则获取该像素点的邻近点集合，将邻近点集合中具备最小像素通道值的点添加到地形要素对应的单体点云数据中。
在一具体实施例中，可以通过以下公式确定地形要素对应的单体点云数据：
在该公式中，
表示地形要素对应的单体点云数据，
中的每点由
确定，其中
是目标抑制区域图像
中的像素点，针对目标抑制区域图像
中的像素点
，判断像素点
的像素通道值，
表示此像素点
为黑色，
表示此像素点
为白色，若
，则将像素点
添加至
，若
，则获取
，其中，
表示距离像素点
距离小于距离阈值
的像素点，
表示从距离像素点
距离小于距离阈值
的像素点中选取像素通道值最接近于黑色的邻近点，则将该邻近点
添加至
。
S530、将地形要素对应的单体点云数据进行倒置处理，并对倒置处理后的结果进行地形模拟，确定目标城市的地理信息模型。
在一优选实施例中，步骤S530包括：
获取用于进行地形模拟的布料，对布料进行初始化，并将地形要素对应的单体点云数据进行倒置处理，将初始化后的布料置于倒置后的地形要素对应的单体点云数据的上方，根据布料的预设重力系数、预设布料弹力系数进行对倒置后的地形要素对应的单体点云数据进行布料掉落物理模拟，
根据布料掉落物理模拟的过程中布料网格的变化，对地形要素对应的单体点云数据进行拟合，以确定目标城市的地理信息模型。
在一优选实施例中，初始化后的布料M，布料M重力系数记为g，布料弹力系数记为t，可以通过以下公式确定目标城市的地理信息模型：
在该公式中，
表示布料模拟过程中, 重力系数记为g、布料弹力系数记为t时，T时刻下的布料M，
表示布料模拟时间变化量。
当布料模拟的时刻T大于预设时间阈值，获取目标城市的地理信息模型，或
时，即布料M的网格粒度变化小于进行抑制区填充的距离阈值
时，确定目标城市的地理信息模型。
基于同一申请构思，本申请实施例中还提供了与上述实施例提供的城市信息模型的构建方法对应的城市信息模型的构建装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的构建方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图6，图6示出了本申请实施例提供的一种城市信息模型的构建装置的结构示意图，如图6所示，构建装置包括：
第一分割模块610，用于按照多个城市构建要素对目标城市的城市点云数据进行要素分割，确定与每个城市构建要素对应的多个单体点云数据；
第二分割模块620，用于针对每个单体点云数据，按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获得多个平面区域，并根据多个平面区域之间的连接性，形成该单体点云数据对应的单体实例模型；
纹理映射模块630，用于针对每个单体实例模型，使用包含该单体实例模型对应的实物的多张卫星图片进行纹理贴图映射，以获得该单体实例模型对应的实例纹理模型；
模型创建模块640，用于根据所获得的多个实例纹理模型，形成目标城市的城市信息模型。
基于同一申请构思，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如上述实施例中任一所述的城市信息模型的构建方法的步骤。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的城市信息模型的构建方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种城市信息模型的构建方法，其特征在于，所述方法包括：
按照多个城市构建要素对目标城市的城市点云数据进行要素分割，确定与每个城市构建要素对应的多个单体点云数据；
针对每个单体点云数据，按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获得多个平面区域，并根据所述多个平面区域之间的连接性，形成该单体点云数据对应的单体实例模型；
针对每个单体实例模型，使用包含该单体实例模型对应的实物的多张卫星图片进行纹理贴图映射，以获得该单体实例模型对应的实例纹理模型；
根据所获得的多个实例纹理模型，形成目标城市的城市信息模型。
2.根据权利要求1所述的方法，其特征在于，按照多个城市构建要素对目标城市的城市点云数据进行区域分割，确定与每个城市构建要素对应的多个实例单体点云数据的步骤包括：
获取目标城市的多张卫星图片；
针对每张卫星图片，使用第一预设图像语义分割网络，按照多个城市构建要素对该张卫星图片进行像素级分割，获得该张卫星图片对应的分割结果图；
对各卫星图片对应的分割结果图进行融合，确定融合分割结果图；
将所述城市点云数据正射投影至所述融合分割结果图，以将所述城市点云数据参照所述融合分割结果图分割为与每个城市构建要素对应的多个单体点云数据。
3.根据权利要求1所述的方法，其特征在于，通过以下方式确定每个单体点云数据对应的单体实例模型：
按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获取多个平面区域，其中，每个平面区域包含属于同一平面的点；
针对每个平面区域，通过预设平面拟合模型对该平面区域内的多个点进行平面拟合，确定该平面区域对应的拟合平面；
根据各拟合平面之间的连接性关系，确定各拟合平面之间连接过渡的平滑损失；
结合各拟合平面的独立参数损失以及各拟合平面之间连接过渡的平滑损失，建立该单体实例模型的目标损失函数；
根据所述目标损失函数，确定各平面区域对应的最优拟合平面；
由所确定的各最优拟合平面形成该单体点云数据对应的单体实例模型。
4.根据权利要求1所述的方法，其特征在于，通过以下方式获得每个单体实例模型对应的要素实例纹理模型：
使用预设超分网络分别对包含该单体实例模型对应的实物的多张卫星图片进行图像处理，得到处理后的多张卫星图片；
使用处理后的多张卫星图片对该单体实例模型进行纹理贴图映射，得到待处理实例纹理模型；
再次使用预设超分网络对所述待处理实例纹理模型进行图像处理，得到该单体实例模型对应的实例纹理模型。
5.根据权利要求2所述的方法，其特征在于，所述多个城市构建要素包括第一类构建要素和第二类构建要素，第一类构建要素为由多个实例组成的要素，第二类构建要素为描述整个城市形态的全局性要素，每个单体实例模型是根据与第一类构建要素对应的单体点云数据来确定的，
其中，所述方法还包括：
根据第二类构建要素对应的单体点云数据，确定目标城市的地理信息模型，
其中，通过以下方式形成目标城市的城市信息模型：
根据各单体实例模型对应的实例纹理模型以及地理信息模型，形成所述城市信息模型。
6.根据权利要求2所述的方法，其特征在于，第二类构建要素包括地形要素，
其中，通过以下方式获得地形要素对应的地理信息模型：
根据目标城市的城市点云数据和正射影像，确定进行地形模拟的目标抑制区域图像；
根据所述目标抑制区域图像，确定地形要素对应的单体点云数据；
将地形要素对应的单体点云数据进行倒置处理，并对倒置处理后的结果进行地形模拟，确定目标城市的地理信息模型。
7.根据权利要求6所述的方法，其特征在于，根据所述目标城市的城市点云数据和正射影像，确定进行地形模拟的目标抑制区域图像的步骤包括：
使用第二预设图像语义分割网络，对所述城市点云数据进行分类处理，并将分类处理后的城市点云数据正射投影至预设平面，得到城市点云数据的二维特征图像；
使用第三预设图像语义分割网络，识别所述目标城市的正射影像中的抑制区域，确定待处理抑制区域图像；
根据所述二维特征图像和所述待处理抑制区域图像，确定进行目标城市的地形模拟的目标抑制区域图像。
8.根据权利要求6所述的方法，其特征在于，根据所述目标抑制区域图像，确定地形要素对应的单体点云数据的步骤包括：
针对目标抑制区域图像中的每个像素点：
确定该像素点对应的像素通道值；
判断该像素点对应的像素通道值是否处于黑色范围区间；
若该像素点对应的像素通道值处于黑色范围区间，则将该像素点对应的城市点云数据中的点添加到地形要素对应的单体点云数据中；
若该像素点对应像素通道值处于白色范围区间，则获取该像素点的邻近点集合，将所述邻近点集合中具备最小像素通道值的点添加到地形要素对应的单体点云数据中。
9.根据权利要求6所述的方法，其特征在于，将地形要素对应的单体点云数据进行倒置处理，并对倒置处理后的结果进行地形模拟，确定目标城市的地理信息模型的步骤包括：
获取用于进行地形模拟的布料；
对所述布料进行初始化，并将地形要素对应的单体点云数据进行倒置处理；
将初始化后的布料置于倒置后的地形要素对应的单体点云数据的上方；
根据布料的预设重力系数、预设布料弹力系数进行对倒置后的地形要素对应的单体点云数据进行布料掉落物理模拟；
根据布料掉落物理模拟的过程中布料网格的变化，对地形要素对应的单体点云数据进行拟合，以确定目标城市的地理信息模型。
10.一种城市信息模型的构建装置，其特征在于，所述构建装置包括：
第一分割模块，用于按照多个城市构建要素对目标城市的城市点云数据进行要素分割，确定与每个城市构建要素对应的多个单体点云数据；
第二分割模块，用于针对每个单体点云数据，按照该单体点云数据中各点所属的平面对该单体点云数据进行区域分割，获得多个平面区域，并根据所述多个平面区域之间的连接性，形成该单体点云数据对应的单体实例模型；
纹理映射模块，用于针对每个单体实例模型，使用包含该单体实例模型对应的实物的多张卫星图片进行纹理贴图映射，以获得该单体实例模型对应的实例纹理模型；
模型创建模块，用于根据所获得的多个实例纹理模型，形成目标城市的城市信息模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210677015.6A CN114758087B (zh) | 2022-06-16 | 2022-06-16 | 一种城市信息模型的构建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210677015.6A CN114758087B (zh) | 2022-06-16 | 2022-06-16 | 一种城市信息模型的构建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114758087A true CN114758087A (zh) | 2022-07-15 |
| CN114758087B CN114758087B (zh) | 2022-09-02 |
Family
ID=82336191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210677015.6A Active CN114758087B (zh) | 2022-06-16 | 2022-06-16 | 一种城市信息模型的构建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114758087B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437372A (zh) * | 2023-12-20 | 2024-01-23 | 中国电子科技集团公司第十五研究所 | 塔台模拟用三维视景地形图处理方法、服务器及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120041722A1 (en) * | 2009-02-06 | 2012-02-16 | The Hong Kong University Of Science And Technology | Generating three-dimensional models from images |
| CN110570428A (zh) * | 2019-08-09 | 2019-12-13 | 浙江合信地理信息技术有限公司 | 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及系统 |
| CN112287138A (zh) * | 2020-10-15 | 2021-01-29 | 广州市城市规划勘测设计研究院 | 一种城市信息模型的组织调度方法、装置和设备 |
| CN112489099A (zh) * | 2020-12-11 | 2021-03-12 | 北京航空航天大学 | 点云配准方法、装置、存储介质及电子设备 |
| CN114359476A (zh) * | 2021-12-10 | 2022-04-15 | 浙江建德通用航空研究院 | 一种用于城市峡谷环境导航的动态3d城市模型构建方法 |
-
2022
- 2022-06-16 CN CN202210677015.6A patent/CN114758087B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120041722A1 (en) * | 2009-02-06 | 2012-02-16 | The Hong Kong University Of Science And Technology | Generating three-dimensional models from images |
| CN110570428A (zh) * | 2019-08-09 | 2019-12-13 | 浙江合信地理信息技术有限公司 | 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及系统 |
| CN112287138A (zh) * | 2020-10-15 | 2021-01-29 | 广州市城市规划勘测设计研究院 | 一种城市信息模型的组织调度方法、装置和设备 |
| CN112489099A (zh) * | 2020-12-11 | 2021-03-12 | 北京航空航天大学 | 点云配准方法、装置、存储介质及电子设备 |
| CN114359476A (zh) * | 2021-12-10 | 2022-04-15 | 浙江建德通用航空研究院 | 一种用于城市峡谷环境导航的动态3d城市模型构建方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437372A (zh) * | 2023-12-20 | 2024-01-23 | 中国电子科技集团公司第十五研究所 | 塔台模拟用三维视景地形图处理方法、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114758087B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220028163A1 (en) | Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images | |
| CN108648270B (zh) | 实时同步定位与地图构建的无人机实时三维场景重建方法 | |
| US8253797B1 (en) | Camera image georeferencing systems | |
| CN109598794B (zh) | 三维gis动态模型的构建方法 | |
| CA3030513A1 (en) | Automated roof surface measurement from combined aerial lidar data and imagery | |
| CN110110621B (zh) | 基于多特征整合深度学习模型的倾斜摄影点云分类方法 | |
| CN110866531A (zh) | 一种基于三维建模的建筑物特征提取方法、系统及存储介质 | |
| WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
| CA2702729A1 (en) | Geospatial modeling system and related method using multiple sources of geographic information | |
| CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
| KR100904078B1 (ko) | 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법 | |
| CN115082699B (zh) | 一种轮廓形状提取方法、装置、电子设备及存储介质 | |
| Guo et al. | Extraction of dense urban buildings from photogrammetric and LiDAR point clouds | |
| CN114758087B (zh) | 一种城市信息模型的构建方法及装置 | |
| CN114332134B (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
| KR102587445B1 (ko) | 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 | |
| Zeng | Automated Building Information Extraction and Evaluation from High-resolution Remotely Sensed Data | |
| CN111127474B (zh) | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统 | |
| Rumpler et al. | Rapid 3d city model approximation from publicly available geographic data sources and georeferenced aerial images | |
| Ariff et al. | Exploratory study of 3D point cloud triangulation for smart city modelling and visualization | |
| Yu et al. | Advanced approach for automatic reconstruction of 3d buildings from aerial images | |
| do Rosário Vong | Digital Multispectral Map Reconstruction Using Aerial Imagery | |
| CN114943711A (zh) | 基于LiDAR点云和影像的建筑物提取方法和系统 | |
| CN117830991A (zh) | 一种基于多模融合的四足机器人复杂场景感知方法及系统 | |
| Sakurada | Four-dimensional City Modeling using Vehicular Imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231027 Address after: Building 5, Niujiahou River, 100 meters east of Bijia Village, Beizhai Street, Laoshan District, Qingdao City, Shandong Province, 266000 Patentee after: Qingdao Saab Weitong Technology Co.,Ltd. Address before: Room 1008, 10th floor, building 16, yard 30, Shixing street, Shijingshan District, Beijing 100049 Patentee before: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD. Patentee before: BIM WINNER (SHANGHAI) TECHNOLOGY Co.,Ltd. Patentee before: SHENZHEN BIM WINNER TECHNOLOGY Co.,Ltd. Patentee before: Yingjia Internet (Beijing) Smart Technology Co.,Ltd. Patentee before: Foshan Yingjia Smart Space Technology Co.,Ltd. Patentee before: SHENZHEN QIANHAI YINGJIA DATA SERVICE Co.,Ltd. Patentee before: JIAXING WUZHEN YINGJIA QIANZHEN TECHNOLOGY Co.,Ltd. Patentee before: Shandong Jiaying Internet Technology Co.,Ltd. |