CN112000758B

CN112000758B - 一种三维城市建筑构建方法

Info

Publication number: CN112000758B
Application number: CN202010865491.1A
Authority: CN
Inventors: 廖闻剑; 张明月; 王立群; 朱和军; 王康; 林岩
Original assignee: Nanjing Fiberhome Telecommunication Technologies Co ltd
Current assignee: Nanjing Fiberhome Telecommunication Technologies Co ltd
Priority date: 2020-08-25
Filing date: 2020-08-25
Publication date: 2023-07-07
Anticipated expiration: 2040-08-25
Also published as: CN112000758A

Abstract

本发明公开了一种三维城市建筑构建方法，属于三维城市建筑构建技术领域，具体五个部分：图像轮廓提取，高度预测网络，建筑信息匹配，矢量数据渲染；一键式生成为了能够高效、实时并更加准确的自动识别出城市的建筑物信息，并实现了一键化三维构建操作流程。根据国家地理信息公共服务平台上公开的的卫星图数据，可以全面覆盖国内每个城市，自动更新三维效果。

Description

一种三维城市建筑构建方法

技术领域

本发明属于三维城市建筑构建技术领域，尤其涉及一种三维城市建筑构建方法。

背景技术

随着覆盖全球的卫星影像数据的开放，可以直观展示出各城市的地理图像，而在二维彩色图像上，无法直接获取卫星图中的城市信息，比如城市建筑的覆盖率、建筑高度分布情况、建筑使用属性分布情况等。因此，市面上有厂商针对三维城市地图的绘制产品(3DMap of the City)，如百度、高德。

目前市面上已有的三维地图识别产品存在着以下四点缺陷：

(1)成本高：城市中建筑物的高度信息需要人工采集，在面对大量建筑群乃至全国覆盖范围的卫星图时，需要大量的人力来支撑。不具有大量人力资源时，则需要第三方购买地图数据，维护成本高。

(2)准确性无保障：根据对不同厂商的数据调研显示，三维城市地图存在大量建筑高度与实际不匹配甚至差距甚远的情况。

(3)城市覆盖面少：只覆盖主要城市，存在部分非主城地区的偏远城市三维地图构建数据的缺失。

(4)实时性差：城市建筑群一直处于不断发展迭代的过程，人工标注三维地图，无法做到数据的实时更新。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供一种三维城市建筑构建方法，为了能够高效、实时并更加准确的自动识别出城市的建筑物信息，根据国家地理信息公共服务平台上公开的的卫星图数据，可以全面覆盖国内每个城市，自动更新三维效果。

本发明为解决上述技术问题采用以下技术方案：

一种三维城市建筑构建方法,具体包含如下步骤；

步骤1，图像轮廓提取，具体如下：

步骤1.1，从国家地理信息公共服务平台获取城市的彩色卫星图像，切割成多个572*572的小图像块；

步骤1.2，将步骤1.1中切割后的图像块作为输入，输入至Unet分割网络，经过多个由两个3*3的卷积层和2*2的池化层组成的下采样模块进行图像的特征提取，将提取的特征上采样，通过1*1的卷积得到期望的类别数，此类别即为图像块上每个像素点的类别；

步骤1.3，将步骤1.2中得到的每个图像块的像素点类别结果可视化在二值图像上，拼接所有图像块的二值图得到完整的城市卫星图的建筑物识别结果；

步骤1.4，使用图像处理openCV中的轮廓检测算法，提取步骤1.3中输出图像的建筑边缘轮廓，输出轮廓的指定组织信息，并结合图像的开闭合处理和噪声处理技术剔除识别中的噪声块、平滑边缘轮廓；

步骤2，高度预测网络，具体如下：

步骤2.1，将步骤1中获得的建筑轮廓存储为矢量数据，根据矢量数据在卫星图上绘制出建筑块轮廓，经过多次外扩比例调整实验，统计出能够包含大部分建筑的最合理的外扩比例，按照这个比例外扩后，在卫星图上切割出独立的建筑块；

步骤2.2，将步骤2.1中切割的包含建筑的卫星图像块调整为224*224固定大小，输入到vgg16、resnet50和resnet101的这三个神经网络提取图像特征，经过三个网络模型分别输出高度概率值，三个概率值取平均后对应的高度值作为各建筑块的输出；

步骤3，建筑高度信息匹配，具体如下：

步骤3.1，结合文字识别技术，识别出地图上的建筑名称；

步骤3.2，转换识别出的建筑矢量数据中的像素坐标为经纬度坐标；

步骤3.3，爬取多个楼盘网站的真实信息，将获取的建筑真实信息与步骤3.1中识别的建筑名称进行匹配，若建筑名称在网站中存在，替换该建筑的高度值为网站高度数据，反之各建筑的高度为步骤2.2中预测的高度作为结果；

步骤4，矢量数据渲染，具体如下：

步骤4.1，加入视觉展示技术，根据识别的建筑矢量信息，前端界面绘制三维的立体效果图，并在图上展示出建筑的详细信息，可动态缩放、移动、拖拽，提升用户体验；

步骤5，一键式生成，具体如下：

步骤5.1，将卫星图、瓦片图的网页获取操作步骤转换成自动获取整合步骤1至步骤4，封装成一个完整的模块，可实现输入城市名称后，自动保存预测的矢量数据，并一键式输出城市的三维立体图。

作为本发明一种三维城市建筑构建方法的进一步优选方案，在步骤1.4中，轮廓检测算法提取的建筑边缘会出现锯齿现象，结合图像的开闭合处理和噪声处理技术剔除识别中的噪声块、平滑边缘轮廓，具体方法如下：

步骤1.41，统计某一建筑块所有的边缘像素点所在夹角的角度；

步骤1.42，判断是否存在连续两个及以上的点所在角的角度在100～180之间，若存在，则继续判断夹角所在两边长度是否都在5个像素点长度内；

步骤1.43，合并满足步骤1.42的所有连续点。

作为本发明一种三维城市建筑构建方法的进一步优选方案，在步骤2.2中，高度预测网络的主体部分采用resnet50网络。

作为本发明一种三维城市建筑构建方法的进一步优选方案，所述文字识别技术采用烽火自研OCR文字识别技术。

作为本发明一种三维城市建筑构建方法的进一步优选方案，所述视觉展示技术采用烽火自研三维地图前端展示技术。

作为本发明一种三维城市建筑构建方法的进一步优选方案，在步骤1.4中，采用Image Contour Extraction图像轮廓提取算法。

作为本发明一种三维城市建筑构建方法的进一步优选方案，在步骤1.4中，采用Canny边缘提取算法。

作为本发明一种三维城市建筑构建方法的进一步优选方案，建筑轮廓提取和高度预测模块可以直接用卫星图实现，通过语义分割方法，直接预测出建筑轮廓和高度值。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明实时、高效，可以做到根据卫星图的变化实时更新构建地图场景，无需人工校验，无需向第三方购买城市建筑数据，只依赖于国家地理信息公共服务平台的公开卫星数据，大大节省了成本；

2、本发明的匹配矫正机制，加入了真实建筑数据的矫正机制，使输出的建筑更加符合实际；

3、本发明多城市覆盖，能够绘制全国任何城市的三维建筑地图，包括城镇、乡村地区；

4、本发明一键式操作，输入城市名称后直接输出对应城市的三维地图动态效果图，无需任何其他操作。

附图说明

图1是本发明一键式生成三维地图组织架构；

图2是本发明建筑区域识别过程示意图；

图3是本发明建筑区域识别结果可视化效果图；

图4是本发明消除建筑轮廓的锯齿前后示意图；

图5是本发明识别的带锯齿的建筑图和经过平滑处理技术后的建筑对比示意图；

图6是本发明卫星图切割效果图；

图7是本发明卫星图高度预测过程示意图；

图8是本发明立体渲染效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种三维城市建筑构建技术，FH-3D-Map-Rendering技术流程如下图1所示，主要分为五个部分，具体包含如下步骤；

步骤1，图像轮廓提取，具体如下：

步骤1.2，将步骤1.1中切割后的图像块作为输入，输入至Unet分割网络，经过多个由两个3*3的卷积层和2*2的池化层组成的下采样模块进行图像的特征提取，将提取的特征上采样，最后通过1*1的卷积得到期望的类别数，此类别即为图像块上每个像素点的类别；如图2所示。

步骤1.3，将步骤1.2中得到的每个图像块的像素点类别结果可视化在二值图像上，拼接所有图像块的二值图得到完整的城市卫星图的建筑物识别结果；如图3所示。

在步骤1.5中，轮廓检测算法提取的建筑边缘会出现锯齿现象，结合图像的开闭合处理和噪声处理技术剔除识别中的噪声块、平滑边缘轮廓，如图4所示，具体方法如下：

步骤1.51，统计某一建筑块所有的边缘像素点所在夹角的角度；

步骤1.52，判断是否存在连续两个及以上的点所在角的角度在100～180之间，若存在，则继续判断夹角所在两边长度是否都在5个像素点长度内；

步骤1.53，如图5所示，合并满足步骤1.52的所有连续点。

步骤2，高度预测网络，具体如下：

步骤2.1，根据步骤1中获得的建筑轮廓存储为矢量数据，根据矢量数据在卫星图上绘制出建筑块轮廓，经过多次外扩比例调整实验，统计出能够包含大部分建筑的最合理的外扩比例，按照这个比例外扩后，在卫星图上切割出独立的建筑块；如图6所示。

步骤2.2，将步骤2.1切割的包含建筑的图像块调整为224*224固定大小，输入到vgg16、resnet50和resnet101的这三个神经网络提取图像特征，经过三个网络模型分别输出高度概率值，三个概率值取平均后对应的高度值作为各建筑块的输出；基础网络结构如图7所示。

步骤3，建筑高度信息匹配，具体如下：

步骤3.1，结合文字识别技术，识别出地图上的建筑名称；

步骤3.3，爬取多个楼盘网站的真实信息，将获取的建筑真实信息与步骤3.1中识别的建筑名称进行匹配，若建筑名称在网站中存在，因为算法模型预测值可能出现错误，网站数据更准确，替换该建筑的高度值为网站高度数据，反之各建筑的高度为步骤2.2中预测的高度作为结果；

步骤4，矢量数据渲染，如图8所示，具体如下：

步骤5，一键式生成，具体如下：

本发明实时、高效，可以做到根据卫星图的变化实时更新构建地图场景，无需人工校验，无需向第三方购买城市建筑数据，只依赖于国家地理信息公共服务平台的公开卫星数据，大大节省了成本。

匹配矫正机制，加入了真实建筑数据的矫正机制，使输出的建筑更加符合实际。

多城市覆盖，能够绘制全国任何城市的三维建筑地图，包括城镇、乡村地区。

一键式操作，输入城市名称后直接输出对应城市的三维地图动态效果图，无需任何其他操作。

其中，FH-3D-Map-Rendering是烽火独家研发的深度学习三维城市建筑构建技术，并基于大量城市卫星图样本数据进行了专项提升。测试表明，FH-3D-Map-Rendering对于不同地区的卫星数据预测效果良好，可以一键化生成三维效果，并且可以根据卫星图的变化实时更新，使得建筑信息更加准确。

ICE(Image Contour Extraction)图像轮廓提取算法：二值图像处理后，结合边缘锯齿和尖角平滑处理得到矢量数据，切割出的建筑块边缘更贴合实际。

CNH(Classification Net of Height)高度预测模型：不依赖于人工采集，结合深度学习技术，只需要在卫星图上有效预测出每个建筑块的高度信息。

结合互联网中采集的真实建筑信息，在建筑轮廓和预测的高度矢量数据上，补充完善建筑的名称、类别等属性。

矢量数据一键式渲染，无需其他操作，前端界面一键式绘制出城市建筑的三维立体地图。

另外图像轮廓提取方法可以Canny边缘提取算法提取建筑的边缘，可作为替代方案。

建筑轮廓提取和高度预测模块可以直接用卫星图实现，通过语义分割方法，直接预测出建筑轮廓和高度值，可作为替代方案。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种三维城市建筑构建方法，其特征在于：具体包含如下步骤；

步骤1，图像轮廓提取，具体如下：

步骤2，高度预测网络，具体如下：

步骤3，建筑高度信息匹配，具体如下：

步骤3.1，结合文字识别技术，识别出地图上的建筑名称；

步骤4，矢量数据渲染，具体如下：

步骤5，一键式生成，具体如下：

2.根据权利要求1所述的一种三维城市建筑构建方法，其特征在于：在步骤1.4中，轮廓检测算法提取的建筑边缘会出现锯齿现象，结合图像的开闭合处理和噪声处理技术剔除识别中的噪声块、平滑边缘轮廓，具体方法如下：

步骤1.43，合并满足步骤1.42的所有连续点。

3.根据权利要求1所述的一种三维城市建筑构建方法，其特征在于：在步骤2.2中，高度预测网络的主体部分采用resnet50网络。

4.根据权利要求1所述的一种三维城市建筑构建方法，其特征在于：在步骤1.4中，采用Canny边缘提取算法。

5.根据权利要求1所述的一种三维城市建筑构建方法，其特征在于：建筑轮廓提取和高度预测模块可以直接用卫星图实现，通过语义分割方法，直接预测出建筑轮廓和高度值。