CN113920266B - 城市信息模型语义信息人工智能生成方法和系统 - Google Patents

城市信息模型语义信息人工智能生成方法和系统 Download PDF

Info

Publication number
CN113920266B
CN113920266B CN202111295082.3A CN202111295082A CN113920266B CN 113920266 B CN113920266 B CN 113920266B CN 202111295082 A CN202111295082 A CN 202111295082A CN 113920266 B CN113920266 B CN 113920266B
Authority
CN
China
Prior art keywords
remote sensing
image
model
information
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111295082.3A
Other languages
English (en)
Other versions
CN113920266A (zh
Inventor
刘俊伟
王娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terry Digital Technology Beijing Co ltd
Original Assignee
Terry Digital Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terry Digital Technology Beijing Co ltd filed Critical Terry Digital Technology Beijing Co ltd
Priority to CN202111295082.3A priority Critical patent/CN113920266B/zh
Publication of CN113920266A publication Critical patent/CN113920266A/zh
Application granted granted Critical
Publication of CN113920266B publication Critical patent/CN113920266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种城市信息模型语义信息人工智能生成方法和系统，具体包括S1根据预先获取的遥感影像图，激光扫描点云数据和DSM数据，生成多层三维模型:S2使用人工智能模型获取所述多层三维模型的各特征几何面所对应的模型对象的三种语义信息，即标识信息、几何信息、材质信息；S3将所述三种语义信息与对应的特征几何面进行结合，生成城市信息模型。本发明实施例提供的语义信息人工智能生成方法，形成丰富的通过遥感图像、点云图和DSM影像三合一数字地图，采用人工智能识别建筑轮廓同时对建筑的名称、定位以及屋顶材质进行识别，采用基于遥感影像图的分块处理的提取轮廓思想，整体上提高了建筑轮廓的提取效率。系统能够针对城市生成独立的多个建筑特征几何面，借助特征几何面能方便客户获取语义信息，无需手动量测或借助其他工具进行再加工，简化了操作工序，节约了用户的时间，提高了用户的体验度。

Description

城市信息模型语义信息人工智能生成方法和系统
技术领域
本发明涉及三维建模技术领域，为201711171196.0的系列申请，具体而言，涉及一种城市信息模型语义信息自动生成方法和系统。
背景技术
随着城市信息化进程不断推进、地理信息技术与智慧城市的推动，三维模型以及其应用越来越广泛。目前三维模型应用的模式主要为:第一，获取不同形式的数据源:第二，建立三维模型:第三，根据需要对模型挂接属性:第四，三维模型的应用与分析。其中，建立的三维模型本身具有可量测性，可以通过模型浏览器或者数据平台的量测工具手动量测。模型上挂接属性一般是通过另外的软件工具对模型进行再处理后获得属性与实际目标模型的关联，关联后数据的应用方式多为在浏览器中可视化查询。
现有的模型语义信息表达方式多为在己建成的三维模型上通过进一步处理来获取相关属性，应用中至少存在以下问题:第一，通过二次处理获取属性信息，实际模型上并没有记录这些语义信息，用户若想获取这些信息，只能在第三方浏览器或平台上进行手动测量，数据应用的过程繁琐；第二，若为倾斜摄影测量建模方式获取的数据，由该数据得到的模型的表面为一个连续面，无法单独定义每个对象的属性；第三,即便生成语义信息也需要分别获取才能与原三维模型结合,如果换一个城市模型,有需要重新获取语义信息,涉及到重新测量以及重新计算,对于众多建筑的城市来说任务是繁重的；第四，现有技术的数字地图只有单一技术生成的数字地图，比如基于遥感图像，基于点云数据等，不能从多个技术角度去形成城市数字地图，不能为后续分析研究提供丰富的技术手段。
发明内容
针对上述现有技术中存在的问题，本发明提供了一种城市信息模型的语义信息人工智能生成方法和系统，方便了用户后续对建筑信息的分析和应用。本发明激光扫描点云数据和DSM数据分别与激光扫描点云图和DSM影像是等价的描述。本发明所述的地理范围不同是指对比的两个图像数据之间没有一个像素点的在城市中位置是相同的。
第一方面，本发明实施例提供了一种城市信息模型语义信息人工智能生成方法，包括:
S1根据预先获取的遥感影像图，激光扫描点云数据和DSM数据，生成多层三维模型:
S2使用人工智能模型获取所述多层三维模型的各特征几何面所对应的模型对象的三种语义信息，即标识信息、几何信息、材质信息；
S3将所述三种语义信息与对应的特征几何面进行结合，生成城市信息模型。
关于S1
S1具体包括
S1-1获取至少一个城市的多组建模用数据，组内包括地理范围相同的遥感影像图，激光扫描点云数据和DSM数据三类数据，且至少两组间包括的遥感影像图，激光扫描点云数据和DSM数据三类数据来自的地理范围不同，并确立每个组内地理范围相同的遥感影像图，激光扫描点云数据和DSM数据三类数据之间统一的地理坐标系；
S1-2将所述多组建模用数据分为训练集、验证集以及测试集，并分别将训练集、验证集以及测试集中每组内的遥感影像图，激光扫描点云数据和DSM数据按坐标系配准生成多层三维模型；
S1-3基于所述多幅遥感影像图建立城市道路网模型m。
S1-1中确立多幅遥感影像图，激光扫描点云数据和DSM数据之间统一的多个地理坐标系具体包括：
在存在完整的预定标准建筑的1组内的1幅遥感影像图，1幅激光扫描点云图和1幅DSM影像中建立统一的城市地理坐标系E，所有剩余的多幅遥感影像图，激光扫描点云数据和DSM数据组成每组三幅图的多个图组，根据地理正北向而确定每一图组中1幅遥感影像图、相应的1幅激光扫描点云图以及DSM影像中具有相同原点的统一的坐标系E(i)，i＝1,2,…，N(可以加Z轴形成立体坐标系)，N为遥感影像图、激光扫描点云图以及DSM影像的图组序号。
优选地，所述预定标准建筑具有矩形的屋顶边框，并且选择其中一个顶点在地面的垂直投影作为坐标原点O，以其中一边在地面的垂直投影作为X轴，另一边在地面的垂直投影作为Y轴，形成地面平面直角坐标系E(也可加Z轴形成立体坐标系E)。更优选地，所述X轴指向正东方，Y轴正北方。
所述根据地理正北向而确定的每一图组中1幅遥感影像图、相应的1幅激光扫描点云图以及DSM影像中具有相同原点的统一的坐标系E(i)，i＝1,2,…，N，具体包括确定坐标系E的X轴与正北向之间的夹角α，将坐标系E原点放置到每一图组中的1幅遥感影像图、相应的1幅激光扫描点云图以及相应的1幅DSM影像中在E下相同的预设点上，并调整X轴指向使其与正北向之间的夹角为α，得到每一图组中的1幅遥感影像图、1幅激光扫描点云图以及相应的1幅DSM影像中统一X轴指向的多个坐标系E(i)，i＝1,2,…，N。优选地，当E的所述X轴指向正东方，Y轴指向正北方时，调整X轴指向正东方或调整Y轴指向正北方。
S1-2中将所述多组建模用数据分为训练集、验证集以及测试集的比例为100-50：10-5:3-1，优选为50:9:1，此时多组建模用数据中每一组中的遥感影像图、激光扫描点云图以及DSM影像都包含有所建立的坐标系；
其中，分别将训练集、验证集以及测试集中每组内的遥感影像图，激光扫描点云数据和DSM数据按坐标系配准生成多层目标模型的三维几何结构具体包括：将多组建模用数据每一组中的遥感影像图、激光扫描点云图以及DSM影像之间的坐标系重合，即生成多层目标模型的三维几何结构。
S1-3具体包括：
S1-3-1建立城市地理坐标系E，XOY平面代表地面，在每一幅城市遥感影像图中，利用RNN循环神经网络算法，通过包括编码器以及解码器的节点生成器生成道路连续节点，并在生成过程中连接生成前后的两个节点，将新的生成节点输入节点生成器不断产生新的节点，而继续连接产生的新节点，如此循环而连接成道路网；
S1-3-2将道路网中的所有线条按照预设的宽度w进行扩宽，形成具有一定宽度的道路宽线条，从而获得城市道路网模型，其中w按照所述遥感影像图中对应的道路宽度进行扩宽，优选地，w为所述遥感影像图中所有道路宽度平均值的0.5-1.5倍，更优选地，对于机动车道路、非机动车道路为0.5-1倍、人行道路为1-1.5倍。对于建筑附近的空地或广场则使用人工标记其远离上述道路的最外边缘的轮廓将其合并入道路模型m中。
可以理解的是，人行道路应当包括城市中的街道、非机动车道旁的步行道、小区或厂房企业等建筑群区域内部的可以供人或路面交通工具或作业任务工具(如轮式机械车、消防车、救护车、警车等)行走的路，或者建筑附近的空地或广场，以及河道。
在一个实施例中，扩宽是以生成路网的线条为中轴线向两边扩宽。
关于S2
使用人工智能模型获取所述三维模型的各特征几何面所对应的模型对象的三种语义信息，即标识信息、几何信息、材质信息；
具体包括：
S2-1获取训练集中多层三维模型的每一遥感影像图层中预定数量的屋顶内部且靠近(例如距离轮廓上一点的距离为该轮廓点与轮廓几何中心或质心之前距离的三分之一以内)轮廓处的像素RGB三色值，并将每一所述遥感影像图层分成多个分块；
S2-2通过聚类算法获得不同屋顶材质的RGB三色值分类聚类图，对于每个分块，将三值不在城市屋顶的RGB三值的聚类内的RGB设置为第一灰度值或彩色值，剩余部分都设置为另一不同值的第二灰度值或彩色值，或将三值在城市屋顶的RGB三值的聚类中的RGB三值，以及虽都在聚类外，但与聚类中的每一点距离(即
Figure GDA0003816526100000031
)中最小者在阈值范围内的RGB三值都设置为第一灰度值或彩色值，剩余部分都设置为另一不同值的第二灰度值或彩色值，以形成二值化图，优选地，所述阈值范围为0-25，或者，
将RGB三值至少一者不在屋顶的RGB分布范围内，且与范围中数值的差值最小者超过预设阈值都设为第一灰度值或彩色值，剩余部分都设置为另一不同值的第二灰度值或彩色值。优选地，所述阈值范围为25-254；
对于分块的思想的一个优势在于能够利用计算机针对每个分块同时处理，而比先前的滑移扫描更为节省人工扫描，处理效率更高，且能够保证算法的可靠性。因为滑移过程中需要进行轮廓的二值化计算，因此滑移速度和计算速度之间额外形成匹配问题，尽管滑移扫描能够任意选择性形成轮廓的优势，对于感兴趣的区域重点研究能够灵活地处理。
S2-3利用边缘检测识别出二值化图中的轮廓，优选地，所述边缘检测包括canny边缘检测或Sobel边缘检测，或者逐点扫描确定轮廓，具体包括：
对二值化图中每一像素进行逐行扫描，当遇到RGB三值突变像素点时即将该像素点设定为轮廓点，从而遍历所有像素点完成建筑轮廓的确定；
优选地，将确定的轮廓点设定为采用第三灰度或彩色值。
S2-4在得到二值化图之后，进行去二值化处理而恢复遥感影像图部分而保留已识别的轮廓，并扣除城市道路网模型m中被识别的轮廓，则剩余的轮廓所框定的范围即为特征几何面，最终训练集中每一所述遥感影像图层形成具有建筑轮廓的特征图PFOI。
可以理解的是，在城市道路中的部分可能存在车辆或其他具有框的物体，可能被误识别为建筑轮廓，这部分轮廓在进行扣除后即可得到剩余的纯建筑轮廓。
对于建筑屋顶内部，一般都是均匀同材质的，因此内部可以近似视作RGB三值相等，而对轮廓外的部分，一般为道路、绿化带、以及其中的人和物，其材质构成与建筑屋顶材质差别较大，因此其材质可见光谱差别大，反映在RGB三值上也有大的区别，从而能够基于二值化和边缘检测，高效地将每隔T时间的滑移框中的存在轮廓及其内部建筑屋顶的部分一次性予以识别出，而不再使用人工网络进行特征识别，只需要通过滑移就能在历经的区域中识别出屋顶及轮廓(轮廓粗提过程)。由于屋顶RGB三值都取自靠近轮廓边缘处，因此能够准确反映轮廓附近的RGB值，为二值化提供较为准确的分割阈值。
对于聚类算法，由于屋顶的材质成分分类比较明确，如混凝土、砖瓦、琉璃、陶瓷、高分子材料、沥青等等。一般各自有各自的行业标准。因此，这些材料对于同一城市反映在RGB上一般具有相对明显的高密度(即点之间离散度不高)聚类特性，因此聚类近似认为是RGB空间的球聚类。因而判断在不在聚类内部可以简化为根据与聚类中心，或近似的球心的距离来判断。当距离聚类中心或球心的距离大于聚类内部点距离聚类中心，或近似的球心的最大者时即认为不在聚类内。S2-5将PFOI输入RoiAlign层，并通过全连接层，得到当前预测框，利用验证集计算当前预测框和人工标记建筑轮廓轮廓误差损失，利用误差损失反向传播来调整网络参数，进行框回归对预测结果进行修正，当损失值变化率
Figure GDA0003816526100000041
趋于预设阈值thres范围(thres＜2-5％)内时，认为已经训练完毕，将步骤S2-1-S2-4作为PFOI层和训练完毕的RoiAlign层、全连接层构成人工智能模型M。
S2-6将测试集中的多层三维模型的遥感影像图层输入建立的人工智能模型M的PFOI层在全连接层输出端即获得预测的轮廓P，连同P内部即构成预测的特征几何面A，将特征几何面A输入预建的屋顶材料分类模型Sf得到遥感影像图层的材质信息，而特征几何面A的顶点在图层中所建的坐标系或E下的坐标作为几何信息，并以建筑的名称、特征几何面A中预设点在图层中所建的坐标系或E下的坐标、建筑分类中的至少两种作为标识信息。
关于S3
S3具体包括:
S3-1根据测试集中多层三维模型中的遥感影像图层、激光扫描点云图层、DSM影像层中的任一者中的所有特征几何面A的距离或高程信息而将所有特征几何面A沿着在图层中所建的坐标系或E的Z轴方向平移到相应的高度H；
S3-2在平移后的所有特征几何面A建立数据库，使得当多层三维模型显示时能够使得鼠标移到任一特征几何面A上或点击任一特征几何面A时就能够显示出该任一特征几何面A的标识信息、几何信息、材质信息，从而所述数据库连同人工智能模型M、屋顶材料分类模型Sf、多层三维模型共同生成城市信息模型CIM。
另一方面，本发明还提供一种实现上述方法的城市信息模型语义信息人工智能生成系统，其特征在于，所述系统包括航空遥感系统，地面服务器，以及客户端，所述航空遥感系统与所述地面服务器之间，以及所述地面服务器和所述客户端之间能够数据通讯，其中，
所述航空遥感系统包括，卫星定位装置，卫星遥感影像拍摄装置，航空LIDAR点云系统，DSM扫描系统，以及遥感红外拍摄装置，分别实现同步对地面可见光波段遥感影像图、航空LIDAR点云数据、DSM数据的获取，以及用于预建屋顶材料分类模型Sf的遥感红外图以及红外光谱的采集，
所述地面服务器用于生成城市信息模型CIM，并根据用户的请求而将城市信息模型CIM发送给用户，
所述客户端能够对接收到的所述城市信息模型CIM进行展示。
第三方面，本发明还提供一种非暂时性存储介质，其中存储有可由地面服务器运行而实现前述城市信息模型语义信息人工智能生成方法的计算机可读程序。
有益效果：
1.通过遥感图像、点云图和DSM影像形成多层三维模型，丰富了数字地图的运用手段，
2.采用人工智能识别建筑轮廓同时对建筑的名称、定位以及屋顶材质进行识别，方便了城市建筑信息的获取，
3.采用基于遥感影像图的分块处理的提取轮廓思想，利用屋顶像素RGB值作为阈值而二值化图像后边缘识别产生轮廓边界，整体上提高了建筑轮廓的提取效率。
附图说明
图1为实施例1本发明建立遥感影像图、激光扫描点云图、DSM影像图中统一的多个坐标系的以及建立建模所需样本集的流程图，
图2为本发明遥感影像图层，激光扫描点云图层和DSM影像层生成多层三维模型的配准过程图，
图3a对城市路网提取的RNN循环神经网络算法流程以及城市路网生成过程示意图，
图3b为示例性地给出了每隔20次节点生成循环下，总共100次节点生成循环的路网生成过程，
图4为图3b中生成好的城市路网圆圈范围内的局部路网扩宽示意图，
图5为图2中遥感影像图层分成16个分块的效果图，
图6混凝土和黑瓦的RGB聚类结果图，
图7利用人工智能模型M识别图2中遥感影像图层建筑轮廓结果图，图8城市信息模型CIM建立过程图，
图9客户移动智能手机能够对接收到的所述城市信息模型CIM进行展示示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述。
实施例1
S1-1在54000个晴天早间时刻里，每个时刻都同步获取城市A的1幅遥感影像图，1幅相应的激光扫描点云图，以及1幅相应的DSM影像图，共54000×3个图像数据，形成多组建模用数据。其中有10组之间的建模用数据来自不同的城市A的地理范围(即获取数据来自城市A的不同的区域)。
如图1，其中存在1幅完整的具有矩形的屋顶边框市政大楼的遥感影像图、相应的1幅相应的激光扫描点云图，以及相应的1幅相应的DSM影像；
在1幅完整的具有矩形的屋顶边框市政大楼的遥感影像图、相应的1幅相应的激光扫描点云图，以及相应的1幅相应的DSM影像中具有矩形的屋顶边框市政大楼的一个屋顶顶点在图像中地面的投影作为坐标原点O，以屋顶的一边在地面的垂直投影作为X轴，另一边在地面的垂直投影作为Y轴，形成地面平面直角坐标系E。所有剩余的多幅遥感影像图、相应的多幅激光扫描点云图、DSM影像图组成的每组三幅图的5399个图组。
确定坐标系E与正北向之间的夹角α，将坐标系E原点放置到每一图组中的1幅遥感影像图、1幅激光扫描点云图、1幅DSM影像图中在E下相同的1幅遥感影像图中心对应点上(即1幅航空LIDAR点云图、1幅遥感红外图中相同的这一点都与1幅遥感影像图中心对应点相对应，属于E下的同一个位置点)，并调整X轴指向使其与正北向之间的夹角为α，得到每一图组中的1幅遥感影像图、1幅激光扫描点云图、1幅DSM影像图中统一X轴指向的多个坐标系E(i)，i＝1,2,…，N；
S1-2将54000×3个建立了坐标系的图像分为训练集、验证集以及测试集的比例为50:9:1(所有过程如图1所示)。
分别将训练集、验证集以及测试集中组内的遥感影像图，激光扫描点云图和DSM影像按坐标系配准生成多层三维模型，具体包括：将训练集、验证集以及测试集中的遥感影像图、相应的激光扫描点云图和相应的DSM影像按各自的坐标系E1的Z轴重合而使得X轴(右指向)重合，并将所述遥感影像图和DSM影像映射到相应的激光扫描点云数据中，形成遥感影像图层，激光扫描点云图层和DSM影像层生成多层三维模型(如图2所示，只展示了测试集中一组建模用数据的俯视的扫描结果未给出高度数据)。
S1-3如图3a利用RNN循环神经网络算法，定义步长l(根据道路总长而在1-5m中选择)以及矢量方向r作为属性矢量V，将每个起始节点以及K条入射路经方向
Figure GDA0003816526100000061
，
Figure GDA0003816526100000062
的点作为输入点(K个点与对应的起始点之间对应了K个初始属性矢量)，将K+1个输入点以及属性矢量V输入编码器，由解码器生成新节点；具体是对于每一个起始点的每一个方向的输入点
Figure GDA0003816526100000063
，对应了在E下的坐标
Figure GDA0003816526100000064
，属性矢量V对应于坐标增量
Figure GDA0003816526100000065
，其中t表示当前输入点的序号(对于起始点为0，对于第一个新的输入点为1)，将该坐标和属性矢量V输入编码器，解码器将出射在E下生成的新节点
Figure GDA0003816526100000066
，其中
Figure GDA0003816526100000067
，
Figure GDA0003816526100000068
。图3b中示例性地给出了每隔20次节点生成循环下，总共100次节点生成循环的路网生成过程；
如图4为图3b中圆圈范围内的局部路网扩宽示意图。将图3b的局部路网按照预设的宽度w以生成路网的线条为中轴线向两边进行扩宽，形成具有一定宽度的道路宽线条，从而获得城市A道路网模型，其中w为所述遥感图像中所有道路宽度平均值的1.1倍。对于建筑附近的空地或广场则使用人工标记其远离道路的扩宽的最外边缘的轮廓将其合并入道路模型中。
实施例2
S2-1获取训练集中多层三维模型的每一所述遥感影像图层中预定数量的屋顶内部且靠近(例如距离轮廓上一点的距离为该轮廓点与轮廓几何中心之前距离的三分之一以内)轮廓处的像素RGB三色值，并将每一所述遥感影像图层分成多个分块。如图5所示将图2中遥感影像图层分成16个分块，每个分块边界附近尽可能没有与之大致平行的建筑轮廓。这里需要注意的是分块为矩形而不一定需要等分。
S2-2通过聚类算法获得不同屋顶材质(含广场地面)RGB三色值分类(典型RGB值参见表1)的聚类图(如图6所示意混凝土和黑瓦)。
表1各类屋顶材质典型RGB值
Figure GDA0003816526100000071
对于每个分块，将三值不在城市屋顶的RGB三值的聚类内的RGB设置为第一灰度值，剩余部分都设置为另一不同值的第二灰度值，或将三值在城市屋顶的RGB三值的聚类中的RGB三值，以及虽都在聚类外，但与聚类中的每一点距离(即
Figure GDA0003816526100000072
)中最小者在阈值范围内的RGB三值都设置为第一灰度值，剩余部分都设置为另一不同值的第二灰度值，以形成二值化图，所述阈值为5。
S2-3利用边缘检测识别出二值化图中的轮廓，具体包括：
对二值化图中每一像素进行逐行扫描，当遇到RGB三值突变像素点时即将该像素点设定为轮廓点，从而遍历初始滑移矩形框F中所有像素点完成在T时刻的建筑轮廓的确定；将确定的轮廓点设定为采用第三灰度值。
S2-4在得到二值化图之后，进行去二值化处理而恢复遥感影像图部分而保留已识别的轮廓，并扣除城市道路网模型m中被识别的轮廓，则剩余的轮廓所框定的范围即为特征几何面，最终训练集中每一幅所述遥感影像图形成具有建筑轮廓的特征图PFOI。
S2-5将来自不同地理范围的PFOI输入RoiAlign层，并通过全连接层，得到当前预测框，利用验证集计算前预测框和人工标记建筑轮廓轮廓误差损失，利用误差损失反向传播来调整网络参数，进行框回归对预测结果进行修正，当损失值变化率
Figure GDA0003816526100000073
，趋于预设阈值thres范围(thres＜2％)内时，认为已经训练完毕，将步骤S2-1-S2-4作为PFOI层和训练完毕的RoiAlign层、全连接层构成人工智能模型M。
S2-6将测试集中的多层三维模型的遥感影像图层输入建立的人工智能模型M的PFOI层在全连接层输出端即获得预测的轮廓P，如图7所示。
其中仅有对于部分反射太阳光较强烈的屋顶的轮廓并未识别，因此考虑在多云天气时采集图像能够进一步避免反光而实现全建筑的轮廓识别。
连同P内部即构成预测的特征几何面A，将特征几何面输入预建的屋顶材料分类模型Sf得到遥感影像图层的材质信息，而特征几何面A的顶点在图层中所建的坐标系的坐标作为几何信息，并以建筑的名称、特征几何面A中预设点在图层中所建的坐标系或E下的坐标、建筑分类中的至少两种作为标识信息。
实施例3
S3具体包括:
S3-1根据测试集中多层三维模型中的遥感影像图层中的所有特征几何面A的距离信息而将所有特征几何面A沿着在图层中所建的坐标系的Z轴方向平移到相应的高度H，
S3-2在平移后的所有特征几何面A建立数据库，使得当多层三维模型显示时能够使得鼠标移到任一特征几何面A上或点击任一特征几何面A时就能够显示出该任一特征几何面A的标识信息、几何信息、材质信息，从而连同人工智能模型M、屋顶材料分类模型Sf、多层三维模型共同生成城市信息模型CIM(过程如图8所示)。
实施例4
一种实现上述方法的城市信息模型语义信息人工智能生成系统，其特征在于，包括所述系统包括航空遥感系统，地面服务器，以及客户端，所述航空遥感系统与所述地面服务器之间，以及所述地面服务器和所述客户端之间能够数据通讯，其中，
所述航空遥感系统包括，卫星定位装置，卫星遥感影像拍摄装置，航空LIDAR点云系统，DSM扫描系统，以及遥感红外拍摄装置，分别实现同步对地面可见光波段遥感影像图、航空LIDAR点云数据、DSM数据的获取，以及用于预建屋顶材料分类模型Sf的遥感红外图以及红外光谱的采集，
所述地面服务器用于生成城市信息模型CIM，并根据用户的请求而将城市信息模型CIM发送给用户，
所述客户端能够对接收到的所述城市信息模型CIM进行展示(如图9所示移动智能手机端中的显示)。
相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种城市信息模型语义信息人工智能生成方法，其特征在于，包括:
S1根据预先获取的遥感影像图，激光扫描点云数据和DSM数据，生成多层三维模型；
S2使用人工智能模型获取所述多层三维模型的各特征几何面所对应的模型对象的三种语义信息，即标识信息、几何信息、材质信息；
S3将所述三种语义信息与对应的特征几何面进行结合，生成城市信息模型；
S1具体包括：
S1-1获取至少一个城市的多组建模用数据，组内包括地理范围相同的遥感影像图，激光扫描点云数据和DSM数据三类数据，且至少两组间包括的遥感影像图，激光扫描点云数据和DSM数据三类数据来自的地理范围不同，并确立每个组内地理范围相同的遥感影像图，激光扫描点云数据和DSM数据三类数据之间统一的地理坐标系；
S1-2将所述多组建模用数据分为训练集、验证集以及测试集，并分别将训练集、验证集以及测试集中每组内的遥感影像图，激光扫描点云数据和DSM数据按坐标系配准生成多层三维模型；
S1-3基于多幅遥感影像图建立城市道路网模型m；
S1-1中确立每个组内地理范围相同的遥感影像图，激光扫描点云数据和DSM数据三类数据之间统一的地理坐标系具体包括：
在存在完整的预定标准建筑的1组内的1幅遥感影像图，1幅激光扫描点云图和1幅DSM影像中建立统一的城市地理坐标系E，所有剩余的多幅遥感影像图，激光扫描点云数据和DSM数据组成每组三幅图的多个图组，根据地理正北向而确定每一图组中1幅遥感影像图、1幅激光扫描点云图以及1幅DSM影像中具有相同原点的统一的坐标系E(i)，i＝1,2,…，N，N为遥感影像图、激光扫描点云图以及DSM影像的图组序号；所述预定标准建筑具有矩形的屋顶边框，并且选择其中一个顶点在地面的垂直投影作为坐标原点O，以其中一边在地面的垂直投影作为X轴，另一边在地面的垂直投影作为Y轴，形成地面平面直角坐标系E，或者所述X轴指向正东方，Y轴指向正北方；
根据地理正北向而确定每一图组中1幅遥感影像图、相应的1幅激光扫描点云图以及DSM影像中具有相同原点的统一的坐标系E(i)，i＝1,2,…，N，具体包括确定坐标系E的X轴与正北向之间的夹角α，将坐标系E原点放置到每一图组中的1幅遥感影像图、相应的1幅激光扫描点云图以及相应的1幅DSM影像中在E下相同的预设点上，并调整X轴指向使其与正北向之间的夹角为α，得到每一图组中的1幅遥感影像图、1幅激光扫描点云图以及相应的1幅DSM影像中统一X轴指向的多个坐标系E(i)，i＝1,2,…，N；
S1-2中将所述多组建模用数据分为训练集、验证集以及测试集的比例为100-50：10-5:3-1，此时多组建模用数据中每一组中的遥感影像图、激光扫描点云图以及DSM影像都包含有所建立的坐标系；
其中，分别将训练集、验证集以及测试集中每组内的遥感影像图，激光扫描点云数据和DSM数据按坐标系配准生成多层目标模型的三维几何结构具体包括：
将多组建模用数据每一组中的遥感影像图、激光扫描点云图以及DSM影像之间的坐标系重合，即生成多层目标模型的三维几何结构；
S1-3具体包括：
S1-3-1建立城市地理坐标系E，XOY平面代表地面，在每一幅城市遥感影像图中，利用RNN循环神经网络算法，通过包括编码器以及解码器的节点生成器生成道路连续节点，并在生成过程中连接生成前后的两个节点，将新的生成节点输入节点生成器不断产生新的节点，而继续连接产生的新节点，如此循环而连接成道路网；
S1-3-2将道路网中的所有线条按照预设的宽度w进行扩宽，形成具有一定宽度的道路宽线条，从而获得城市道路网模型，其中w按照所述遥感影像图中对应的道路宽度进行扩宽，对于建筑附近的空地或广场则使用人工标记其远离上述道路的最外边缘的轮廓将其合并入道路模型m中；
步骤S2具体包括：
S2-1获取训练集中多层三维模型的每一遥感影像图层中预定数量的屋顶内部且靠近轮廓处的像素RGB三色值，并将每一所述遥感影像图层分成多个分块；其中，靠近轮廓表示距离轮廓上一点的距离为该轮廓点与轮廓几何中心或质心之前距离的三分之一以内；
S2-2通过聚类算法获得不同屋顶材质的RGB三色值分类聚类图，对于每个分块，将三值不在城市屋顶的RGB三值的聚类内的RGB设置为第一灰度值或彩色值，剩余部分都设置为另一不同值的第二灰度值或彩色值，或将三值在城市屋顶的RGB三值的聚类中的RGB三值，以及虽都在聚类外，但与聚类中的每一点距离中最小者在阈值范围内的RGB三值都设置为第一灰度值或彩色值，剩余部分都设置为另一不同值的第二灰度值或彩色值，以形成二值化图，所述阈值范围为0-25，或者，
将RGB三值至少一者不在屋顶的RGB分布范围内，且与范围中数值的差值最小者超过预设阈值都设为第一灰度值或彩色值，剩余部分都设置为另一不同值的第二灰度值或彩色值，所述阈值范围为25-254；
S2-3利用边缘检测识别出二值化图中的轮廓；
S2-4在得到二值化图之后，进行去二值化处理而恢复遥感影像图部分而保留已识别的轮廓，并扣除城市道路网模型m中被识别的轮廓，则剩余的轮廓所框定的范围即为特征几何面，最终训练集中每一所述遥感影像图层形成具有建筑轮廓的特征图PFOI；
S2-5将PFOI输入RoiAlign层，并通过全连接层，得到当前预测框，利用验证集计算当前预测框和人工标记建筑轮廓轮廓误差损失，利用误差损失反向传播来调整网络参数，进行框回归对预测结果进行修正，当损失值变化率
Figure FDA0003800878360000021
趋于预设阈值thres范围，thres＜2％，这时，认为已经训练完毕，将步骤S2-1-S2-4作为PFOI层和训练完毕的RoiAlign层、全连接层构成人工智能模型M；
S2-6将测试集中的多层三维模型的遥感影像图层输入建立的人工智能模型M的PFOI层在全连接层输出端即获得预测的轮廓P，连同P内部即构成预测的特征几何面A，将特征几何面A输入预建的屋顶材料分类模型Sf得到遥感影像图层的材质信息，而特征几何面A的顶点在图层中所建的坐标系或E下的坐标作为几何信息，并以建筑的名称、特征几何面A中预设点在图层中所建的坐标系或E下的坐标、建筑分类中的至少两种作为标识信息。
2.根据权利要求1所述的方法，其特征在于，所述边缘检测包括canny边缘检测或Sobel边缘检测，或者逐点扫描确定轮廓；
所述逐点扫描确定轮廓具体包括：对二值化图中每一像素进行逐行扫描，当遇到RGB三值突变像素点时即将该像素点设定为轮廓点，从而遍历所有像素点完成建筑轮廓的确定；将确定的轮廓点设定为采用第三灰度或彩色值。
3.根据权利要求1所述的方法，其特征在于，S3具体包括:
S3-1根据测试集中多层三维模型中的遥感影像图层、激光扫描点云图层、DSM影像层中的任一者中的所有特征几何面A的距离或高程信息而将所有特征几何面A沿着在图层中所建的坐标系或E的Z轴方向平移到相应的高度H；
S3-2在平移后的所有特征几何面A建立数据库，使得当多层三维模型显示时能够使得鼠标移到任一特征几何面A上或点击任一特征几何面A时就能够显示出该任一特征几何面A的标识信息、几何信息、材质信息，从而所述数据库连同人工智能模型M、屋顶材料分类模型Sf、多层三维模型共同生成城市信息模型CIM。
4.一种实现如权利要求1-3中任一项所述方法的城市信息模型语义信息人工智能生成系统，其特征在于，所述系统包括航空遥感系统，地面服务器，以及客户端，所述航空遥感系统与所述地面服务器之间，以及所述地面服务器和所述客户端之间能够数据通讯，其中，
所述航空遥感系统包括，卫星定位装置；卫星遥感影像拍摄装置，实现对地面可见光波段遥感影像图的获取；航空LIDAR点云系统，实现对航空LIDAR点云数据的获取；DSM扫描系统，实现对DSM数据的获取；遥感红外拍摄装置，用于预建屋顶材料分类模型Sf的遥感红外图以及红外光谱的采集；
所述地面服务器用于生成城市信息模型CIM，并根据用户的请求而将城市信息模型CIM发送给用户，
所述客户端能够对接收到的所述城市信息模型CIM进行展示。
5.一种非暂时性存储介质，其中存储有可由地面服务器运行而实现如权利要求1-3中任一项所述方法的计算机可读程序。
CN202111295082.3A 2021-11-03 2021-11-03 城市信息模型语义信息人工智能生成方法和系统 Active CN113920266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111295082.3A CN113920266B (zh) 2021-11-03 2021-11-03 城市信息模型语义信息人工智能生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111295082.3A CN113920266B (zh) 2021-11-03 2021-11-03 城市信息模型语义信息人工智能生成方法和系统

Publications (2)

Publication Number Publication Date
CN113920266A CN113920266A (zh) 2022-01-11
CN113920266B true CN113920266B (zh) 2022-10-21

Family

ID=79245097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111295082.3A Active CN113920266B (zh) 2021-11-03 2021-11-03 城市信息模型语义信息人工智能生成方法和系统

Country Status (1)

Country Link
CN (1) CN113920266B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272591B (zh) * 2022-05-10 2023-09-05 泰瑞数创科技(北京)股份有限公司 基于三维语义模型的地理实体多形态表达方法
CN115641412B (zh) * 2022-05-13 2023-08-04 泰瑞数创科技(北京)股份有限公司 基于高光谱数据的三维语义地图的生成方法
CN114758086B (zh) * 2022-06-15 2022-08-30 盈嘉互联（北京）科技有限公司 一种城市道路信息模型的构建方法及装置
CN115115806B (zh) * 2022-08-30 2022-11-22 北京飞渡科技有限公司 一种基于单基元解析的屋顶参数化重构方法及系统
CN116310115B (zh) * 2023-03-17 2023-11-24 合肥泰瑞数创科技有限公司 一种基于激光点云构建建筑物三维模型的方法及系统
CN116152284B (zh) * 2023-04-20 2023-07-28 天津宜科自动化股份有限公司 一种激光轮廓传感器的分组扫描和推送方法
CN117237565B (zh) * 2023-09-27 2024-02-13 自然资源部国土卫星遥感应用中心 基于高分辨率卫星立体影像的建筑物白模制作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530326A (zh) * 2016-11-04 2017-03-22 中科宇图科技股份有限公司 基于影像纹理特征和dsm的变化检测方法
CN108038907A (zh) * 2017-11-21 2018-05-15 泰瑞数创科技(北京)有限公司 城市信息模型语义信息自动生成方法和系统
CN110687548A (zh) * 2019-10-25 2020-01-14 威海海洋职业学院 一种基于无人船的雷达数据处理系统
CN112084329A (zh) * 2020-07-31 2020-12-15 西安理工大学 一种针对实体识别和关系抽取任务的语义分析方法
CN113162240A (zh) * 2021-05-12 2021-07-23 泰瑞数创科技(北京)有限公司 城市信息模型的电力载波智能监测方法及其系统
CN113436319A (zh) * 2021-07-01 2021-09-24 泰瑞数创科技(北京)有限公司 一种城市室内三维语义模型的异形排列矩阵构建方法及其系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047695B (zh) * 2019-12-03 2020-11-10 中国科学院地理科学与资源研究所 一种城市群高度空间信息及等高线的提取方法
CN111383335B (zh) * 2020-03-05 2023-03-21 南京大学 一种众筹照片与二维地图结合的建筑物三维建模方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530326A (zh) * 2016-11-04 2017-03-22 中科宇图科技股份有限公司 基于影像纹理特征和dsm的变化检测方法
CN108038907A (zh) * 2017-11-21 2018-05-15 泰瑞数创科技(北京)有限公司 城市信息模型语义信息自动生成方法和系统
CN110687548A (zh) * 2019-10-25 2020-01-14 威海海洋职业学院 一种基于无人船的雷达数据处理系统
CN112084329A (zh) * 2020-07-31 2020-12-15 西安理工大学 一种针对实体识别和关系抽取任务的语义分析方法
CN113162240A (zh) * 2021-05-12 2021-07-23 泰瑞数创科技(北京)有限公司 城市信息模型的电力载波智能监测方法及其系统
CN113436319A (zh) * 2021-07-01 2021-09-24 泰瑞数创科技(北京)有限公司 一种城市室内三维语义模型的异形排列矩阵构建方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
机载LiDAR点云与遥感影像融合的地物分类技术研究;董保根;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20140115;第11-17、22-24、61-88页 *

Also Published As

Publication number Publication date
CN113920266A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN113920266B (zh) 城市信息模型语义信息人工智能生成方法和系统
US11995886B2 (en) Large-scale environment-modeling with geometric optimization
CN109598794B (zh) 三维gis动态模型的构建方法
Fruh et al. Constructing 3D city models by merging aerial and ground views
US20020147567A1 (en) Automated method for making a topographical model and related system
CN104123730A (zh) 基于道路特征的遥感影像与激光点云配准方法及系统
CN114241024B (zh) 基于滑动边缘检测的人工神经网络建筑物纹理贴图方法及其系统
Gao et al. Automatic extraction of pavement markings on streets from point cloud data of mobile LiDAR
CN107679458B (zh) 一种基于K-Means的道路彩色激光点云中道路标线的提取方法
Vetrivel et al. Segmentation of UAV-based images incorporating 3D point cloud information
Jiang et al. Low–high orthoimage pairs-based 3D reconstruction for elevation determination using drone
Jiang et al. Determination of construction site elevations using drone technology
Liu et al. A framework of road extraction from airborne lidar data and aerial imagery
Boonpook et al. UAV-based 3D urban environment monitoring
Zhu et al. Raster-Based Point Cloud Mapping of Defective Road Marking: Toward Automated Road Inspection via Airborne LiDAR
Baltsavias et al. Automated updating of road databases from aerial images
CN114187341B (zh) 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
Zhu et al. Potentials of RGB-D cameras in as-built indoor environment modeling
Zhu A pipeline of 3D scene reconstruction from point clouds
CN114187313B (zh) 基于滑动边缘检测的人工神经网络建筑物轮廓提取方法
Choi et al. Automatic Construction of Road Lane Markings Using Mobile Mapping System Data.
DEMIR Use of Airborne Laser Scanning Data and Image-based Three-dimensional (3-D) Edges for Automated Planar Roof Reconstruction.
JP7541866B2 (ja) 地物推定装置、及び地物推定方法
de Paz Mouriño et al. Multiview rasterization of street cross-sections acquired with mobile laser scanning for semantic segmentation with convolutional neural networks
Elaksher et al. Automatic generation of high-quality three-dimensional urban buildings from aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 22 / F, building 683, zone 2, No. 5, Zhongguancun South Street, Haidian District, Beijing 100086

Applicant after: Terry digital technology (Beijing) Co.,Ltd.

Address before: 100089 22 / F, building 683, zone 2, 5 Zhongguancun South Street, Haidian District, Beijing

Applicant before: Terra-IT Technology (Beijing) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant