CN114972646B - 一种实景三维模型独立地物的提取与修饰方法及系统 - Google Patents

Abstract

本发明公开一种实景三维模型独立地物的提取与修饰方法及系统，包括，基于实景图像数据，构建实景三维模型，并通过特征识别提取实景三维模型中的独立地物，基于实景图像数据，对独立地物进行修饰得到修饰后的实景三维模型。通过上述技术方案，本发明能够有效使用实景图像数据对实景三维模型中的独立地物进行提取和更加细致化修饰。

Description

一种实景三维模型独立地物的提取与修饰方法及系统

技术领域

本发明涉及三维模型构建技术领域，特别涉及一种实景三维模型独立地物的提取与修饰方法及系统。

背景技术

利用无人机倾斜摄影测绘技术特别适用于当下智慧城市建设，通过实景三维建模，对城市中的景观有效的可视化查看，同时倾斜摄影技术还被广泛应用于电力规划、区域地形分布展示等多个领域，但是在倾斜摄影技术中，使用无人机拍摄的图像进行建模过程中对图像中不同匹配点进行建模，建立的模型属于整体三维模型，无法对模型中的独立地物进行提取，在模型的构建过程中，构建点云数据进行建模及后期的颜色渲染需要使用实景图像，但是实景图像中的一些其他的信息无法有效利用，进而无法建立更加准确精细化的模型。

发明内容

为解决上述现有技术中所存在的问题，本发明提供一种实景三维模型独立地物的提取与修饰方法及系统，能够有效使用实景图像数据对实景三维模型中的独立地物进行提取和更加细致化修饰。

为了实现上述技术目的，本发明提供了一种实景三维模型独立地物的提取与修饰方法，包括：

基于实景图像数据，构建实景三维模型，并通过特征识别提取实景三维模型中的独立地物，基于实景图像数据，对独立地物进行修饰得到修饰后的实景三维模型。

可选的，所述实景三维模型的构建过程包括：

通过倾斜摄影方法获取原始图像数据，对所述原始图像数据进行预处理，获取实景图像数据，根据所述实景图像数据获取点云数据，根据点云数据构建实景三维模型。

可选的，对所述实景图像数据进行特征识别，得到二维独立地物特征；通过所述二维独立地物特征对实景三维模型中的点云数据进行分类，获取独立地物点云数据，根据独立地物点云数据，提取实景三维模型中的独立地物。

可选的，所对所述实景图像数据进行特征识别的过程包括：

构建深度学习模型，通过三元组损失函数对深度学习模型进行训练，得到训练好的深度学习模型，其中深度学习模型采用全卷积神经网络；

通过训练好的深度学习模型对所述实景图像数据进行特征识别，得到二维独立地物特征。

可选的，对独立地物进行修饰的过程包括：

对独立地物进行二维图像的截取，将所述截取的二维图像与实景图像数据进行匹配，基于匹配结果对独立地物进行判断，基于匹配判断结果，对所述独立地物进行重构；

对所述三维实景模型中的所有独立地物进行平整及破洞修复处理，对处理后的独立地物进行模型渲染，得到修饰后的实景三维模型。

为了更好的实现上述技术目的，本发明提供了一种实景三维模型独立地物的提取与修饰系统，包括：

提取模块，基于实景图像数据，构建实景三维模型，并通过特征识别提取实景三维模型中的独立地物，

修饰模块，基于实景图像数据，对独立地物进行修饰得到修饰后的实景三维模型。

可选的，所述提取模块包括第一提取模块用于通过倾斜摄影方法获取原始图像数据，对所述原始图像数据进行预处理，获取实景图像数据，根据所述实景图像数据获取点云数据，根据点云数据构建实景三维模型。

可选的，所述提取模块包括第二提取模块用于对所述实景图像数据进行特征识别，得到二维独立地物特征；通过所述二维独立地物特征对实景三维模型中的点云数据进行分类，获取独立地物点云数据，根据独立地物点云数据，提取实景三维模型中的独立地物。

可选的，所述提取模块包括第三提取模块用于构建深度学习模型，通过三元组损失函数对深度学习模型进行训练，得到训练好的深度学习模型，其中深度学习模型采用全卷积神经网络；

通过训练好的深度学习模型对所述实景图像数据进行特征识别，得到二维独立地物特征。

可选的，所述修饰模块包括第一修饰模块用于获取实景三维模型的地面，判断所述独立地物与所述地面之间是否存在连接，并根据连接判断结果，将所述独立地物与所述地面进行连接；

对独立地物进行二维图像的截取，将所述截取的二维图像与实景图像数据进行匹配，基于匹配结果对独立地物进行判断，基于匹配判断结果，对所述独立地物进行重构；

对所述三维实景模型中的所有独立地物进行平整及破洞修复处理，对处理后的独立地物进行模型渲染，得到修饰后的实景三维模型。

本发明具有如下技术效果：

通过上述技术方案，本发明能够通过实景图像与三维模型中的数据点相联系，对三维模型中的独立地物进行有效识别，同时针对三维模型中独立地物，使用实景图像特征区域中更多的特征点对生成更密集的点云数据对独立地物进行构建，进而能够生成更加细致的包含独立地物模型的三维模型。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的方法示意图；

图2为本发明实施例提供的系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所述，本发明提供了一种实景三维模型独立地物的提取与修饰方法，包括：

获取实景图像，本实施例使用无人机搭载五镜头相机，下载地理地图，选择需要拍摄的区域，在地理地图中对无人机的飞行路线进行规划，规划中让无人机在飞行过程中的避开障碍物，同时需要对拍摄区域内的地物进行完整收集，将上述采集的实景图像保存到同一文件夹下。采集图像后，需要对实景图像进行预处理，获取实景图像即初始图像后，将初始图像进行预处理，预处理包括，去除噪声，几何校正、图像增强等处理方法，去噪过程采用傅立叶变换进行滤波的方法，几何校正采用地理地图中的图像对拍摄的图像进行配准进行几何校正、图像增强可采用直方图均衡、边缘分割等方法，对实景图像进行预处理，减少图像的噪声及增强图像质量。

构建实景三维模型，将倾斜摄影所拍摄的实景图像通过摄影测量的方法，计算拍摄区域内的图像上所呈现的不同地物的空间三维距离信息，在结合不同实景图像的位置姿态进行计算不同实景图像之间的空间关系，将这些关系通过影像密集匹配将影像中的各像素在三维空间中离散化，成为三维空间中的离散的带有彩色的点，构成彩色点云数据，将点云数据通过TIN三角构网方法，将点云数据进行连接，连接后将点云数据中的彩色信息进行映射，进而生成实景三维模型。

对独立地物进行识别提取，本实施例中通过在二维图像中对特征提取之后，将提取特征的相关像素与点云数据建立一定的关系，通过像素与点云之间的关系，对三维模型中的独立地物进行提取及修饰，本实施例中对于独立地物，选择相较其他地物更加明显，同时具有独立特征的地物进行提取，如不同类型的建筑物如房屋，高楼及不同公共设施如路灯，广告牌、指示牌等地物，在实景数据中上述独立地物进行识别。

本实施例使用深度学习模型，并针对上述不同的独立地物下载或直接获取不同的训练样本，使用训练样本对深度学习模型进行训练，通过训练好的深度学习模型对二维图像中的特征进行识别，本实施例中选择卷积神经网络模型结构，卷积神经网络中包含一个输入层，三个卷积模块。三个卷积模块依次连接卷积模块包括卷积层、ReLU激活函数和最大池化层；卷积层、ReLU激活函数和最大池化层依次连接。卷积模块用来提取独立地物特征。卷积模块连接后分别连接有两个卷积层及三个全连接层，其中卷积层用于连接之前的卷积模块，并对独立地物所在范围进行分割并进行输出，全连接层用于对识别的独立地物特征进行多分类。其中依次连接的结构中输入层，第一个卷积层深度为32、卷积核尺寸为5*5，第一个最大池化层深度为32、卷积核尺寸为2*2，第二个卷积层深度为64、卷积核尺寸为5*5，第二个最大池化层深度为64、卷积核尺寸为2*2，第三个卷积层深度为128，卷积核尺寸为2*2，第三个最大池化层深度为128，卷积核尺寸为2*2，之后连接的全连接层深度分别为3584、1024及43，卷积层深度分别为128、128，卷积核尺寸为5*5。

本发明中由于在不同的位置拍摄的图像会存在平移旋转等问题，导致独立地物的识别困难，所以在构建完成上述网络后在每个卷积模块的前一端分别插入空间变换网络。将空间变换网络插入在输入层与卷积模块、卷积模块与卷积模块之间，卷积模块或者输入层的输出为空间变换网络的输入，空间变换网络的输出为卷积模块的输入，生成用于独立地物识别的模型。空间变换网络需要对Localisation net进行设计。Localisation net由卷积层、最大池化层、ReLU激活函数以及全连接层组成。通过卷积层和池化层提取空间变换网络的Localisation net所需的空间变换特征信息，输出全连接层学习到的仿射变换矩阵，得到优化的输入图像数据，优化后的输入图像数据可以将检测到的部分尽可能分布到图像的中心并旋转至统一坐标系下。Localisation net的参数实现基于输入样本大小和输出参数矩阵大小，本实施例中输出参数矩阵大小为6×1。其中卷积层中卷积核大小为5×5，最大池化层内核大小为2×2，内核大小和输入输出特征映射的数量是固定的。同时对仿射变换矩阵进行输出，通过仿射变换矩阵将最后卷积输出的结果映射到初始的图像中，并对初始图像中的范围进行划分及标注，以实现独立地物在平移，旋转倾斜等条件下的准确识别，并在识别完成后输出的范围映射回初始图像中，为后续点云数据的分类提供数据基础。

然后通过特征区域对三维模型中的点云数据进行分类划分，在分类划分中，通过获取相机内参、飞行时间，飞行路线等数据，并通过IMU实时监测无人机飞行的姿态角，通过图像坐标系到世界坐标系的转换解算方法，将图像中的不同像素点的坐标转换到世界坐标系的坐标之下，并记录每个像素点对应的世界坐标系的坐标，然后通过换算三维模型的真实空间的比例关系，将三维模型的坐标同样映射到世界坐标系之下，并记录每个点云坐标对应的世界坐标系的坐标，在世界坐标系下对图像中不同特征区域内像素坐标进行区域勾画，在世界坐标系下，将不同特征勾画的区域内的点云坐标进行统计，统计生成不同图像下不同特征的点云坐标的集合，统计点云坐标的重复次数，将不同图像下同一特征重复次数较少的数值进行剔除，如剔除重复次数为1的点云坐标，并将世界坐标系下剩余的点云坐标映射回三维模型中对应的点云坐标，将点云坐标对应的点云数据进行确定分类，不同的点云数据划分分类到不同特征类别下，确定完成后，将点云数据围成的地物模型进行提取，并标记所述独立地物特征类别，实现独立地物的识别提取。

在识别过程中，本发明充分利用三维模型与图像中的位置映射关系进行识别。在本实施例中，是基于图像数据构建的三维模型，当采用不使用图像数据进行建模的其他方式，如点云数据直接构建模型时，也可以通过对不同独立地物收集图像数据的方式对独立地物进行识别，其中需要对独立地物的不同方位的图像进行提取，以实现独立地物的不同方位特征的采集，此时不需要过多的图像数据，也能够对三维模型中的独立地物进行有效提取，同时将图像数据通过神经网络进行识别，并通过点云数据与像素数据进行位置的关系换算与勾画操作，避免了由于通过神经网络3D神经网络识别点云数据的识别数据数据计算量庞大及时间长的问题。

对独立地物修饰，对独立地物的外形及细节进行修饰，首先对独立地物进行判断，查看其独立地物的外形是否偏差较大，在三维模型中以无人机拍摄中经过的某点视角截图三维模型中包含独立地物的虚拟图像，并在虚拟图像中对特征进行勾画，对虚拟图像与实景图像进行图像匹配，寻找虚拟图像对应的实景图像，将对应的实景图像中的特征区域与虚拟图像中的特征区域调整到同一大小，之后将两个特征进行差值区域计算，对差值区域大小通过设定阈值进行判断，若差值区域超出一定阈值时，在三维模型中将该独立地物进行删除，并通过该特征相关的实景图像中的特征区域对该独立地物进行再次构建，构建中设置为采集更加密集的点云数据，在采集更加密集的点云数据是会检测更多的特征点，进而表现出更加细致化模型。通过上述点云数据对三维模型进行局部构建，提取独立地物更多的特征点信息，增强局部构建的效果。构建完成后，将该独立地物放置到三维模型剔除位置，并对独立地物进行再次判断，直到小于阈值，输出独立地物模型，若重构次数达到一定次数，如15次时，通过人工干预对独立地物模型进行修正，输出修正后的独立地物模型，并对三维模型进行平整及破洞修复，并通过实景图像中的颜色对三维模型中的独立地物进行颜色渲染，生成最终的实景三维模型。其中对于标志牌及广告牌等具有微小特征的独立地物，在对模型修饰时，通过提取实景图像中的文字等标志贴图，直接贴图于标志牌及广告牌相应位置，完成该类独立地物的修饰。

实施例二

如图2所示，为了更好的实现上述技术目的，本发明提供了一种实景三维模型独立地物的提取与修饰系统，包括：提取模块，基于实景图像数据，构建实景三维模型，通过特征识别提取实景三维模型中的独立地物，修饰模块，基于实景图像数据，对独立地物进行修饰得到修饰后的实景三维模型。该系统与上述方法相对应，此处不做赘述。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种实景三维模型独立地物的提取与修饰方法，其特征在于，包括：

基于实景图像数据，构建实景三维模型，并通过特征识别提取实景三维模型中的独立地物，并基于实景图像数据，对独立地物进行修饰得到修饰后的实景三维模型；

其中，对所述实景图像数据进行特征识别，得到二维独立地物特征；

通过所述二维独立地物特征对实景三维模型中的点云数据进行分类，获取独立地物点云数据，根据独立地物点云数据，提取实景三维模型中的独立地物，包括：

通过特征区域对三维模型中的点云数据进行分类划分，在分类划分中，通过获取相机内参、飞行时间，飞行路线数据，并通过IMU实时监测无人机飞行的姿态角，通过图像坐标系到世界坐标系的转换解算方法，将图像中的不同像素点的坐标转换到世界坐标系的坐标之下，并记录每个像素点对应的世界坐标系的坐标，然后通过换算三维模型的真实空间的比例关系，将三维模型的坐标同样映射到世界坐标系之下，并记录每个点云坐标对应的世界坐标系的坐标，在世界坐标系下对图像中不同特征区域内像素坐标进行区域勾画，在世界坐标系下，将不同特征勾画的区域内的点云坐标进行统计，统计生成不同图像下不同特征的点云坐标的集合，统计点云坐标的重复次数，将不同图像下同一特征重复次数较少的数值进行剔除，并将世界坐标系下剩余的点云坐标映射回三维模型中对应的点云坐标，将点云坐标对应的点云数据进行确定分类，不同的点云数据划分分类到不同特征类别下，确定完成后，将点云数据围成的地物模型进行提取，并标记所述独立地物特征类别，实现独立地物的识别提取。

2.根据权利要求1所述方法，其特征在于：

所述实景三维模型的构建过程包括：

通过倾斜摄影方法获取原始图像数据，对所述原始图像数据进行预处理，获取实景图像数据，根据所述实景图像数据获取点云数据，根据点云数据构建实景三维模型。

3.根据权利要求1所述方法，其特征在于：

所述实景图像数据进行特征识别的过程包括：

构建深度学习模型，通过三元组损失函数对深度学习模型进行训练，得到训练好的深度学习模型，其中深度学习模型采用全卷积神经网络；

通过训练好的深度学习模型对所述实景图像数据进行特征识别，得到二维独立地物特征。

4.根据权利要求1所述方法，其特征在于：

对独立地物进行修饰的过程包括：

对独立地物进行二维图像的截取，将所述截取的二维图像与实景图像数据进行匹配，基于匹配结果对独立地物进行判断，基于匹配判断结果，对所述独立地物进行重构；

对所述实景三维模型中的所有独立地物进行平整及破洞修复处理，对处理后的独立地物进行模型渲染，得到修饰后的实景三维模型。

5.一种实景三维模型独立地物的提取与修饰系统，其特征在于，包括：

提取模块，基于实景图像数据，构建实景三维模型，并通过特征识别提取实景三维模型中的独立地物；

修饰模块，基于实景图像数据，对独立地物进行修饰得到修饰后的实景三维模型；

其中，所述提取模块包括第二提取模块用于对所述实景图像数据进行特征识别，得到二维独立地物特征；通过所述二维独立地物特征对实景三维模型中的点云数据进行分类，获取独立地物点云数据，根据独立地物点云数据，提取实景三维模型中的独立地物，包括：

通过特征区域对三维模型中的点云数据进行分类划分，在分类划分中，通过获取相机内参、飞行时间，飞行路线数据，并通过IMU实时监测无人机飞行的姿态角，通过图像坐标系到世界坐标系的转换解算方法，将图像中的不同像素点的坐标转换到世界坐标系的坐标之下，并记录每个像素点对应的世界坐标系的坐标，然后通过换算三维模型的真实空间的比例关系，将三维模型的坐标同样映射到世界坐标系之下，并记录每个点云坐标对应的世界坐标系的坐标，在世界坐标系下对图像中不同特征区域内像素坐标进行区域勾画，在世界坐标系下，将不同特征勾画的区域内的点云坐标进行统计，统计生成不同图像下不同特征的点云坐标的集合，统计点云坐标的重复次数，将不同图像下同一特征重复次数较少的数值进行剔除，并将世界坐标系下剩余的点云坐标映射回三维模型中对应的点云坐标，将点云坐标对应的点云数据进行确定分类，不同的点云数据划分分类到不同特征类别下，确定完成后，将点云数据围成的地物模型进行提取，并标记所述独立地物特征类别，实现独立地物的识别提取。

6.根据权利要求5所述系统，其特征在于：

所述提取模块包括第一提取模块用于通过倾斜摄影方法获取原始图像数据，对所述原始图像数据进行预处理，获取实景图像数据，根据所述实景图像数据获取点云数据，根据点云数据构建实景三维模型。

7.根据权利要求5所述系统，其特征在于：

所述提取模块包括第三提取模块用于构建深度学习模型，通过三元组损失函数对深度学习模型进行训练，得到训练好的深度学习模型，其中深度学习模型采用全卷积神经网络；

通过训练好的深度学习模型对所述实景图像数据进行特征识别，得到二维独立地物特征。

8.根据权利要求5所述系统，其特征在于：

所述修饰模块包括第一修饰模块用于获取实景三维模型的地面，判断所述独立地物与所述地面之间是否存在连接，并根据连接判断结果，将所述独立地物与所述地面进行连接；

对独立地物进行二维图像的截取，将所述截取的二维图像与实景图像数据进行匹配，基于匹配结果对独立地物进行判断，基于匹配判断结果，对所述独立地物进行重构；

对所述实景三维模型中的所有独立地物进行平整及破洞修复处理，对处理后的独立地物进行模型渲染，得到修饰后的实景三维模型。

Images