CN112419512B - 一种基于语义信息的空中三维模型修复系统及方法 - Google Patents

Abstract

本发明公开一种基于语义信息的空中三维模型修复系统及方法。本发明方法利用图像的语义分割与图像定位技术，实现基于语义信息的空中三维模型组合式修复，克服现有的通过将地面图像及航拍图像进行注册的方法进行空中三维模型修复的计算量过大、缺乏实时性等缺点。基于语义信息的空中三维模型修复方法主要的思想是利用语义标签对移动机器人实时扫描的点云进行语义重建。并且为了提高实时点云的实时语义分割，我们利用现有的高精度的图像语义分割方法，通过预先标定好相机和激光雷达的相对位姿，将图像的语义标签赋值给点云，实现激光雷达点云的实时高精度语义分割。通过语义信息对空中三维模型进行修复使得模型具备更精美的展示效果。

Description

一种基于语义信息的空中三维模型修复系统及方法

技术领域

本发明涉及图像处理及三维重建领域，特别涉及一种基于语义信息的空中三维模型修复系统及方法。

背景技术

空中三维模型即通过无人机对指定园区进行倾斜摄影，利用倾斜摄影的图像构建出GIS空中三维模型，在自动驾驶、GIS监控、智慧城市等领域应用非常广泛，但是通过倾斜摄影构建的空中三维模型由于其视角主要在空中，地面视角下的空中三维模型存在很多由于倾斜摄影难以拍到而导致存在很多的空洞等缺陷，因此如何修复空中三维模型的地面视角部分成为一个重要的研究课题。目前空中三维模型修复方法是通过将地面视角下的图像与无人机航拍的图像注册到同一个坐标系中，并将地面视角下的图像加入到航拍图像中重新进行三角测量并重新建立空中三维模型，从而利用地面视角下的图像修复空中三维模型的目的。

但是这种方法主要的思路是将地面视角下图像及航拍图像进行注册到同一个坐标系中，容易受到导航的坐标的误差的影响，导致注册后的相机坐标误差较大而影响修复后模型的可展示性，并且其需要将空中三维模型重新建立，占用过多的计算资源，缺乏实时性。

发明内容

为了解决以上问题，本发明提出一种基于语义信息的空中三维模型修复系统及方法，通过将地面视角下实景图片的语义信息赋予空中三维模型的中对应部分的点云语义信息，构建基于深度学习的语义模型还原网络，将实景图片中的点云模型进行修复还原，并且利用激光雷达点云和图像信息对图片在空中三维模型中进行精准，以实现还原后的模型替换空中三维模型中残缺的模型。

为实现上述目的，本发明实施方式的一方面提供一种基于语义信息的空中三维模型修复系统，包括：

实时点云语义分割模块：用于对空中三维模型的点云进行语义分割；

空中三维模型中自主定位模块：用于对移动机器人实时采取的图像进行地理定位；

实时点云重建及模型组合式修复模块：用于对语义分割的点云进行语义重建。

优选地，所述的实时点云语义分割模块具体包括：

实时图像的语义分割模块：对移动机器人采取的实景图像进行语义分割，以赋予激光雷达点云语义信息；

激光雷达和相机的相对位姿标定单元：利用三维空间中的线及其在相机中的投影之间的对应关系，标定出激光雷达和相机之间的相对位姿；

空中三维模型点云语义获取模块：依据所述激光雷达和相机的相对位姿标定单元中计算出来的位姿，将激光雷达点云投影到移动机器人的相机位置，并根据图像的语义信息赋予点云相应的语义信息。

优选地，所述的空中三维模型中自主定位模块具体包括：

语义地图建立单元：模拟移动机器人在空中三维模型中采集激光雷达点云，并对采集的点云进行语义分割、描述建立语义地图；

空中三维模型中地面图像信息采集单元：通过模拟移动机器人在空中三维模型中进行采集空中三维模型的模拟图像以及其对应的ENU坐标；

空中三维模型分块索引建立单元：将空中三维模型进行分块，并建立每一小块的单独索引，用于根据图像的粗略定位输出大致定位的块索引；

基于图像粗略定位单元：利用所述空中三维模型地面图像信息采集单元中采集的图像及其对应的ENU坐标制作数据集，搭建基于单帧图像的相机位姿估计深度学习网络进行训练，得到基于图像的移动机器人粗略定位模块，并根据所述空中三维模型分块索引建立单元的块索引输出粗略定位的块索引；

基于激光雷达点云的精确定位模块：对激光雷达实时扫描得到的点云进行语义分割、描述，并根据所述基于图像粗略定位单元输出的移动机器人此时的粗略定位块索引，在对应的块索引的语义地图中进行搜索、匹配，最后计算出移动机器人在空中三维模型中的精确位姿。

优选地，所述实时点云重建及模型组合式修复模块具体包括：

实时点云体素化模块：将移动机器人实时扫描的激光雷达点云去除地面部分的点云后，对点云进行体素化处理，以减小实时计算时的计算量以及去除一些不必要的点云噪点；

基于深度学习的体素模型语义重建模块：构建深度学习网络，通过体素化模型的语义信息对实时体素模型进行重建修整；

网格模型重建模块：用于将体素模型还原成网格化模型，并将网格化模型替换到初始的空中三维模型中。

为实现上述目的，本发明实施方式的另一方面还提供一种基于语义信息的空中三维模型修复方法，包括以下步骤：

步骤1、通过标定出激光雷达和相机之间的相对位姿之后，将图像的语义标签赋予给激光雷达点云；

步骤2、利用图像信息和激光雷达点云实现移动机器人在空中三维模型中精确定位；

步骤3、将空中三维模型的点云模型进行重建并替换到初始空中三维模型中。

优选地，步骤1包括如下步骤：

步骤1-1、对移动机器人采取的实景图像进行语义分割，以赋予激光雷达点云语义信息；

步骤1-2、利用三维空间中的线及其在相机中的投影之间的对应关系，标定出激光雷达和相机之间的相对位姿；

步骤1-3、依据标定出来的相对位姿，将激光雷达点云投影到移动机器人的相机位置，并根据图像的语义信息赋予点云相应的语义信息。

优选地，步骤2包括如下步骤：

步骤2-1、模拟移动机器人在空中三维模型中采集激光雷达点云，并对采集的点云进行语义分割、描述建立语义地图；

步骤2-2、通过模拟移动机器人在空中三维模型中进行采集空中三维模型的模拟图像以及其对应的ENU坐标；

步骤2-3、将空中三维模型进行分块，并建立每一小块的单独索引，用于根据图像的粗略定位输出大致定位的块索引；

步骤2-4、利用步骤2-2采集的图像及其对应的ENU坐标制作数据集，搭建基于单帧图像的相机位姿估计深度学习网络进行训练，得到基于图像的移动机器人粗略定位，并根据步骤2-3的块索引输出粗略定位的块索引；

步骤2-5、对激光雷达实时扫描得到的点云进行语义分割、描述，并根据步骤2-4输出的移动机器人此时的粗略定位块索引，在对应的块索引的语义地图中进行搜索、匹配，最后计算出移动机器人在空中三维模型中的精确位姿。

优选地，步骤3包括如下步骤：

步骤3-1、将移动机器人实时扫描的激光雷达点云去除地面部分的点云后，对点云进行体素化处理，以减小实时计算时的计算量以及去除一些不必要的点云噪点；

步骤3-2、构建深度学习网络，通过体素化模型的语义信息对实时体素模型进行重建修整；

步骤3-3、将体素模型还原成网格化模型，并将网格化模型替换到初始的空中三维模型中。

本发明的有益效果是：

本发明方法利用实际的部分点云、纹理信息及其语义信息实现模型的语义重建，使重建的模型具备人类常规认识的语义信息，模型更加具备展示性；此外模型通过单个的语义模型进行组合式重建，模型具备互动性，可对重建后的空中三维模型中重建的单个模型进行移动、删除等修改。

本发明在现有的数据基础上利用模型的语义信息进行组合式重建，克服现有方法通过将地面图像及航拍图像进行注册的方法进行空中三维模型修复的计算量过大、缺乏实时性等缺点。

附图说明

为了更清楚地说明本发明技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可根据这些附图获得其他的附图。

图1为基于语义信息的空中三维模型修复系统及方法流程示意图；

图2为实时点云语义分割模块流程示意图；

图3为空中三维模型中自主定位模块流程示意图；

图4为实时点云重建及模型组合式修复模块流程示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

本发明实施方式的一方面提供一种基于语义信息的空中三维模型修复系统，整个系统实现的基本流程如图1所示，包括实时点云语义分割模块、空中三维模型中自主定位模块、实时点云重建及模型组合式修复模块。其中实时点云语义分割模块用于对点云进行语义分割，以将分割后的点云用于所述的实时点云重建及模型组合式修复模块；空中三维模型中自主定位模块用于移动机器人在空中三维模型中进行自主定位和导航，并且实时采集激光雷达和点云信息，用于作为所述实时点云语义分割模块的输入。

其中实时点云语义分割模块其基本的流程示意图如图2所示，包括实时图像的语义分割模块、激光雷达和相机的相对位姿标定单元以及空中三维模型点云语义获取模块。通过预先标定出激光雷达和相机之间的相对位姿，并依据标定出来的位姿将激光雷达点云投影到相机的图像上，同时将图像进行语义分割，并将图像语义分割的语义标签赋值给点云，从而实现点云的语义分割。

空中三维模型中自主定位模块流程示意图如图3所示，包括空中三维模型中地面图像信息采集单元、语义地图建立单元、空中三维模型分块索引建立单元、基于图像粗略定位单元、基于激光雷达点云的精确定位单元。在空中三维模型中通过模拟移动机器人进行图像信息和激光雷达点云采集，并建立基于空中三维模型的语义地图，利用该语义地图作为移动机器人在实际的空间中进行自主定位和导航的地图。移动机器人在实际三维空间中进行移动时通过采集图像信息和激光雷达点云信息，先利用图像通过深度学习进行粗略定位并输入其大致的位置坐标以及坐标坐在的语义地图块索引，其次对实时扫描的激光雷达点云进行分割、描述并在块索引的语义地图中进行检索匹配，在检索成功后计算出移动机器人的精确位姿。

实时点云重建及模型组合式修复模块流程示意图如图4所示，包括基于体素化模型的深度学习网络框架构建单元、实时点云体素化模块、基于深度学习的体素模型语义重建模块以及网络模型重建模块。具体为通过构建基于语义信息的体素化模型重建深度学习网络，并训练相应的模型；将移动机器人实时采集的点云进行体素化，以消除部分点云中的噪点，并将体素化的模型及所述实时点云语义分割模块中输出的语义标签输入到所述基于体素化模型的深度学习网络框架构建单元的模型中将体素化模型进行重建；最后根据初始空中三维模型中相应的语义模型其中心坐标，将重建的后的模型替换初始空中三维模型中相应部分模型，实现基于语义信息的空中三维模型修复。

本发明实施方式的另一方面还提供一种基于语义信息的空中三维模型修复方法，如图1所示，包括以下步骤：

步骤1、通过标定出激光雷达和相机之间的相对位姿之后，将图像的语义标签赋予给激光雷达点云；

步骤2、利用图像信息和激光雷达点云实现移动机器人在空中三维模型中精确定位；

步骤3、将空中三维模型的点云模型进行重建并替换到初始空中三维模型中。

优选地，步骤1包括如下步骤：

步骤1-1、对移动机器人采取的实景图像进行语义分割，以赋予激光雷达点云语义信息；

步骤1-2、利用三维空间中的线及其在相机中的投影之间的对应关系，标定出激光雷达和相机之间的相对位姿；

步骤1-3、依据标定出来的相对位姿，将激光雷达点云投影到移动机器人的相机位置，并根据图像的语义信息赋予点云相应的语义信息。

优选地，步骤2包括如下步骤：

步骤2-1、模拟移动机器人在空中三维模型中采集激光雷达点云，并对采集的点云进行语义分割、描述建立语义地图；

步骤2-2、通过模拟移动机器人在空中三维模型中进行采集空中三维模型的模拟图像以及其对应的ENU坐标；

步骤2-3、将空中三维模型进行分块，并建立每一小块的单独索引，用于根据图像的粗略定位输出大致定位的块索引；

步骤2-4、利用步骤2-2采集的图像及其对应的ENU坐标制作数据集，搭建基于单帧图像的相机位姿估计深度学习网络进行训练，得到基于图像的移动机器人粗略定位，并根据步骤2-3的块索引输出粗略定位的块索引；

步骤2-5、对激光雷达实时扫描得到的点云进行语义分割、描述，并根据步骤2-4输出的移动机器人此时的粗略定位块索引，在对应的块索引的语义地图中进行搜索、匹配，最后计算出移动机器人在空中三维模型中的精确位姿。

优选地，步骤3包括如下步骤：

步骤3-1、将移动机器人实时扫描的激光雷达点云去除地面部分的点云后，对点云进行体素化处理，以减小实时计算时的计算量以及去除一些不必要的点云噪点；

步骤3-2、构建深度学习网络，通过体素化模型的语义信息对实时体素模型进行重建修整；

步骤3-3、将体素模型还原成网格化模型，并将网格化模型替换到初始的空中三维模型中。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于语义信息的空中三维模型修复系统，其特征在于，包括：

实时点云语义分割模块：用于对空中三维模型的点云进行语义分割；

空中三维模型中自主定位模块：用于对移动机器人实时采取的图像进行地理定位；

所述的空中三维模型中自主定位模块具体包括：

语义地图建立单元：模拟移动机器人在空中三维模型中采集激光雷达点云，并对采集的点云进行语义分割、描述建立语义地图；

空中三维模型中地面图像信息采集单元：通过模拟移动机器人在空中三维模型中进行采集空中三维模型的模拟图像以及其对应的ENU坐标；

空中三维模型分块索引建立单元：将空中三维模型进行分块，并建立每一小块的单独索引，用于根据图像的粗略定位输出大致定位的块索引；

基于图像粗略定位单元：利用所述空中三维模型地面图像信息采集单元中采集的图像及其对应的ENU坐标制作数据集，搭建基于单帧图像的相机位姿估计深度学习网络进行训练，得到基于图像的移动机器人粗略定位模块，并根据所述空中三维模型分块索引建立单元的块索引输出粗略定位的块索引；

基于激光雷达点云的精确定位模块：对激光雷达实时扫描得到的点云进行语义分割、描述，并根据所述基于图像粗略定位单元输出的移动机器人此时的粗略定位块索引，在对应的块索引的语义地图中进行搜索、匹配，最后计算出移动机器人在空中三维模型中的精确位姿；

实时点云重建及模型组合式修复模块：用于对语义分割的点云进行语义重建。

2.根据权利要求1所述的基于语义信息的空中三维模型修复系统，其特征在于，所述的实时点云语义分割模块具体包括：

实时图像的语义分割模块：对移动机器人采取的实景图像进行语义分割，以赋予激光雷达点云语义信息；

激光雷达和相机的相对位姿标定单元：利用三维空间中的线及其在相机中的投影之间的对应关系，标定出激光雷达和相机之间的相对位姿；

空中三维模型点云语义获取模块：依据所述激光雷达和相机的相对位姿标定单元中计算出来的位姿，将激光雷达点云投影到移动机器人的相机位置，并根据图像的语义信息赋予点云相应的语义信息。

3.根据权利要求1所述的基于语义信息的空中三维模型修复系统，其特征在于，所述实时点云重建及模型组合式修复模块具体包括：

实时点云体素化模块：将移动机器人实时扫描的激光雷达点云去除地面部分的点云后，对点云进行体素化处理，以减小实时计算时的计算量以及去除一些不必要的点云噪点；

基于深度学习的体素模型语义重建模块：构建深度学习网络，通过体素化模型的语义信息对实时体素模型进行重建修整；

网格模型重建模块：用于将体素模型还原成网格化模型，并将网格化模型替换到初始的空中三维模型中。

4.一种基于语义信息的空中三维模型修复方法，其特征在于，包括以下步骤：

步骤1、通过标定出激光雷达和相机之间的相对位姿之后，将图像的语义标签赋予给激光雷达点云；

步骤2、利用图像信息和激光雷达点云实现移动机器人在空中三维模型中精确定位；

步骤2包括如下步骤：

步骤2-1、模拟移动机器人在空中三维模型中采集激光雷达点云，并对采集的点云进行语义分割、描述建立语义地图；

步骤2-2、通过模拟移动机器人在空中三维模型中进行采集空中三维模型的模拟图像以及其对应的ENU坐标；

步骤2-3、将空中三维模型进行分块，并建立每一小块的单独索引，用于根据图像的粗略定位输出大致定位的块索引；

步骤2-4、利用步骤2-2采集的图像及其对应的ENU坐标制作数据集，搭建基于单帧图像的相机位姿估计深度学习网络进行训练，得到基于图像的移动机器人粗略定位，并根据步骤2-3的块索引输出粗略定位的块索引；

步骤2-5、对激光雷达实时扫描得到的点云进行语义分割、描述，并根据步骤2-4输出的移动机器人此时的粗略定位块索引，在对应的块索引的语义地图中进行搜索、匹配，最后计算出移动机器人在空中三维模型中的精确位姿；

步骤3、将空中三维模型的点云模型进行重建并替换到初始空中三维模型中。

5.根据权利要求4所述的基于语义信息的空中三维模型修复方法，其特征在于，步骤1包括如下步骤：

步骤1-1、对移动机器人采取的实景图像进行语义分割，以赋予激光雷达点云语义信息；

步骤1-2、利用三维空间中的线及其在相机中的投影之间的对应关系，标定出激光雷达和相机之间的相对位姿；

步骤1-3、依据标定出来的相对位姿，将激光雷达点云投影到移动机器人的相机位置，并根据图像的语义信息赋予点云相应的语义信息。

6.根据权利要求4所述的基于语义信息的空中三维模型修复方法，其特征在于，步骤3包括如下步骤：

步骤3-1、将移动机器人实时扫描的激光雷达点云去除地面部分的点云后，对点云进行体素化处理，以减小实时计算时的计算量以及去除一些不必要的点云噪点；

步骤3-2、构建深度学习网络，通过体素化模型的语义信息对实时体素模型进行重建修整；

步骤3-3、将体素模型还原成网格化模型，并将网格化模型替换到初始的空中三维模型中。

Images