CN113643434B - 基于空地协同的三维建模方法、智能终端以及存储装置 - Google Patents

Abstract

本发明提供一种基于空地协同的三维建模方法、智能终端以及存储装置，基于空地协同的三维建模方法包括：S101：获取建模目标的空中三维激光点云数据、地面三维激光点云数据以及倾斜影像数据，将空中三维激光点云数据与地面三维激光点云数据融合形成空地激光融合点云，并根据倾斜影像数据形成密集匹配点云；S102：调整空地激光融合点云中物体的坐标使空地激光融合点云、密集匹配点云中相同物体的坐标一致；S103：根据调整坐标后的空地激光融合点云、倾斜影像数据构建建模目标的三维模型。本发明相比于倾斜影像，空地激光融合点云的遮挡区域少，减少了数据获取盲区，三维模型的细节更加清晰、全面且精度高，提高了模型质量。

Description

基于空地协同的三维建模方法、智能终端以及存储装置

技术领域

本发明涉及三维建模领域，尤其涉及一种基于空地协同的三维建模方法、智能终端以及存储装置。

背景技术

随着虚拟现实等技术的出现，人们对空间地理实体可视化表达提出了更高的要求，二维平面数据在地理空间表达完整性、可视化效果等方面的局限，已经不能满足人们对空间地理实体表达和认知的需求。因此，根据实物建立的三维模型也随之出现城市、建筑等地理空间场景中。

然而，随着城市化进程不断加速，城市改造的速度也在加快，为了使根据城市建立的三维模型保持良好的时效性和真实性，需要频繁针对城市的变化快速进行三维模型重建。为了提高三维模型重建效率，现有技术采用倾斜影像以多角度采集高分辨率、大范围的倾斜影像数据建立精细化实景三维模型，但倾斜影像难以获取地物间遮挡区域的影响，因此存在数据获取盲区，难以建立高精度实景三维模型。

发明内容

为了克服现有技术的不足，本发明提出一种基于空地协同的三维建模方法、智能终端以及存储装置，在获取倾斜影像数据的同时获取空中激光三维点云数据、地面三维激光点云数据，根据该数据获取空地激光融合点云、密集匹配点云，利用空地激光融合点云生成三维模型，并通过倾斜影像渲染该三维模型形成建模目标的三维模型，相比于倾斜影像，空地激光融合点云的遮挡区域少，减少了数据获取盲区，三维模型的细节更加清晰、全面且精度高，提高了模型质量。

为解决上述问题，本发明采用的一个技术方案为：一种基于空地协同的三维建模方法，所述基于空地协同的三维建模方法包括：S101：获取建模目标的空中三维激光点云数据、地面三维激光点云数据以及倾斜影像数据，将所述空中三维激光点云数据与所述地面三维激光点云数据融合形成空地激光融合点云，并根据所述倾斜影像数据形成密集匹配点云；S102：调整所述空地激光融合点云中物体的坐标使所述空地激光融合点云、密集匹配点云中相同物体的坐标一致；S103：根据调整坐标后的空地激光融合点云、倾斜影像数据构建所述建模目标的三维模型。

进一步地，将所述空中三维激光点云数据与所述地面三维激光点云数据融合形成空地激光融合点云的步骤具体包括：获取所述空中三维激光点云、地面三维激光点云中的特征点，根据所述特征点将所述空中三维激光点云、地面三维激光点云配准到同一坐标系内，并对同一坐标系内的空中三维激光点云、地面三维激光点云进行匹配获取空地激光融合点云。

进一步地，所述根据所述倾斜影像数据形成密集匹配点云的步骤包括：通过所述倾斜影像数据获取控制点，根据所述控制点对所述倾斜影像数据进行光束法区域网整体平差处理，并通过密集匹配生成所述密集匹配点云。

进一步地，所述调整所述空地激光融合点云中物体的坐标使所述空地激光融合点云、密集匹配点云中相同物体的坐标一致的步骤具体包括：根据所述密集匹配点云、空地激光融合点云中相同特征点的坐标计算所述空地激光融合点云的平移向量、旋转矩阵，利用所述平移向量、旋转矩阵对所述空地激光融合点云进行刚体变换。

进一步地，所述根据所述密集匹配点云、空地激光融合点云中相同特征点的坐标计算所述空地激光融合点云的平移向量、旋转矩阵的步骤具体包括：通过公式

计算所述空地激光融合点云的平移向量，旋转矩阵，其中，R为旋转矩阵，t为平移向量，n为特征点的个数，p_i为密集平匹配点云中的特征点，q_i为空地激光融合点云中的对应特征点。

进一步地，通过无人机的机载激光扫描仪获取空中激光数据，通过所述空中激光数据形成空中三维激光点云数据。

进一步地，获取地面三维激光点云数据的步骤包括：S201：根据预设的扫描间距控制扫描站扫描所述建模目标，通过扫描站的点云数据进行配准，根据配准结果判断是否需要补扫，若是，则执行S202，若否，则执行S203；S202：根据所述配准结果获取存在漏洞的位置，并控制所述位置对应的扫描站扫描所述位置，通过补扫获取的点云数据进行再次配准；S203：对配准后的点云数据进行预处理，并通过预设的控制点对预处理后的点云数据进行绝对定向。

进一步地，所述根据调整坐标后的空地激光融合点云、倾斜影像数据构建所述建模目标的三维模型的步骤具体包括：根据所述空地激光融合点云依次进行生成TIN三角网格、封装白膜操作形成待映设的三维模型，并利用所述倾斜影像数据对所述待映设的三维模型进行纹理映射操作生成所述建模目标的三维模型。

基于相同的发明构思，本发明还提出一种智能终端，所述智能终端包括处理器、存储器，所述处理器与所述存储器通信连接，所述存储器存储有计算机程序，所述处理器根据所述计算机程序执行如上所述的基于空地协同的三维建模方法。

基于相同的发明构思，本发明又提出一种存储装置，所述存储装置存储有程序数据，所述程序数据被用于执行如上所述的基于空地协同的三维建模方法。

相比现有技术，本发明的有益效果在于：在获取倾斜影像数据的同时获取空中激光三维点云数据、地面三维激光点云数据，根据该数据获取空地激光融合点云、密集匹配点云，利用空地激光融合点云生成三维模型，并通过倾斜影像渲染该三维模型形成建模目标的三维模型，相比于倾斜影像，空地激光融合点云的遮挡区域少，减少了数据获取盲区，三维模型的细节更加清晰、全面且精度高，提高了模型质量。

附图说明

图1为本发明基于空地协同的三维建模方法一实施例的流程图；

图2为本发明基于空地协同的三维建模方法中地面三维激光点云数据获取一实施例的流程图；

图3为本发明智能终端一实施例的结构图；

图4为本发明存储装置一实施例的结构图。

具体实施方式

为了使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各个实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参阅图1-2，其中，图1为本发明基于空地协同的三维建模方法一实施例的流程图；图2为本发明基于空地协同的三维建模方法中地面三维激光点云数据获取一实施例的流程图。结合附图1-2对本发明的基于空地协同的三维建模方法作详细说明。

在本实施例中，执行该基于空地协同的三维建模方法的设备可以为电脑、虚拟机、服务器等能够进行三维建模的智能终端。

在一个实施例中，基于空地协同的三维建模方法包括：

S101：获取建模目标的空中三维激光点云数据、地面三维激光点云数据以及倾斜影像数据，将空中三维激光点云数据与地面三维激光点云数据融合形成空地激光融合点云，并根据倾斜影像数据形成密集匹配点云。

在本实施例中，建模目标包括房屋、桥梁、公路等人造建筑物，还包括山川、河流等自然物体以及生物等具有三维结构的对象。

在本实施例中，通过无人机采集建模目标的空中三维激光点云数据和倾斜影像数据。其中，倾斜影像数据包括倾斜摄影数据、摄影测量数据。利用倾斜影像密集匹配生成倾斜点云时，加入贴近摄影测量获取的影像，大大增强了点云精度以及纹理的细节。

在一个具体的实施例中，无人机为多旋翼无人机，其根据预设的航飞方案进行航飞，开展倾斜数据获取工作。多旋翼无人家搭载倾斜相机获取建模目标的倾斜影像，另一架多旋翼无人机搭载单镜头相机环绕建模目标飞行，进行贴近摄影测量，获取建模目标的高清纹理从而得到建模目标的倾斜影像数据。

在本实施例中，通过无人机的机载激光扫描仪获取空中激光数据，通过空中激光数据形成空中三维激光点云数据。其中，通过机载激光扫描仪扫描建模目标得到建模目标的空中激光数据，对该空中激光数据预处理(点云拼接配准、点云滤波等)获取空中三维激光点云后，利用预设的控制点对空中三维激光点云进行绝对定向。

在本实施例中，获取地面三维激光点云数据的步骤包括：

S201：根据预设的扫描间距控制扫描站扫描建模目标，通过扫描站的点云数据进行配准，根据配准结果判断是否需要补扫，若是，则执行S202，若否，则执行S203。

具体的，扫描间距为激光点云扫描点间距，扫描站为多个，按照各个扫描站获取的点云数据之间存在重叠的规则设置扫描站的位置。利用地面上的扫描站对建模目标进行三维激光扫描。

在一个具体的实施例中，预设的激光点云扫描点间距为2mm，各个扫描站之间有30％～50％的点云重叠度，通过扫描站对建模目标进行扫描。

在本实施例中，通过配准的方式将不同扫描站获取的点云数据融合在一起以获取建模目标的完整地面三维激光点云数据。

S202：根据配准结果获取存在漏洞的位置，并控制位置对应的扫描站扫描位置，通过补扫获取的点云数据进行再次配准。

将配准后的点云数据与建模目标进行对比，判断是否存在未被扫描到的区域，若有，则确定该区域为存在漏洞的位置，控制能够扫描到该位置的扫描站扫描该区域，将扫描该区域获取的点云数据与配准后的点云数据进行再次配准。

其中，在确定未被扫描到的区域不存在的对应的扫描站时，还可以设置新的扫描站以扫描该区域。

S203：对配准后的点云数据进行预处理，并通过预设的控制点对预处理后的点云数据进行绝对定向。

在本实施例中，预处理包括对点云数据进行去噪和平滑，剔除点云数据中的错误点以进行数据精简。

在本实施例中，将空中三维激光点云数据与地面三维激光点云数据融合形成空地激光融合点云的步骤具体包括：获取空中三维激光点云、地面三维激光点云中的特征点，根据特征点将空中三维激光点云、地面三维激光点云配准到同一坐标系内，并对同一坐标系内的空中三维激光点云、地面三维激光点云进行匹配获取空地激光融合点云。

在本实施例中，优先选择存在明显变化的角点或特征比较明显的同名点作为特征点。该特征点可以在点云融合前预设，在点云融合时自动识别点云中的特征点并根据该特征点进行融合。也可以在点云融合时根据输入的指令确定点云中的特征点，并进行融合。

在一个具体的实施例中，通过人工匹配和最邻近点配准算法实现点云融合。具体地：首先利用人工匹配进行粗配准，从两点云中选择一定数量的特征点。利用选取的特征点，根据以下公式计算旋转矩阵R和平移向量t，

其中，n为选取的特征点的个数，p_i为空中三维激光点云P中选取的第i个特征点，i为正整数，小于等于n，q_i为地面三维激光点云Q中选取的对应特征点，R为旋转矩阵，t为平移向量。粗匹配的目的是获得一组最优变换方式。将粗配准后的点云数据作为精配准的初始点集P`，利用经典的点云匹配算法迭代最邻近点配准算法来进行精匹配。以下为迭代最邻近点配准算法的具体步骤：

(1)在空中三维激光点云P中取点集p₀∈P；

(2)找出地面三维激光点云Q中的对应点集q₀∈Q；使得||p₀-q₀||²＝min；

(3)计算旋转矩阵R和平移向量t，使得误差函数

的值最小；

(4)将计算得出的变换矩阵作用于点集p₀，得出变换后新的点集p₀`；

(5)根据

来计算点集p₀`与对应点集q₀的平均距离；

(6)若d大于预先设置的阈值τ，则返回步骤(2)继续迭代，若d小于预先设置的阈值τ，或者达到之前设置的迭代次数k，则算法收敛，迭代终止。通过上述方式得到融合形成的空地三维激光点云。

其中，在融合前将空中三维激光点云数据与地面三维激光点云数据转为同一种格式。具体的转换为点云通用格式*.las格式。

在本实施例中，进行融合时可以以地面三维激光点云为基准进行融合，也可以以空中三维激光点云为基准进行融合。

在本实施例中，根据倾斜影像数据形成密集匹配点云的步骤包括：通过倾斜影像数据获取控制点，根据控制点对倾斜影像数据进行光束法区域网整体平差处理，并通过密集匹配生成密集匹配点云。

在一个具体的实施例中，采用倾斜摄影与贴近摄像相结合的方式获取倾斜影像数据，以建模目标所在地面上具有明显特征的地面点为控制点，通过RTK测量该控制点的坐标。将倾斜影像数据输入ContextCapture软件中，根据选定的控制点对倾斜影像数据进行光束法区域网整体平差处理，并在ContextCapture软件进行多视点密集匹配生成倾斜点云。

S102：调整空地激光融合点云中物体的坐标使空地激光融合点云、密集匹配点云中相同物体的坐标一致。

调整空地激光融合点云中物体的坐标使空地激光融合点云、密集匹配点云中相同物体的坐标一致的步骤具体包括：根据密集匹配点云、空地激光融合点云中相同特征点的坐标计算空地激光融合点云的平移向量、旋转矩阵，利用平移向量、旋转矩阵对空地激光融合点云进行刚体变换。通过刚体变换的方式是空地激光融合点云与密集匹配点云中物体的位置、形状一致。

具体的，根据密集匹配点云、空地激光融合点云中相同特征点的坐标计算空地激光融合点云的平移向量、旋转矩阵的步骤具体包括：通过公式

计算空地激光融合点云的平移向量，旋转矩阵，其中，R为旋转矩阵，t为平移向量，n为特征点的个数，p_i为密集平匹配点云中的特征点，q_i为空地激光融合点云中的对应特征点。

S103：根据调整坐标后的空地激光融合点云、倾斜影像数据构建建模目标的三维模型。

根据调整坐标后的空地激光融合点云、倾斜影像数据构建建模目标的三维模型的步骤具体包括：根据空地激光融合点云依次进行生成TIN三角网格、封装白膜操作形成待映设的三维模型，并利用倾斜影像数据对待映设的三维模型进行纹理映射操作生成建模目标的三维模型。封装白膜操作为对建模目标进行三维白膜构建处理。

有益效果：本发明提出的一种基于空地协同的三维建模方法，在获取倾斜影像数据的同时获取空中激光三维点云数据、地面三维激光点云数据，根据该数据获取空地激光融合点云、密集匹配点云，利用空地激光融合点云生成三维模型，并通过倾斜影像渲染该三维模型形成建模目标的三维模型，相比于倾斜影像，空地激光融合点云的遮挡区域少，减少了数据获取盲区，三维模型的细节更加清晰、全面且精度高，提高了模型质量。

基于相同的发明构思，本发明还提出一种智能终端，请参阅图3，图3为本发明智能终端一实施例的结构图，结合图3对本发明的智能终端进行说明。

在本实施例中，智能终端包括处理器、存储器，处理器与存储器通信连接，存储器存储有计算机程序，处理器根据计算机程序执行如上述实施例所述的基于空地协同的三维建模方法。

基于相同的发明构思，本发明又提出一种存储装置，请参阅图4，图4为本发明存储装置一实施例的结构图。

在本实施例中，存储装置存储有程序数据，该程序数据被用于执行如上述实施例所述的基于空地协同的三维建模方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端、系统和方法，可以通过其它的方式实现。例如，以上所描述的终端实实例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立地产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (5)

1.一种基于空地协同的三维建模方法，其特征在于，所述基于空地协同的三维建模方法包括：

S101：获取建模目标的空中三维激光点云数据、地面三维激光点云数据以及倾斜影像数据，将所述空中三维激光点云数据与所述地面三维激光点云数据融合形成空地激光融合点云，并根据所述倾斜影像数据形成密集匹配点云，其中，无人机采集建模目标的空中三维激光点云数据和倾斜影像数据，所述倾斜影像数据包括倾斜摄影数据、摄影测量数据，通过所述摄影测量数据增强密集匹配点云的精度和纹理的细节；

S102：根据所述密集匹配点云、空地激光融合点云中相同特征点的坐标计算所述空地激光融合点云的平移向量、旋转矩阵，利用所述平移向量、旋转矩阵对所述空地激光融合点云进行刚体变换，所述根据所述密集匹配点云、空地激光融合点云中相同特征点的坐标计算所述空地激光融合点云的平移向量、旋转矩阵的步骤具体包括：

通过公式

计算所述空地激光融合点云的平移向量，旋转矩阵，其中，R为旋转矩阵，t为平移向量，n为特征点的个数，p_i为密集平匹配点云中的特征点，q_i为空地激光融合点云中的对应特征点；

S103：根据所述空地激光融合点云依次进行生成TIN三角网格、封装白膜操作形成待映设的三维模型，并利用所述倾斜影像数据对所述待映设的三维模型进行纹理映射操作生成所述建模目标的三维模型；

将所述空中三维激光点云数据与所述地面三维激光点云数据融合形成空地激光融合点云的步骤具体包括：

获取所述空中三维激光点云、地面三维澈光点云中的特征点，根据所述特征点将所述空中三维激光点云、地面三维激光点云配准到同一坐标系内，并对同一坐标系内的空中三维激光点云、地面三维激光点云进行匹配获取空地激光融合点云；

通过无人机的机载激光扫描仪获取空中激光数据，通过所述空中激光数据形成空中三维激光点云数据；

所述倾斜影像数据包括倾斜摄影数据、摄影测量数据；

多旋翼无人机搭载倾斜相机获取建模目标的倾斜影像，另一架多旋翼无人机搭载单镜头相机环绕建模目标飞行，进行贴近摄影测量，获取建模目标的高清纹理。

2.如权利要求1所述的基于空地协同的三维建模方法，其特征在于，所述根据所述倾斜影像数据形成密集匹配点云的步骤包括：

通过所述倾斜影像数据获取控制点，根据所述控制点对所述倾斜影像数据进行光束法区域网整体平差处理，并通过密集匹配生成所述密集匹配点云。

3.如权利要求1所述的基于空地协同的三维建模方法，其特征在于，获取地面三维激光点云数据的步骤包括：

S201：根据预设的扫描间距控制描站扫描所述建模目标，通过打描站的点云数据进行配准，根据配准结果判断是否需要补扫，若是，则执行S202，若否，则执行S203；

S202：根据所述配准结果获取存在漏洞的位置，并控制所述位置对应的扫描站扫描所述位置，通过补扫获取的点云数据进行再次配准；

S203：对配准后的点云数据进行预处理，并通过预设的控制点对预处理后的点云数据进行绝对定向。

4.一种智能终端，其特征在于，所述智能终端包括处理器、存储器，所述处理器与所述存储器通信连接，所述存储器存储有计算机程序，所述处理器根据所述计算机程序执行如权利要求1-3任一项所述的基于空地协同的三维建模方法。

5.一种存储装置，其特征在于，所述存储装置存储有程序数据，所述程序数据被用于执行如权利要求1-3任一项所述的基于空地协同的三维建模方法。

Images