CN113920274A - 场景点云处理方法及装置、无人机、遥测终端和存储介质 - Google Patents

Abstract

本申请提供一种场景点云处理方法及装置、无人机、遥测终端和存储介质，涉及无人机航拍建图技术领域。本申请在获取到目标场景的稀疏点云后，将根据该稀疏点云确定目标场景的封闭边界点数据集，而后将封闭边界点数据集结合稀疏点云作为有效点云数据构建对应的边界约束三维网格模型，接着通过将边界约束三维网格模型在水平基准面上进行投影栅格化，得到该目标场景的目标DSM，使构建出的DSM具有更大的场景覆盖范围，并能表现出更多的场景高程分布细节，以确保构建出的DSM完整有效，从而在该DSM构建正射图像时，确保最终构建出的正射图像完整有效，降低正射图像效果对原始稀疏点云的直接依赖，提升用户的航测图像观看体验。

Description

场景点云处理方法及装置、无人机、遥测终端和存储介质

技术领域

本申请涉及无人机航拍建图技术领域，具体而言，涉及一种场景点云处理方法及装置、无人机、遥测终端和存储介质。

背景技术

随着科学技术的不断发展，无人机航拍建图技术在地图测绘、无人机快递、农业植保等行业中的技术重要度也得到了进一步提升。现有无人机航拍建图方案在具体实施时通常需要通过SFM(Structure From Motion，运动恢复结构)算法提取目标场景的稀疏点云，而后直接基于得到的稀疏点云通过反距离加权或三角化等方法得到目标场景的数字表面模型(Digital Surface Model，DSM)，接着根据得到的DSM以及携带有无人机位姿信息的无人机影像构建出该目标场景的正射图像(DOM)。

需要注意的是，通过这种无人机航拍建图方案构建出的正射图像效果非常依赖提取出的原始稀疏点云，而大面积弱纹理区域或重复纹理区域所对应的点云数目会特别少，从而使得对应弱纹理区域或重复纹理区域的DSM内容是无效的，导致对应区域的DOM也是残缺的，严重影响用户的航测图像观看体验。

发明内容

有鉴于此，本申请的目的在于提供一种场景点云处理方法及装置、无人机、遥测终端和存储介质，能够在原始稀疏点云的基础上扩充涉及场景边界的点云数据来构建目标场景的DSM，使构建出的DSM具有更大的场景覆盖范围，并表现出更多的场景高程分布细节，确保构建出的DSM完整有效，从而在采用该DSM构建正射图像时，确保最终构建出的正射图像完整有效降低正射图像效果对原始稀疏点云的直接依赖，提升用户的航测图像观看体验。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请提供一种场景点云处理方法，所述方法包括：

获取目标场景在无人机航拍下的稀疏点云；

根据所述稀疏点云确定所述目标场景的封闭边界点数据集；

根据所述稀疏点云及所述封闭边界点数据集构建所述目标场景的边界约束三维网格模型；

将所述边界约束三维网格模型在水平基准面上进行投影栅格化，得到所述目标场景的目标数字表面模型DSM。

在可选的实施方式中，所述根据所述稀疏点云确定所述目标场景的封闭边界点数据集的步骤，包括：

将所述稀疏点云投影到所述水平基准面上，得到所述稀疏点云所对应的多个水平面投影点的分布位置；

根据所述多个水平面投影点的分布位置，确定所述目标场景的封闭边界在所述水平基准面上的边界投影范围，其中所述多个水平面投影点位于所述边界投影范围内；

根据所述边界投影范围确定所述封闭边界点数据集包括的多个目标边界点在所述水平基准面上的投影分布位置，其中多个所述目标边界点相互串联形成所述目标场景的封闭边界；

根据所述稀疏点云的点云高程值计算所述稀疏点云的平均高程值，并将所述平均高程值作为每个所述目标边界点在所述封闭边界点数据集中对应的高程值。

在可选的实施方式中，所述目标场景的封闭边界在所述水平基准面上的边界投影形状为圆形、椭圆形及多边形中任意一种。

在可选的实施方式中，所述根据所述稀疏点云及所述封闭边界点数据集构建所述目标场景的边界约束三维网格模型的步骤，包括：

根据多个所述目标边界点在所述水平基准面上的投影分布位置，确定所述目标场景的封闭边界在所述水平基准面上的边界投影位置；

根据所述稀疏点云所对应的多个水平面投影点的分布位置、多个所述目标边界点的投影分布位置及所述边界投影位置，构建所述稀疏点云在所述水平基准面上对应的边界约束二维网格图像；

根据所述稀疏点云的点云高程值、多个所述目标边界点的高程值，以及所述边界约束二维网格图像进行三维重建，得到所述边界约束三维网格模型。

在可选的实施方式中，所述将所述边界约束三维网格模型在水平基准面上进行投影栅格化，得到所述目标场景的目标数字表面模型DSM的步骤，包括：

将所述边界约束三维网格模型投影到所述水平基准面上，得到对应的模型投影区域；

对所述模型投影区域进行栅格化处理，得到所述模型投影区域包括的多个投影栅格点的分布位置；

针对每个投影栅格点，将所述边界约束三维网格模型的与该投影栅格点位置映射的模型表面点的高程值，作为该投影栅格点的高程值；

根据多个所述投影栅格点各自的分布位置及高程值进行DSM构建处理，得到所述目标DSM。

在可选的实施方式中，所述方法还包括：

根据目标DSM及所述目标场景的无人机航拍图像，生成所述目标场景的正射图像。

在可选的实施方式中，所述根据目标DSM及所述目标场景的无人机航拍图像，生成所述目标场景的正射图像的步骤，包括：

从所述目标场景的无人机航拍图像中提取对应的无人机位姿信息；

根据所述目标DSM及所述无人机位姿信息对所述无人机航拍图像进行正射纠正处理，得到对应的航拍纠正图像；

对所述航拍纠正图像进行匀光匀色处理，得到所述目标场景的正射图像。

第二方面，本申请提供一种场景点云处理装置，所述装置包括：

场景点云获取模块，用于获取目标场景在无人机航拍下的稀疏点云；

场景边界确定模块，用于根据所述稀疏点云确定所述目标场景的封闭边界点数据集；

网格模型构建模块，用于根据所述稀疏点云及所述封闭边界点数据集构建所述目标场景的边界约束三维网格模型；

场景DSM构建模块，用于将所述边界约束三维网格模型在水平基准面上进行投影栅格化，得到所述目标场景的目标数字表面模型DSM。

在可选的实施方式中，所述装置还包括：

正射图像生成模块，用于根据目标DSM及所述目标场景的无人机航拍图像，生成所述目标场景的正射图像。

第三方面，本申请提供一种无人机，所述无人机包括相机、处理器和存储器，所述相机用于采集航拍影像，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以实现前述实施方式中任意一项所述的场景点云处理方法。

第四方面，本申请提供一种遥测终端，所述遥测终端与无人机通信连接，其中所述无人机用于实现场景航拍作业，所述遥测终端包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以实现前述实施方式中任意一项所述的场景点云处理方法。

第五方面，本申请提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述实施方式中任意一项所述的场景点云处理方法。

在此情况下，本申请实施例的有益效果包括以下内容：

本申请在获取到目标场景的稀疏点云后，将根据该稀疏点云确定目标场景的封闭边界点数据集，而后将封闭边界点数据集结合稀疏点云作为有效点云数据构建对应的边界约束三维网格模型，接着通过将边界约束三维网格模型在水平基准面上进行投影栅格化，得到该目标场景的目标DSM，从而得以通过在原始稀疏点云的基础上扩充涉及场景边界的点云数据来构建目标场景的DSM，使构建出的DSM具有更大的场景覆盖范围，并表现出更多的场景高程分布细节，确保构建出的DSM完整有效，进而在该DSM构建正射图像时，确保最终构建出的正射图像完整有效，降低正射图像效果对原始稀疏点云的直接依赖，提升用户的航测图像观看体验。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的组成示意图；

图2为本申请实施例提供的场景点云处理方法的流程示意图之一；

图3为本申请实施例提供的场景点云处理方法的流程示意图之二；

图4为采用现有无人机航拍建图方案针对农田场景构建出的正射图像效果；

图5为采用图3所示的场景点云处理方法针对农田场景构建出的正射图像效果；

图6为图2中步骤S220包括的子步骤的流程示意图；

图7为图2中步骤S230包括的子步骤的流程示意图；

图8为子步骤S232所对应的边界约束二维网格图像的简易示意图；

图9为图2中步骤S240包括的子步骤的流程示意图；

图10为图3中步骤S250包括的子步骤的流程示意图；

图11为本申请实施例提供的场景点云处理装置的组成示意图之一；

图12为本申请实施例提供的场景点云处理装置的组成示意图之二。

图标：10-电子设备；11-存储器；12-处理器；13-通信单元；100-场景点云处理装置；110-场景点云获取模块；120-场景边界确定模块；130-网格模型构建模块；140-场景DSM构建模块；150-正射图像生成模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要理解的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。

请参照图1，图1是本申请实施例提供的电子设备10的组成示意图。在本申请实施例中，所述电子设备10能够在构建目标场景的正射图像的过程中，通过对该目标场景的原始稀疏点云进行与场景边界相关的点云数据扩充处理，而后利用扩充得到的有效点云数据构建DSM，并基于构建出的DSM构建出该目标场景的正射图像，以确保最终构建出的正射图像完整有效，降低正射图像效果对原始稀疏点云的直接依赖，提升用户对无人机航测图像(例如，无人机航拍图像及对应场景的正射图像等)的观看体验。在此过程中，与利用目标场景的原始稀疏点云构建出的DSM相比，利用扩充得到的有效点云数据构建出的DSM将具有更大的场景覆盖范围，并且能够表现出更多的与该目标场景对应的场景高程分布细节，该DSM更为完整有效。

其中，所述电子设备10可以是无人机，该无人机包括用于采集目标场景的航拍图像的相机，该无人机可基于采集到的航拍图像进行处理来构建完整有效的正射图像；所述电子设备10也可以是与无人机通信连接的遥测终端，所述无人机用于实现场景航拍作业，所述遥测终端通过所述无人机获取目标场景的航拍图像进行相关正射图像构建作业，其中所述遥测终端可以是但不限于，智能手机、平板电脑、个人计算机、服务器等。

在本实施例中，所述电子设备10可以包括存储器11、处理器12、通信单元13以及场景点云处理装置100。所述存储器11、所述处理器12及所述通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器11、所述处理器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

在本实施例中，所述存储器11可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，所述存储器11用于存储计算机程序，所述处理器12在接收到执行指令后，可相应地执行所述计算机程序。

在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)及网络处理器(Network Processor，NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

在本实施例中，所述通信单元13用于通过网络建立所述电子设备10与其他网络设备之间的通信连接，并通过所述网络收发数据，其中所述网络包括有线通信网络及无线通信网络。例如，所述电子设备10可通过所述通信单元13将自身针对目标场景构建出的完整有效的正射图像发送给用户终端，以便于用户在所述用户终端处观看该目标场景的正射图像。

在本实施例中，所述场景点云处理装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或者在所述电子设备10的操作系统的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块，例如所述场景点云处理装置100所包括的软件功能模块及计算机程序等。所述电子设备10可通过所述场景点云处理装置100扩充构建DSM所需的点云数据，使构建出的DSM具有更大的场景覆盖范围，并表现出更多的场景高程分布细节，确保构建出的DSM完整有效，从而在采用该DSM构建正射图像时，确保最终构建出的正射图像完整有效，降低正射图像效果对场景稀疏点云的直接依赖，提升用户的航测图像观看体验。

可以理解的是，图1所示的框图仅为所述电子设备10的一种组成示意图，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

在本申请中，为确保所述电子设备10能够确保构建出的DSM完整有效，以确保通过该DSM构建出的正射图像也是完整有效的，提升用户的航测图像观看体验，本申请实施例通过提供一种场景点云处理方法实现前述功能，下面对本申请提供的场景点云处理方法进行详细阐述。

请参照图2，图2是本申请实施例提供的场景点云处理方法的流程示意图之一。在本申请实施例中，图2所示的场景点云处理方法可以包括步骤S210～步骤S240。

步骤S210，获取目标场景在无人机航拍下的稀疏点云。

在本实施例中，所述目标场景的稀疏点云可通过运用SFM算法对无人机航拍出的该目标场景的多张无人机航拍图像进行处理得到。在此过程中，SFM算法也能相应地确定出每张无人机航拍图像所代表的无人机位姿信息。

其中，若所述电子设备10为航拍该目标场景的无人机，则所述电子设备10可自行通过运用SFM算法对该目标场景的多张无人机航拍图像进行处理，得到该目标场景在无人机航拍下的稀疏点云。

若所述电子设备10为与航拍该目标场景的无人机通信连接的遥测终端，则所述电子设备10可通过网络从所述无人机处获取该无人机处理得到的所述目标场景的稀疏点云。

步骤S220，根据稀疏点云确定目标场景的封闭边界点数据集。

在本实施例中，所述封闭边界点数据集包括位于该目标场景的封闭边界上的多个目标边界点的高程值及其在水平基准面上的投影分布位置，其中多个所述目标边界点相互串联形成所述目标场景的封闭边界，所述封闭边界用于限制对应目标场景的场景笼罩范围，即所述稀疏点云在水平基准面上对应的所有投影点处于该封闭边界在所述水平基准面上的边界投影范围内。

其中，所述目标场景的封闭边界在所述水平基准面上的边界投影形状可以是圆形，也可以是椭圆形，还可以是任意多边形(例如，任意三角形、任意四边形、任意五边形等)或者标准多边形(例如，等腰三角形、矩形等)。在本实施例的一种实施方式中，选取任意四边形作为水平基准面上的边界投影形状来构建目标场景的封闭边界，此时可选取与该任意四边形的四个顶点分别对应的四个目标边界点构建该目标场景的封闭边界点数据集。

步骤S230，根据稀疏点云及封闭边界点数据集构建目标场景的边界约束三维网格模型。

在本实施例中，当确定出目标场景的稀疏点云，以及该目标场景的封闭边界点数据集后，会将所述目标场景的稀疏点云与所述封闭边界点数据集进行结合作为构建对应正射图像的有效点云数据，并基于该有效点云数据对所述目标场景进行满足边界约束效果的三维网格重建作业，得到该目标场景的边界约束三维网格模型。此时，所述有效点云数据在水平基准面上的整体投影覆盖范围将对应涵盖所述稀疏点云在水平基准面上的整体投影覆盖范围。

步骤240，将边界约束三维网格模型在水平基准面上进行投影栅格化，得到目标场景的目标DSM。

在本实施例中，当所述电子设备10构建出目标场景的边界约束三维网格模型后，会相应地将该边界约束三维网格模型在水平基准面上的投影区域进行栅格化处理，确定出该投影区域内每个栅格点在映射到所述边界约束三维网格模型上时所具有的高程值信息，而后基于该投影区域内每个栅格点的高程值信息构建出匹配的目标DSM，使构建出的目标DSM相对于直接基于所述稀疏点云构建出的常规DSM具有更大的场景覆盖范围，并表现出更多的场景高程分布细节(例如，目标DSM的栅格点数目比常规DSM的栅格点数目更多，其中每个栅格点均对应有一个高程值)，以确保构建出的目标DSM中各区域从全局来看均具有自身对应的高程信息，并不存在无效DSM区域，即使所述目标场景内实际存在弱纹理区域或重复纹理区域。此时，如果采用构建出的目标DSM来构建对应目标场景的正射图像的话，将保证最终构建出的正射图像完整有效，从而降低正射图像效果对原始稀疏点云的直接依赖，确保用户的航测图像观看体验。

由此，本申请可通过执行上述步骤S210～步骤S240，在原始稀疏点云的基础上扩充涉及场景边界的点云数据来构建目标场景的DSM，使构建出的DSM具有更大的场景覆盖范围，并表现出更多的场景高程分布细节，确保构建出的DSM完整有效，进而在该DSM构建正射图像时，确保最终构建出的正射图像完整有效，降低正射图像效果对原始稀疏点云的直接依赖，提升用户的航测图像观看体验。

可选地，请参照图3，图3是本申请实施例提供的场景点云处理方法的流程示意图之二。在本申请实施例中，图3所示的场景点云处理方法与图2所示的场景点云处理方法相比，图3所示的场景点云处理方法还可以包括步骤S250，以针对目标场景生成匹配的完整有效的正射图像。

步骤S250，根据目标DSM及目标场景的无人机航拍图像，生成目标场景的正射图像。

在本实施例中，当所述电子设备10确定出目标场景的完整有效的目标DSM后，可利用该目标DSM结合该目标场景的无人机航拍图像所携带的无人机位姿信息，对该无人机航拍图像进行图像处理，以生成该目标场景的完整有效的正射图像，从而利用该目标DSM相较于直接采用原始稀疏点云构建的DSM具有更大的场景覆盖范围以及更多的场景高程分布细节的特性，确保最终构建出的正射图像完整有效，降低正射图像效果对原始稀疏点云的直接依赖，提升用户的航测图像观看体验。

以图4及图5为例进行说明，其中图4是采用现有无人机航拍建图方案针对农田场景构建出的正射图像效果，图5是采用本申请提供的图3所示的场景点云处理方法场景点云处理方法针对农田场景构建出的正射图像效果。在图4所示的正射图像中，位于该正射图像正下方的一个呈八边形分布的黑色区域即代表农田场景中的弱纹理区域或重复纹理区域的正射图像内容，该黑色区域明显无法表现出有效的图像纹理内容，图4所示的正射图像存在明显残缺，影响用户的观看体验。

而在图5所示的正射图像中，与图4中呈八边形分布的黑色区域相对应的图像区域内明显表现出有效的图像纹理内容，即农田场景中的弱纹理区域或重复纹理区域在图5所示的正射图像中也可表现出有效的正射图像内容，图5所示的农田场景的正射图像完整有效，使用户具有良好的观看体验。同时，图5所示的正射图像的有效图像内容的覆盖范围也大于图4所示的正射图像的有效图像内容的覆盖范围。

由此，本申请可通过执行上述步骤S250，利用目标DSM相较于直接采用原始稀疏点云构建的DSM具有更大的场景覆盖范围以及更多的场景高程分布细节的特性，针对目标场景构建出完整有效的正射图像降低正射图像构建操作对原始稀疏点云的直接依赖，以降低场景纹理分布状况对正射图像效果的影响，提升用户的航测图像观看体验。

在本申请中，为确保所述电子设备10能够针对目标场景确定有效的代表封闭边界的封闭边界点数据集，本申请通过提供一种封闭边界点数据集构建方法实现前述功能，下面对本申请提供的封闭边界点数据集构建方法进行详细阐述。

请参照图6，图6是图2中步骤S220包括的子步骤的流程示意图。在本申请实施例中，所述步骤S220可以包括子步骤S221～子步骤S224，以确定出有效的目标场景的封闭边界点数据集。

子步骤S221，将稀疏点云投影到水平基准面上，得到稀疏点云所对应的多个水平面投影点的分布位置。

子步骤S222，根据多个水平面投影点的分布位置，确定目标场景的封闭边界在水平基准面上的边界投影范围。

在本实施例中，所述边界投影范围用于对所述多个水平面投影点进行包围。在本实施例的一种实施方式中，基于投影面积最小化的思想来确定所述边界投影范围，以确保最终构建出的正射图像具有良好的准确度。

子步骤S223，根据边界投影范围确定封闭边界点数据集包括的多个目标边界点在水平基准面上的投影分布位置。

在本实施例中，所述封闭边界点数据集所对应的多个所述目标边界点相互串联形成所述目标场景的封闭边界。

子步骤S224，根据稀疏点云的点云高程值计算稀疏点云的平均高程值，并将平均高程值作为每个目标边界点在封闭边界点数据集中对应的高程值。

在本实施例中，所述电子设备10可通过对目标场景所对应的稀疏点云中所有三维点各自的点云高程值进行均值运算，得到该稀疏点云的平均高程值，并直接采用该平均高程值对所述封闭边界点数据集中每个目标边界点的高程值进行赋值处理，从而得到该目标场景的封闭边界点数据集。

由此，本申请可通过执行上述子步骤S221～子步骤S224，针对目标场景确定出有效的代表封闭边界的封闭边界点数据集，以便于后续扩充构建正射图像所需的有效点云数据。

在本申请中，为确保所述电子设备10能够将目标场景的稀疏点云及封闭边界点数据集进行有效结合，实现对应的点云数据扩充操作，本申请通过提供一种点云数据有效扩充方法实现前述功能，下面对本申请提供的点云数据有效扩充方法进行详细阐述。

请参照图7，图7是图2中步骤S230包括的子步骤的流程示意图。在本本申请实施例中，所述步骤S230可以包括子步骤S231～子步骤S233，以在目标场景的原始稀疏点云的基础上扩充得到涉及场景边界的有效点云数据，并基于有效点云数据对目标场景的场景高程状况进行边界约束。

子步骤S231，根据多个目标边界点在水平基准面上的投影分布位置，确定目标场景的封闭边界在水平基准面上的边界投影位置。

在本实施例中，所述目标场景的封闭边界在水平基准面上的边界投影位置可由对应闭边界点数据集中多个目标边界点在水平基准面上的投影分布位置相互串联得到。

子步骤S232，根据稀疏点云所对应的多个水平面投影点的分布位置、多个目标边界点的投影分布位置及边界投影位置，构建稀疏点云在水平基准面上对应的边界约束二维网格图像。

在本实施例中，可采用所述边界投影位置作为二维网格图像的边界约束条件，使用所述稀疏点云所对应的多个水平面投影点的分布位置以及所述多个目标边界点的投影分布位置进行三角化网格构建操作，得到所述边界约束二维网格图像。在此过程中，所述边界约束二维网格图像明显涵盖了直接通过稀疏点云所对应的多个水平面投影点构建出的三角网格内容。

以图8为例进行说明，图8是子步骤S232所对应的边界约束二维网格图像的简易示意图，图8中黑色实心点用于表示目标场景的稀疏点云在水平基准面上对应的水平面投影点，图8中空心圆圈用于表示处于该目标场景的封闭边界上的目标边界点在水平基准面上对应的投影点，图8中的黑色较粗实线相互串联在一起的方框用于表示该目标场景的封闭边界在水平基准面上的边界投影位置，图8中的黑色较细实线组合在一起的网格用于直接由目标场景的稀疏点云所对应的水平面投影点进行三角化得到的三角网格，图8中的黑色虚线用于表示各目标边界点在水平基准面上的投影点与所有水平面投影点中呈边缘分布的各水平面投影点进行三角化网格构建操作，此时图8所示的整个网格图像即为所述边界约束二维网格图像，图8中的黑色实心点A、B、C、D、E即代表目标场景所对应的所有水平面投影点中分布在边缘的水平面投影点，空心圆圈a、b、c、d、e、f、g、h则代表处于该目标场景的封闭边界上的各目标边界点在水平基准面上对应的投影点。

子步骤S233，根据稀疏点云的点云高程值、多个目标边界点的高程值，以及边界约束二维网格图像进行三维重建，得到边界约束三维网格模型。

在本实施例中，所述电子设备10可根据所述稀疏点云中所有三维点的点云高程值，以及不同三维点与不同水平投影点之间的投影映射关系，得到三维模型与二维图像的纹理映射关系，进而基于该纹理映射关系结合所述稀疏点云的点云高程值、多个目标边界点的高程值，以及所述边界约束二维网格图像进行三维重建，得到目标场景的与场景高程分布状况相关的边界约束三维网格模型。

由此，本申请可通过执行上述子步骤S231～子步骤S233，将目标场景的稀疏点云及封闭边界点数据集进行有效结合，以在目标场景的原始稀疏点云的基础上扩充得到涉及场景边界的有效点云数据，并基于有效点云数据对目标场景的场景高程状况进行边界约束。

在本申请中，为确保构建出的DSM能够表征目标场景中不同区域各自的高程信息，构建出的DSM完整有效，本申请通过提供一种DSM生成方法实现前述功能，下面对本申请提供的DSM生成方法进行详细阐述。

请参照图9，图9是图2中步骤S240包括的子步骤的流程示意图。在本申请实施例中，所述步骤S240可以包括子步骤S241～子步骤S244，以生成完整有效的能够表征目标场景中不同区域各自的高程信息的DSM。

子步骤S241，将边界约束三维网格模型投影到水平基准面上，得到对应的模型投影区域。

子步骤S242，对模型投影区域进行栅格化处理，得到模型投影区域包括的多个投影栅格点的分布位置。

子步骤S243，针对每个投影栅格点，将边界约束三维网格模型的与该投影栅格点位置映射的模型表面点的高程值，作为该投影栅格点的高程值。

子步骤S244，根据多个投影栅格点各自的分布位置及高程值进行DSM构建处理，得到目标DSM。

由此，本申请可通过执行上述子步骤S241～子步骤S244，生成相对于直接基于所述稀疏点云构建出的常规DSM更加完整有效的能够表征目标场景中不同区域各自的高程信息的DSM，此时生成的DSM将前述常规DSM具有更大的场景覆盖范围以及更多的场景高程分布细节。

可选地，请参照图10，图10是图3中步骤S250包括的子步骤的流程示意图。在本申请实施例中，所述步骤S250可以包括子步骤S251～子步骤S253，以生成目标场景的完整有效的正射图像。

子步骤S251，从目标场景的无人机航拍图像中提取对应的无人机位姿信息。

子步骤S252，根据目标DSM及无人机位姿信息对无人机航拍图像进行正射纠正处理，得到对应的航拍纠正图像。

子步骤S253，对航拍纠正图像进行匀光匀色处理，得到目标场景的正射图像。

其中，所述无人机位姿信息可基于SFM算法从所述无人机航拍图像中提取得到。

由此，本申请可通过执行上述子步骤S251～子步骤S253，利用完整有效的目标DSM来构建匹配的正射图像，从而基于目标DSM相较于前述常规DSM所具有更大的场景覆盖范围以及更多的场景高程分布细节的特性，确保最终构建出的正射图像完整有效，降低场景纹理分布状况对正射图像效果的影响，提升用户的航测图像观看体验。

在本申请中，为确保所述电子设备10能够通过所述场景点云处理装置100执行上述场景点云处理方法，本申请通过对所述场景点云处理装置100进行功能模块划分的方式实现前述功能。下面对本申请提供的场景点云处理装置100的具体组成进行相应描述。

请参照图11，图11是本申请实施例提供的场景点云处理装置100的组成示意图之一。在本申请实施例中，所述场景点云处理装置100可以包括场景点云获取模块110、场景边界确定模块120、网格模型构建模块130及场景DSM构建模块140。

场景点云获取模块110，用于获取目标场景在无人机航拍下的稀疏点云。

场景边界确定模块120，用于根据所述稀疏点云确定所述目标场景的封闭边界点数据集。

网格模型构建模块130，用于根据所述稀疏点云及所述封闭边界点数据集构建所述目标场景的边界约束三维网格模型。

场景DSM构建模块140，用于将所述边界约束三维网格模型在水平基准面上进行投影栅格化，得到所述目标场景的目标数字表面模型DSM。

可选地，请参照图12，图12是本申请实施例提供的场景点云处理装置100的组成示意图之二。在本申请实施例中，所述场景点云处理装置100还可以包括正射图像生成模块150。

正射图像生成模块150，用于根据目标DSM及所述目标场景的无人机航拍图像，生成所述目标场景的正射图像。

需要说明的是，本申请实施例所提供的场景点云处理装置100，其基本原理及产生的技术效果与前述的场景点云处理方法相同。为简要描述，本实施例部分未提及之处，可参考上述的针对场景点云处理方法的描述内容。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，在本申请提供的场景点云处理方法及装置、无人机、遥测终端和存储介质中，本申请在获取到目标场景的稀疏点云后，将根据该稀疏点云确定目标场景的封闭边界点数据集，而后将封闭边界点数据集结合稀疏点云作为有效点云数据构建对应的边界约束三维网格模型，接着通过将边界约束三维网格模型在水平基准面上进行投影栅格化，得到该目标场景的目标DSM，从而得以通过在原始稀疏点云的基础上扩充涉及场景边界的点云数据来构建目标场景的DSM，使构建出的DSM具有更大的场景覆盖范围，并表现出更多的场景高程分布细节，确保构建出的DSM完整有效，进而在该DSM构建正射图像时，确保最终构建出的正射图像完整有效，降低正射图像效果对原始稀疏点云的直接依赖，提升用户的航测图像观看体验。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应当以权利要求的保护范围为准。

Claims (12)

1.一种场景点云处理方法，其特征在于，所述方法包括：

获取目标场景在无人机航拍下的稀疏点云；

根据所述稀疏点云确定所述目标场景的封闭边界点数据集；

根据所述稀疏点云及所述封闭边界点数据集构建所述目标场景的边界约束三维网格模型；

将所述边界约束三维网格模型在水平基准面上进行投影栅格化，得到所述目标场景的目标数字表面模型DSM。

2.根据权利要求1所述的方法，其特征在于，所述根据所述稀疏点云确定所述目标场景的封闭边界点数据集的步骤，包括：

将所述稀疏点云投影到所述水平基准面上，得到所述稀疏点云所对应的多个水平面投影点的分布位置；

根据所述多个水平面投影点的分布位置，确定所述目标场景的封闭边界在所述水平基准面上的边界投影范围，其中所述多个水平面投影点位于所述边界投影范围内；

根据所述边界投影范围确定所述封闭边界点数据集包括的多个目标边界点在所述水平基准面上的投影分布位置，其中多个所述目标边界点相互串联形成所述目标场景的封闭边界；

根据所述稀疏点云的点云高程值计算所述稀疏点云的平均高程值，并将所述平均高程值作为每个所述目标边界点在所述封闭边界点数据集中对应的高程值。

3.根据权利要求2所述的方法，其特征在于，所述目标场景的封闭边界在所述水平基准面上的边界投影形状为圆形、椭圆形及多边形中任意一种。

4.根据权利要求2所述的方法，其特征在于，所述根据所述稀疏点云及所述封闭边界点数据集构建所述目标场景的边界约束三维网格模型的步骤，包括：

根据多个所述目标边界点在所述水平基准面上的投影分布位置，确定所述目标场景的封闭边界在所述水平基准面上的边界投影位置；

根据所述稀疏点云所对应的多个水平面投影点的分布位置、多个所述目标边界点的投影分布位置及所述边界投影位置，构建所述稀疏点云在所述水平基准面上对应的边界约束二维网格图像；

根据所述稀疏点云的点云高程值、多个所述目标边界点的高程值，以及所述边界约束二维网格图像进行三维重建，得到所述边界约束三维网格模型。

5.根据权利要求1所述的方法，其特征在于，所述将所述边界约束三维网格模型在水平基准面上进行投影栅格化，得到所述目标场景的目标数字表面模型DSM的步骤，包括：

将所述边界约束三维网格模型投影到所述水平基准面上，得到对应的模型投影区域；

对所述模型投影区域进行栅格化处理，得到所述模型投影区域包括的多个投影栅格点的分布位置；

针对每个投影栅格点，将所述边界约束三维网格模型的与该投影栅格点位置映射的模型表面点的高程值，作为该投影栅格点的高程值；

根据多个所述投影栅格点各自的分布位置及高程值进行DSM构建处理，得到所述目标DSM。

6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述方法还包括：

根据目标DSM及所述目标场景的无人机航拍图像，生成所述目标场景的正射图像。

7.根据权利要求6所述的方法，其特征在于，所述根据目标DSM及所述目标场景的无人机航拍图像，生成所述目标场景的正射图像的步骤，包括：

从所述目标场景的无人机航拍图像中提取对应的无人机位姿信息；

根据所述目标DSM及所述无人机位姿信息对所述无人机航拍图像进行正射纠正处理，得到对应的航拍纠正图像；

对所述航拍纠正图像进行匀光匀色处理，得到所述目标场景的正射图像。

8.一种场景点云处理装置，其特征在于，所述装置包括：

场景点云获取模块，用于获取目标场景在无人机航拍下的稀疏点云；

场景边界确定模块，用于根据所述稀疏点云确定所述目标场景的封闭边界点数据集；

网格模型构建模块，用于根据所述稀疏点云及所述封闭边界点数据集构建所述目标场景的边界约束三维网格模型；

场景DSM构建模块，用于将所述边界约束三维网格模型在水平基准面上进行投影栅格化，得到所述目标场景的目标数字表面模型DSM。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

正射图像生成模块，用于根据目标DSM及所述目标场景的无人机航拍图像，生成所述目标场景的正射图像。

10.一种无人机，其特征在于，所述无人机包括相机、处理器和存储器，所述相机用于采集航拍影像，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以实现权利要求1-7中任意一项所述的场景点云处理方法。

11.一种遥测终端，其特征在于，所述遥测终端与无人机通信连接，其中所述无人机用于实现场景航拍作业，所述遥测终端包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以实现权利要求1-7中任意一项所述的场景点云处理方法。

12.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-7中任意一项所述的场景点云处理方法。

Images