CN117372273A - 无人机影像的正射影像生成方法、装置、设备和存储介质 - Google Patents

Abstract

本公开提供了一种无人机影像的正射影像生成方法、装置、设备和存储介质，该方法包括：获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与当前影像具有相同区域的影像，并将与当前影像具有相同区域的影像与当前影像一一组合为当前影像对；基于当前影像对更新已有点云数据，得到当前点云数据；基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于当前影像块范围由当前点云数据中提取目标点云数据，并基于目标点云数据构建目标正射影像；将目标正射影像融合至已生成的正射影像中，得到当前时刻的正射影像。通过本公开的方法便可以实时进行正射影像的生成。

Description

无人机影像的正射影像生成方法、装置、设备和存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种无人机影像的正射影像生成方法、装置、设备和存储介质。

背景技术

目前，在将无人机的航拍影像生成指定区域的正射影像时，通常是先通过无人机获取指定区域的航拍影像，并将获取的航拍影像上传至图像处理系统中，在指定区域的所有航拍影像全部上传至图像处理系统后，再根据对全部的航拍影像生成指定区域的正射影像。由于现有的方式需要获取到全部的航拍影像后才能生成正射影像，这就导致不能实时获取指定区域的正射影像，从而不能及时获取指定区域的相关信息。

发明内容

有鉴于此，本公开提出了一种无人机影像的正射影像生成方法、装置、设备和存储介质，可以实时获取指定区域的正射影像。

根据本公开的第一方面，提供了一种无人机影像的正射影像生成方法，包括：

获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与所述当前影像具有相同区域的影像，并将与所述当前影像具有相同区域的影像与所述当前影像一一组合为当前影像对；

基于所述当前影像对更新已有点云数据，得到当前点云数据；其中，所述已有点云数据根据当前时刻之前所上传的影像中具有相同区域的影像对所包含的特征点信息提取得到；

基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于所述当前影像块范围由所述当前点云数据中提取目标点云数据，基于所述目标点云数据构建目标正射影像；

将所述目标正射影像融合至已生成的正射影像中，得到所述当前时刻的正射影像。

在一种可能的实现方式中，在由当前时刻之前已上传的影像中提取出与所述当前影像具有相同区域的影像时，包括：

计算所述当前影像在地面坐标系下的投影范围；

由预先构建的R树空间索引中查找到与所述投影范围相交的目标投影范围，并获取所述目标影像范围对应的影像存储地址；

基于所述影像存储地址，由当前时刻之前已上传的影像中提取出与所述当前影像具有相同区域的影像；

其中，所述R树空间索引中包括当前时刻之前已上传的每个影像在地面坐标系下的投影范围以及存储地址。

在一种可能的实现方式中，在基于所述当前影像对更新已有点云数据，得到当前点云数据，包括：

获取所述当前影像对中各影像的特征点信息，并对各影像的特征点信息进行匹配，得到所述当前影像对的特征点匹配结果；

判断当前时刻之前已接收的影像对数量是否大于设定数量阈值，并在已接收的影像对数量大于设定数量阈值时，基于所述当前影像对的特征点匹配结果更新已有点云数据，得到当前点云数据。

在一种可能的实现方式中，在所述当前点云数据中的新增点云数据量大于设定数值之后，还包括：

基于所述当前点云数据，计算所述当前点云数据对应的修订阈值，并基于所述修订阈值，对所述当前点云数据进行修订。

在一种可能的实现方式中，在基于所述当前影像块范围由所述当前点云数据中提取目标点云数据时，包括：

判断所述当前影像块范围是否小于等于当前点云数据的范围；

在判断所述当前影像块范围小于等于当前点云数据的范围时，由所述当前点云数据中提取位于所述当前影像块范围内的点云数据作为目标点云数据。

在一种可能的实现方式中，在由所述当前点云数据中提取位于所述当前影像块范围内的点云数据作为目标点云数据时，基于已构建点云数据的四叉树空间索引实现。

在一种可能的实现方式中，在由所述当前点云数据中提取位于所述当前影像块范围内的点云数据作为目标点云数据后，还包括将目标点云数据加入至空闲的异步线程池中，以通过所述异步线程池执行基于目标点云数据构建目标正射影像的操作。

根据本公开的第二方面，提供了一种无人机影像的正射影像生成装置，包括：

影像获取模块，用于获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与所述当前影像具有相同区域的影像，并将与所述当前影像具有相同区域的影像与所述当前影像一一组合为当前影像对；

点云数据构建模块，用于基于所述当前影像对更新已有点云数据，得到当前点云数据；其中，所述已有点云数据根据当前时刻之前所上传的影像中具有相同区域的影像对所包含的特征点信息提取得到；

正射影像构建模块，用于基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于所述当前影像块范围由所述当前点云数据中提取目标点云数据，基于所述目标点云数据构建目标正射影像；

影像融合模块，用于将所述目标正射影像融合至已生成的正射影像中，得到所述当前时刻的正射影像。

根据本公开的第三方面，提供了一种无人机影像的正射影像生成设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行本公开第一方面所述的方法。

根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现本公开第一方面所述的方法。

本公开提供了一种无人机影像的正射影像生成方法，包括：获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与当前影像具有相同区域的影像，并将与当前影像具有相同区域的影像与当前影像一一组合为当前影像对；基于当前影像对更新已有点云数据，得到当前点云数据；其中，所述已有点云数据根据当前时刻之前所上传的影像中具有相同区域的影像对所包含的特征点信息提取得到；基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于当前影像块范围由当前点云数据中提取目标点云数据，并基于目标点云数据构建目标正射影像；将目标正射影像融合至已生成的正射影像中，得到当前时刻的正射影像。通过本公开的方法便可以实时进行正射影像的生成。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的无人机影像的正射影像生成方法的流程图。

图2示出根据本公开一实施例的无人机影像的正射影像生成方法的示例流程图。

图3示出根据本公开一实施例的无人机影像的正射影像生成装置的示意性框图。

图4示出根据本公开一实施例的无人机影像的正射影像生成设备的示意性框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

<方法实施例>

图1示出根据本公开一实施例的无人机影像的正射影像生成方法的流程图，该方法由图像处理系统实施，如图1所示，该方法包括步骤S1100-S1400。

S1100，获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与当前影像具有相同区域的影像，并将与当前影像具有相同区域的影像与当前影像一一组合为当前影像对。

首先需要说明的是，在本实施例中，无人机在执行影像采集任务时，将按照预设的时间间隔或者距离间隔获取影像，并将获取的影像实时上传至图像处理系统中，这样，图像处理系统便可以实时获取无人机上传的影像，其中，在当前时刻上传至图像处理系统的影像即为当前影像。

在一种可能的实现方式中，为了避免当前影像的重复上传，在将当前影像上传至图像处理系统时，基于当前影像的MD5指纹实现。具体地，在获取到当前影像的情况，将计算当前影像的MD5指纹，并通过调用图像处理系统的API接口查询图像处理系统中是否存在与当前影像的MD5指纹相同的MD5指纹：若不存时，说明当前影像未上传，则将当前影像以及当前影像的MD5指纹上传并存储至图像处理系统；若存在，说明当前影像已上传，则将当前影像由无人机的内存中删除。

此处需要说明的是，无人机每个时刻获取的影像都是采用与当前影像相同的方式上传至图像处理系统的，因此，在获取到当前影像时，图像处理系统中已经接收并存储有当前时刻之前已上传的所有影像以及各影像的MD5指纹，这样，在计算出当前影像的MD5指纹时，便可以通过调用图像处理系统的API接口查询图像处理系统中是否存储有与当前影像的MD5指纹相同的MD5指纹，从而确定当前影像是否已经上传。

在获取到当前影像后，图像处理系统将对获取到的当前影像进行以下处理：第一，将当前影像存储至第一文件服务器中，并记录当前影像在第一文件服务器中的存储地址（即存储地址）。其中，由于分布式的文件系统MINIO具有轻量级、配置简单、可存储文件类型丰富、简单易用等特点，非常适合航拍影像的存储、检索与下载，因此，可以优选分布式的文件系统MINIO作为图像处理系统中的第一文件服务器。第二，对当前影像的文件信息进行解析，得到当前影像的影像尺寸、拍摄位置以及相机型号中的至少一种数据，并将当前影像的存储地址、影像尺寸、拍摄位置以及相机型号中的至少一种数据作为当前影像的元数据并存储至元数据库中。第三，对当前影像的像素信息进行解析，得到当前影像的像素信息和像素类型，并将当前影像的存储地址、像素信息和像素类型作为当前影像的像素数据存储至第二文件服务器中。其中，第二文件服务器可以与第一文件服务器相同，也可以与第一文件服务器不同，在此不作具体限定。

此处需要说明的是，当前时刻之前上传至图像处理系统的影像采用与当前影像相同的处理方式进行处理和存储，因此，在接收到当前影像时，图像处理系统的第一文件服务器中除了存储有当前影像外，还存储有所有当前时刻之前已上传的影像（为了简化描述，下文中简称为已上传影像）。元数据库中除了存储有当前影像的元数据外，还存储有所有已上传影像的元数据。第二服务器中除了储存有当前影像的像素数据外，还存储有所有已上传影像的像素数据。

在图像处理系统完成对当前影像的上述处理后，将基于当前影像的存储地址分别由第一文件服务器、元数据库以及第二文件服务器中提取当前影像、当前影像的元数据以及当前影像的像素数据至计算机内存中，以实现后续的计算步骤。

在将当前影像、当前影像的元数据以及当前影像的像素数据提取至计算机内存后，便可以执行由已上传的影像中提取出与所述当前影像具有相同区域的影像，并将与所述当前影像具有相同区域的影像与所述当前影像一一组合为当前影像对的操作。

在一种可能的实现方式中，在由已上传的影像中提取出与当前影像具有相同区域的影像时，基于已上传影像的R树空间索引实现。其中，该R树空间索引中包括每个已上传影像在地面坐标系下的投影范围以及存储地址。

此处需要说明的是，在基于已上传影像的R树空间索引由已上传影像中提取出与当前影像具有相同区域的影像之前，需要先构建已上传影像的R树空间索引。具体步骤包括：

第一，针对每个已上传影像，计算其在地面坐标系下的投影范围，并记录投影范围和已上传影像在第一文件服务器中存储地址。具体地，针对已上传影像，先获取已上传影像的元数据，由元数据中获取已上传影像的影像尺寸、拍摄位置和相机型号。再根据相机型号由预先构建的相机信息字典中查找对应的相机参数。接着根据拍摄位置确定对应的投影带，并获取投影带对应的地面坐标系。接着根据已上传影像的影像尺寸、拍摄位置、相机参数，计算已上传影像在地面坐标系下的投影范围。最后，记录已上传影像的投影范围与和存储地址。在完成所有已上传影像的处理后，便可以得到每个已上传影像的投影范围和存储地址。

第二，基于每个已上传影像的投影范围和存储地址，构建已上传影像的R树空间索引。其中，R树空间索引的节点中存储有每个已上传影像的投影范围和存储地址。具体地，如何基于每个已上传影像的投影范围和存储地址，构建已上传影像的R树空间索引是本领域的公知常识，在此不再赘述。

在完成R树空间索引的构建后，便可以基于构建的R树空间索引由已上传影像中提取出与当前影像具有相同区域的影像。具体包括以下步骤：

第一，计算当前影像在地面坐标系下的投影范围。具体计算过程参见已上传影像投影范围的计算，在此不再赘述。第二，由预先构建的R树空间索引中查找到与当前影像的投影范围相交的目标投影范围，并获取目标投影范围对应的影像存储地址。第三，根据目标投影范围对应的影像存储地址，由已上传的影像中提取出与当前影像具有相同区域的影像。在该可实现方式中，通过已上传影像的R树空间索引可以快速地提取出与当前影像具有相同区域的影像，从而节省了大量的无效匹配时间。

在提取出与当前影像具有相同区域的影像后，便可以将与当前影像具有相同区域的影像与当前影像一一组合为当前影像对。此处需要说明的是，在与当前影像具有相同区域的影像数量为1个时，将得到一个当前影像对；在与当前影像具有相同区域的影像数量为多个时，将把当前影像与每个提取出的具有相同区域的影像组成一个影像对，从而得到多个当前影像对。

在得到当前影像对以后，便可以执行步骤S1200，基于当前影像对更新已有点云数据，得到当前点云数据。

在一种可能的实现方式中，在基于当前影像对更新已有点云数据，得到当前点云数据时，可以包括以下步骤：

第一，获取当前影像对中各影像的特征点信息，并对各影像的特征点信息进行匹配，得到当前影像对的特征点匹配结果。具体的，针对当前影像对中的当前影像，获取当前影像的特征点信息；针对当前影像对中与当前影像具有相同区域的影像（下面简称为匹配影像），获取匹配影像的特征点信息；然后，通过比对当前影像的特征点信息和匹配影像的特征点信息，找到当前影像和匹配影像中相同的特征点作为当前影像对的特征点匹配结果。其中，特征点信息包括特征点的像素坐标、主方向和特征向量中的至少一种。

在一种可能的实现方式中，在获取当前影像的特征点信息时，基于用于进行影像特征点信息提取的CUDA程序实现。具体地，包括如下步骤：

首先，获取当前影像的像素信息、像素类型和影像尺寸。具体地，由当前影像的像素数据中提取出当前影像的像素信息和像素类型，由当前影像的元数据中提取出当前影像的影像尺寸。其中，这里的像素信息是指像素坐标（xy坐标）以及对应的波段数据，这里的像素类型是指图像波段中存储的数据类型。

其次，将当前影像的像素信息、像素类型和影像尺寸输入至用于进行影像特征点信息提取的CUDA程序，从而通过CUDA程序计算出当前影像的特征点信息。其中，该CUDA程序可以是实现SURF算法的现有CUDA程序，在此不再赘述。进一步地，CUDA程序如何根据输入的当前影像的像素信息、像素类型和影像尺寸计算当前影像的特征点信息为本领域的公知常识，在此不在赘述。

匹配影像的特征点信息的获取过程与当前影像的特征点信息获取过程相同，在此不再赘述。

在获取到当前影像的特征点信息和匹配影像的特征点信息之后，便可以基于FLANN算法对当前影像的特征点信息和匹配影像的特征点信息进行特征点匹配，从而得到当前影像对的特征点匹配结果。

第二，判断当前时刻之前已接收的影像对数量是否大于设定数量阈值，并在已接收的影像对数量大于设定数量阈值时，基于当前影像对的特征点匹配结果更新已有点云数据，得到当前点云数据。

此处需要说明的是，图像处理系统每获取到一个影像对和对应的特征点匹配结果，将计算已接收到的影像对的数量，并判断已接收到的影像对的数量与设定数量阈值之间的大小关系：在判断接收到的影像对的数量小于设定数量阈值时，将重复执行上述操作以获取新影像对和对应的特征点匹配结果。在判断接收到的影像对的数量等于设定数量阈值时，将由已获取的影像对中筛选出特征点匹配结果最好的影像对作为初始影像对，并基于初始影像对进行初始点云的构建。在判断接收到的影像对的数量大于设定数量阈值时，根据当前影像对的特征点匹配结果更新已有点云数据，得到当前点云数据。其中，为了兼顾点云数据的构建精度和效率，在一种优选的方式中，可以将该设定数量阈值设置为10。

在判断接收到的影像对的数量等于设定数量阈值时，由已获取的影像对中筛选出特征点匹配结果最好的影像对作为初始影像对，并基于初始影像对进行初始点云的构建时，具体包括以下步骤：首先，由已获取的影像对中筛选出特征点匹配结果最好（即相同特征点最多的）的影像对作为初始影像对。然后，基于初始影像对进行初始点云的构建。在基于初始影像对进行初始点云的构建时，包括：获取初始影像对的特征点匹配结果（简称第一特征点匹配结果），根据第一特征点匹配结果，计算初始影像对对应的本质矩阵。对本质矩阵进行SVD分解，得到两个变换矩阵。通过两个变换矩阵将第一特征点匹配结果中的特征点转换为第一点云数据。遍历已经获取的其他影像对，针对当前遍历到的影像对，获取当前遍历到的影像对的特征点匹配结果（简称第二特征点匹配结果），遍历第二特征点匹配结果中的特征点，提取特征点对应的已经计算完成的点云数据并计算PNP变换矩阵，根据PNP变换矩阵将第二特征点匹配结果中的特征点转换为第二点云数据，删除第二点云数据中与第一点云数据重复的点云数据得到第三点云数据，并将第三点云数据加入至第一点云数据中。遍历结束，即可得到初始点云数据。此处需要说明的是，在获取到下一影像对时，该初始点云数据已经构建完成，因此，相对于下一影像对，该初始点云数据即为已有点云数据。

在判断接收到的影像对的数量大于设定数量阈值时，根据当前影像对的特征点匹配结果更新已有的点云数据，得到当前点云数据。具体地，遍历当前影像对的特征点匹配结果（简称第三特点匹配结果）中的特征点，根据特征点提取对应的已经计算完成的点云数据并计算PNP变换矩阵，根据PNP变换矩阵将第三特征点匹配结果中的特征点转换为第四点云数据，删除第四点云数据中与已有点云数据中重复的点云数据得到第五点云数据，并将第五点云数据加入至已有云数据中，从而实现对已有点云数据的更新，得到当前点云数据。

在该可实现方式中，只要获取到的影像对的数量等于设定数量阈值便可以进行初始点云的构建，并在接收到的影像对的数量大于设定数量阈值以后，基于接收到的新影像对对初始点云数据进行逐步更新，从而实现了点云数据的实时构建，提高了点云数据的构建效率，也为后续正射影像的实时构建奠定了技术基础。

为了提高点云数据构建的精度，在一种可能的实现方式中，在当前点云数据中的新增点云数据量大于设定数值之后，还包括：基于当前点云数据，计算当前点云数据对应的修订阈值，并基于当前点云数据对应的修订阈值，对当前点云数据进行修订。具体地，遍历当前点云数据中的所有点，为每个点选取最邻近的K个点（K值为经验值，一般设置为30)；计算每个点到其邻近点的平均距离，并计算所有平均距离的平均值μ和所有平均距离的标准差σ；根据计算出的平均值μ和标准差σ计算当前点云的修订阈值，其中，当前点云的修订阈值包括第一修订阈值和第二修订阈值中的至少一种，该第一修订阈值等于μ+Mσ，该第二修订阈值等于μ-Mσ，M优选至为3；重新遍历当前点云数据中的每个点，获取每个点到其邻近点的平均距离，若该平均距离大于等于第一修订阈值或者小于等于第二修订阈值，则移除当前点，否则，继续遍历下一个点，直到遍历结束，完成对当前点云数据的修订。其中，在使用CPU i7-12700F、内存为32G情况下，该设定数量可以设置为50000，即在当前点云数据中的新增点云数据量大于50000时，基于当前点云数据，计算当前点云的修订阈值，并基于当前点云修订阈值，对当前点云数据进行修订。

在完成当前点云数据的构建后，便可以执行步骤S1300，基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于当前影像块范围由当前点云数据中提取目标点云数据，并基于目标点云数据构建目标正射影像。其中，影像块尺寸根据服务器、显卡以及网络的性能进行设定。优选地，在服务器的CPU为i7-12700F、显卡为NVIDIA 3060，且网络带宽1000M的情况下，可以将影像块尺寸设置为50m*50m。具体地，在基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围时，包括：根据当前时刻之前已生成的正射影像的长度范围和预设影像块的长度确定当前影像块的长度范围。举例来说，已生成的正射影像的长度范围0-100m，预设影像块的长度为50，则当前影像块的长度范围为100m—150m。根据当前时刻之前已生成的正射影像的宽度范围和预设影像块的宽度确定当前影像块的宽度范围。举例来说，已生成的正射影像的宽度范围为0-100m，预设影像块的长度为50，则当前影像块的宽度范围为100m-150m。

在确定了当前影像块范围后，便可以基于当前影像块范围由当前点云数据中提取目标点云数据。具体可以包括以下步骤：判断当前影像块范围是否小于当前点云数据的范围：在判断当前影像块范围小于等于当前点云数据的范围时，由当前点云数据中提取位于当前影像块范围内的点云数据作为目标点云数据。在判断当前影像块范围大于当前点云数据的范围时，继续参照上文的步骤进行点云数据的更新。

在一种可能的实现方式中，为了提高目标点云数据的提取效率，在构建出初始点云数据后，将基于初始点云数据构建点云数据的四叉树空间索引，并在后续过程中，每更新一次点云数据，便将更新的点云数据插入到已构建的四叉树空间索引中，从而实现四叉树空间索引的逐步更新。进而在获取到当前影像块范围以后，便可以基于四叉树空间索引提取出位于当前影像块范围内的点云数据作为目标点云数据，从而提高目标点云数据的提取效率。此处需要说明的是，如果构建点云数据的四叉树空间索引，以及如何将更新的点云数据插入到已构建的四叉树空间索引为本领域的公知常识，在此不再赘述。

在提取出目标点云数据以后，便可以基于目标点云数据构建目标正射影像。在基于目标点云数据构建目标正射影像时，可以包括以下步骤：

第一，基于目标点云数据，构建表面模型。具体地，针对提取出的目标点云数据，构建八叉树空间索引。将八叉树空间索引的每个节点作为一个处理单元，针对每个处理单元，构建一个基函数，并基于构建出的所有基函数构建出泊松方程。通过求解泊松方程计算出每个处理单元的高程值，基于每个处理单元的高程值生成三角面片。进而基于生成的三角面片输出泊松曲面，该泊松曲面的模型即为表面模型。

第二，基于构建的表面模型、目标点云数据对应的目标影像数据以及目标影像的真实相机参数，构建三维模型。

在获取到目标点云数据以后便可以基于目标点云数据范围获取目标点云数据对应影像，并将其作为目标影像。具体地，首先计算目标点云数据在地面坐标系下的投影范围，并将其作为目标点云数据范围。由上文中所构建的R树空间索引中查找到与目标点云数据范围相同的投影范围，作为目标影像的投影范围，并获取目标影像投影范围对应的影像存储地址，基于该影像存储地址即可由已上传的影像中提取出目标影像。

在获取到目标点云数据对应的目标影像数据后，便可以基于目标影像的存储地址获取目标影像数据的元数据，由元数据中提取目标影像的相机参数，进而通过查询预先构建的相机信息字典提取出目标影像的真实相机参数。

进一步地，为了提高目标影像的与真实环境一致性，在获取到目标影像后，还包括对目标影像的纹理进行修正的操作。具体地，在获取到目标点云数据以后，先确定目标点云数据对应的相机参数，该相机参数即为重构相机参数；然后，通过比对重构相机参数和提取出的目标影像的真实相机参数，可以提取出畸变相机参数；最后，根据重构相机参数和畸变相机参数对目标影像的纹理进行矫正，从而可以提高目标影像的准确性。

在基于表面模型、目标点云数据对应的目标影像数据以及目标影像的真实相机参数，构建三维模型时，可以包括以下步骤：构建表面模型三角网的纹理坐标，基于目标影像构建模型纹理，基于目标影像的真实相机参数将纹理坐标与模型纹理进行对应，从而得到三维模型。

第三，基于三维模型，生成目标正射影像。具体地，读取三维模型中的三角网、纹理坐标以及模型纹理。根据三角网的顶点坐标计算三维模型的坐标范围。配置采用比率。根据三维模型的坐标范围和采用比率构建像素数组，用于存储采样数据。在三维模型的坐标范围内按照采样比率对模型纹理进行采样，并计算采样点的像素值存储至像素数据组中。在完成所有采样点的像素值计算后，根据得到的像素数组和纹理坐标构建出目标正射影像。

在一种可能的实现方式中，为了提高最终正射影像的生成效率，当前点云数据的生成和目标点云数据的提取以及目标正射影像的生成过程是相对独立的，即在更新得到当前点云数据以后，便可以重复执行上述步骤S1100-S1200，进行点云数据的实时构建。在点云数据的实时构建过程中，不断地进行当前影像块范围的计算，依次由前点云数据中提取目标点云数据，并将提取出的目标点云数据依次加入至预设的多个异步线程中，以通过多个异步线程池同时进行多个目标正射影像的生成，这样，可以通过多个异步线程池同时进行多个目标正射影像的构建，从而提高最终正射影像的生成效率。

S1400，将目标正射影像融合至已构建的正射影像中，得到当前时刻的正射影像。此处需要说明的是，在本实施中，每生成一帧目标正射影像，便将该目标正射影像实时推送至前端，并与前端中已经构建并显示的正摄影进行融合得到当前时刻下的最新正射影像，这样，用户便可以实时查看到最新正射影像，提高了正射影像向前端的推送效率。

本公开提供了一种无人机影像的正射影像生成方法，包括：获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与当前影像具有相同区域的影像，并将与当前影像具有相同区域的影像与当前影像一一组合为当前影像对；基于当前影像对更新已有点云数据，得到当前点云数据；其中，所述已有点云数据根据当前时刻之前所上传的影像中具有相同区域的影像对所包含的特征点信息提取得到；基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于当前影像块范围由当前点云数据中提取目标点云数据，并基于目标点云数据构建目标正射影像；将目标正射影像融合至已生成的正射影像中，得到当前时刻的正射影像。通过本公开的方法便可以实时进行正射影像的生成。

<方法示例>

图2示出根据本公开一实施例的无人机影像的正射影像生成方法的流程图。如图2所示，所述方法步骤以下步骤：

S2100，通过无人机设备实时获取指定区域的影像，并上传至图像处理系统。

S2200，图像处理系统通过数据收集模块接收当前时刻上传的当前影像。

S2300，图像处理系统对接收到的当前影像进行数据存储，并对当前影像进行实时处理，得到当前影像的元数据和像素数据。

S2400，影像输入。具体地，将当前影像以及当前影像的元数据和像素信息输入至计算机内存中，并由当前时刻之前已上传的影像中提取出与当前影像具有相同区域的影像，并将与当前影像具有相同区域的影像与当前影像一一组合为当前影像对。

S2500，特征点提取。具体地，通过CUDA程序分别提取当前影像对中当前影像的特征点信息和与当前影像对具有相同区域的匹配影像的特征点信息。

S2600，特征点匹配。具体地，通过比对当前影像的特征点信息和匹配影像的特征点信息，找到当前影像和匹配影像中相同的特征点作为当前影像对的特征点匹配结果。

S2700，生成当前时刻的三维点云数据。具体地，判断已接收到的影像对的数量与设定数量阈值之间的大小关系：判断接收到的影像对的数量小于设定数量阈值时，将重复执行上述操作以获取新影像对和对应的特征点匹配结果。在判断接收到的影像对的数量等于设定数量阈值时，将由已获取的影像对中筛选出特征点匹配结果最好的影像对作为初始影像对，并基于初始影像对进行初始点云的构建。在判断接收到的影像对的数量大于设定数量阈值时，根据当前影像对的特征点匹配结果更新已有点云数据，得到当前点云数据。在当前点云数据中的新增点云数据量大于设定数值之后，还包括：基于当前点云数据，计算当前点云数据对应的修订阈值，并基于当前点云数据对应的修订阈值，对当前点云数据进行修订。

S2800，纹理矫正。具体地，基于重构相机参数对已获取的影像数据的纹理进行修订。

S2900，构建瓦片范围。具体地，基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围（即瓦片范围）。

S3000，根据范围提取已处理的点云数据。具体地，判断当前影像块范围是否小于当前点云数据的范围：在判断当前影像块范围小于等于当前点云数据的范围时，由当前点云数据中提取位于当前影像块范围内的点云数据作为目标点云数据。在判断当前影像块范围大于当前点云数据的范围时，继续参照上文的步骤进行点云数据的更新。由多个预设的异步线程池中筛选出空闲的线程池，并将提取出的目标点云数据输入至空闲的异步线程中，以通过异步线程池进行目标正射影像的构建。

S3100，构建三维模型。具体地，根据基于目标点云数据，构建三维模型。

S3200，构建正射影像。具体地，基于构建出的三维模型，生成目标正射影像。

S3300，数据传输至前端进行渲染。具体地，将生成目标正射影像推送至前端并与前端已生成的正射影像进行融合，得到当前正射影像。

此处需要说明的是，在该示例中，具体的实现步骤参见方法实施例，在此不再赘述。

<装置实施例>

图3示出根据本公开一实施例的无人机影像的正射影像生成装置的示意性框图。如图3所示，无人机影像的正射影像生成装置100包括：

影像获取模块110，用于获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与存储地址当前影像具有相同区域的影像，并将与存储地址当前影像具有相同区域的影像与存储地址当前影像一一组合为当前影像对；

点云数据构建模块120，用于基于存储地址当前影像对更新已有点云数据，得到当前点云数据；其中，存储地址已有点云数据根据当前时刻之前所上传的影像中具有相同区域的影像对所包含的特征点信息提取得到；

正射影像构建模块130，用于基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于存储地址当前影像块范围由存储地址当前点云数据中提取目标点云数据，基于存储地址目标点云数据构建目标正射影像；

影像融合模块140，用于将存储地址目标正射影像融合至已生成的正射影像中，得到存储地址当前时刻的正射影像。

<设备实施例>

图4示出根据本公开一实施例的无人机影像的正射影像生成设备的示意性框图。如图4所示，无人机影像的正射影像生成设备200包括：处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的无人机影像的正射影像生成方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的无人机影像的正射影像生成设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的无人机影像的正射影像生成方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行无人机影像的正射影像生成设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

<存储介质实施例>

根据本公开的第四方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的无人机影像的正射影像生成方法。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种无人机影像的正射影像生成方法，其特征在于，包括：

获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与所述当前影像具有相同区域的影像，并将与所述当前影像具有相同区域的影像与所述当前影像一一组合为当前影像对；

基于所述当前影像对更新已有点云数据，得到当前点云数据；其中，所述已有点云数据根据当前时刻之前所上传的影像中具有相同区域的影像对所包含的特征点信息提取得到；

基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于所述当前影像块范围由所述当前点云数据中提取目标点云数据，基于所述目标点云数据构建目标正射影像；

将所述目标正射影像融合至已生成的正射影像中，得到所述当前时刻的正射影像。

2.根据权利要求1所述的方法，其特征在于，在由当前时刻之前已上传的影像中提取出与所述当前影像具有相同区域的影像时，包括：

计算所述当前影像在地面坐标系下的投影范围；

由预先构建的R树空间索引中查找到与所述投影范围相交的目标投影范围，并获取所述目标影像范围对应的影像存储地址；

基于所述影像存储地址，由当前时刻之前已上传的影像中提取出与所述当前影像具有相同区域的影像；

其中，所述R树空间索引中包括当前时刻之前已上传的每个影像在地面坐标系下的投影范围以及存储地址。

3.根据权利要求1所述的方法，其特征在于，在基于所述当前影像对更新已有点云数据，得到当前点云数据，包括：

获取所述当前影像对中各影像的特征点信息，并对各影像的特征点信息进行匹配，得到所述当前影像对的特征点匹配结果；

判断当前时刻之前已接收的影像对数量是否大于设定数量阈值，并在已接收的影像对数量大于设定数量阈值时，基于所述当前影像对的特征点匹配结果更新已有点云数据，得到当前点云数据。

4.根据权利要求1所述的方法，其特征在于，在所述当前点云数据中的新增点云数据量大于设定数值之后，还包括：

基于所述当前点云数据，计算所述当前点云数据对应的修订阈值，并基于所述修订阈值，对所述当前点云数据进行修订。

5.根据权利要求1所述的方法，其特征在于，在基于所述当前影像块范围由所述当前点云数据中提取目标点云数据时，包括：

判断所述当前影像块范围是否小于等于当前点云数据的范围；

在判断所述当前影像块范围小于等于当前点云数据的范围时，由所述当前点云数据中提取位于所述当前影像块范围内的点云数据作为目标点云数据。

6.根据权利要求1所述的方法，其特征在于，在由所述当前点云数据中提取位于所述当前影像块范围内的点云数据作为目标点云数据时，基于已构建点云数据的四叉树空间索引实现。

7.根据权利要求1所述的方法，其特征在于，在由所述当前点云数据中提取位于所述当前影像块范围内的点云数据作为目标点云数据后，还包括将目标点云数据加入至空闲的异步线程池中，以通过所述异步线程池执行基于目标点云数据构建目标正射影像的操作。

8.一种无人机影像的正射影像生成装置，其特征在于，包括：

影像获取模块，用于获取当前时刻上传的当前影像，并由当前时刻之前已上传的影像中提取出与所述当前影像具有相同区域的影像，并将与所述当前影像具有相同区域的影像与所述当前影像一一组合为当前影像对；

点云数据构建模块，用于基于所述当前影像对更新已有点云数据，得到当前点云数据；其中，所述已有点云数据根据当前时刻之前所上传的影像中具有相同区域的影像对所包含的特征点信息提取得到；

正射影像构建模块，用于基于当前时刻之前已生成的正射影像范围和预设的影像块尺寸确定当前影像块范围，并基于所述当前影像块范围由所述当前点云数据中提取目标点云数据，并基于所述目标点云数据构建目标正射影像；

影像融合模块，用于将所述目标正射影像融合至已生成的正射影像中，得到所述当前时刻的正射影像。

9.一种无人机影像的正射影像生成设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至7中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。