CN112233228A - 基于无人机的城市三维重建方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种基于无人机的城市三维重建方法，包括以下步骤：构建三维网格模型；采集图像数据和深度图像数据形成三维重构数据集；通过三维网格模型对三维重构数据集训练获取局部三维重建模型；局部三维重建模型组合获取全局三维重建模型；通过视频数据与全局三维重建模型组合，获取三维可视化监控平台。本发明通过三维网格模型对三维重构数据集训练获取局部三维重建模型，再对粗糙重构影像与原始图像语义信息进行精细化重构；再通过梯度中心化技术提升重构影像质量，得到精细的局部三维重构模型，组合获取全局三维重建模型，再将视频数据与全局三维重建模型组合，获取三维可视化监控平台，能够迅速获取所需信息，提高公共安全事件的响应速度。

Description

基于无人机的城市三维重建方法、装置及存储介质

技术领域

本发明属于三维重建技术领域，尤其涉及一种基于无人机的城市三维重建方法、装置及存储介质。

背景技术

随着我国摄像头数量大幅度的增加，海量视频出现分散和独立等问题，使得使用者无法直观、明确地掌握视频动态，在摄像头分布密集的区域，该问题尤为突出，针对公共安全此类需要高效、精确地挖掘视频信息，传统的通过定点摄像头与人工排查的方式难以满足需求，导致公共安全事件的响应速度低。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于无人机的城市三维重建方法，能够提高公共安全事件的响应速度。

根据本发明的第一方面实施例的基于无人机的城市三维重建方法，包括以下步骤：构建三维网格模型；采集图像数据以及与所述图像数据对应的深度图像数据，并形成三维重构数据集；通过所述三维网格模型对所述三维重构数据集进行训练获取局部三维重建模型；通过所述局部三维重建模型相互匹配并组合获取全局三维重建模型；获取视频数据，通过所述视频数据与所述全局三维重建模型组合，获取三维可视化监控平台。

根据本发明实施例的一种基于无人机的城市三维重建方法，至少具有如下有益效果：本发明基于无人机的城市三维重建方法先拍摄图像数据以及与图像数据对应的深度图像数据，并构成三维重构数据集，通过三维网格模型对三维重构数据集进行训练获取局部三维重建模型，在获取所有局部三维重建模型后，通过匹配组合获取全局三维重建模型，在获取视频数据后，将视频数据与全局三维重建模型组合，获取三维可视化监控平台。其中，三维可视化监控平台将视频中的二维画面结合全局三维重建模型组合后，得到三维可视化监控平台，部署于公共安全管理多方面应用。能够有效掌握整个城市的动态，能够迅速获取所需获取的信息。当需要对歹徒进行抓捕时，在现有的监控系统中，通过设置在城市中的摄像头掌握歹徒动向时，需要根据摄像头进行排查，而摄像头在城市分布零散，排查难度大效率低，而本发明实施例通过三维场景重构结合视频数据能够获得三维可视化监控平台，三维可视化监控平台是全局性的，能够对从整体上迅速掌握歹徒的动向，无需逐个摄像头进行排查，能够有效提高公共安全事件的响应速度。

根据本发明的一些实施例，所述采集图像数据以及与所述图像数据对应的深度图像数据，并形成三维重构数据集，包括：通过不同视角采集建筑物的全面的图像数据以及与所述图像数据对应的所述深度图像数据；根据所述图像数据和所述深度图像数据，形成三维重构数据集。

根据本发明的一些实施例，所述通过不同视角采集建筑物的顶面和侧面的图像数据以及与所述图像数据对应的所述深度图像数据，包括：通过若干垂直视角和若干倾斜视角采集建筑物的全面的图像数据以及与所述图像数据对应的所述深度图像数据。

根据本发明的一些实施例，所述通过所述三维网格模型对所述三维重构数据集进行训练获取局部三维重建模型，包括：初始化网格；获取所述网格中的一个节点的坐标，并提取所述三维重构数据集的图片特征值；将所述节点的坐标作为输入节点的输入节点坐标，以及所述图片特征值传输至变形模块中；通过变形模块使所述网格上的所有所述节点发生变形；增加所述节点的数量，使所述网格的所有所述节点发生若干次变形，细化所有所述节点的变形以获取局部三维重建模型。

根据本发明的一些实施例，所述通过变形模块使所述网格上的所有所述节点发生变形，包括:接收所述输入节点坐标以及所述图片特征值；通过所述变形模块处理所述输入节点坐标和所述图片特征值，使所述输入节点发生变形，并获取输出节点的输出节点坐标以及特征值；将所述输出节点坐标作为所述变形模块的下一次处理的输入节点坐标，并通过所述变形模块对所述输入节点坐标处理，获取下一次处理得到的所述输出节点的输出节点坐标以及特征值，直至所有所述节点发生变形。

根据本发明的一些实施例，所述通过所述变形模块处理所述输入节点坐标和所述图片特征值，使输入节点发生变形，并获取输出节点的输出节点坐标以及特征值，包括：将所述输入节点坐标投影至所述图像数据上获取对应的第一像素坐标；通过双线性插值法获取所述第一像素坐标周围的第二像素坐标，并依据所述图片特征值获取所述第二像素坐标的特征值；通过所述第二像素坐标的特征值以及第一特征值获取所述输入节点的第一维度的特征值和输入节点坐标；根据所述输入节点的第一维度的特征值和输入节点坐标，使所述输入节点坐标变形，并获取所述输出节点的第二维度的输出节点坐标和特征值。

根据本发明的一些实施例，所述获取所述输出节点的第二维度的输出节点坐标和特征值，包括：获取所述输出节点坐标后，通过损失函数优化所述输出节点坐标，以获取优化后的所述输出节点的第二维度的输出节点坐标和特征值。

根据本发明的一些实施例，所述增加所述节点的数量，使所述网格发生若干次变形，细化所述网格的变形以获取局部三维重建模型，包括：增加若干次所述节点的数量，通过变形模块使所述网格上的所有所述节点发生变形，完成本次变形，其中，本次变形的所述节点数量包括前一次变形的所有节点数量以及本次增加的所述节点的数量；所述网格的所有所述节点发生若干次变形后，得到局部三维重建模型。

根据本发明的第二方面实施例的基于无人机的城市三维重建装置，包括：至少一个处理器和用于与所述处理器通信连接的存储器；所述存储器存储可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述处理器能够执行根据本发明第一方面实施例所述的基于无人机的城市三维重建方法。

根据本发明的第三方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行据本发明第一方面实施例所述的基于无人机的城市三维重建方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于无人机的城市三维重建方法的流程图。

图2为本发明实施例的采集图像数据以及与图像数据对应的深度图像数据，并形成三维重构数据集的流程图。

图3为本发明实施例的通过三维网格模型对三维重构数据集进行训练获取局部三维重建模型的流程图。

图4为本发明实施例的通过变形模块使网格上的所有节点发生变形的流程图。

图5为本发明实施例的通过变形模块处理输入节点坐标和图片特征值，使输入节点发生变形，并获取输出节点的输出节点坐标以及特征值的流程图。

图6为本发明实施例的通过三维网格模型对三维重构数据集进行训练获取局部三维重建模型的示意图。

图7为本发明实施例的节点的示意图。

图8为图7的增加节点后的示意图。

图9为本发明实施例的基于无人机的城市三维重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、外、内等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

为了对本发明的技术特征、目的和效果有更加清晰的理解，先对照附图详细说明本发明的具体实施方式。

请参考图1，本发明提供一种基于无人机的城市三维重建方法，包括以下步骤：

步骤S100，构建三维网格模型；

步骤S200，采集图像数据以及与图像数据对应的深度图像数据，并形成三维重构数据集；

步骤S300，通过三维网格模型对三维重构数据集进行训练获取局部三维重建模型；

步骤S400，通过局部三维重建模型相互匹配并组合获取全局三维重建模型；

步骤S500，获取摄像头实时拍摄的视频数据，通过视频数据与全局三维重建模型组合，获取三维可视化监控平台。

根据本发明实施例的基于无人机的城市三维重建方法，本发明基于无人机的城市三维重建方法先拍摄图像数据以及与图像数据对应的深度图像数据，并构成三维重构数据集，通过三维网格模型对三维重构数据集进行训练获取局部三维重建模型，在获取所有局部三维重建模型后，通过匹配组合获取全局三维重建模型，在获取视频数据后，将视频数据与全局三维重建模型组合，获取三维可视化监控平台。其中，三维可视化监控平台将视频中的二维画面结合全局三维重建模型组合后，得到三维可视化监控平台，部署于公共安全管理多方面应用。能够有效掌握整个城市的动态，能够迅速获取所需获取的信息。当需要对歹徒进行抓捕时，在现有的监控系统中，通过设置在城市中的摄像头掌握歹徒动向时，需要根据摄像头进行排查，而摄像头在城市分布零散，排查难度大效率低，而本发明实施例通过三维场景重构结合视频数据能够获得三维可视化监控平台，三维可视化监控平台是全局性的，能够对从整体上迅速掌握歹徒的动向，无需逐个摄像头进行排查，能够有效提高公共安全事件的响应速度。

其中，在通过生成的对抗网络(即形成的三维重构数据集)获得局部三维重建模型后，对粗糙重构影像与原始图像语义信息进行精细化重构；再通过梯度中心化技术提升重构影像质量，实现对无人机获取图像的快速三维重建，得到更加精细的局部三维重构模型，使得最终形成的三维可视化监控平台更加贴近真实情况，有利于公共安全事件的响应。

此外，除了追踪歹徒的动态外，对于走失儿童或老人等，也能快速捕捉到其行踪，达到快速寻回的目的，相比于粘贴寻人启事或走访，效率更高且更加有效。

在本发明的一些实施例中，步骤S200，采集图像数据以及与图像数据对应的深度图像数据，并形成三维重构数据集。具体地，采集图像数据以及与图像数据对应的深度图像数据主要通过在无人机上搭载高清摄像头与图像采集设备，其中，图像采集设备可采用kinect图像采集设备(即微软图像采集设备)，在无人机上搭载高清摄像头与图像采集设备后，规划无人机的飞行轨迹，从不同的视角同步采集图像，获取到图像数据以及图像数据对应的深度图像数据。更具体地，需要获取的是整个城市的图像，因此无人机上的高清摄像头与图像采集设备获取到的是局部的建筑图像数据以及建筑图像数据对应的深度图像数据，无人机在整个城市中飞行，通过拍摄局部的建筑图像能够进行组合拼接得到整个城市的图像。在获取图像数据以及图像数据对应的深度图像数据后，构建三维重构数据集，作为三维网格模型的输入参数，用于三维网格模型的训练。

请参考图2，在本发明的一些实施例中，步骤S200,采集图像数据以及与图像数据对应的深度图像数据，并形成三维重构数据集，包括：

步骤S210，通过不同视角采集建筑物的全面的图像数据以及与图像数据对应的深度图像数据；

步骤S220，根据图像数据和深度图像数据，形成三维重构数据集。

在本发明的一些实施例中，步骤S210，通过不同视角采集建筑物的全面的图像数据以及与图像数据对应的深度图像数据，包括通过若干垂直视角和若干倾斜视角采集建筑物的全面的图像数据以及与图像数据对应的深度图像数据。更具体地，在本实施例中，搭载在无人机上的高清摄像头与图像采集设备从一个垂直视角以及四个倾斜视角等的五个视角同步全面采集图像，全面获取建筑物的顶面和侧面各个方向的高分辨率纹理的图像数据以及与图像数据对应的深度图像数据，在获取图像数据以及与图像数据对应的深度图像数据形成三维重构数据集。当然除了垂直视角和倾斜视角外也可以采用其他视角对建筑物进行拍摄，且视角的数量也不限于五个视角进行拍摄，可根据实际三维重构需要以及建筑物的构造复杂程度调整无人机的拍摄视角的方向以及拍摄视角的数量。

请参考图3，在本发明的一些实施例中，步骤S300，通过三维网格模型对三维重构数据集进行训练获取局部三维重建模型，包括：

步骤S310，初始化网格；

步骤S320，获取网格中的一个节点的坐标，并提取三维重构数据集的图片特征值；

步骤S330，将节点的坐标作为输入节点的输入节点坐标，以及图片特征值传输至变形模块中；

步骤S340，通过变形模块使网格上的所有节点发生变形；

步骤S350，增加节点的数量，使网格的所有节点发生若干次变形，细化所有节点的变形以获取局部三维重建模型。

具体地，初始化网格后，获取该网格上的一个节点的坐标，并通过Ghost Net提取三维重构数据集的图片特征值，更具体地，通过Ghost Net提取对应的图像数据以及与图像数据对应的深度图像数据的图片特征值，获取后，将所获取到的节点作为输入节点，将该节点的坐标作为输入节点坐标，变形模块接收输入节点坐标以及图片特征值后对输入节点坐标以及图片特征值进行处理，使网格上的所有节点发生变形，所有节点发生变形后，完成一次变形，在完成一次变形后，增加节点的数量，增加节点数量后，以前一次完成变形的节点数量加上增加的节点数量作为总节点数量，输入至变形模块中变形，在经过若干次增加节点的数量后，由于节点数量比上一次变形的节点数量多，能够对使网格更加细化，更好地还原建筑结构，细化后获取局部三维重建模型(即网格上的节点通过变形还原成图像上的楼房/建筑物)。在本实施例中，网格为椭球形网格，三维网格是点线面的集合，代表三维投影，可通过公式

来表示网格；其中

表示N个网格中的节点，

表示两个节点间的连线，

表示每个节点中的特征值信息。

请参考图4以及图6，在本发明的一些实施例中，步骤S340，通过变形模块使网格上的所有节点发生变形，包括:

步骤S341，接收输入节点坐标以及图片特征值；

步骤S342，通过变形模块处理输入节点坐标和图片特征值，使输入节点发生变形，并获取输出节点的输出节点坐标以及特征值；

步骤S343，将输出节点坐标作为变形模块的下一次处理的输入节点坐标，并通过变形模块对输入节点坐标处理，获取下一次处理得到的输出节点的输出节点坐标以及特征值，直至所有节点发生变形。

具体地，变形模块接收输入节点坐标以及图片特征值后，通过变形模块对输入节点坐标和图片特征值进行处理，使输入节点发生变形，并获取输出节点坐标以及输出节点的特征值，在获取本次输出的输出节点坐标以及输出节点的特征值后，将本次输出的输出节点作为变形模块下一次处理的输入节点坐标，通过变形模块对输入节点坐标进行处理，使本次的输入节点坐标发生变形，并获取输出节点坐标以及输出节点的特征值。即，在通过变形模块处理之前，先获取网格中的一个节点，并作为输入节点，而该节点的坐标作为输入节点坐标，通过变形模块处理后输出一个输出节点坐标，在下一次通过变形模块处理中，将前一次输出节点坐标作为下一次处理的输入节点坐标，通过变形模块处理，除了第一次变形的第一个输入节点坐标直接在网格上获取外，其他均是通过前一个输出节点坐标作为下一次的输入节点坐标输入至变形模块中处理。第二次变形的第一个输入节点坐标为前一次变形的最后一个输出的输出节点坐标，即后一次变形的开始的输入节点坐标为上一次变形结束输出的最后一个输出节点坐标。

请参考图5，在本发明的一些实施例中，步骤S342，通过变形模块处理输入节点坐标和图片特征值，使输入节点发生变形，并获取输出节点的输出节点坐标以及特征值，包括：

步骤S361，将输入节点坐标投影至图像数据上获取对应的第一像素坐标；

步骤S362，通过双线性插值法获取第一像素坐标周围的第二像素坐标，并依据图片特征值获取第二像素坐标的特征值；

步骤S363，通过第二像素坐标的特征值以及第一特征值获取输入节点的第一维度的特征值和输入节点坐标；

步骤S364，根据输入节点的第一维度的特征值和输入节点坐标，使输入节点变形，并获取输出节点的第二维度的输出节点坐标和特征值。

具体地，变形模块对输入节点以及图片特征值的处理如下：将输入节点的输入节点坐标以及图片特征值输入至池化层中，池化层根据高清摄像头的相机内部函数得到输入节点坐标投影在图像数据上的二维投影坐标(即第一像素坐标)，在获取输入节点坐标投影的第一像素坐标后，通过双线性插值法获取第一像素坐标周围的第二像素坐标，在本实施例中，获取第一像素坐标周围的四个第二像素坐标，在获取后，通过池化层池化从图片特征值中获取第二像素坐标的特征值，在获取第二像素坐标的特征值以及第一特征值后代入卷积层公式获取输入节点坐标第一维度的特征值，卷积层公式为：

其中，

为输入节点的特征值，

为前一个输出节点的特征值，

表示第二像素坐标的特征值的集合，w₀和w₁为学习参数。具体地，将前一个输出节点的特征值

定义为第一特征值，当输入节点坐标为第一次变形的第一个节点坐标时，由于第一次变形的第一个节点坐标是直接通过网格获取的，并无前一个输出节点坐标及应对的特征值，因此第一特征值为0，输入节点坐标并非第一次变形的第一个节点坐标时，在同一次变形中，第一特征值为前一个输出节点的特征值；当输入节点坐标为下一次变形的第一个节点坐标时，第一特征值为上一次变形的最后一个输出节点的特征值。更具体地，输入节点的特征值

是输入节点坐标第一维度的特征值，其中第一维度为第一特征值的维度以及第二像素坐标的特征值的维度之和，更具体地，第一次变形的第一个节点作为输入节点坐标输入时，通过卷积层公式获取1280维的信息，其中信息包含特征值以及输入节点坐标。在本实施例中，当第一次变形的第一个节点作为输入节点坐标输入时，获得四个第二像素坐标以及四个第二像素坐标的特征值后，代入卷积层公式，输出输入节点的1280维的特征值以及坐标，输入节点发生变形，并将获得的输入节点的1280维的特征值以及坐标后，通过14个卷积层(conv)和1个shortcut层中获取输出节点的128维的信息(即输出节点的128维的特征值和坐标)。

更具体地，在本实施例中，卷积层公式中的串联卷积层‘conv3_3(256维)’,‘conv4_3(512维)’,‘conv5_3(512维)’，输入节点代入卷积层公式，若第一次变形的第一个节点坐标作为输入节点坐标，代入卷积层公式后，输出输入节点的1280维的特征值和坐标，输入节点发生变形，再通过14个卷积层(conv)和1个shortcut层中获取输出节点的128维的特征值和坐标。将输出节点的128维的坐标作为下一次代入变形模块的输入节点坐标，获取当前输入节点坐标投影在图像数据上的第一像素坐标，获取后，通过双线性插值法获取第一像素坐标周围的四个第二像素坐标及四个第二像素坐标的特征值，将四个第二像素坐标的特征值以及上次处理中输出的输出节点(本次的输入节点)的128维的特征代入卷积层公式，输出输入节点1408维的特征值和坐标，再通过14个卷积层(conv)和1个shortcut层中获取输出节点的128维的特征值和坐标，将输出节点的128维的坐标作为下一次代入变形模块的输入节点坐标。当前的输出节点作为下一次的输入节点进行处理，直至输出所有节点后完成变形。

在本发明的一些实施例中，步骤S364，获取输出节点的第二维度的输出节点坐标和特征值，包括：获取输出节点坐标后，通过损失函数优化输出节点坐标，以获取优化后的输出节点的第二维度的输出节点坐标和特征值。为了使输出节点坐标位置更贴近真实建筑模型，采用以下损失函数优化输出节点坐标：

1、Chamfer损失函数：控制输出节点坐标位置，使输出节点坐标更贴近真实建筑模型，其公式如下：

其中，p表示网格节点，q表示离p点最近的节点。

2、Normal损失函数：增加表面的平滑度，使表面细节更加丰富，其公式如下：

其中，p表示网格节点，q表示离p点最近的节点，k是p相邻像素，h<·,·>表示内积n_q是从地面观测到的法线。

3、Laplacian正则化：变形的时候维持节点的相对位置，防止节点自由移动，其公式如下：

其中，p表示网格节点，k是p相邻像素。

4、Edgelength正则化：去除变差过大的怪异点，其公式如下：

其中，p表示网格节点，k是p相邻像素。

5、总损失函数的计算公式为：l_all＝l_c+λ₁l_n+λ₂l_lap+λ₃l_loc。其中λ₁、λ₂和λ₃为自定义参数，λ₁＝1.6e-4，λ₂＝0.3，λ₃＝0.1。

请参考图7以及图8，在本发明的一些实施例中，增加节点的数量，使网格发生若干次变形，细化网格的变形以获取局部三维重建模型，包括：增加若干次节点的数量，通过变形模块使网格上的所有节点发生变形，完成本次变形，其中，本次变形的节点数量包括前一次变形的所有节点数量以及本次增加的节点的数量；网格的所有节点发生若干次变形后，得到局部三维重建模型。在本实施例中，变形的次数为3次，第一次变形的节点数量设定为156个，第二次变形的节点数量增加至共628个，第三次变形的节点数量增加至2466个。其中，变形的次数以及所增加的节点数量可根据实际三维重构的需要进行调整。更具体地，如图8所示，所增加的节点从上一次变形中的两节点之间的连线获取。

在获取所有局部三维重建模型后，通过坐标对应将局部三维重建模型进行匹配组合获得全局三维重建模型。即将获取到的建筑模型进行匹配组合获取城市模型。在获取全局三维重建模型后，再获取城市定点摄像头实时拍摄的视频数据，将全局三维重建模型传入至3D GIS视频融合平台中，并接入视频数据，结合全局三维重建模型进行全景拼接，将局部、独立的视频数据还原成真实的城市场景，获得三维可视化监控平台。通过三维可视化监控平台能够监控整个城市的动态，实时获取所需的信息，能够有效提高公共安全事件的响应效率和响应时间。

本发明实施例的基于无人机的城市三维重建方法基于三维重建技术，结合无人机技术实现对城市楼房建筑等立体结构进行三维重建，融合三维视频融合技术，实现面向公共安全领域的城市实时动态可视化监控，有效提高公共安全事件的响应效率和响应事件。

请参考图9，本发明实施例还提供了一种基于无人机的城市三维重建装置，该基于无人机的城市三维重建装置可以是任意类型的智能终端，如手机、平板电脑、个人计算机等。

进一步地，基于无人机的城市三维重建装置包括：一个或多个处理器和用于与处理器通信连接的存储器。其中图9中以一个处理器为例。处理器和存储器可以通过总线或其他方式连接，图9以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例中的基于无人机的城市三维重建装置对应的程序指令。处理器通过运行存储在存储器中的非暂态软件程序以及指令，从而实现上述的基于无人机的城市三维重建方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储上述基于无人机的城市三维重建方法的相关数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于无人机的城市三维重建装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明的第三方面，提供了计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，被一个处理器执行，可使得上述一个或多个处理器执行上述基于无人机的城市三维重建方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种基于无人机的城市三维重建方法，其特征在于，包括以下步骤：

构建三维网格模型；

采集图像数据以及与所述图像数据对应的深度图像数据，并形成三维重构数据集；

通过所述三维网格模型对所述三维重构数据集进行训练获取局部三维重建模型；

通过所述局部三维重建模型相互匹配并组合获取全局三维重建模型；

获取摄像头实时拍摄的视频数据，通过所述视频数据与所述全局三维重建模型组合，获取三维可视化监控平台。

2.如权利要求1所述的基于无人机的城市三维重建方法，其特征在于，所述采集图像数据以及与所述图像数据对应的深度图像数据，并形成三维重构数据集，包括：

通过不同视角采集建筑物的全面的图像数据以及与所述图像数据对应的所述深度图像数据；

根据所述图像数据和所述深度图像数据，形成三维重构数据集。

3.如权利要求2所述的基于无人机的城市三维重建方法，其特征在于，所述通过不同视角采集建筑物的顶面和侧面的图像数据以及与所述图像数据对应的所述深度图像数据，包括：

通过若干垂直视角和若干倾斜视角采集建筑物的全面的图像数据以及与所述图像数据对应的所述深度图像数据。

4.如权利要求1所述的基于无人机的城市三维重建方法，其特征在于，所述通过所述三维网格模型对所述三维重构数据集进行训练获取局部三维重建模型，包括：

初始化网格；

获取所述网格中的一个节点的坐标，并提取所述三维重构数据集的图片特征值；

将所述节点的坐标作为输入节点的输入节点坐标，以及所述图片特征值传输至变形模块中；

通过变形模块使所述网格上的所有所述节点发生变形；

增加所述节点的数量，使所述网格的所有所述节点发生若干次变形，细化所有所述节点的变形以获取局部三维重建模型。

5.如权利要求4所述的基于无人机的城市三维重建方法，其特征在于，所述通过变形模块使所述网格上的所有所述节点发生变形，包括:

接收所述输入节点坐标以及所述图片特征值；

通过所述变形模块处理所述输入节点坐标和所述图片特征值，使所述输入节点发生变形，并获取输出节点的输出节点坐标以及特征值；

将所述输出节点坐标作为所述变形模块的下一次处理的输入节点坐标，并通过所述变形模块对所述输入节点坐标处理，获取下一次处理得到的所述输出节点的输出节点坐标以及特征值，直至所有所述节点发生变形。

6.如权利要求5所述的基于无人机的城市三维重建方法，其特征在于，所述通过所述变形模块处理所述输入节点坐标和所述图片特征值，使输入节点发生变形，并获取输出节点的输出节点坐标以及特征值，包括：

将所述输入节点坐标投影至所述图像数据上获取对应的第一像素坐标；

通过双线性插值法获取所述第一像素坐标周围的第二像素坐标，并依据所述图片特征值获取所述第二像素坐标的特征值；

通过所述第二像素坐标的特征值以及第一特征值获取所述输入节点的第一维度的特征值和输入节点坐标；

根据所述输入节点的第一维度的特征值和输入节点坐标，使所述输入节点变形，并获取所述输出节点的第二维度的输出节点坐标和特征值。

7.如权利要求6所述的基于无人机的城市三维重建方法，其特征在于，所述获取所述输出节点的第二维度的输出节点坐标和特征值，包括：

获取所述输出节点坐标后，通过损失函数优化所述输出节点坐标，以获取优化后的所述输出节点的第二维度的输出节点坐标和特征值。

8.如权利要求4所述的基于无人机的城市三维重建方法，其特征在于，所述增加所述节点的数量，使所述网格发生若干次变形，细化所述网格的变形以获取局部三维重建模型，包括：

增加若干次所述节点的数量，通过变形模块使所述网格上的所有所述节点发生变形，完成本次变形，其中，本次变形的所述节点数量包括前一次变形的所有节点数量以及本次增加的所述节点的数量；

所述网格的所有所述节点发生若干次变形后，得到局部三维重建模型。

9.一种基于无人机的城市三维重建装置，其特征在于，包括：

至少一个处理器和用于与所述处理器通信连接的存储器；所述存储器存储可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述处理器能够执行如权利要求1-8任一项所述的基于无人机的城市三维重建方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-8任一项所述的基于无人机的城市三维重建方法。

Images