CN114332415B - 基于多视角技术的输电线路廊道的三维重建方法及装置 - Google Patents

Abstract

本申请涉及一种基于多视角技术的输电线路廊道的三维重建方法、装置、计算机设备和存储介质。方法包括：获取输电线路廊道第一场景图像集；通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应一对特征点匹配图像，根据训练后yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。采用本方法可提高三维重建模型的完整度。

Description

基于多视角技术的输电线路廊道的三维重建方法及装置

技术领域

本申请涉及三维数字化技术领域，特别是涉及一种基于多视角技术的输电线路廊道的三维重建方法及装置。

背景技术

三维数字化技术是能源产业生态快速升级的关键支撑，电网三维数字化建设中最典型代表是将输电线路廊道进行三维重建，基于输电线路廊道的三维数字化模型可以进行航线的规划、导线和树木测距以及树障预警，因此三维重建模型的精细化程度决定后续应用的效果。在相关技术中，输电线路廊道多视角的三维重建模型是直接通过无人机采集的输电线路廊道的大规模场景图像集进行三维重建的，其精细化程度不够高，主要是由于输电线路廊道的野外背景复杂，而且树木是动态变化的，导致在进行场景图像特征点匹配时容易存在较大误差，导致最后三维重建得到的输电线路廊道模型的完整度不高，因此目前急需一种基于多视角技术的输电线路廊道的三维重建方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高输电线路廊道模型的完整度的基于多视角技术的输电线路廊道的三维重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种基于多视角技术的输电线路廊道的三维重建方法。所述方法包括：

获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

在其中一个实施例中，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤之前，还包括：

获取输电线路廊道的第二场景图像集；

对第二场景图像集中的图像进行图像增强处理，获取增强场景图像集；

分别对第二场景图像集与增强场景图像集进行矩形框标注，分别确定第二场景图像集与增强场景图像集中每一张场景图像的矩形框的坐标以及矩形框种类；

根据第二场景图像集、增强场景图像集、矩形框的坐标以及矩形框的种类，对yolov4目标检测子模型进行训练，得到训练后的yolov4目标检测子模型。

在其中一个实施例中，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息，包括：

对于任意相邻两张特征点匹配图像，将任意相邻两张特征点匹配图像对应的相邻两张场景图像输入至训练后的yolov4目标检测子模型，输出任意相邻两张特征点匹配图像的相邻两张场景图像中每一张场景图像中的目标检测框；

过滤任意相邻两张特征点匹配图像对应的目标检测框之外的特征点，得到两张过滤图像；

根据两张过滤图像，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在其中一个实施例中，根据两张过滤图像，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息，包括：

通过相机标定方法，确定任意相邻两张特征点匹配图像中每一张场景图像对应的相机内参矩阵；

根据两张过滤图像中每一对匹配的特征点以及每一张场景图像对应的相机内参矩阵，计算两张过滤图像共同对应的本征矩阵；

根据本征矩阵，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在其中一个实施例中，根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，包括：

对每一张场景图像中每一像素的进行深度估计，获取每一张场景图像对应的深度图；

根据每一张场景图像对应的深度图，计算每一张场景图像的点云；

根据每一张场景图像的点云以及每一张场景图像对应相机的位姿信息，进行点云融合，得到稠密点云模型。

在其中一个实施例中，根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型，包括：

对稠密点云模型进行网格初始化重建，得到初始网格重建模型；

对初始网格重建模型进行网格优化，得到网格优化模型；

对网格优化模型进行高清纹路贴图，输出当前场景的三维模型。

第二方面，本申请还提供了一种基于多视角技术的输电线路廊道的三维重建装置。所述装置包括：

获取模块，用于获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

匹配模块，用于通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

重建模块，用于根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

上述基于多视角技术的输电线路廊道的三维重建方法、装置、计算机设备、存储介质和计算机程序产品，获取输电线路廊道的第一场景图像集，第一场景图像集中任意相邻两张场景图像中含有重叠信息；通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

通过对场景图像进行目标检测，可以滤除场景中因树木等动态物体导致的误匹配点，使特征匹配点尽量落在静态物体上，从而可以提高三维重建运动恢复结构中相机位姿信息的准确性，进而提高当前场景的三维重建模型的准确性与完整度，实现电力行业输电线路无人机航线自动规划、树障分析等上层应用，助力物理电网向数字电网转型。

附图说明

图1为一个实施例中基于多视角技术的输电线路廊道的三维重建方法的应用环境图；

图2为一个实施例中基于多视角技术的输电线路廊道的三维重建方法的流程示意图；

图3为一个实施例中yolov4目标检测子模型的结构框图；

图4为一个实施例中基于多视角技术的输电线路廊道的三维重建装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种专业名词，但除非特别说明，这些专业名词不受这些术语限制。这些术语仅用于将一个专业名词与另一个专业名词区分。举例来说，在不脱离本申请的范围的情况下，第三预设阈值与第四预设阈值可以相同可以不同。

本申请实施例提供的基于多视角技术的输电线路廊道的三维重建方法，可以应用于如图1所示的应用环境中。图1中包括相机101及服务器102。其中，相机101一般是放在无人机底部用于拍摄场景图像。相机101将拍摄到的场景图像传输至服务器102，而服务器102，主要是对相机101拍摄得到的场景图像进行处理。当然，实际实施过程中，服务器102的处理功能也可以直接集成至相机101中，也即由相机101拍摄场景图像，并对场景图像处理得到处理结果，后续需要使用处理结果时，只需由相机101输出处理结果即可。

另外，用于场景图像的处理设备其形式不一定是服务器，也可以为专门的处理设备，如个人计算机或笔记本电脑，甚至若便携式穿戴设备如果能与相机101联动，以实现三维重建，处理设备还可以为便携式穿戴设备，本发明实施例对此不做具体限定。需要说明的是，本申请各实施例中提及的“多个”等的数量均指代“至少两个”的数量，比如，“多个”指“至少两个”。

另外，服务器102具体为怎样的处理过程，与图1中应用场景对应的具体用途有关。其中，具体用途可以为根据输电线路廊道的场景图像集对输电线路廊道进行三维重建，得到输电线路廊道多视角的三维重建模型。

此外，相机101还可以通过网络与服务器102进行通信。数据存储系统可以存储服务器102需要处理的数据。数据存储系统可以集成在服务器102上，也可以放在云上或其他网络服务器上。服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种基于多视角技术的输电线路廊道的三维重建方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：

201、获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

202、通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

203、根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

上述步骤201中，第一场景图像集的获取方式包括无人机在同一水平高度对输电线路廊道进行场景图像拍摄，其中无人机拍摄的场景图像为连续的，即每两张相邻场景图像中含有重叠信息。此外，无人机在同一水平高度拍摄场景图像的拍摄方式可以为“弓字型”或“蛇型”拍摄。

值得一提的是，野外的输电线路廊道场景中一般包含必须物体，如杆塔、输电线等以及非必须物体如树木等，因此，第一场景图像集中的场景图像的信息可以包括杆塔、树木及输电线，或杆塔及树木，或树木及输电线。

另外，重叠信息指的是任意相邻两张场景图像中包含相同的必须物体，比如杆塔或输电线等。

上述步骤202中，从运动中恢复结构（Structure from Motion，SFM）模型指的是通过相机的移动来确定目标的空间和几何关系的一种模型。

上述步骤203中，当前场景指的是需要进行三维重建的输电线路廊道场景。多视图立体几何关系（Multi-view Stereo，MVS）模型指的是一种可以生成密集点云的模型。

具体地，将每相邻两张场景图像输入至从运动中恢复结构模型后，先对每相邻两张场景图像进行特征点提取，一般情况下，每一张图像中存在多个特征点，然后对每相邻两张场景图像进行特征点匹配，即将两张场景图像中最相似的特征点进行匹配，对于特征点的匹配方法，本发明实施例对其不做具体限定，包括但不限于：快速近邻匹配以及FLANN特征点匹配等方法。

在对每相邻两张场景图像进行特征点匹配，得到每对特征点匹配图像之后，可能会存在误匹配的特征点对，因此，还需要对每对特征点匹配图像进行过滤，去掉误匹配的特征点对。由于本申请中的应用场景是输电线路廊道，通常情况下，发生误匹配的特征点存在于树木之类的非必须物体上，因此采用训练后的yolov4目标检测子模型对输入的每相邻两张场景图像进行目标检测，确定每相邻两张场景图像中杆塔以及输电线的位置以及种类，然后将其与对应的一对特征点匹配图像进行比较过滤。最后确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息。

在确定每一张场景图像对应相机的位姿信息后，则第一场景图像集中的每一张场景图像的相对位置则被确定了，因此可以在视图立体几何关系模型中构建当前场景的稠密点云模型，并对根据稠密点云模型当前场景进行三维重建，得到当前场景的三维重建模型。

本发明实施例提供的方法，通过对场景图像进行目标检测，可以滤除场景中因树木等动态物体导致的误匹配点，使特征匹配点尽量落在静态物体上，从而可以提高三维重建运动恢复结构中相机位姿信息的准确性，进而提高当前场景的三维重建模型的准确性与完整度，实现电力行业输电线路无人机航线自动规划、树障分析等上层应用，助力物理电网向数字电网转型。

结合上述实施例的内容，在一个实施例中，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤之前，还包括：

301、获取输电线路廊道的第二场景图像集；

302、对第二场景图像集中的图像进行图像增强处理，获取增强场景图像集；

303、分别对第二场景图像集与增强场景图像集进行矩形框标注，分别确定第二场景图像集与增强场景图像集中每一张场景图像的矩形框的坐标以及矩形框种类；

304、根据第二场景图像集、增强场景图像集、矩形框的坐标以及矩形框的种类，对yolov4目标检测子模型进行训练，得到训练后的yolov4目标检测子模型。

上述步骤301中，第二场景图像集可以与上述步骤201中的第一场景图像集相同，也可以是预先通过其他输电线路廊道拍摄得到的多张场景图像，还可以是上述步骤201中第一场景图像集与其他输电线路廊道拍摄得到的多张场景图像构成的图像集，

上述步骤302中，图像增强处理包括图像增强、图像平滑以及图像翻转，其中图像增强以及图像平滑可以提高图像的质量，图像翻转可以得到新的场景图像，增加训练图像集的数量。

上述步骤303中，对第二场景图像集与增强场景图像集进行矩形框标注的标注方式，本发明实施例对其不做具体限定，包括但不限于：Labelme软件进行矩形框标注。

具体地，yolov4目标检测子模型的结构框图如图3所示，yolov4目标检测子模型包括CSPDarknet53主干网络、SPP网络、PANet网络以及YOLO Head输出网络，其中，CSPDarknet53主干网络对输入的第二场景图像集中的每一张场景图像进行特征提取，输出第二场景图像集中每一张场景图像对应的第一特征信息，SPP网络对输入的第一特征信息进行处理，输出第二场景图像集中每一张场景图像对应的第二特征信息，PANet网络对输入的第一特征信息以及第二特征信息进行处理，输出第二场景图像集中每一张图像对应的特征融合信息，YOLO Head输出网络对输入的特征融合信息进行处理，输出第二场景图像集中每一张场景图像对应的训练结果。最后基于每一张场景图像对应的训练结果与损失函数，调整yolov4目标检测子模型的参数，直至损失函数值不大于预设阈值，得到训练后的yolov4目标检测子模型。其中，第一特征信息以及第二特征信息中均包含多个不同的特征信息。

本发明实施例提供的方法，通过对第二场景图像集中的图像进行图像增强处理，可以提高参与训练的场景图像的数量，从而提高yolov4目标检测子模型检测的准确度。

结合上述实施例的内容，在一个实施例中，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息，包括：

401、对于任意相邻两张特征点匹配图像，将任意相邻两张特征点匹配图像对应的相邻两张场景图像输入至训练后的yolov4目标检测子模型，输出任意相邻两张特征点匹配图像的相邻两张场景图像中每一张场景图像中的目标检测框；

402、过滤任意相邻两张特征点匹配图像对应的目标检测框之外的特征点，得到两张过滤图像；

403、根据两张过滤图像，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

上述步骤401中，目标检测框可以确定检测目标的位置以及种类，在本实施例中目标的种类包括杆塔以及输电线。

可以理解的是，上述步骤中相邻两张场景图像与相邻两张特征点匹配图像

具体地，将任意相邻两张场景图像输入至训练后的yolov4目标检测子模型后，可以输出带有目标检测框的相邻两张场景图像，此时，将带有目标检测框的相邻两张场景图像与对应相邻两张特征点匹配图像进行对比，可以确定对应相邻两张特征点匹配图像中杆塔及输电线的位置，从而可以确定相邻两张特征点匹配图像中杆塔及输电线对应的匹配点，最后通过筛选，可以过滤相邻两张特征点匹配图像对应的目标检测框之外的特征点，得到两张过滤图像。

可以理解的是，每相邻两张场景图像均有对应的相邻两张特征点匹配图像，以及相邻两张目标检测图像，每相邻两张特征点匹配图像均有对应的两张过滤图像。比如，有两张相邻图像A0、B0，A0、B0经过特征点提取以及特征点匹配后，输出A1、B1相邻两张特征点匹配图像，A0、B0经过训练后的yolov4目标检测子模型后输出A2、B2相邻两张目标检测图像，A1、B1通过与A2、B2进行对比，会输出A3、B3两张过滤图像。

本发明实施例提供的方法，通过对任意相邻两张特征点匹配图像进行过滤，可以减少该任意相邻两张特征点匹配图像中的误匹配对，从而提高相邻两张特征点匹配图像匹配对的正确率，进而提高每一张场景图像对应相机的位姿信息的精确率。

结合上述实施例的内容，在一个实施例中，根据两张过滤图像，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息，包括：

501、通过相机标定方法，确定任意相邻两张特征点匹配图像中每一张场景图像对应的相机内参矩阵；

502、根据两张过滤图像中每一对匹配的特征点以及每一张场景图像对应的相机内参矩阵，计算两张过滤图像共同对应的本征矩阵；

503、根据本征矩阵，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

具体地，由于两张过滤图像共同对应的本征矩阵包含了两张过滤图像分别对应两个相机的扭转信息和平移信息，其描述了两个相机间的位姿关系。因此，在确定了两张过滤图像共同对应的本征矩阵之后，可以根据两张过滤图像共同对应的本征矩阵确定对应相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

本发明实施例提供的方法，通过确定任意相邻两张特征点匹配图像中每一张场景图像对应的相机内参矩阵，从而可以确定两张过滤图像共同对应的本征矩阵，进而可以确定对应相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

结合上述实施例的内容，在一个实施例中，根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，包括：

601、对每一张场景图像中每一像素的进行深度估计，获取每一张场景图像对应的深度图；

602、根据每一张场景图像对应的深度图，计算每一张场景图像的点云；

603、根据每一张场景图像的点云以及每一张场景图像对应相机的位姿信息，进行点云融合，得到稠密点云模型。

具体地，基于多视图立体几何关系模型，对每一张场景图像中每一像素进行深度估计，将二维的像素点映射到三维空间中，得到每一张场景图像对应的深度图，然后通过每一张场景图像对应的深度图，进行坐标系变换，得到每一张场景图像的点云，然后根据每一张场景图像的点云以及每一张场景图像对应相机的位姿信息，进行稠密点云的三维重建，生成稠密匹配下的稠密点云模型。

本发明实施例提供的方法，通过多视图立体几何关系模型，可以从多张场景图像中恢复出稠密点云模型，从而可以根据稠密点云模型得到当前场景的三维重建模型。

结合上述实施例的内容，在一个实施例中，根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型，包括：

701、对稠密点云模型进行网格初始化重建，得到初始网格重建模型；

702、对初始网格重建模型进行网格优化，得到网格优化模型；

703、对网格优化模型进行高清纹路贴图，输出当前场景的三维模型。

具体地，基于图像构建的稠密点云模型中的点云虽然比较稠密，但是在进行网格初始化处理后得到的初始网格重建模型不够连续与平滑，这会影响最后重建模型的效果。因此，还需要初始网格重建模型进行优化处理，最后对对网格优化模型进行高清纹路贴图，输出当前场景的三维模型。

对于初始网格重建模型的优化处理方法，本发明实施例对其不做具体限定，包括但不限于：空洞修补算法以及网格细分。

本发明实施例提供的方法，通过初始网格重建模型进行网格优化，使初始网格重建模型更加连续、平滑，从而可以提高最终输出的三维重建模型的可视性以及完整性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于多视角技术的输电线路廊道的三维重建方法的基于多视角技术的输电线路廊道的三维重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于多视角技术的输电线路廊道的三维重建装置实施例中的具体限定可以参见上文中对于基于多视角技术的输电线路廊道的三维重建方法的限定，在此不再赘述。

在一个实施例中，如图4所示，提供了一种基于多视角技术的输电线路廊道的三维重建装置，包括：获取模块401、匹配模块402和重建模块403，其中：

获取模块401，用于获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

匹配模块402，用于通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

重建模块403，用于根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

在一个实施例中，匹配模块402，包括：

第一获取子模块，用于获取输电线路廊道的第二场景图像集；

第二获取子模块，用于对第二场景图像集中的图像进行图像增强处理，获取增强场景图像集；

第一确定子模块，用于分别对第二场景图像集与增强场景图像集进行矩形框标注，分别确定第二场景图像集与增强场景图像集中每一张场景图像的矩形框的坐标以及矩形框种类；

训练子模块，用于根据第二场景图像集、增强场景图像集、矩形框的坐标以及矩形框的种类，对yolov4目标检测子模型进行训练，得到训练后的yolov4目标检测子模型。

在一个实施例中，匹配模块402，还包括：

输出子模块，用于对于任意相邻两张特征点匹配图像，将任意相邻两张特征点匹配图像对应的相邻两张场景图像输入至训练后的yolov4目标检测子模型，输出任意相邻两张特征点匹配图像的相邻两张场景图像中每一张场景图像中的目标检测框；

过滤子模块，用于过滤任意相邻两张特征点匹配图像对应的目标检测框之外的特征点，得到两张过滤图像；

第二确定子模块，用于根据两张过滤图像，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在一个实施例中，第二确定子模块，包括：

第一确定单元，用于通过相机标定方法，确定任意相邻两张特征点匹配图像中每一张场景图像对应的相机内参矩阵；

计算单元，用于根据两张过滤图像中每一对匹配的特征点以及每一张场景图像对应的相机内参矩阵，计算两张过滤图像共同对应的本征矩阵；

第二确定单元，用于根据本征矩阵，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在一个实施例中，重建模块403，包括：

第三获取子模块，用于对每一张场景图像中每一像素的进行深度估计，获取每一张场景图像对应的深度图；

计算子模块，用于根据每一张场景图像对应的深度图，计算每一张场景图像的点云；

融合子模块，用于根据每一张场景图像的点云以及每一张场景图像对应相机的位姿信息，进行点云融合，得到稠密点云模型。

在一个实施例中，重建模块403，还包括：

重建子模块，用于对稠密点云模型进行网格初始化重建，得到初始网格重建模型；

优化子模块，用于对初始网格重建模型进行网格优化，得到网格优化模型；

贴图子模块，用于对网格优化模型进行高清纹路贴图，输出当前场景的三维模型。

上述基于多视角技术的输电线路廊道的三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多视角技术的输电线路廊道的三维重建方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取输电线路廊道的第二场景图像集；

对第二场景图像集中的图像进行图像增强处理，获取增强场景图像集；

分别对第二场景图像集与增强场景图像集进行矩形框标注，分别确定第二场景图像集与增强场景图像集中每一张场景图像的矩形框的坐标以及矩形框种类；

根据第二场景图像集、增强场景图像集、矩形框的坐标以及矩形框的种类，对yolov4目标检测子模型进行训练，得到训练后的yolov4目标检测子模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对于任意相邻两张特征点匹配图像，将任意相邻两张特征点匹配图像对应的相邻两张场景图像输入至训练后的yolov4目标检测子模型，输出任意相邻两张特征点匹配图像的相邻两张场景图像中每一张场景图像中的目标检测框；

过滤任意相邻两张特征点匹配图像对应的目标检测框之外的特征点，得到两张过滤图像；

根据两张过滤图像，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

通过相机标定方法，确定任意相邻两张特征点匹配图像中每一张场景图像对应的相机内参矩阵；

根据两张过滤图像中每一对匹配的特征点以及每一张场景图像对应的相机内参矩阵，计算两张过滤图像共同对应的本征矩阵；

根据本征矩阵，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对每一张场景图像中每一像素的进行深度估计，获取每一张场景图像对应的深度图；

根据每一张场景图像对应的深度图，计算每一张场景图像的点云；

根据每一张场景图像的点云以及每一张场景图像对应相机的位姿信息，进行点云融合，得到稠密点云模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对稠密点云模型进行网格初始化重建，得到初始网格重建模型；

对初始网格重建模型进行网格优化，得到网格优化模型；

对网格优化模型进行高清纹路贴图，输出当前场景的三维模型。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取输电线路廊道的第二场景图像集；

对第二场景图像集中的图像进行图像增强处理，获取增强场景图像集；

分别对第二场景图像集与增强场景图像集进行矩形框标注，分别确定第二场景图像集与增强场景图像集中每一张场景图像的矩形框的坐标以及矩形框种类；

根据第二场景图像集、增强场景图像集、矩形框的坐标以及矩形框的种类，对yolov4目标检测子模型进行训练，得到训练后的yolov4目标检测子模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对于任意相邻两张特征点匹配图像，将任意相邻两张特征点匹配图像对应的相邻两张场景图像输入至训练后的yolov4目标检测子模型，输出任意相邻两张特征点匹配图像的相邻两张场景图像中每一张场景图像中的目标检测框；

过滤任意相邻两张特征点匹配图像对应的目标检测框之外的特征点，得到两张过滤图像；

根据两张过滤图像，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

通过相机标定方法，确定任意相邻两张特征点匹配图像中每一张场景图像对应的相机内参矩阵；

根据两张过滤图像中每一对匹配的特征点以及每一张场景图像对应的相机内参矩阵，计算两张过滤图像共同对应的本征矩阵；

根据本征矩阵，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对每一张场景图像中每一像素的进行深度估计，获取每一张场景图像对应的深度图；

根据每一张场景图像对应的深度图，计算每一张场景图像的点云；

根据每一张场景图像的点云以及每一张场景图像对应相机的位姿信息，进行点云融合，得到稠密点云模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对稠密点云模型进行网格初始化重建，得到初始网格重建模型；

对初始网格重建模型进行网格优化，得到网格优化模型；

对网格优化模型进行高清纹路贴图，输出当前场景的三维模型。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取输电线路廊道的第一场景图像集，其中，第一场景图像集中任意相邻两张场景图像中含有重叠信息；

通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取输电线路廊道的第二场景图像集；

对第二场景图像集中的图像进行图像增强处理，获取增强场景图像集；

分别对第二场景图像集与增强场景图像集进行矩形框标注，分别确定第二场景图像集与增强场景图像集中每一张场景图像的矩形框的坐标以及矩形框种类；

根据第二场景图像集、增强场景图像集、矩形框的坐标以及矩形框的种类，对yolov4目标检测子模型进行训练，得到训练后的yolov4目标检测子模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对于任意相邻两张特征点匹配图像，将任意相邻两张特征点匹配图像对应的相邻两张场景图像输入至训练后的yolov4目标检测子模型，输出任意相邻两张特征点匹配图像的相邻两张场景图像中每一张场景图像中的目标检测框；

过滤任意相邻两张特征点匹配图像对应的目标检测框之外的特征点，得到两张过滤图像；

根据两张过滤图像，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

通过相机标定方法，确定任意相邻两张特征点匹配图像中每一张场景图像对应的相机内参矩阵；

根据两张过滤图像中每一对匹配的特征点以及每一张场景图像对应的相机内参矩阵，计算两张过滤图像共同对应的本征矩阵；

根据本征矩阵，确定任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对每一张场景图像中每一像素的进行深度估计，获取每一张场景图像对应的深度图；

根据每一张场景图像对应的深度图，计算每一张场景图像的点云；

根据每一张场景图像的点云以及每一张场景图像对应相机的位姿信息，进行点云融合，得到稠密点云模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对稠密点云模型进行网格初始化重建，得到初始网格重建模型；

对初始网格重建模型进行网格优化，得到网格优化模型；

对网格优化模型进行高清纹路贴图，输出当前场景的三维模型。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多视角技术的输电线路廊道的三维重建方法，其特征在于，所述方法包括：

获取所述输电线路廊道的第一场景图像集，所述第一场景图像集中任意相邻两张场景图像中含有重叠信息，所述第一场景图像集为无人机在同一水平高度进行连续拍摄得到的，所述输电线路廊道的场景中包含杆塔和输电线，所述任意相邻两张场景图像是由无人机连续拍摄得到的；

通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据所述稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

2.根据权利要求1所述的方法，其特征在于，所述根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤之前，还包括：

获取所述输电线路廊道的第二场景图像集；

对所述第二场景图像集中的图像进行图像增强处理，获取增强场景图像集；

分别对所述第二场景图像集与增强场景图像集进行矩形框标注，分别确定所述第二场景图像集与增强场景图像集中每一张场景图像的矩形框的坐标以及矩形框种类；

根据所述第二场景图像集、增强场景图像集、矩形框的坐标以及矩形框的种类，对所述yolov4目标检测子模型进行训练，得到训练后的yolov4目标检测子模型。

3.根据权利要求2所述的方法，其特征在于，所述根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息，包括：

对于任意相邻两张特征点匹配图像，将所述任意相邻两张特征点匹配图像对应的相邻两张场景图像输入至训练后的yolov4目标检测子模型，输出所述任意相邻两张特征点匹配图像的相邻两张场景图像中每一张场景图像中的目标检测框；

过滤所述任意相邻两张特征点匹配图像对应的目标检测框之外的特征点，得到两张过滤图像；

根据所述两张过滤图像，确定所述任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述两张过滤图像，确定所述任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息，包括：

通过相机标定方法，确定所述任意相邻两张特征点匹配图像中每一张场景图像对应的相机内参矩阵；

根据所述两张过滤图像中每一对匹配的特征点以及每一张场景图像对应的相机内参矩阵，计算所述两张过滤图像共同对应的本征矩阵；

根据所述本征矩阵，确定所述任意相邻两张特征点匹配图像中每一张场景图像对应相机的位姿信息。

5.根据权利要求1所述的方法，其特征在于，所述根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，包括：

对每一张场景图像中每一像素的进行深度估计，获取每一张场景图像对应的深度图；

根据每一张场景图像对应的深度图，计算每一张场景图像的点云；

根据每一张场景图像的点云以及每一张场景图像对应相机的位姿信息，进行点云融合，得到稠密点云模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型，包括：

对所述稠密点云模型进行网格初始化重建，得到初始网格重建模型；

对所述初始网格重建模型进行网格优化，得到网格优化模型；

对所述网格优化模型进行高清纹路贴图，输出当前场景的三维模型。

7.一种基于多视角技术的输电线路廊道的三维重建装置，其特征在于，所述装置包括：

获取模块，用于获取所述输电线路廊道的第一场景图像集，所述第一场景图像集中任意相邻两张场景图像中含有重叠信息，所述第一场景图像集为无人机在同一水平高度进行连续拍摄得到的，所述输电线路廊道的场景中包含杆塔和输电线，所述任意相邻两张场景图像是由无人机连续拍摄得到的；

匹配模块，用于通过从运动中恢复结构模型，依序对每相邻两张场景图像进行特征点提取并进行特征点匹配，得到每相邻两张场景图像对应的一对特征点匹配图像，根据训练后的yolov4目标检测子模型对每对特征点匹配图像进行过滤，确定每相邻两张场景图像中每一张场景图像对应相机的位姿信息；

重建模块，用于根据每一张场景图像以及每一张场景图像对应相机的位姿信息，在多视图立体几何关系模型中构建稠密点云模型，并根据所述稠密点云模型对当前场景进行三维重建，得到当前场景的三维重建模型。

8.根据权利要求7所述的装置，其特征在于，所述匹配模块，包括：

第一获取子模块，用于获取所述输电线路廊道的第二场景图像集；

第二获取子模块，用于对所述第二场景图像集中的图像进行图像增强处理，获取增强场景图像集；

第一确定子模块，用于分别对所述第二场景图像集与增强场景图像集进行矩形框标注，分别确定所述第二场景图像集与增强场景图像集中每一张场景图像的矩形框的坐标以及矩形框种类；

训练子模块，用于根据所述第二场景图像集、增强场景图像集、矩形框的坐标以及矩形框的种类，对所述yolov4目标检测子模型进行训练，得到训练后的yolov4目标检测子模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images