CN112258604B - 悬空线缆重建方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提出一种悬空线缆重建方法、装置及电子设备，涉及图像技术领域。其中，上述悬空线缆重建包括从多帧视觉图像中提取出多条待选直线；基于每组相邻视野下采集到的第一图像和第二图像所对应的待选直线进行邻域匹配，匹配出多条待筛直线；从所述多条待选直线中剔除所述待筛直线，以得到目标直线；基于所述目标直线，进行悬空线缆的重建。通过充分从视觉图像中提取出待选直线，再筛除不是悬空线缆的线条，以得到能够准确恢复出真实空间中悬空线缆的目标直线。从而，提高对飞行空间内悬空线缆的重建准确性，进而提升无人机飞行过程中避开悬空线缆的能力，避免出现毁断电的后果。

Description

悬空线缆重建方法、装置及电子设备

技术领域

本发明涉及图像技术领域，具体而言，涉及一种悬空线缆重建方法、装置及电子设备。

背景技术

随着农业机械化、智能化进程的推进，越来越多的自动化设备应用于农业，近期无人机在农业中的应用也是引人瞩目。然而，由于农田内作业环境复杂(比如，农田上空存在的电线、斜拉线等)，导致自动化作业设备在农业中应用范围有限。特别是对于无人机这类作业设备，无法准确感知电线的位置很容易使得飞机撞上电线，造成机毁断电的后果。

发明内容

有鉴于此，本发明的目的在于提供一种悬空线缆重建方法、装置及电子设备。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种悬空线缆重建方法，所述悬空线缆重建方法包括：

从多帧视觉图像中提取出多条待选直线；其中，所述多帧视觉图像为在不同角度视野下采集到的图像信息；

基于每组第一图像和第二图像所对应的待选直线进行邻域匹配，匹配出多条待筛直线；其中，所述每组第一图像和第二图像为相邻视野下采集到的两帧视觉图像；

从所述多条待选直线中剔除所述待筛直线，以得到目标直线；

基于所述目标直线，进行悬空线缆的重建。

在可选的实施方式中，所述基于每组第一图像和第二图像所对应的待选直线进行邻域匹配，匹配出多条待筛直线的步骤包括：

获取所述第一图像中出现的每一条所述待选直线的第一邻域图块及对应的所述第二图像中出现的每一条所述待选直线的第二邻域图块；

依次将每一所述第一邻域图块与对应的每一所述第二邻域图块进行特征匹配；

将匹配度满足预设条件的所述第一邻域图块和所述第二邻域图块所对应的待选直线判定为所述待筛直线。

在可选的实施方式中，所述基于所述目标直线，进行悬空线缆的重建的步骤包括：

针对所述目标直线进行几何唯一性匹配，以得到匹配结果；

基于所述匹配结果，进行三维重建。

在可选的实施方式中，所述针对所述目标直线进行几何唯一性匹配的步骤包括：

从所述多帧视觉图像中获取所对应的视野互为相邻的目标视觉图像；

基于几何唯一性，计算属于不同的所述目标视觉图像的目标直线之间的匹配度；

根据匹配度满足预设要求的所述目标直线之间的对应关系，确定出所述匹配结果。

在可选的实施方式中，从所述多条待选直线中剔除所述待筛直线之后，所述悬空线缆重建方法还包括：

获取剔除所述待筛直线后的每条所述待选直线与水平面之间的相对角度；

将对应的所述相对角度未超过预设值的所述待选直线，确定为所述目标直线。

在可选的实施方式中，从所述多条待选直线中剔除所述待筛直线之后，所述悬空线缆重建方法还包括：获取剔除所述待筛直线后的每条所述待选直线与水平面之间的相对角度；若所述待选直线的一端与地平面相连且与水平面之间的相对角度超过预设值，则判定为所述目标直线。

第二方面，本发明实施例提供一种悬空线缆重建装置，所述悬空线缆重建装置包括：

提取模块，用于从多帧视觉图像中提取出多条待选直线；其中，所述多帧视觉图像为在不同角度视野下采集到的图像信息；

匹配模块，用于基于每组第一图像和第二图像所对应的待选直线进行邻域匹配，匹配出多条待筛直线；其中，所述每组第一图像和第二图像为相邻视野下采集到的两帧视觉图像；

筛除模块，用于从所述多条待选直线中剔除所述待筛直线，以得到目标直线；

重建模块，用于基于所述目标直线，进行悬空线缆的重建。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。

在一些实施例中，上述电子设备为带有图像采集模块的植保无人机，所述植保无人机通过所述图像采集模块采集多帧视觉图像。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。

与现有技术相比，本发明实施例提供的悬空线缆重建通过基于多帧于不同视野下采集到的视觉图像进行待选直线的提取，然后再基于每组相邻视野下采集到的第一图像和第二图像所对应的待选直线进行邻域匹配，匹配出多条待筛直线。再从多条待选直线中剔除所述待筛直线，也即，利用邻域匹配筛除不是悬空线缆的线条，如此，基于筛除后得到的目标直线，进行悬空线缆的重建，能够准确地重现悬空的线缆，以便无人机能够规划处准确避开悬空线缆的作业路径，避免出现机毁断电的后果。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的电子设备的示意图。

图2示出了本发明实施例提供的悬空线缆重建方法的步骤流程图之一。

图3示出了本发明实施例提供的步骤S102的子步骤流程图。

图4示出了本发明实施例提供的示例图。

图5示出了本发明实施例提供的步骤S104的子步骤流程图。

图6示出了本发明实施例提供的悬空线缆重建方法的步骤流程图之二。

图7示出了本发明实施例提供的悬空线缆重建装置的示意图。

图8示出了本发明实施例提供的匹配模块的子模块示意图。

图9示出了本发明实施例提供的重建模块的子模块示意图。

图标：100-电子设备；101-存储器；102-通信接口；103-处理器；104-总线；300-悬空线缆重建装置；301-提取模块；302-匹配模块；3021-获取子模块；3022-第一匹配子模块；3023-判定子模块；303-筛除模块；304-重建模块；3041-第二匹配子模块；3042-重建子模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

无人机自动飞行作业的前提是识别出飞行空间内的障碍物，比如，树木、电线杆、斜拉线等。特别是飞行空间为农田上空时，由于农田内复杂的环境因素(比如，存在交错的电线和斜拉线)，导致无人机在农业的应用范围有限。当然，只要无人机能够实现准确识别飞行空间内存在的悬空线缆(比如，电缆、斜拉线)，便可解决上述问题。

相关技术中，为了改善农田场景对无人机应用的制约，通常采用以下两种方式：

其一，实时感知系统，直接通过机载传感器感知线缆。然而，该方式避开线缆的准确性依赖于传感器的灵敏度。同时，该方式缺乏预判，容易出现识别到障碍物时已经来不及调整飞行位姿的情况。

其二，在航拍图像中存在的悬空线缆，从而规划飞行路径时避开悬空线缆。通常悬空线缆在航拍农田的图像中呈现的形式是线条，然而，航拍农田的图像中存在不少与悬空线缆无关的线条(比如，地面摆放的线条)，上述与悬空线缆无关的线条并不影响无人机的飞行作业，故将其误判为线缆，会导致规划出的飞行路线出现不必要的绕行。

此外，一些实施例中，上述电子设备100为无人机。比如，上述电子设备为带有图像采集模块的植保无人机，所述植保无人机通过所述图像采集模块采集多帧视觉图像。或者所述无人机还可以为航测无人机。

在另一实施例中，上述电子设备100可以是与无人机通信连接的设备。请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于个人电脑(personal computer，PC)、服务器、分布式部署的计算机等等。可以理解的是，电子设备100也不限于物理设备，还可以是物理设备上布局的虚拟机、基于云平台上构建的虚拟机等能提供与所述服务器或者虚拟机有相同功能的计算机。

电子设备100的操作系统可以是，但不限于，Windows系统、Linux系统等。上述电子设备100包括存储器101、通信接口102、处理器103和总线104，所述存储器101、通信接口102和处理器103通过总线104连接，处理器103用于执行存储器101中存储的可执行模块，例如计算机程序。其中，存储器101可能包含高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口102(可以是有线或者无线)实现该电子设备100与外部设备之间的通信连接。

总线104可以是ISA总线、PCI总线或EISA总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线104或一种类型的总线104。

在一些实施例中，存储器101用于存储程序，例如图7所示的悬空线缆重建装置300。该悬空线缆重建装置300包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器103在接收到执行指令后，执行所述程序以实现本发明上述实施例揭示的悬空线缆重建方法。

处理器103可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器103可以是通用处理器103，包括中央处理器103(Central Processing Unit，简称CPU)、网络处理器103(Network Processor，简称NP)等；还可以是数字信号处理器103(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参考图2，图2示出了本发明实施例提供的一种悬空线缆重建方法。上述悬空线缆重建方法应用于上述电子设备100。如图2所示，上述悬空线缆重建方法可以包括以下步骤：

步骤S101，从多帧视觉图像中提取出多条待选直线。

上述多帧视觉图像为不同角度视野下采集到的多帧图像信息。

在一些实施例中，上述多帧视觉图像可以是多目采集设备并行采集到的图像信息。可以理解地，上述多目采集设备中不同镜头之间的位置和角度不同，故所对应的视野也不同，如此，通过多目采集设备的不同镜头采集到的图像数据便是不同角度视野下的采集到的视觉图像。

在另一些实施例中，上述多帧视觉图像可以是单目采集设备在运动状态下周期性采集到图像数据。可以理解地，上述单目采集设备每一次采集图像数据时的位置角度都不同，如此，通过单目采集设备采集到的图像数据便是不同角度视野下采集到的视觉图像。

上述待选直线为从多帧视觉图像中提取到的线条。

步骤S102，基于每组第一图像和第二图像所对应的待选直线进行邻域匹配，匹配出多条待筛直线。

上述每组第一图像和第二图像为相邻视野下采集到的两帧视觉图像。

在上述多帧视觉图像为多目采集设备采集到的图像信息的场景下，上述第一图像和第二图像可以是具有相邻视野的镜头所采集到的图像数据。可以理解地，在一些实施例中，可以根据镜头之间相对位置关系确定出具有相邻视野的镜头。在另一些实施例中，还可以根据不同镜头视野的重叠比例确定出具有相邻视野的镜头，比如，存在镜头A、B、C，镜头A和镜头B之间的视野重叠度大于镜头A与镜头C之间的视野重叠度，那么可以确定镜头A和B为一组具有相邻视野的镜头，当然，如果镜头C与镜头A之间的视野重叠度大于镜头B与镜头C之间的视野重叠度，那么镜头C和镜头A为一组具有相邻视野的镜头。

如此，在确定出具有相邻视野的镜头后，便可以将具有相邻视野的镜头所采到的视觉图像作为一组第一图像和第二图像。

在上述多帧视觉图像为单目采集设备周期性采集到的图像信息的场景下，上述第一图像和第二图像可以是相邻两个时间周期所采集到的两帧视觉图像。

此外，可以理解地，同一视觉图像可以分别与多帧其他视觉图像组成多组第一图像和第二图像。

上述邻域匹配可以是将出现于第一图像中的待选直线所对应的图像区域与出现于第二图像中的待选直线所对应的图像区域进行匹配。

步骤S103，从多条待选直线中剔除待筛直线，以得到目标直线。

步骤S104，基于目标直线，进行悬空线缆的重建。

本发明实施例所提供的悬空线缆重建方法首先通过步骤S101从多视野下采集到的视觉图像中提取出待选直线，作为重建悬空线缆的候选线条。然后，配合步骤S102和步骤S103筛除待选直线中不属于悬空线缆的线条。如此，最后利用步骤S104即可校准准确的重建出真实空间中的悬空线缆。重建出的悬空线缆可以在无人机规划飞行路线时提供参考，即可改善无人机飞行过程中出现与悬空线缆碰撞的问题，促进无人机在农业领域的推广应用。

下面对本发明实施例的实现细节进行描述：

在一些实施例中，上述步骤S101的目的是从不同视野下采集到的视觉图像提取出用于重建出悬空线缆的候选线条。

为了得到丰富的候选线条，在一些实施例中，上述步骤S101可以是利用直线检测算法检测每帧视觉图像中的直线，将检测出来的直线均作为待选直线。比如，利用EDLine算法依次检测每帧视觉图像中的直线，再利用(Line Band Discriptoer，LBD)描述方法对检测出的直线进行描述，以得到待选直线。

可以理解地，非悬空的线条并不影响无人机的飞行，然而，步骤S101进行直线检测时会检测出视觉图像中的所有直线。故，在一些实施例中，上述步骤S102的目的是利用悬空线缆在不同角度下对应背景不同的特点，筛除非悬空的线条。

在一些实施例中，如图3所示，上述步骤S102可以包括：

子步骤S102-1，获取第一图像中出现的每一条待选直线的第一邻域图块及对应的第二图像中出现的每一条待选直线的第二邻域图块。

在一些实施例中，将包含待选直线的像素点区域选为邻域图块。在一些实施例中，可以是按照预选形状从视觉图像中框出包含待选直线的像素点区域，以作为邻域图块。在另外一些实施例中，可以是响应输入的标记指令，从视觉图像中框出包含待选直线的像素点区域。

可以理解地，基于第一图像中的待选直线确定出的邻域图块为第一邻域图块。基于第二图像中的待选直线确定出的邻域图块为第二邻域图块。显然地，从不同视觉图像中确定出邻域图块的原理相同，只不过邻域图块与所属的视觉图像存在关联。故，属于第一图像的邻域图块相较于第二图像中的邻域图块而言是第一邻域图块，同理，属于对应的第二图像的邻域图块相较于第一图像中的邻域图块而言是第二邻域图块。换句话说，第一邻域图块和第二邻域图块之间是存在对应关系的。

子步骤S102-2，依次将每一第一邻域图块与对应的每一第二邻域图块进行特征匹配。

在一些实施例中，基于第一图像中的第一邻域图块依次与第二图像中的第二邻域图块进行特征匹配，以得到第一邻域图块与不同第二邻域图块之间的匹配度。

比如图4，视觉图像a相对于视觉图像b而言是第一图像，视觉图像b相对于视觉图像a而言是第二图像，基于第一邻域图块a1与第二邻域图块b1进行特征匹配，以得到第一邻域图块a1与第二邻域图块b1之间的匹配度；基于第一邻域图块a1与第二邻域图块b2进行特征匹配，以得到第一邻域图块a1与第二邻域图块b2之间的匹配度；基于第一邻域图块a2与第二邻域图块b1进行特征匹配，以得到第一邻域图块a2与第二邻域图块b1之间的匹配度；基于第一邻域图块a2与第二邻域图块b2进行特征匹配，以得到第一邻域图块a2与第二邻域图块b2之间的匹配度。

子步骤S102-3，将匹配度满足预设条件的第一邻域图块和第二邻域图块所对应的待选直线判定为所述待筛直线。

在一些实施例中，可以预先设置一个匹配度阈值，将得到的匹配度与上述匹配度阈值进行比较，如果匹配度超过匹配度阈值，那么将该匹配度所对应的第一邻域图块和第二邻域图块内包含的待选直线作为待筛直线。该实施方式，确定出的待筛直线能够避免漏判的发生。

在另一些实施例中，由于同一视觉图像可以是多个其他视觉图像所对应的第一图像，同样，同一视觉图像还可以是多个其他视觉图像所对应的第二图像。故，判断匹配度是否满足预设条件的方式还可以是：判断第一图像是否对应着多个第二图像。如果是，当第一图像中第一邻域图块与一个第二图像的第二邻域图块之间的匹配度超过匹配度阈值时，检验是否还存在其他视觉图像(除该第一图像和第二图像之外的视觉图像)中的邻域图块与该第一邻域图块之间匹配度超过匹配度阈值。若存在，则将该第一邻域图块以及与之匹配度超过匹配度阈值的所有邻域图块中包含的待选直线确定为待筛直线。该实施方式确定出的待筛直线更加可靠，减少误判的可能。

在一些实施例中，上述步骤S104的目的为恢复出真实空间中的悬空线缆，便于无人机决策飞行路线。虽然多视野的图像能够为重建悬空线缆提供支持，但依然需要知道不同视野的图像中表征同一悬空线缆的目标直线。故。在一些实施例中，如图5所示，上述步骤S104可以包括以下步骤：

子步骤S104-1，针对目标直线进行几何唯一性匹配，以得到匹配结果。

在一些实施例中，上述子步骤S104-1可以是：

(1)从多帧视觉图像中获取所对应的视野互为相邻的目标视觉图像。

(2)基于几何唯一性，计算属于不同的目标视觉图像的目标直线之间的匹配度。

(3)根据匹配度满足预设要求的目标直线之间的对应关系，确定出匹配结果。

在一些实施例中，可以是将匹配度超过直线匹配阈值的两条目标直线确定为满足预设要求的目标直线。

在一些实施例中，还可以是按照目标直线之间的匹配度，按照从高到低的方式提取匹配的目标直线对。

子步骤S104-2，基于匹配结果，进行三维重建。

在一些实施例中，基于匹配上的目标直线对，恢复悬空线缆的三维信息，以得到悬空线缆的三维点云。

在一些实施例中，为了进一步改善与悬空线缆无关的线条影响对真实空间的悬空线缆的重建准确性。如图6所示，在步骤S103之后，上述悬空线缆重建方法还包括：

步骤S201，获取剔除待筛直线后的每条待选直线与水平面之间的相对角度。

在一些实施例中，可以是获取待选直线两个端点之间的方向向量，将该方向向量与基于视觉图像中的呈现的水平面之间的相对夹角。

步骤S202，将对应的相对角度未超过预设值的待选直线，确定为目标直线。

可以理解地，利用线缆悬空且与地面几乎平行等特点进行进一步的直线过滤，将保存下来的目标直线对悬空线缆进行三维描述。

当然，一些场景下还存在斜拉的线缆，为了能够准确地识别出这一类线缆，在一些实施例中，上述悬空线缆重建方法还包括：

步骤S301，获取剔除待筛直线后的每条所述待选直线与水平面之间的相对角度。

在一些实施例中，上述步骤S301的原理与步骤S201相同，在此不再赘述。

步骤S302，若待选直线的一端与地平面相连且与水平面之间的相对角度超过预设值，则判定为目标直线。

在一些实施例中，如果一条待选直线一端与地平面连接、另一端悬空，那么该线段很有可能为从地面斜拉到空中的线缆。故，可以先依次判断各条待选直线是否存在一端连接地平面。然后，将判断存在一端与地平面相连的待选直线所对应的相对夹角与预设值进行比较。如果所对应的相对夹角大于预设值，那么判定该待选直线为目标直线。

在一些实施例中，判断各条待选直线的一端是否与地平面存在连接的方式可以是：获取实际空间的地平面点云，判断待选直线上是否存在至少一个点与地平面点云之间的最小距离不超过预设阈值。如果待选直线上存在至少一个点与地平面点云之间的最小距离不超过预设阈值，那么可以确定该待选直线一端与地平面连接。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种悬空线缆重建装置300的实现方式，可选地，该悬空线缆重建装置300可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图7，图7为本发明实施例提供的一种悬空线缆重建装置300的功能模块图。需要说明的是，本实施例所提供的悬空线缆重建装置300，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该悬空线缆重建装置300包括：提取模块301、匹配模块302、筛除模块303和重建模块304。

提取模块301，用于从多帧视觉图像中提取出多条待选直线；其中，所述多帧视觉图像为在不同角度视野下采集到的图像信息；

匹配模块302，用于基于每组第一图像和第二图像所对应的待选直线进行邻域匹配，匹配出多条待筛直线；其中，所述每组第一图像和第二图像为相邻视野下采集到的两帧视觉图像；

筛除模块303，用于从所述多条待选直线中剔除所述待筛直线，以得到目标直线；

重建模块304，用于基于所述目标直线，进行悬空线缆的重建。

在一些实施例中，如图8所示，上述匹配模块302包括：获取子模块3021、第一匹配子模块3022及判定子模块3023。

获取子模块3021，用于获取所述第一图像中出现的每一条所述待选直线的第一邻域图块及对应的所述第二图像中出现的每一条所述待选直线的第二邻域图块。

第一匹配子模块3022，用于依次将每一所述第一邻域图块与对应的每一所述第二邻域图块进行特征匹配。

判定子模块3023，用于将匹配度满足预设条件的所述第一邻域图块和所述第二邻域图块所对应的待选直线判定为所述待筛直线。

在一些实施例中，如图9所示，上述重建模块304包括：第二匹配子模块3041及重建子模块3042。

第二匹配子模块3041，用于针对所述目标直线进行几何唯一性匹配，以得到匹配结果。

重建子模块3042，用于基于所述匹配结果，进行三维重建。

在一些实施例中，上述第二匹配子模块3041具体用于：

从所述多帧视觉图像中获取所对应的视野互为相邻的目标视觉图像；

基于几何唯一性，计算属于不同的所述目标视觉图像的目标直线之间的匹配度；

根据匹配度满足预设要求的所述目标直线之间的对应关系，确定出所述匹配结果。

在一些实施例中，悬空线缆重建装置300还包括：

获得模块，用于获取剔除所述待筛直线后的每条所述待选直线与水平面之间的相对角度；

确定模块，用于将对应的所述相对角度未超过预设值的所述待选直线，确定为所述目标直线。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器101中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器103执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器101中。

综上所述，本发明实施例提供的一种悬空线缆重建方法、装置及电子设备，其中，上述悬空线缆重建包括从多帧视觉图像中提取出多条待选直线；其中，多帧视觉图像为在不同角度视野下采集到的图像信息；基于每组第一图像和第二图像所对应的待选直线进行邻域匹配，匹配出多条待筛直线；其中，所述每组第一图像和第二图像为相邻视野下采集到的两帧视觉图像；从所述多条待选直线中剔除所述待筛直线，以得到目标直线；基于所述目标直线，进行悬空线缆的重建。通过充分从视觉图像中提取出待选直线，再筛除不是悬空线缆的线条，以得到能够准确恢复出真实空间中悬空线缆的目标直线。从而，提高对飞行空间内悬空线缆的重建准确性，进而提升无人机飞行过程中避开悬空线缆的能力，避免出现毁断电的后果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种悬空线缆重建方法，其特征在于，所述悬空线缆重建方法包括：

从多帧视觉图像中提取出多条待选直线；其中，所述多帧视觉图像为在不同角度视野下采集到的图像信息；

获取第一图像中出现的每一条所述待选直线的第一邻域图块及对应的第二图像中出现的每一条所述待选直线的第二邻域图块；其中，每组第一图像和第二图像为相邻视野下采集到的两帧视觉图像；

依次将每一所述第一邻域图块与对应的每一所述第二邻域图块进行特征匹配；

将匹配度满足预设条件的所述第一邻域图块和所述第二邻域图块所对应的待选直线判定为待筛直线；

从所述多条待选直线中剔除所述待筛直线，以得到目标直线；

从所述多帧视觉图像中获取所对应的视野互为相邻的目标视觉图像；

基于几何唯一性，计算属于不同的所述目标视觉图像的目标直线之间的匹配度；

根据匹配度满足预设要求的所述目标直线之间的对应关系，确定出匹配结果；

基于所述匹配结果，进行三维重建。

2.根据权利要求1所述的悬空线缆重建方法，其特征在于，从所述多条待选直线中剔除所述待筛直线之后，所述悬空线缆重建方法还包括：

获取剔除所述待筛直线后的每条所述待选直线与水平面之间的相对角度；

将对应的所述相对角度未超过预设值的所述待选直线，确定为所述目标直线。

3.根据权利要求1所述的悬空线缆重建方法，其特征在于，从所述多条待选直线中剔除所述待筛直线之后，所述悬空线缆重建方法还包括：

获取剔除所述待筛直线后的每条所述待选直线与水平面之间的相对角度；

若所述待选直线的一端与地平面相连且与水平面之间的相对角度超过预设值，则判定为所述目标直线。

4.一种悬空线缆重建装置，其特征在于，所述悬空线缆重建装置包括：

提取模块，用于从多帧视觉图像中提取出多条待选直线；其中，所述多帧视觉图像为在不同角度视野下采集到的图像信息；

匹配模块，用于：

获取第一图像中出现的每一条所述待选直线的第一邻域图块及对应的第二图像中出现的每一条所述待选直线的第二邻域图块；其中，每组第一图像和第二图像为相邻视野下采集到的两帧视觉图像；依次将每一所述第一邻域图块与对应的每一所述第二邻域图块进行特征匹配；

将匹配度满足预设条件的所述第一邻域图块和所述第二邻域图块所对应的待选直线判定为待筛直线；

筛除模块，用于从所述多条待选直线中剔除所述待筛直线，以得到目标直线；

重建模块，用于：

从所述多帧视觉图像中获取所对应的视野互为相邻的目标视觉图像；

基于几何唯一性，计算属于不同的所述目标视觉图像的目标直线之间的匹配度；

根据匹配度满足预设要求的所述目标直线之间的对应关系，确定出匹配结果；

基于所述匹配结果，进行三维重建。

5.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-3任一所述的方法。

6.根据权利要求5所述的电子设备，其特征在于，所述电子设备为带有图像采集模块的植保无人机，所述植保无人机通过所述图像采集模块采集所述多帧视觉图像。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的方法。

Images