CN109919989B

CN109919989B - 一种雷达电力巡检的点云数据配准方法、装置及设备

Info

Publication number: CN109919989B
Application number: CN201910238070.3A
Authority: CN
Inventors: 曹睿; 严寿麟; 杨积升; 李东; 章云
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-03-27
Filing date: 2019-03-27
Publication date: 2023-11-14
Anticipated expiration: 2039-03-27
Also published as: CN109919989A

Abstract

本发明公开了一种雷达电力巡检的点云数据配准方法，通过应用预设的卷积网络，在同一区域的两个不同时间点的第一点云数据和第二点云数据中分别分割得到同一目标标志物的第一三维点云和第二三维点云，再依据第一三维点云和第二三维点云将两个点云数据进行数据融合，得到第三点云数据，从而消除了两个不同时间点的点云数据之间的位置误差，避免了一个危险点被误认为是多个危险点的状况，进而减轻了地检人员分析、维修的工作量。本发明还提供一种雷达电力巡检的点云数据配准装置、设备及计算机可读存储介质，具有上述有益效果。

Description

一种雷达电力巡检的点云数据配准方法、装置及设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种雷达电力巡检的点云数据配准方法、装置、设备及计算机可读存储介质。

背景技术

目前国内电力巡检开始使用无人机代替部分人力检测高压电线的安全状况。无人机上安装有激光雷达。在电力巡检某一区域的高压电线的安全状况时，无人机在同一地域来回飞行，飞行的同时激光雷达会扫描周围环境，这时便会产生多个不同时间点的机载雷达三维点云数据。采集完的点云数据将被用来检测是否有过高的树木接触到了高压电线等状况，如果发生这样的状况，树木可能会磨损电线，甚至引发森林火灾。树木与高压电线接触的点称为危险点。

在对多个点云数据进行分析时，由于风的干扰以及机载雷达的误差，同一危险点会有多个点云位置，从而被误认为是多个危险点，这给后续的分析、核实危险点、维修工作造成了极大的负担。

如何消除同一区域不同时间点的点云数据之间的位置误差，避免一个危险点被误认为是多个危险点的状况，减轻地检人员分析、维修的工作量，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种雷达电力巡检的点云数据配准方法、装置、设备及计算机可读存储介质，通过消除同一区域不同时间点的点云数据之间的位置误差，避免一个危险点被误认为是多个危险点的状况，减轻地检人员分析、维修的工作量。

为解决上述技术问题，本发明提供一种雷达电力巡检的点云数据配准方法，包括：

获取第一点云数据和第二点云数据；

应用预设的卷积网络分别分割所述第一点云数据和所述第二点云数据，得到目标标志物在所述第一点云数据上的第一三维点云和所述目标标志物在所述第二点云数据上的第二三维点云；

依据所述第一三维点云和所述第二三维点云将所述第一点云数据和所述第二点云数据进行数据融合，得到第三点云数据；

其中，所述第一点云数据和所述第二点云数据分别为同一地域不同时间点的点云数据。

可选的，所述应用预设的卷积网络分别分割所述第一点云数据和所述第二点云数据，得到目标标志物在所述第一点云数据上的第一三维点云和所述目标标志物在所述第二点云数据上的第二三维点云，具体包括：

分别提取所述第一点云数据的第一特征变量和所述第二点云数据的第二特征变量；

根据所述第一特征变量确定所述第一点云数据中的物体形状，根据所述第二特征变量确定所述第二点云数据中的物体形状；

选取所述第一点云数据中输出概率最高的点云类别为所述目标标志物，确定所述目标标志物在所述第一点云数据上的第一三维点云和所述目标标志物在所述第二点云数据上的第二三维点云。

可选的，所述分别提取所述第一点云数据的第一特征变量和所述第二点云数据的第二特征变量，具体为：

对所述第一点云数据进行点云配准和特征点配准，获得多个维度的第一特征矩阵，应用最大化池化法计算所述第一特征矩阵中的最大值特征；

对所述第二点云数据进行所述点云配准和所述特征点配准，获得多个维度的第二特征矩阵，应用所述最大化池化法计算所述第二特征矩阵中的最大值特征。

可选的，所述根据所述第一特征变量确定所述第一点云数据中的物体形状，根据所述第二特征变量确定所述第二点云数据中的物体形状，具体为：

应用三维卷积计算、三维反卷积计算、所述最大化池化计算和最大化反池化计算，根据所述第一特征变量确定所述第一点云数据中的物体形状，根据所述第二特征变量确定所述第二点云数据中的物体形状。

可选的，所述依据所述第一三维点云和所述第二三维点云将所述第一点云数据和所述第二点云数据进行数据融合，得到第三点云数据，具体包括：

应用最近邻算法计算所述第一三维点云到所述第二三维点云的转移矩阵；

根据所述转移矩阵对所述第二点云数据中的所有点进行转移，得到第五点云数据；

将所述第一点云数据和所述第五点云数据进行融合得到所述第三点云数据。

可选的，所述获取第一点云数据和第二点云数据，具体为：

在点云数据集合中随机选择所述第一点云数据和所述第二点云数据；

相应的，在得到所述第三点云数据之后，还包括：

判断所述点云数据集合中的剩余点云数据个数是否为零；如果是，则结束；如果否，则在所述点云数据集合除所述第一点云数据和所述第二点云数据之外的剩余点云数据中随机选择第四点云数据；

以所述第三点云数据为所述第一点云数据，以所述第四点云数据为所述第二点云数据，返回所述应用预设的三维卷积网络分别分割所述第一点云数据和所述第二点云数据，得到目标标志物在所述第一点云数据上的第一三维点云和所述目标标志物在所述第二点云数据上的第二三维点云的步骤；

其中，所述点云数据集合包括所述同一地域的两个以上个不同时间点的点云数据。

可选的，所述目标标志物具体为高压电线杆塔。

为解决上述技术问题，本发明还提供一种雷达电力巡检的点云数据配准装置，包括：

获取单元，用于获取第一点云数据和第二点云数据；

特征提取单元，用于应用预设的卷积网络分别分割所述第一点云数据和所述第二点云数据，得到目标标志物在所述第一点云数据上的第一三维点云和所述目标标志物在所述第二点云数据上的第二三维点云；

数据融合单元，用于依据所述第一三维点云和所述第二三维点云将所述第一点云数据和所述第二点云数据进行数据融合，得到第三点云数据；

为解决上述技术问题，本发明还提供一种雷达电力巡检的点云数据配准设备，包括：

存储器，用于存储指令，所述指令包括上述任意一项所述雷达电力巡检的点云数据配准方法的步骤；

处理器，用于执行所述指令。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述雷达电力巡检的点云数据配准方法的步骤。

本发明所提供的雷达电力巡检的点云数据配准方法，通过应用预设的卷积网络，在同一区域的两个不同时间点的第一点云数据和第二点云数据中分别分割得到同一目标标志物的第一三维点云和第二三维点云，再依据第一三维点云和第二三维点云将两个点云数据进行数据融合，得到第三点云数据，从而消除了两个不同时间点的点云数据之间的位置误差，避免了一个危险点被误认为是多个危险点的状况，进而减轻了地检人员分析、维修的工作量。本发明还提供一种雷达电力巡检的点云数据配准装置、设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种雷达电力巡检的点云数据配准方法的流程图；

图2为本发明实施例提供的一种图1中步骤S102的具体实施方式的流程图；

图3为本发明实施例提供的一种用于分割点云数据的三维卷积网络示意图；

图4为本发明实施例提供的另一种雷达电力巡检的点云数据配准方法的流程图；

图5为本发明实施例提供的一种雷达电力巡检的点云数据配准装置的结构示意图；

图6为本发明实施例提供的一种雷达电力巡检的点云数据配准设备的结构示意图。

具体实施方式

本发明的核心是提供一种雷达电力巡检的点云数据配准方法、装置、设备及计算机可读存储介质，通过消除同一区域不同时间点的点云数据之间的位置误差，避免一个危险点被误认为是多个危险点的状况，减轻地检人员分析、维修的工作量。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种雷达电力巡检的点云数据配准方法的流程图；图2为本发明实施例提供的一种图1中步骤S102的具体实施方式的流程图；图3为本发明实施例提供的一种用于分割点云数据的三维卷积网络示意图。

如图1所示，雷达电力巡检的点云数据配准方法包括：

S101：获取第一点云数据和第二点云数据。

其中，第一点云数据和第二点云数据分别为同一地域不同时间点的点云数据。

点云数据，即点数据集合。在雷达电力巡检中，通过一个地区的点云数据来判断是否有过高的树木接触到了高压电线等危险状况。无人机进行雷达电力巡检时，可能会风干扰，且由于机载雷达的误差，常常会造成同一地域不同时间点的点云数据不匹配。获取同一地域不同时间点的点云数据进行数据配准，以免地检人员将一个问题点视为多个，造成误判和重复的工作量。

S102：应用预设的卷积网络分别分割第一点云数据和第二点云数据，得到目标标志物在第一点云数据上的第一三维点云和目标标志物在第二点云数据上的第二三维点云。

针对雷达电力巡检的点云数据配准问题，应用预先设计的卷积网络对点云数据中的目标标志物的三维点云进行提取，以通过该目标标志物为参照对两个点云数据进行配准。

具体地，如图2所示，步骤S102具体包括：

S201：分别提取第一点云数据的第一特征变量和第二点云数据的第二特征变量；

S202：根据第一特征变量确定第一点云数据中的物体形状，根据第二特征变量确定第二点云数据中的物体形状；

S203：选取第一点云数据中输出概率最高的点云类别为目标标志物，确定目标标志物在第一点云数据上的第一三维点云和目标标志物在第二点云数据上的第二三维点云。

基于上述卷积网络设计理念，本发明实施例列举了如图3所示的卷积网络。

假设第一点云数据和第二点云数据的数据结构各为N×3与M×3，需求转移矩阵[R|T]将第一点云数据和第二点云数据进行匹配融合。

应用3所示的卷积网络，其中，“conv2d”代表二维卷积，“conv3d”代表三维卷积，“Dconv”代表三维反卷积层，“Max pooling”代表最大池化层，“UMax pooling”代表最大反池化层。输入层为数据结构为N×3的点云结构(第一点云数据)，输出层为大小为N×M的数据。

在具体实施中，步骤S201具体包括：

对第一点云数据进行点云配准和特征点配准，获得多个维度的第一特征矩阵，应用最大化池化法计算第一特征矩阵中的最大值特征；

对第二点云数据进行点云配准和特征点配准，获得多个维度的第二特征矩阵，应用最大化池化法计算第二特征矩阵中的最大值特征。

基于上述设计思路，如图3所示，第1层至第10层网络结构是为从点云数据中获得特征变量，两个矩阵相乘的计算层是为了使得点云配准及特征点配准，而配准的目的是解决点云的旋转不变性所带来的问题。第10层的最大化池化解决了点云的无序性所带来的问题，即将前9层得到的不同维度的特征矩阵取最大值特征，而最大值函数是能解决排序的无序性问题的，故最大化池化解决了点云的无序性所带来的问题。

进而，步骤S202具体为：

应用三维卷积计算、三维反卷积计算、最大化池化计算和最大化反池化计算，根据第一特征变量确定第一点云数据中的物体形状，根据第二特征变量确定所述第二点云数据中的物体形状。

如图3所示，第11层到32层的网络结构采用了三维卷积与三维反卷积，卷积与反卷积的方法，目的为根据将第1层到第10层得到的特征提取点云数据中的物体形状。最后输出层使用了全连接网络，输出为大小为N×M的数据，M表示了该点云的所属的类别的概率。

对于步骤S203来说，选择点云所属类别概率最高的类别为目标标志物，在实际应用中，常见情况为当该点云为高压电线杆塔类别时的概率最高，因此选择高压电线杆塔为目标标志物。进而，在第一点云数据中分割出多个高压电线杆塔的第一三维点云，在第二点云数据中分割出对应的高压电线杆塔的第二三维点云。而虽然第一点云数据与第二点云数据之间存在误差，但误差远远不至错开一个高压电线杆塔的距离，因此直接以两个点云数据中三维点云误差最小的高压电线杆塔为同一高压电线杆塔即可。

应用上述步骤，分别在第一点云数据和第二点云数据中分割出目标标志物的第一三维点云和第二三维点云。

S103：依据第一三维点云和第二三维点云将第一点云数据和第二点云数据进行数据融合，得到第三点云数据。

获得目标标志物在第一点云数据上的第一三维点云以及在第二点云数据上的第二三维点云后，可以根据第一三维点云和第二三维点云计算第一点云数据和第二点云数据之间的转移矩阵，进而根据该转移矩阵对第一点云数据和第二点云数据中的所有点进行数据融合得到第三点云数据。

具体地，步骤S103包括：

应用最近邻算法计算第一三维点云到第二三维点云的转移矩阵；

根据转移矩阵对第二点云数据中的所有点进行转移，得到第五点云数据；

将第一点云数据和第五点云数据进行融合得到第三点云数据。

以上述步骤中所述的以高压电线杆塔为目标标志物为例，选择一个高压电线杆塔在第一点云数据上的第一三维点云a以及在第二点云数据上的第二三维点云b，应用最近邻算法计算出从b到a的转移矩阵[R|T]。

将转移矩阵[R|T]应用于第二点云数据，即将第二点云数据中每一个点Bp_i都与转移矩阵[R|T]相乘得到转移后的点Bp'_i：

Bp'_i＝[R|T]Bp_i,(i＝1...N)

将第一点云数据和转移后的第二点云数据进行融合得到第三点云数据F：

F＝{Ap_j|Ap_j∈A,j＝1...N}∪{Bp'_i|Bp'_i∈B,i＝1...N}

本发明实施例提供的雷达电力巡检的点云数据配准方法，通过应用预设的卷积网络，在同一区域的两个不同时间点的第一点云数据和第二点云数据中分别分割得到同一目标标志物的第一三维点云和第二三维点云，再依据第一三维点云和第二三维点云将两个点云数据进行数据融合，得到第三点云数据，从而消除了两个不同时间点的点云数据之间的位置误差，避免了一个危险点被误认为是多个危险点的状况，进而减轻了地检人员分析、维修的工作量。

图4为本发明实施例提供的另一种雷达电力巡检的点云数据配准方法的流程图。如图4所示，步骤S101具体为：

S401：在点云数据集合中随机选择第一点云数据和第二点云数据；

相应的，在步骤S103中得到第三点云数据之后，还包括：

S402：判断点云数据集合中的剩余点云数据个数是否为零；如果是，则结束；如果否，则进入步骤S403。

S403：在点云数据集合除第一点云数据和第二点云数据之外的剩余点云数据中随机选择第四点云数据；以第三点云数据为第一点云数据，以第四点云数据为第二点云数据，返回步骤S102。

其中，点云数据集合包括同一地域的两个以上个不同时间点的点云数据。

在实际应用中，无人机定时对一个区域进行雷达电力巡检，得到两个以上个不同时间点的点云数据，为进一步减小地检人员的工作量，防止误判，将同一地域多个时间点的点云数据进行上述步骤的操作。

上文详述了雷达电力巡检的点云数据配准方法对应的各个实施例，在此基础上，本发明还公开了与上述方法对应的雷达电力巡检的点云数据配准装置。

图5为本发明实施例提供的一种雷达电力巡检的点云数据配准装置的结构示意图。如图5所示，雷达电力巡检的点云数据配准装置包括：

获取单元501，用于获取第一点云数据和第二点云数据；

特征提取单元502，用于应用预设的卷积网络分别分割第一点云数据和第二点云数据，得到目标标志物在第一点云数据上的第一三维点云和目标标志物在第二点云数据上的第二三维点云；

数据融合单元503，用于依据第一三维点云和第二三维点云将第一点云数据和第二点云数据进行数据融合，得到第三点云数据；

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图6为本发明实施例提供的一种雷达电力巡检的点云数据配准设备的结构示意图。如图6所示，该雷达电力巡检的点云数据配准设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算装置中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在雷达电力巡检的点云数据配准设备600上执行存储介质630中的一系列指令操作。

雷达电力巡检的点云数据配准设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Server^TM，Mac OS X^TM，Unix^TM,Linux^TM，FreeBSD^TM等等。

上述图1至图4所描述的雷达电力巡检的点云数据配准方法中的步骤由雷达电力巡检的点云数据配准设备基于该图6所示的结构实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的雷达电力巡检的点云数据配准设备及计算机可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置、设备及计算机可读存储介质，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本发明所提供的一种雷达电力巡检的点云数据配准方法、装置、设备及计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种雷达电力巡检的点云数据配准方法，其特征在于，包括：

获取第一点云数据和第二点云数据；

其中，所述第一点云数据和所述第二点云数据分别为同一地域不同时间点的点云数据；

所述应用预设的卷积网络分别分割所述第一点云数据和所述第二点云数据，得到目标标志物在所述第一点云数据上的第一三维点云和所述目标标志物在所述第二点云数据上的第二三维点云，具体包括：

选取所述第一点云数据中输出概率最高的点云类别为所述目标标志物，确定所述目标标志物在所述第一点云数据上的所述第一三维点云和所述目标标志物在所述第二点云数据上的所述第二三维点云；

其中，所述分别提取所述第一点云数据的第一特征变量和所述第二点云数据的第二特征变量，具体为：

对所述第二点云数据进行所述点云配准和所述特征点配准，获得多个维度的第二特征矩阵，应用所述最大化池化法计算所述第二特征矩阵中的最大值特征；

所述根据所述第一特征变量确定所述第一点云数据中的物体形状，根据所述第二特征变量确定所述第二点云数据中的物体形状，具体为：

应用三维卷积计算、三维反卷积计算、最大化池化计算和最大化反池化计算，根据所述第一特征变量确定所述第一点云数据中的物体形状，根据所述第二特征变量确定所述第二点云数据中的物体形状；

通过全连接网络输出点云所属的类别的概率。

2.根据权利要求1所述的点云数据配准方法，其特征在于，所述依据所述第一三维点云和所述第二三维点云将所述第一点云数据和所述第二点云数据进行数据融合，得到第三点云数据，具体包括：

3.根据权利要求1所述的点云数据配准方法，其特征在于，所述获取第一点云数据和第二点云数据，具体为：

相应的，在得到所述第三点云数据之后，还包括：

4.根据权利要求1所述的点云数据配准方法，其特征在于，所述目标标志物具体为高压电线杆塔。

5.一种雷达电力巡检的点云数据配准装置，其特征在于，包括：

获取单元，用于获取第一点云数据和第二点云数据；

通过全连接网络输出点云所属的类别的概率。

6.一种雷达电力巡检的点云数据配准设备，其特征在于，包括：

存储器，用于存储指令，所述指令包括权利要求1至4任意一项所述雷达电力巡检的点云数据配准方法的步骤；

处理器，用于执行所述指令。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述雷达电力巡检的点云数据配准方法的步骤。