CN108319982A - 一种电力巡线无人机多传感器数据融合障碍物检测方法 - Google Patents

Abstract

本发明公开了一种电力巡线无人机多传感器数据融合障碍物检测方法，包括与无人机系统中的飞行控制器连接的多传感器组合检测装置，多传感器组合检测装置包括毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器、差分GPS和数据融合处理器，毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器和差分GPS均连接到数据融合处理器，通过数据融合处理器对各传感器采集的数据进行融合处理，获得准确的障碍物位置、方位和类型，并进行有效的避障，可防止无人机作业中碰撞输电线路和塔架和对输电线路周围环境中的山体、树木、建筑物等障碍物进行检测，以免造成财产损失或人员伤亡。

Description

一种电力巡线无人机多传感器数据融合障碍物检测方法

技术领域

本发明涉及一种电力巡线无人机多传感器数据融合障碍物检测方法，属于无人机障碍物检测技术领域。

背景技术

随着技术的发展，无人机应用领域越来越广泛，在电力巡检方面的应用越来越多。由于电力巡线现场环境大多比较恶劣，高山、树木、建筑物等环绕在输电线路周围，而且输电线路本身传输的高压特高压电能也会对无人机正常作业产生干扰。电力巡线这种特殊复杂环境，给无人机电力巡线作业提出了更高要求，无人机对障碍物在线高精度检测成为迫切要求。但是目前国内无人机对障碍物检测，大多采用单一传感器对单一障碍物进行检测，或者采用少数几种传感器对日常使用中障碍物进行检测，针对电力巡线应用设计的无人机障碍物检测方法，也只是采用电磁场检测传感器和超声波传感器对输电线路本身和大目标障碍物进行检测，现有的这些方法存在如下问题：

1)没有综合考虑电力巡线现场复杂环境，对障碍物检测方法过于简单；

2)采用的障碍物检测传感器比较单一或者多传感器组合方式不合理，无法对电力巡线中障碍物进行可靠高精度检测；

3)采用的数据融合策略不具备学习功能，障碍物辨别快速性和可靠度不高；

4)采用的GPS精度不高，导致无人机绝对位置检测误差太大，直接影响在线学习算法的可靠性；

5)无法对障碍物类型进行定位，给避障算法增加难度。

发明内容

本发明要解决的技术问题是：提供一种电力巡线无人机多传感器数据融合障碍物检测方法，以解决现有技术中存在的问题。

本发明采取的技术方案为：一种电力巡线无人机多传感器数据融合障碍物检测方法，包括与无人机系统中的飞行控制器连接的多传感器组合检测装置，多传感器组合检测装置包括毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器、差分GPS和数据融合处理器，毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器和差分GPS均连接到数据融合处理器，检测步骤如下：

1)数据融合处理器采集毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器和差分GPS的信号数据；

2)数据融合处理器对采集的数据进行融合处理，具体步骤为：

a)融合层一：对采集的数据进行预处理：对传感器数据进行标准化处理、格式化处理、次序化处理和压缩处理；

b)融合层二：通过获取的多个传感器的预处理数据进行障碍物状态估计，获得障碍物的位置、方位和类型；

c)融合层三：通过障碍物的位置、方位和类型判断障碍物是否对无人机产生的威胁，若产生威胁，威胁信号发送给飞行控制器，飞行控制器进行避障处理；

d)融合层四：数据融合处理器对步骤2)-4)进行障碍物威胁修正：评价融合过程是否合理，若合理，则此次融合数据可信可用，若不合理对此次融合数据进行修正，而且实时判断是否需要补充其他传感器信息，若需要补充，则把另一种传感器数据加入到数据融合过程，若不需要，则信任此次融合数据，以及融合算法是否需要修改，如果所有传感器数据都加入到了数据融合过程却不能检测到障碍物，则需要修改融合算法，否则不修改。

步骤b)中障碍物状态估计包括以下步骤：

1)检测：障碍物是否存在，若存在，转向步骤2)；

2)定位：确定障碍物相对无人机的方位；

3)分类：确定障碍物类型；

4)辨别：把障碍物进一步限制在观察者的某种知识范围内，通过障碍物的大小、形状和纹理，与障碍物数据比对实现辨别。

检测、分类与辨别均采用人工神经网络模型，采用人工神经网络模型进行计算，经过训练后，把输入数据映射到正确的输出分类中。

人工神经网络模型采用无监督学习的人工神经网络模型，在学习过程中，不断的给网络提供动态输入信息，网络根据学习规则，采用胜者为王的学习规则，在输入信息中发现可能存在的模式和规律。本发明采用的学习规则是胜者为王(Winner-Take-All)，是一种竞争学习规则，具体步骤如下：

将网络的某一层确定为竞争层，对输入量X，竞争层的K个神经元均有输出响应，其中响应值最大的神经元j^*为竞争中获胜的神经元，响应值公式为：

只有获胜的神经元才有权调整其权值向量W_j，调整量为：

其中，η为学习参数(0<η≤1)。

有益效果：与现有技术相比，本发明的效果如下：

(1)本发明针对电力巡线现场环境选取多传感器，采用毫米波雷达、双目视觉、红外传感器和电磁场传感器以及差分GPS的多传感器组合方式，满足电力巡线环境下各种外部条件对各种障碍物的辨别，障碍物识别精度大大提高，避障效果更好；

(2)本发明采用基于人工神经网络模型的数据融合方法，融合各个传感器数据并通过在线学习获得现场障碍物的精确的方向、距离、大小和类型；

(3)采用精度达到cm级的差分GPS检测无人机的绝对位置，保证人工神经网络算法位置点的精确度。

综上所述，本发明为了适应电力巡线应用，保障输电线路完好稳定工作，以免对人民财产甚至生命造成损失，需要针对电力巡线应用发明一种无人机多传感器数据融合障碍物检测方法，可防止无人机作业中碰撞输电线路和塔架和对输电线路周围环境中的山体、树木、建筑物等障碍物进行检测，以免造成财产损失或人员伤亡。

附图说明

图1是本发明的多传感器组合检测装置与无人机系统连接框图；

图2是本发明的地面定位模块连接图；

图3是本发明的锁定销结构示意图；

图4是图3的剖面结构示意图。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

图1是本实施例所述的多传感器组合障碍物检测装置与无人机系统连接框图，主要包括多传感器组合检测装置和无人机系统两个部分。其中虚线框中为无人机系统，包括飞行控制器和无人机机体两个主要部分。多传感器组合检测装置与无人机系统中的飞行控制器有物理连接。

如图1-图4所示，一种电力巡线无人机多传感器数据融合障碍物检测方法，其特征在于：包括与无人机系统中的飞行控制器连接的多传感器组合检测装置，多传感器组合检测装置包括毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器、差分GPS和数据融合处理器，毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器和差分GPS均连接到数据融合处理器，检测步骤如下：

1)数据融合处理器采集毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器和差分GPS的信号数据；

2)数据融合处理器对采集的数据进行融合处理，数据融合是一个多层面的数据处理过程，主要完成对来自各个传感器的数据进行自动检测、关联、相关、估计及组合等的处理，数据融合的最终目标，由四个不同层次的融合层来实现，如图3所示，各种传感器的数据在不同融合层面上的信号处理步骤为：

a)融合层一：由于要融合多种传感器的数据，而各个传感器的数据格式千差万别，为了方便后续融合处理，需要预先对采集的数据进行预处理：对传感器数据进行标准化处理、格式化处理、次序化处理、批处理化处理和压缩处理。处理目的是使各种传感器数据在格式上达到统一，便于后续处理，标准化处理就是按照各种传感器信号国际标准处理数据，比如说I2C、SPI，格式化就是解析完不同接口的数据，转化为统一的格式，比如帧头、帧尾统一；次序化就是根据各个传感器数据时序对应到同一个时间戳；压缩处理就是把各个传感器数据装载到同一帧数据中，融合层一也就是预处理层，是对传感器数据低层次处理；

b)融合层二：单个传感器获得的障碍物位置、方位和类型的信息量有时候不能提供足够的信息对障碍物状态精确定位，因此通过获取的多个传感器的预处理数据进行障碍物状态估计，获得更加精确的障碍物的位置、方位和类型；

c)融合层三：在上一层面数据融合之后，已经可以对障碍物状态精确定位，这一层面的数据融合基于上一层面信息，实时通过障碍物的位置、方位和类型判断障碍物是否对无人机产生的威胁，若产生威胁，威胁信号发送给飞行控制器，飞行控制器进行避障处理，融合层三为无人机避障策略提供决策依据；

d)融合层四：数据融合处理器对步骤2)-4)进行障碍物威胁修正：采用无监督学习的人工神经网络模型评价融合过程是否合理，若合理，则此次融合数据可信可用，若不合理对此次融合数据进行修正，而且实时判断是否需要补充其他传感器信息，若需要补充，则把另一种传感器数据加入到数据融合过程，若不需要，则信任此次融合数据，以及融合算法是否需要修改，如果所有传感器数据都加入到了数据融合过程却不能检测到障碍物，则需要修改融合算法，否则不修改。

多传感器组合方式如图1所示，采用毫米波雷达、双目视觉、红外传感器和电磁场传感器以及差分GPS的多传感器组合方式，对电力巡线现场复杂环境下障碍物进行检测和类型的辨别，各类传感器应用场合不同，各具特点，如下表1所示。

表1 传感器特点

上述选用的五种传感器用在障碍物检测的特点，可以看到所选用传感器综合考虑了电力巡线现场环境，涵盖了当前电力巡线作业中可能遇到的所有情况。

检测、分类与辨别均采用人工神经网络模型，采用人工神经网络模型进行计算，经过训练后，把输入数据映射到正确的输出分类中，人工神经网络就是模拟人脑形象思维的一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。人工神经网络是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。

人工神经网络模型采用无监督学习的人工神经网络模型，在学习过程中，不断的给网络提供动态输入信息，网络根据学习规则，采用胜者为王的学习规则，在输入信息中发现可能存在的模式和规律。本发明采用的学习规则是胜者为王(Winner-Take-All)，是一种竞争学习规则，具体步骤如下：

将网络的某一层确定为竞争层，对输入量X，竞争层的K个神经元均有输出响应，其中响应值最大的神经元j^*为竞争中获胜的神经元，响应值公式为：

只有获胜的神经元才有权调整其权值向量W_j，调整量为：

其中，η为学习参数(0<η≤1)。

障碍物威胁估计在障碍物检测、分类与辨别之后，人工神经网络算法输出障碍物状态信息，根据这些信息，判断障碍物对无人机的威胁，判断结果作为飞行控制器避障算法的依据。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种电力巡线无人机多传感器数据融合障碍物检测方法，其特征在于：包括与无人机系统中的飞行控制器连接的多传感器组合检测装置，多传感器组合检测装置包括毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器、差分GPS和数据融合处理器，毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器和差分GPS均连接到数据融合处理器，检测步骤如下：

1)数据融合处理器采集毫米波雷达、双目视觉传感器、电磁场传感器、红外传感器和差分GPS的信号数据；

2)数据融合处理器对采集的数据进行融合处理，具体步骤为：

a)融合层一：对采集的数据进行预处理：对传感器数据进行标准化处理、格式化处理、次序化处理和压缩处理；

b)融合层二：通过获取的多个传感器的预处理数据进行障碍物状态估计，获得障碍物的位置、方位和类型；

c)融合层三：通过障碍物的位置、方位和类型判断障碍物是否对无人机产生的威胁，若产生威胁，威胁信号发送给飞行控制器，飞行控制器进行避障处理；

d)融合层四：数据融合处理器对步骤2)-4)进行障碍物威胁修正：评价融合过程是否合理，若合理，则此次融合数据可信可用，若不合理对此次融合数据进行修正，而且实时判断是否需要补充其他传感器信息，若需要补充，则把另一种传感器数据加入到数据融合过程，若不需要，则信任此次融合数据，以及融合算法是否需要修改，如果所有传感器数据都加入到了数据融合过程却不能检测到障碍物，则需要修改融合算法，否则不修改。

2.根据权利要求1所述的一种电力巡线无人机多传感器数据融合障碍物检测方法，其特征在于：步骤b)中障碍物状态估计包括以下步骤：

1)检测：障碍物是否存在，若存在，转向步骤2)；

2)定位：确定障碍物相对无人机的方位；

3)分类：确定障碍物类型；

4)辨别：把障碍物进一步限制在观察者的某种知识范围内，通过障碍物的大小、形状和纹理，与障碍物数据比对实现辨别。

3.根据权利要求2所述的一种电力巡线无人机多传感器数据融合障碍物检测方法，其特征在于：检测、分类与辨别均采用人工神经网络模型，采用人工神经网络模型进行计算，经过训练后，把输入数据映射到正确的输出分类中。

4.根据权利要求3所述的一种电力巡线无人机多传感器数据融合障碍物检测方法，其特征在于：人工神经网络模型采用无监督学习的人工神经网络模型，步骤如下：

将网络的某一层确定为竞争层，对输入量X，竞争层的K个神经元均有输出响应，其中响应值最大的神经元j^*为竞争中获胜的神经元，响应值公式为：

只有获胜的神经元才有权调整其权值向量W_j，调整量为：

ΔW_j*＝η(X-W_j*)

其中，η为学习参数(0<η≤1)。