CN110610130A

CN110610130A - 一种多传感器信息融合的输电线路机器人导航方法及系统

Info

Publication number: CN110610130A
Application number: CN201910719614.8A
Authority: CN
Inventors: 李振宇; 郭锐; 王万国; 张峰; 刘丕玉; 李勇; 杨波; 孙晓斌; 黄振宁; 宋云京; 冯刚; 赵金龙
Original assignee: State Grid Corp of China SGCC; State Grid Shandong Electric Power Co Ltd; State Grid Intelligent Technology Co Ltd
Current assignee: State Grid Intelligent Technology Co Ltd
Priority date: 2019-08-06
Filing date: 2019-08-06
Publication date: 2019-12-24

Abstract

本发明公开了一种多传感器信息融合的输电线路机器人导航方法及系统,包括：通过视觉传感器采集输电线路机器人行进方向输电线路视频图像信息，提取视频图像信息中的分层梯度方向直方图特征；提取的分层梯度方向直方图特征输入到利用支持向量机训练好的分类模型中进行分类，确定障碍物类型；分别利用双目视觉系统、一组或多组超声波传感器和一组或多组光电传感器同时对障碍物进行定位，得到多组障碍物定位信息；将已获取的多组障碍物定位信息通过神经网络进行融合，得到输电线路机器人行进方向障碍物的最终定位结果。本发明输电线路机器人导航方法结合了多种传感器信息，攻克了传统定位方法探测范围有限、感知信息量少的难题，通过对多传感器信息的综合处理，加强了导航系统的抗干扰能力。

Description

一种多传感器信息融合的输电线路机器人导航方法及系统

技术领域

本发明涉及多传感器技术和计算机视觉技术领域，具体涉及一种多传感器信息融合的输电线路机器人导航方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

机器人的自主运行能力依赖于其导航系统，一般机器人导航是利用先验环境信息、机器人当前的位姿以及传感器的观测信息，经过一定的处理，对机器人的下一步动作形成准确的估计。目前机器人的定位导航方式有多种，例如：基于激光测距的定位导航、基于光电寻线的定位导航、基于视觉信息的定位导航以及基于声呐的定位导航等等，总的来说机器人的定位导航取决于所采用的传感器。

在移动机器人上使用较多的传感器有激光测距仪、超声波传感器、里程计、视觉传感器、GPS定位系统等。激光测距仪测距精度较高，但价格比较昂贵；超声波传感器处理速度快、成本低，但角度辨别能力差；视觉传感器采集的信息量大、感应时间短，但受环境因素影响较大；里程计通过累计计算得到定位信息，存在累计误差问题，因此，总体来说各传感器都有其本身的局限性，如果采用单一的传感器采集信息，导航准确度不高。

输电线路机器人是一种运行在架空输电线路上对线路进行巡检或维修的机器人，当机器人在输电线路上运行时，线路上的防震锤、悬垂线夹等部件会障碍机器人的行走，因此机器人要实现在输电线路上的自主运行，需要对防震锤、悬垂线夹等部件进行自动识别，并对障碍物进行定位，从而指导机器人进行有效避障。输电线路机器人的自主运行需要较为精确的障碍物定位信息，现有的机器人导航系统由于采集信息不全面，无法满足机器人自主运行的要求。在相关研究方面，ZL200510019930.2公开了一种高压巡线机器人沿输电线路进行导航的方法，其利用电磁传感器组成阵列，来表征相对高压输电导线的距离，该方法只适用于机器人行走在导线上的情况；ZL200910273513.9公开了一种巡线机器人GIS-GPS导航方法，由于GPS定位精度误差较大，只能用来进行粗略定位。

发明内容

为了解决上述问题，本发明提出一种多传感器信息融合的输电线路机器人导航方法及系统，利用多种传感器，并对传感器采集的信息进行融合，得到机器人行进方向障碍物定位结果，实现机器人在输电线路上的自主越障。

在一些实施方式中，采用如下技术方案：

一种多传感器信息融合的输电线路机器人导航方法,包括：

通过视觉传感器采集输电线路机器人行进方向输电线路视频图像信息，提取视频图像信息中的分层梯度方向直方图特征；

提取的分层梯度方向直方图特征输入到利用支持向量机训练好的分类模型中进行分类，确定障碍物类型；

分别利用双目视觉系统、一组或多组超声波传感器和一组或多组光电传感器同时对障碍物进行定位，得到多组障碍物定位信息；

将已获取的多组障碍物定位信息通过神经网络进行融合，得到输电线路机器人行进方向障碍物的最终定位结果；多组障碍物定位信息包含除视觉传感器、超声波传感器以及光电传感器之外的其他传感器信息或其他预置建模方式得到的信息；

输电线路机器人控制系统根据障碍物最终定位结果驱动机器人运动机构接近障碍物，并根据障碍物的类型实施相应的越障操作。

在另一些实施方式中，采用如下技术方案：

一种多传感器信息融合的输电线路机器人导航系统,包括：

用于通过视觉传感器采集输电线路机器人行进方向输电线路视频图像信息，提取视频图像信息中的分层梯度方向直方图特征的模块；

用于提取的分层梯度方向直方图特征输入到利用支持向量机训练好的分类模型中进行分类，确定障碍物类型的模块；

用于分别利用双目视觉系统、一组或多组超声波传感器和一组或多组光电传感器同时对障碍物进行定位，得到多组障碍物定位信息的模块；

用于将已获取的多组障碍物定位信息通过神经网络进行融合，得到输电线路机器人行进方向障碍物的最终定位结果的模块；

用于输电线路机器人控制系统根据障碍物最终定位结果驱动机器人运动机构接近障碍物，并根据障碍物的类型实施相应越障操作的模块。

在另一些实施方式中，采用如下技术方案：

一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述服务器集成在具有并行计算能力的嵌入式计算平台中，所述处理器执行所述程序时实现上述的多传感器信息融合的输电线路机器人导航方法。

与现有技术相比，本发明的有益效果是：

输电线路机器人导航方法结合了多种传感器信息，攻克了传统定位方法探测范围有限、感知信息量少的难题，通过对多传感器信息的综合处理，加强了导航系统的抗干扰能力。

采用神经网络技术将多传感器反馈的信息相融合，解决了传统融合方法自适应能力差的难题，提出神经网络自适应学习率策略，实现了训练网络的快速收敛。

输电线路机器人导航系统集成在具有足够计算能力的终端设备中，通过设备的快速计算性，实现输电线路障碍物的实时识别定位。

对得到的分层梯度方向直方图特征利用降维方法进行降维，减少无关特征，降低运算量，提升运算效率。

附图说明

图1为本发明实施例一中多传感器信息融合的输电线路机器人导航方法流程图；

图2为实施例一中输电线路机器人行走路径示意图；

图3(a)为实施例一中图像特征提取流程图；

图3(b)为实施例一中目标识别流程图；

图4为实施例一中用于多传感器信息融合的神经网络结构。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种多传感器信息融合的输电线路机器人导航方法，如图1所示，输电线路机器人导航系统采用了视觉传感器、超声波传感器、以及光电传感器，利用视觉传感器采集的图像信息通过分层梯度方向直方图特征提取方法以及支持向量机分类算法，对图2所示的机器人行走路径上的障碍物进行识别，并分别利用双目视觉系统、一组或多组超声波传感器和一组或多组光电传感器对障碍物同时进行定位，得到多组障碍物定位信息，然后利用神经网络算法对获取的多组障碍物定位信息进行融合，以融合后的障碍物定位结果，指导输电线路机器人进行越障。本发明的输电线路机器人导航系统集成在具有足够计算能力的终端设备中，通过设备的快速计算，实现线路障碍物的实时识别定位。该方法的具体实施过程如下：

1、基于视觉信息的障碍物识别、定位

具体采用如下步骤实现：

(1)图像特征提取

由于输电线路机器人采集到的行进方向输电线路视频图像对光照变化和机器人抖动等比较敏感，因此需要选择对光照变化鲁棒性好且具有一定尺度不变性的特征。本实施例采用了分层梯度方向直方图(Pyramid Histogram of Oriented Gradient，PHOG)特征，其对光照变化鲁棒性好，并且通过图像尺度变换使特征具有缩放不变性，此外分层梯度方向直方图特征本身具有一定范围的旋转不变性，对机器人抖动导致的视频图像晃动有抵抗能力。分层梯度方向直方图特征是多层梯度方向直方图特征的结合，每层特征来自不同尺度的图像，其提取过程如图3(a)所述，具体如下：

对图像进行多种尺度的缩放，然后计算每个尺度中分割块的HOG特征(梯度方向直方图特征)，在归一化后将其连接成一个一维向量，作为特征描述。

HOG特征提取的过程为：

将图像灰度化、标准化并分割为包含若干个像素的单元(cell)，梯度方向平均划分为n个区间(bin)，对每个单元里面所有像素的梯度方向以梯度幅值为参照值在各个方向区间进行直方图统计，得到一个n维的特征向量，将相邻的m个单元组成一个块(block)，把一个块内的特征向量联合起来得到n×m维的特征向量，设定扫描步长，用块对图像进行扫描，最后将所有块的特征串联起来，得到图像的HOG特征。设G_x(x,y)、G_y(x,y)、H(x,y)分别为输入图像像素点(x,y)处的水平方向以及垂直方向的梯度值和像素值，则像素点(x,y)处的梯度幅值G(x,y)和梯度方向θ(x,y)表示为：

其中：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

为减少运算量，本实施例对得到的PHOG利用降维方法进行降维，减少无关特征，降维方法的基本原理是在尽可能好地表征样本的前提下，通过变换将原特征映射至低维空间中，用较少维度特征表征样本。

(2)线路障碍物识别与定位

在障碍物识别阶段，本实施例以左目相机或右目相机采集的图像信息为基准，采用样本训练的方式，利用支持向量机(Support Vector Machine，SVM)进行识别、分类。具体过程如图3(b)所述，将训练样本划分为正样本与负样本，正样本为线路障碍物样本，并依据障碍物类型划分为多个正样本集，其他为负样本。利用分层梯度方向直方图特征提取方法，对样本图像进行特征提取。通过支持向量机对样本进行训练，得到障碍物分类模型。在障碍物识别时，将待检测图像的分层梯度方向直方图特征输入到障碍物分类模型中，模型输出障碍物的类型。

在障碍物定位阶段，本实施例基于障碍物识别结果，基于立体视觉原理，利用两个相互位置关系已知的摄像头组成双目视觉系统，根据线路障碍物在两个摄像头上成像的视差计算出其深度，从而获得机器人与线路障碍物的定位信息。本发明双目相机安装在机器人本体上，相机以仰视角度采集输电线路机器人行进方向视频图像信息，以仰视的方式背景主要为线路和天空，降低了障碍物识别的难度。

2、超声波传感器与光电传感器障碍物定位

输电线路机器人运行在室外环境中，当天气状况较差时，例如如大雾天气，会导致视觉传感器采集的图像质量也变差，影响障碍物识别、定位的准确性。因此本发明又应用了超声波传感器与光电传感器进行障碍物的定位。

超声波传感器的工作原理是向某一方向发射超声波，同时进行计时，超声波在传播过程中碰到障碍物就会立即返回，接收器收到反射波就停止计时。一组或多组超声波传感器安装在机器人本体上，与线路在同一水平线上，位置低于障碍物下端面，以固定的倾角向上倾斜。由于角度、位置固定，超声波碰到线路的距离是相对固定的值，而障碍物位于线路的下方，当超声波碰到障碍物时距离会缩短,从而判定超声波打在了障碍物上，对障碍物进行定位。因为架空输电线路有一定弧度，并由于风力有一定的程度的摆动，因此本发明机器人本体上安装一组或多组超声波传感器，确保超声波传感器能够打到障碍物上。设超声波在空气中的传播速度为c，发射波与接收波的时间差为t,则发射点与障碍物的距离S为：

S＝c*t/2

当机器人比较接近障碍物或正在通过障碍物时，超声波传感器与线路障碍物的距离过近，超声波的传播时间过短，不能获得准确的定位信息。相机也会由于拍摄不到障碍物的完整信息，而有可能对障碍物不能准确识别。

因此针对距离障碍物比较近的情况，本实施例又应用了光电传感器，将光电传感器安装在机器人本体上，探测方向朝向障碍物外截面，当机器人靠近障碍物时，障碍物的金属部分会遮挡光电传感器发射的光线，同时接收端会接收到反射回来的光线，检测到线路障碍物的存在，根据障碍物遮挡的时间，以及机器人的运行速度，估算出障碍物的长度，根据障碍物的先验知识，对障碍物的类型进行判别。

3、多传感器信息融合

神经网络具有很强的容错性以及自学习、自组织、自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，满足了多传感器数据融合技术处理的要求。本实施例利用神经网络算法，实现多传感器信息的融合。本发明将输电线路机器人的每个传感器看做神经网络的节点，权重为两个连接节点之间的加权值，表征两个节点之间的逼近程度，每个节点的输出函数为激励函数。

参照图4，神经网络由输入层、隐含层和输出层组成，输入信号由于模式的不同，会影响神经网络学习的速度，降低效率，本发明在神经网络训练前，对输入数据进行归一化处理。当将机器人获取的、经过人为结果确定的样本数据提供给网络后，输入信号从输入层经过隐含层向输出层传播，输出层的各神经元输出对应输入信号的网络响应，并将期望输出与实际输出的误差反向传播至隐含层以及输入层，以误差值作为调节网络权值的依据，通过反向传播权值更新方法对神经网络的权值进行调整，随着网络的不断迭代，使实际输出不断逼近期望输出。

设X(x₁、x₂、......x_n)为n个传感器反馈的结果，即神经网络的n个输入信号；设Y(y₁,y₂)为神经网络的输出结果，即线路障碍物的定位信息，包含线路障碍物的类型与机器人与障碍物的距离；神经网络的期望输出为T(t₁,t₂)，定义神经网络的误差E为：

在神经网络的学习过程中，学习率α是一个非常重要的参数，若学习率设置过大，可能导致网络不收敛，学习率过小，则训练速度过慢。

本实施例提出了一种自适应学习率策略，以前后两次迭代训练的误差之间的差值作为观测值，如果误差下降较快，则保持学习率不变，如果误差在扩大，则网络不收敛，则减小学习率，如果误差下降缓慢，则增大学习率。具体方法如下所示：

若E(t)-E(t-1)>λE(t-1)，则认为误差下降较快，学习率α保持不变；

若0<E(t)-E(t-1)<λE(t-1)，则认为误差下降缓慢，学习率α＝(1+β)α；

若E(t)-E(t-1)<0，则认为网络不收敛，学习率α＝βα。

实施例二

在一个或多个实施方式中，公开了一种多传感器信息融合的输电线路机器人导航系统，包括：

输电线路机器人的导航系统是要求实时性的，但基于视觉信息的障碍物识别定位与基于神经网络的多传感器信息融合，计算均有一定的复杂性，在普通工控机上运行不易满足实时性要求。本实施例将系统集成在具有足够计算能力的终端设备上，对于神经网络的前向、后向传播以及障碍物识别时图像特征的提取等步骤均能够快速计算，从而满足机器人导航的实时性要求。

实施例三

在一个或多个实施方式中，公开了一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的多传感器信息融合的输电线路机器人导航方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

结合实施例一中的方法步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种多传感器信息融合的输电线路机器人导航方法,其特征在于，包括：

将已获取的多组障碍物定位信息通过神经网络进行融合，得到输电线路机器人行进方向障碍物的最终定位结果；

2.如权利要求1所述的一种多传感器信息融合的输电线路机器人导航方法,其特征在于，提取视频图像信息中的分层梯度方向直方图特征，具体为：对图像进行多种尺度的缩放，然后计算每种尺度中分割块的梯度方向直方图特征，在归一化后将各个尺度中分割块的梯度方向直方图特征连接成一维向量，作为图像信息的特征描述。

3.如权利要求1所述的一种多传感器信息融合的输电线路机器人导航方法,其特征在于，计算每种尺度中分割块的梯度方向直方图特征，具体为：

将图像灰度化、标准化并分割为包含若干个像素的单元；将梯度方向平均划分为n个方向区间；对每个单元里面所有像素的梯度方向以梯度幅值为参照值在各个方向区间进行直方图统计，得到一个n维的特征向量；

将相邻的m个单元组成一个块，把一个块内的特征向量联合起来得到n×m维的特征向量；设定扫描步长，用块对图像进行扫描，遍历整幅图像，将所有块的特征向量串联起来，得到图像的梯度方向直方图特征。

4.如权利要求1所述的一种多传感器信息融合的输电线路机器人导航方法,其特征在于，利用降维方法对得到的分层梯度方向直方图特征进行降维。

5.如权利要求1所述的一种多传感器信息融合的输电线路机器人导航方法,其特征在于，提取的分层梯度方向直方图特征输入到利用支持向量机训练好的分类模型中进行分类，具体为：

确定训练样本图像；

提取样本图像的分层梯度方向直方图特征；

通过支持向量机对样本图像进行训练，得到障碍物的分类模型；

将待检测图像的分层梯度方向直方图特征输入到障碍物分类模型中，模型输出障碍物的类型。

6.如权利要求1所述的一种多传感器信息融合的输电线路机器人导航方法,其特征在于，将训练样本图像划分为正样本与负样本，正样本为输电线路障碍物样本，并依据障碍物类型划分为多个正样本集，其他为负样本。

7.如权利要求1所述的一种多传感器信息融合的输电线路机器人导航方法,其特征在于，将已获取的多组传感器定位信息通过神经网络进行融合，具体为：将输电线路机器人的每个传感器作为神经网络的节点，将获取的传感器定位信息作为输入信号；输入信号从神经网络的输入层经过隐含层向输出层传播，输出层的各神经元输出对应输入信号的网络响应，并将期望输出与实际输出的误差反向传播至隐含层以及输入层，以误差值作为调节网络权值的依据，根据前后迭代误差值之间差值的变化自适应调节学习率，通过反向传播权值更新方法对神经网络的权值进行调整，随着网络的不断迭代，使实际输出不断逼近期望输出。

8.如权利要求1所述的一种多传感器信息融合的输电线路机器人导航方法,其特征在于，

自适应学习率的具体过程为：以当前时刻迭代训练的误差E(t)与前一时刻迭代训练的误差E(t-1)之间的差值作为观测值，如果观测值满足大于a·E(t-1)，则保持学习率不变；如果观测值处于0到a·E(t-1)之间，则增大学习率；如果观测值小于零，则网络不收敛，减少学习率。

9.一种多传感器信息融合的输电线路机器人导航系统,其特征在于，包括：

10.一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述终端设备对输电线路机器人导航系统进行集成，并具有足够的计算能力，能够满足机器人导航的实时性要求，所述处理器执行所述程序时实现权利要求1-8任一项所述的多传感器信息融合的输电线路机器人导航方法。