CN111958595B - 一种变电站巡检机器人多传感器异步信息融合系统及方法 - Google Patents

一种变电站巡检机器人多传感器异步信息融合系统及方法 Download PDF

Info

Publication number
CN111958595B
CN111958595B CN202010811428.XA CN202010811428A CN111958595B CN 111958595 B CN111958595 B CN 111958595B CN 202010811428 A CN202010811428 A CN 202010811428A CN 111958595 B CN111958595 B CN 111958595B
Authority
CN
China
Prior art keywords
sensor
transformer substation
information
environment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010811428.XA
Other languages
English (en)
Other versions
CN111958595A (zh
Inventor
杨强
张葛祥
康浩
荣海娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Daman Zhengte Technology Co ltd
Chengdu Univeristy of Technology
Original Assignee
Sichuan Daman Zhengte Technology Co ltd
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Daman Zhengte Technology Co ltd, Chengdu Univeristy of Technology filed Critical Sichuan Daman Zhengte Technology Co ltd
Priority to CN202010811428.XA priority Critical patent/CN111958595B/zh
Publication of CN111958595A publication Critical patent/CN111958595A/zh
Application granted granted Critical
Publication of CN111958595B publication Critical patent/CN111958595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种变电站巡检机器人多传感器异步信息融合系统及方法,包括环境数据采集模块、模型训练模块、传感器数据匹配及融合模块、融合后数据输出模块,环境数据采集模块获取变电站环境信息,将其中的可见光传感器数据输入模型训练模块通过预先训练好的变电站环境语义分割模型得到环境语义信息,同时不同传感器数据经传感器数据匹配及融合模块进行匹配和融合后,最终通过融合后数据输出模块将带有语义信息的变电站三维点云地图信息发送给巡检机器人,指导变电站巡检机器人进行导航。本发明解决了现有变电站智能巡检机器人在变电站复杂环境中导航存在的问题,有效提高巡检机器人的导航精度与工作效率。

Description

一种变电站巡检机器人多传感器异步信息融合系统及方法
技术领域
本发明涉及机器人导航技术领域,尤其涉及一种变电站巡检机器人多传感器异步信息融合系统及方法。
背景技术
电站作为电力网络的枢纽,负责电力网络中电压的升、降调节及电能的分配。需要定期对变电站站内设备进行巡检,以及早排除安全隐患,保证电力网络的安全稳定运行。
传统的巡检方式由专业的技术人员针对变电站进行巡检。但是变电站电气设备复杂、多样,变电站环境危险。人工巡检存在工作危险性高、工作强度大的问题。同时,变电站设备要保证不间断运行,就需要做到全天候、全时段的巡检,单凭人工巡检,巡检成本高昂。此外,人工巡检结果的可靠性与巡检人员的技术水平相关。若巡检人员专业能力不足,会给巡检结果带来安全隐患。
而伴随着移动机器人及计算机技术的逐渐发展成熟,同时为了解决人工巡检存在的弊端。行业内提出开发专用的变电站巡检机器人来替代人工对变电站进行巡检。为了精准的完成巡检任务,巡检机器人通过多种传感器采集变电站环境信息后,需要准确进行多传感器信息的处理及融合,通过融合后的数据来指导机器人进行导航。但是,目前没有专门针对变电站巡检机器人导航设计的算法及系统。
发明内容
本发明的目的就在于为了解决上述问题而提供一种变电站巡检机器人多传感器异步信息融合系统及方法。
本发明通过以下技术方案来实现上述目的:
本发明一种变电站巡检机器人多传感器异步信息融合系统,包括环境数据采集模块、模型训练模块、传感器数据匹配及融合模块、融合后数据输出模块,所述环境数据采集模块获取变电站环境的可见光数据,输入模型训练模块的变电站环境语义分割模型中,得到包含语义信息的变电站环境图片信息;所述模型训练模块对深度学习语义分割模型进行训练,得到变电站环境语义分割模型;所述传感器数据匹配及融合模块针对所述环境数据采集模块采集到的不同传感器信息进行匹配及融合;所述环境数据采集模块获得变电站环境的不同传感器数据后,输入传感器数据匹配及融合模块中,得到同步及融合后的变电站环境信息;所述融合后数据输出模块将融合后的变电站环境信息发送给巡检机器人导航决策终端设备,从而指导巡检机器人完成导航。
本发明一种变电站巡检机器人多传感器异步信息融合方法,包括以下步骤:
步骤1:通过环境数据采集模块中多种传感器获取变电站环境的数据信息,其中包括环境的激光雷达点云信息及可见光图像信息;
步骤2:针对变电站环境训练深度学习语义分割模型,并通过模型对可见光图像信息进行分割;
步骤3:对获得的传感器数据通过算法进行匹配及融合;
步骤4:将匹配、融合后的多传感器信息进行输出,用来指导巡检机器人导航。
具体的,所述步骤2具体包括以下步骤:
步骤2.1:获取多张变电站环境的可见光传感器信息;
步骤2.2:针对变电站中不同的环境,对可见光传感器图像进行标注;
步骤2.3:将已标注的可见光传感器图像随机分组,分为训练组和验证组,并保证两组无重叠;
步骤2.4:将训练组数据依次输入深度学习语义分割网络模型,利用随机梯度下降法进行训练,得到变电站环境的深度学习语义分割模型,通过验证组对训练得到的模型进行评估,达到预期要求后即可得到变电站环境的深度学习语义分割模型。
具体的,所述步骤3包括以下步骤:
步骤3.1:采集不同传感器数据,并针对每组数据同时记录采集时刻的时间,保存为时间戳;
步骤3.2:针对采集到的带有时间戳的不同传感器数据通过多传感器异步信息匹配进行校准,得到经过匹配后的不同传感器数据;
步骤3.3:将匹配后的可见光传感器数据通过步骤2训练得到的深度学习语义分割模型进行处理,得到带有时间戳及语义信息的图像;将匹配后的激光雷达点云信息、变电站环境语义信息及惯性测量单元信息进行融合,构建出带有语义信息的环境三维彩色点云地图。
进一步,所述步骤3.2包括以下步骤:
步骤3.2.1:针对不同传感器数据建立不同的数组qi(i=1,2,..,n),用于存每个传感器最新时刻的数据;
步骤3.2.2:建立集合S,当不同的数组qi均包含一条传感器信息时,将不同的数组qi保存在集合S中;
步骤3.2.3:集合S中,以最新时刻的传感器数据作为匹配中心点,计算距匹配中心点最远的传感器数据与匹配中心点的时间差;若时间差小于等于匹配允许误差,则保留该组数据,否则将该组数据进行丢弃;
步骤3.2.3:重复步骤3.2.1至步骤3.2.3直至所有传感器消息已处理完成。
本发明的有益效果在于:
本发明是一种变电站巡检机器人多传感器异步信息融合系统及方法,与现有技术相比,本发明的有益效果是:
1、通过获取变电站环境的多种传感器数据,进行匹配及融合后可以有效指导变电站巡检机器人导航。有效提高巡检机器人的导航精度与工作效率。
2、本发明还通过深度学习语义分割模型对变电站环境的可见光图像进行了处理。将处理后的带有语义信息的图像与激光雷达点云进行融合,可以构建出带有语义信息的环境三维点云地图。可以使得巡检机器人识别障碍物种类,做出更加丰富的导航决策,提高导航精度与工作效率。
附图说明
图1是本发明的方法逻辑图;
图2是本发明的的系统结构原理框图。
具体实施方式
下面结合附图对本发明作进一步说明:
如图1所示:本发明一种变电站巡检机器人多传感器异步信息融合系统,包括环境数据采集模块、模型训练模块、传感器数据匹配及融合模块、融合后数据输出模块,所述环境数据采集模块获取变电站环境的可见光数据,输入模型训练模块的变电站环境语义分割模型中,得到包含语义信息的变电站环境图片信息;所述模型训练模块对深度学习语义分割模型进行训练,得到变电站环境语义分割模型;所述传感器数据匹配及融合模块针对所述环境数据采集模块采集到的不同传感器信息进行匹配及融合;所述环境数据采集模块获得变电站环境的不同传感器数据后,输入传感器数据匹配及融合模块中,得到同步及融合后的变电站环境信息;所述融合后数据输出模块将融合后的变电站环境信息发送给巡检机器人导航决策终端设备,从而指导巡检机器人完成导航。
如图2所示:本发明一种变电站巡检机器人多传感器异步信息融合方法,包括以下步骤:
步骤1:通过环境数据采集模块中多种传感器获取变电站环境的数据信息,其中包括环境的激光雷达点云信息及可见光图像信息;
步骤2:针对变电站环境训练深度学习语义分割模型,并通过模型对可见光图像信息进行分割;
步骤3:对获得的传感器数据通过算法进行匹配及融合;
步骤4:将匹配、融合后的多传感器信息进行输出,用来指导巡检机器人导航。
进一步,所述步骤1中的多种传感器包括二维激光雷达传感器、三维激光雷达传感器、毫米波雷达传感器、结构光传感器、深度传感器、超声波传感器、红外线测距传感器、可见光传感器、惯性测量单元传感器及陀螺仪。
具体的,所述步骤2具体包括以下步骤:
步骤2.1:获取多张变电站环境的可见光传感器信息;
步骤2.2:针对变电站中不同的环境,对可见光传感器图像进行标注;
步骤2.3:将已标注的可见光传感器图像随机分组,分为训练组和验证组,并保证两组无重叠;
步骤2.4:将训练组数据依次输入深度学习语义分割网络模型,利用随机梯度下降法进行训练,得到变电站环境的深度学习语义分割模型,通过验证组对训练得到的模型进行评估,达到预期要求后即可得到变电站环境的深度学习语义分割模型。
具体的,所述步骤3包括以下步骤:
步骤3.1:采集不同传感器数据,并针对每组数据同时记录采集时刻的时间,保存为时间戳;
步骤3.2:针对采集到的带有时间戳的不同传感器数据通过多传感器异步信息匹配进行校准,得到经过匹配后的不同传感器数据;
步骤3.3:将匹配后的可见光传感器数据通过步骤2训练得到的深度学习语义分割模型进行处理,得到带有时间戳及语义信息的图像;将匹配后的激光雷达点云信息、变电站环境语义信息及惯性测量单元信息进行融合,构建出带有语义信息的环境三维彩色点云地图。
进一步,所述步骤3.2包括以下步骤:
步骤3.2.1:针对不同传感器数据建立不同的数组qi(i=1,2,..,n),用于存每个传感器最新时刻的数据;
步骤3.2.2:建立集合S,当不同的数组qi均包含一条传感器信息时,将不同的数组qi保存在集合S中;
步骤3.2.3:集合S中,以最新时刻的传感器数据作为匹配中心点,计算距匹配中心点最远的传感器数据与匹配中心点的时间差;若时间差小于等于匹配允许误差,则保留该组数据,否则将该组数据进行丢弃;
步骤3.2.3:重复步骤3.2.1至步骤3.2.3直至所有传感器消息已处理完成。
实施例一:
本发明的较佳实施例,提供了一种变电站巡检机器人多传感器异步信息融合方法,该实施例的一种变电站巡检机器人多传感器异步信息融合方法包括:传感器、处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如一种变电站巡检机器人多传感器异步信息融合方法的程序,所述方法包括以下步骤:
步骤1:通过不同传感器获取变电站环境的数据信息,其中包括环境的激光雷达点云信息及可见光图像信息。所述激光雷达传感器为二维激光雷达传感器。
步骤2:针对变电站环境训练深度学习语义分割模型,并通过模型对可见光图像信息进行分割;
步骤2.1:获取多张变电站环境的可见光传感器信息;
步骤2.2:针对变电站中不同的环境,对可见光传感器图像进行标注;
步骤2.3:将已标注的可见光传感器图像随机分组,分为训练组和验证组,并保证两组无重叠。所述随机分组按照一定比例进行,当照片样本集合的照片数量不超过5000张时,按10:1的比例随机抽取待训练照片样本集合和待校验照片样本集合,且随机抽取中尽量覆盖各个照片类别,当照片样本集合的照片数量超过5000张时,可根据实际情况适当增加比例;
步骤2.4:将训练组数据依次输入深度学习语义分割网络模型,利用随机梯度下降法进行训练,得到变电站环境的深度学习语义分割模型。通过验证组对训练得到的模型进行评估,达到预期要求后即可得到变电站环境的深度学习语义分割模型。所述语义分割模型可以使用ENet语义分割模型。
步骤3:对获得的传感器数据通过算法进行匹配及融合;
步骤4:将匹配、融合后的多传感器信息进行输出,用来指导巡检机器人导航。
示例性的,所述计算机程序可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述变电站巡检机器人导航装置中的执行过程。例如,所述计算机程序可以被分割成环境数据采集模块、模型训练模块、传感器数据匹配及融合模块、融合后数据输出模块;各模块具体功能如下:
所述环境数据采集模块获取变电站环境信息;
所述模型训练模块对深度学习语义分割模型进行训练,得到变电站环境语义分割模型;
所述数据采集模块获得变电站环境的可见光数据后,输入模型训练模块变电站环境语义分割模型中,得到包含语义信息的变电站环境图片信息;
所述传感器数据匹配及融合模块针对采集到的不同传感器信息进行匹配及融合;
所处数据采集模块获得变电站环境的不同传感器数据后,输入传感器数据匹配及融合模块中,得到同步及融合后的变电站环境信息;
所述融合后数据输出模块将融合后的变电站环境信息发送给巡检机器人导航决策终端设备,从而指导巡检机器人完成导航。
所述一种变电站巡检机器人多传感器异步信息融合方法可包括,但不仅限于,传感器、处理器、存储器。本领域技术人员可以理解,本实施例仅仅是对一种变电站巡检机器人多传感器异步信息融合方法的示例,并不构成对所述一种变电站巡检机器人多传感器异步信息融合方法的限定,可以包括比本实施例所述更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述变电站智能巡检装置还可以包括输入输出设备、网络接入设备、总线等。
所述传感器可以是二维激光雷达传感器、三维激光雷达传感器、毫米波雷达传感器、结构光传感器、深度传感器、超声波传感器、红外线测距传感器、可见光传感器、惯性测量单元传感器及陀螺仪。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述变电站智能巡检装置的控制中心,利用各种接口和线路连接整个变电站智能巡检装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述变电站智能巡检装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据装置的使用所创建的数据。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例提供的一种多传感器异步信息融合方法,通过传感器采集变电站环境信息,并对不同传感器信息进行匹配,融合经过深度学习语义分割模型识别后的语义图像,构建出带有语义信息的变电站环境三维点云地图。将该信息输入给变电站巡检机器人,可以有效提高巡检机器人的导航精度,提高工作效率。
实施例二
本实施例提供了一种变电站巡检机器人多传感器异步信息融合系统,包括电子装置,所述电子装置与变电站巡检机器人终端设备连接,其特征在于:所述电子装置包括环境数据采集模块、模型训练模块、传感器数据匹配及融合模块、融合后数据输出模块;
所述环境数据采集模块获取变电站环境信息;
所述模型训练模块对深度学习语义分割模型进行训练,得到变电站环境语义分割模型;
所述数据采集模块获得变电站环境的可见光数据后,输入模型训练模块变电站环境语义分割模型中,得到包含语义信息的变电站环境图片信息;
所述传感器数据匹配及融合模块针对采集到的不同传感器信息进行匹配及融合;
所处数据采集模块获得变电站环境的不同传感器数据后,输入传感器数据匹配及融合模块中,得到同步及融合后的变电站环境信息;
所述融合后数据输出模块将融合后的变电站环境信息发送给巡检机器人导航决策终端设备,从而指导巡检机器人完成导航。
述电子装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本实施例提供的一种多传感器异步信息融合系统,通过传感器采集变电站环境信息,并对不同传感器信息进行匹配,融合经过深度学习语义分割模型识别后的语义图像,构建出带有语义信息的变电站环境三维点云地图。将该信息输入给变电站巡检机器人,可以有效提高巡检机器人的导航精度,提高工作效率。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种变电站巡检机器人多传感器异步信息融合系统的融合方法,其特征在于:所述变电站巡检机器人多传感器异步信息融合系统包括环境数据采集模块、模型训练模块、传感器数据匹配及融合模块、融合后数据输出模块,所述环境数据采集模块获取变电站环境的可见光数据,输入模型训练模块的变电站环境语义分割模型中,得到包含语义信息的变电站环境图片信息;所述模型训练模块对深度学习语义分割模型进行训练,得到变电站环境语义分割模型;所述传感器数据匹配及融合模块针对所述环境数据采集模块采集到的不同传感器信息进行匹配及融合;所述环境数据采集模块获得变电站环境的不同传感器数据后,输入传感器数据匹配及融合模块中,得到同步及融合后的变电站环境信息;所述融合后数据输出模块将融合后的变电站环境信息发送给巡检机器人导航决策终端设备,从而指导巡检机器人完成导航;
所述变电站巡检机器人多传感器异步信息融合系统的融合方法包括以下步骤:
步骤1:通过环境数据采集模块中多种传感器获取变电站环境的数据信息,其中包括环境的激光雷达点云信息及可见光图像信息;
步骤2:针对变电站环境训练深度学习语义分割模型,并通过模型对可见光图像信息进行分割;具体包括以下步骤:
步骤2.1:获取多张变电站环境的可见光传感器信息;
步骤2.2:针对变电站中不同的环境,对可见光传感器图像进行标注;
步骤2.3:将已标注的可见光传感器图像随机分组,分为训练组和验证组,并保证两组无重叠;
步骤2.4:将训练组数据依次输入深度学习语义分割网络模型,利用随机梯度下降法进行训练,得到变电站环境的深度学习语义分割模型,通过验证组对训练得到的模型进行评估,达到预期要求后即可得到变电站环境的深度学习语义分割模型;
步骤3:对获得的传感器数据通过算法进行匹配及融合;包括以下步骤:
步骤3.1:采集不同传感器数据,并针对每组数据同时记录采集时刻的时间,保存为时间戳;
步骤3.2:针对采集到的带有时间戳的不同传感器数据通过多传感器异步信息匹配进行校准,得到经过匹配后的不同传感器数据;包括以下步骤:
步骤3.2.1:针对不同传感器数据建立不同的数组q i (i=1,2,..,n),用于存每个传感器最新时刻的数据;
步骤3.2.2:建立集合S,当不同的数组q i 均包含一条传感器信息时,将不同的数组q i 保存在集合S中;
步骤3.2.3:集合S中,以最新时刻的传感器数据作为匹配中心点,计算距匹配中心点最远的传感器数据与匹配中心点的时间差;若时间差小于等于匹配允许误差,则保留该组数据,否则将该组数据进行丢弃;
步骤3.2.4 :重复步骤3.2.1至步骤3.2.3直至所有传感器消息已处理完成;
步骤3.3:将匹配后的可见光传感器数据通过步骤2训练得到的深度学习语义分割模型进行处理,得到带有时间戳及语义信息的图像;将匹配后的激光雷达点云信息、变电站环境语义信息及惯性测量单元信息进行融合,构建出带有语义信息的环境三维彩色点云地图;
步骤4:将匹配、融合后的多传感器信息进行输出,用来指导巡检机器人导航。
2.根据权利要求1所述的变电站巡检机器人多传感器异步信息融合系统的融合方法,其特征在于:所述步骤1中的多种传感器包括二维激光雷达传感器、三维激光雷达传感器、毫米波雷达传感器、结构光传感器、深度传感器、超声波传感器、红外线测距传感器、可见光传感器、惯性测量单元传感器及陀螺仪。
CN202010811428.XA 2020-08-13 2020-08-13 一种变电站巡检机器人多传感器异步信息融合系统及方法 Active CN111958595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010811428.XA CN111958595B (zh) 2020-08-13 2020-08-13 一种变电站巡检机器人多传感器异步信息融合系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010811428.XA CN111958595B (zh) 2020-08-13 2020-08-13 一种变电站巡检机器人多传感器异步信息融合系统及方法

Publications (2)

Publication Number Publication Date
CN111958595A CN111958595A (zh) 2020-11-20
CN111958595B true CN111958595B (zh) 2021-09-17

Family

ID=73364415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010811428.XA Active CN111958595B (zh) 2020-08-13 2020-08-13 一种变电站巡检机器人多传感器异步信息融合系统及方法

Country Status (1)

Country Link
CN (1) CN111958595B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818806A (zh) * 2021-01-27 2021-05-18 国网四川省电力公司电力科学研究院 一种基于深度学习的变电站巡检机器人辅助导航方法
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN114119850B (zh) * 2022-01-26 2022-06-03 之江实验室 一种虚实激光雷达点云的融合方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065067A (ko) * 2010-12-10 2012-06-20 국방과학연구소 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
CN205898143U (zh) * 2016-07-20 2017-01-18 山东鲁能智能技术有限公司 一种基于机器视觉与激光传感器融合的机器人导航系统
CN109544638A (zh) * 2018-10-29 2019-03-29 浙江工业大学 一种用于多传感器融合的异步在线标定方法
CN110006435A (zh) * 2019-04-23 2019-07-12 西南科技大学 一种基于残差网络的变电站巡检机器人视觉辅助导航方法
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111121755A (zh) * 2020-01-02 2020-05-08 广东博智林机器人有限公司 一种多传感器的融合定位方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065067A (ko) * 2010-12-10 2012-06-20 국방과학연구소 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
CN205898143U (zh) * 2016-07-20 2017-01-18 山东鲁能智能技术有限公司 一种基于机器视觉与激光传感器融合的机器人导航系统
CN109544638A (zh) * 2018-10-29 2019-03-29 浙江工业大学 一种用于多传感器融合的异步在线标定方法
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN110006435A (zh) * 2019-04-23 2019-07-12 西南科技大学 一种基于残差网络的变电站巡检机器人视觉辅助导航方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111121755A (zh) * 2020-01-02 2020-05-08 广东博智林机器人有限公司 一种多传感器的融合定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111958595A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111958595B (zh) 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN109508580B (zh) 交通信号灯识别方法和装置
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN111123920A (zh) 一种自动驾驶仿真测试场景生成方法和装置
CN111753757B (zh) 一种图像识别处理方法及装置
CN104091168B (zh) 基于无人机影像的电力线自动提取定位方法
CN110969719A (zh) 一种自动巡检方法、系统、终端设备及存储介质
CN113252053B (zh) 高精度地图生成方法、装置和电子设备
CN111221808A (zh) 一种无人值守的高精度地图质检方法和装置
CN105824249A (zh) 一种飞行器参数显示结果测试方法及测试系统
CN114332815B (zh) 交通灯状态检测方法、装置、车辆及存储介质
CN112528979A (zh) 变电站巡检机器人障碍物判别方法及系统
CN115170792B (zh) 红外图像处理方法、装置及设备、存储介质
CN115984486A (zh) 一种融合激光雷达与深度相机的桥梁模型生成方法及装置
CN114419038A (zh) 轮毂表面缺陷的识别方法及装置、存储介质、电子设备
CN114820800A (zh) 一种用于输电线路的实时巡检方法及设备
CN114494274A (zh) 建筑施工评估方法、装置、电子设备及存储介质
CN109635640A (zh) 基于点云的交通灯识别方法、装置、设备及存储介质
CN112861595A (zh) 数据点的识别方法、装置和计算机可读存储介质
CN112183244A (zh) 场景建立方法及装置、存储介质、电子装置
CN112329946A (zh) 地面分割学习模型训练方法、地平面确定方法及相关装置
CN115346081A (zh) 基于多数据融合的输电线路点云数据分类方法
CN111783552B (zh) 实景三维模型单体化方法、装置、存储介质及电子设备
CN111859629B (zh) 一种直升机动部件的检测规划方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant