CN109977813B - 一种基于深度学习框架的巡检机器人目标定位方法 - Google Patents

一种基于深度学习框架的巡检机器人目标定位方法 Download PDF

Info

Publication number
CN109977813B
CN109977813B CN201910186976.5A CN201910186976A CN109977813B CN 109977813 B CN109977813 B CN 109977813B CN 201910186976 A CN201910186976 A CN 201910186976A CN 109977813 B CN109977813 B CN 109977813B
Authority
CN
China
Prior art keywords
image
target
equipment
inspection
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910186976.5A
Other languages
English (en)
Other versions
CN109977813A (zh
Inventor
房桦
马青岷
张世伟
朱孟鹏
孙自虎
李现奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Mudian Intelligent Technology Co ltd
Original Assignee
Shandong Mudian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Mudian Intelligent Technology Co ltd filed Critical Shandong Mudian Intelligent Technology Co ltd
Priority to CN201910186976.5A priority Critical patent/CN109977813B/zh
Publication of CN109977813A publication Critical patent/CN109977813A/zh
Application granted granted Critical
Publication of CN109977813B publication Critical patent/CN109977813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于深度学习框架的巡检机器人目标定位方法，包括以下步骤：S1、配置机器人巡检场景中的设备树，划分设备类型，为每一个设备进行树状归类；S2、采集与制作每一个叶节点类型设备的样本图像，对设备图像进行样本繁殖。本发明实现了将深度学习算法部署在巡检机器人视觉模块的功能，用以在采集的实时图像中实现目标设备准确定位，并且可以适应多种场景下的各类设备，有效的解决了过往方法中设备定位失误造成的机器人巡检任务差错的问题并解放了大量人工配置工作，提高了机器人巡检工作的效率与质量，有效的减少了现场工作人员的工作强度，大大降低了现有模板图像的配置工作。

Description

一种基于深度学习框架的巡检机器人目标定位方法
技术领域
本发明涉及巡检机器人图像处理技术领域，尤其涉及一种基于深度学习框架的巡检机器人目标定位方法。
背景技术
近年来，计算机视觉领域中广泛的采用了深度学习技术，在人脸识别、智能驾驶和场景分类等任务中收获了丰富的成果。深度学习是当前人工智能研究的主要方向，深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是相对于简单学习而言的，目前多数分类、回归等学习算法都属于简单学习或者浅层结构。深度学习可通过学习一种深层非线性网络结构，表征输入数据，实现复杂函数逼近，并展现了强大的从少数样本集中学习数据集本质特征的能力。对于图像的处理是深度学习算法最早尝试应用的领域。目标定位(或目标检测)对于计算机来说，输入的图像是一些值为0-255的数组，因而很难直接得到图像中具体存在某种物体这种高层语义概念，也不清楚目标出现在图像中哪个区域。图像中的目标可能出现在任何位置，目标的形态可能存在各种各样的变化，图像的背景千差万别，如何解决这些问题得益于深度学习，主要是卷积神经网络算法。
深度学习研究综述计算机应用研究中所提及的设备巡检机器人是基于自主导航、精确定位、自动充电的室内、外全天候移动平台，集成可见光、红外、声音等传感器；基于激光扫描导航系统，实现巡检机器人的最优路径规划和双向行走，将被检测目标设备的视频和图像数据通过无线网络传输到监控室；巡检后台系统通过对待检设备的图像处理和模式识别等技术，结合设备图像模板库，实现对设备缺陷、外观异常的判别，以及开关闭合状态、仪表读数、油位计位置的识别；并配合数据服务系统输出巡检结果报告及异常状态分析报告。
本领域中，中国第201610388101.X发明《一种变电站室内巡检机器人系统及其巡检方法》介绍一种通过机械轨道传送巡检机器人进行目标设备定位的方法，控制模块驱动运动模块，带动机器人沿着轨道做X、Y和Z轴方向运动，当机器人到达目标检测点时，停止移动X轴和Y轴，控制Z轴运动机构升降使机器人到达要检测设备的高度，将视频采集装置对准变电站设备进行检测；中国第201510229248.X发明《一种基于图像比对的电力设备外观异常检测方法》利用巡检机器人采集图像进行与原图匹配的方法进行目标设备定位，用以检测设备的外观变化；中国第201410706231.4发明《用于自动读表的变电站巡检机器人》将采集的设备图像灰度化并阈值化，利用仪表的图像特征表现进行仪表区域的目标定位，而后仪表表盘子图像在存储的各类仪表模板中查询匹配的目标仪表模板，给出目标仪表模板的最大刻度、最小刻度和指针模型，计算识别到的仪表指针角度确定仪表读数；中国第201110216396.X发明《基于变电站巡检机器人的断路器状态模板匹配识别方法》采用了在模板图像中人工标记目标设备区域，通过采集的巡检图像与模板图像特征配准的方法将设备区域映射到采集图像中完成目标的定位。
首先来了解一下巡检机器人对设备工作状态检测识别的基本流程：在执行巡检任务前，需要将机器人拍摄的巡检场景内每一个预置位的设备图像都保存到模板库中，模板库中的设备图像和巡检场景中的设备是一一对应的，在向巡检机器人下达巡检任务时，要将在每个预置停车位拍摄模板图像的各项参数(如云台角度，相机焦距等)明确的指出，在巡检机器人行进至此预置停车位后，依照该设备模板图像的采集方式进行姿态调整，拍摄实时的设备图像并将图像回传至上层模式识别服务器，通过实时图像与模板图像的匹配进行设备区域标定，去除图像中设备周边无用的内容，仅针对目标定位内的像素进行图像处理及设备工作状态识别。
由此可见，机器人对设备图像的采集质量，以及巡检图像与模板图像之间特征匹配的准确度关系到整个巡检任务的结果。设备的模板图像是由人工操作机器人进行采集，往往选择光线照射柔和、清晰度良好的图像作为该设备的模板。但是在实际的机器人巡检过程中，强烈阳光的照射、设备的反光、明亮的天空背景、眩光等很多因素制约着图像特征匹配的精度。这些不利因素有碍机器人对设备运行状态进行准确的模式识别。
利用图像特征匹配进行设备目标定位的方式，是一种默认参加比较的两幅图像像素高度相似的情况下进行的。然而在实际场景中，巡检机器人是独立运行的，由于姿态，光照和背景等干扰因素，所以两张包含相同物体的图像往往在外观上差异很大，而且如果采集图像时使用了相机的长焦距，机器人姿态微小的偏差就可能造成被检测的目标设备偏出图像视野。更加智能的做法应当是给定一张某个设备的实时巡检图像，采用深度学习中视觉目标搜索的方式，在图像中找到那个与样本集实例设备相同的物体。与图像特征匹配相比，目标搜索的条件更为苛刻，即给定图像中是否包含相同物体。
目前解决方案主要存在以下几方面问题：
1.采用图像特征匹配或模板匹配在巡检图像中进行目标设备定位的方式，需要预先采集每一个设备的标准图像，模板图像采集的过程需要手工操作机器人拍摄或手持相机模仿机器人的巡检姿态，达到模板图像与巡检图像之间差异最小化，并通过人工编辑模板图像输入数据库。这种方式需要繁琐的配置工作与操作精度，依赖于操作者的工作经验，配置结果主观性强普适性低。
2.在模板图像中需要通过人工标定的方式指明目标设备轮廓外接矩形顶点的坐标，在机器人巡检过程中通过模板图像与实时图像的特征配准将目标区域的坐标映射到巡检图像中完成设备目标的定位工作。这个过程同样要求人工标定设备区域的精度，并且两幅图像在进行特征匹配的过程中受差别影响较大，由于巡检图像采集过程中机器人的位置、姿态，环境的光照强度等因素与模板图像存在差异，因此降低了图像之间特征点坐标映射的精度。另外，图像特征配准算法，例如Sift特征算法，Hog梯度直方图算法，Haar角点算法等，普遍对光照强度的变化比较敏感，即两幅图像的亮度差异较大时，尤其当机器人巡检遇到强烈阳光的照射、设备的反光、明亮的天空背景等因素，配准的精度会大幅度降低，由此引起目标定位偏离，造成机器人无法识别设备区域的结果。
一旦巡检机器人在预置位采集设备图像时，由于航向角误差、云台角度偏离等因素造成未能正确采集完整的设备图像，或设备目标全部偏出图像时，现有的以与模板图像特征匹配的方式无法判断巡检图像中是否包含设备目标，因此造成无法识别设备状态，并且不能告知巡检机器人是何原因导致这一错误结果，为此，我们提出了一种基于深度学习框架的巡检机器人目标定位方法来解决上述问题。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于深度学习框架的巡检机器人目标定位方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于深度学习框架的巡检机器人目标定位方法，包括以下步骤：
S1、配置机器人巡检场景中的设备树，划分设备类型，为每一个设备进行树状归类；
S2、采集与制作每一个叶节点类型设备的样本图像，对设备图像进行样本繁殖，为每一个样本图像标注设备类别，覆盖所有类别的带有标注的样本数据集合；
S3、基于深度学习框架的神经网络模型进行构建，采用兼顾实时性与准确率的目标检测算法SSD框架，首先初始化网络中待训练的参数及超参数，向初始化后的网络中输入训练样本数据进行网络前向传播，得到实际的输出结果，通过损失函数结合反向传播BP算法调整网络参数，进行迭代训练，至损失函数的损失值小于设定的阈值或达到最大迭代次数时训练结束，得到定位设备目标的网络模型；
S4、利用训练产生的模型对测试集样本数据进行设备定位测试，设置置信度阈值，检测结果置信度得分大于阈值小于阈值则输出该结果，检测结果置信度得分小于阈值则丢弃，输出基于深度学习的目标设备检测网络模型；
S5、将每一类设备的检测置信度阈值都作为模型参数配置完成后，目标定位网络模型加载至巡检机器人视觉处理模块；
S6、沿用巡检机器人配置设备检测点预置位的原有流程，为每一个目标设备在地图中配置观测点坐标，机器人云台旋转角度参数，采集图像适用的相机参数，不再为目标设备保存模板图像，不再配置模板图像中的目标区域；
S7、机器人在执行设备巡检任务过程中，按照预设的地图坐标停车，读取该观测点的姿态与相机参数采集目标设备的工作状态图像；
S8、将采集的巡检图像输入S5步骤中加载的目标检测网络模型，按照该点的设备类别在图像中检测目标区域；
S9、将S8步骤中检测得到的目标设备区域子图像输入模式识别功能模块，识别设备此时的工作状态信息
优选地，所述S1中，在根节点仪表设备类中可划分子类指针式仪表、数显式仪表等分支节点，指针式仪表又可分为矩形浮动式指针、弧形轴心式指针等叶节点。
优选地，所述S2中，样本图像的放置方法可以包括：在限定的偏转角度范围内繁衍三维不同角度仿射变换的样本图像、在限定的图像亮度变化范围内繁衍亮度不同的样本图像、在限定的缩放尺寸范围内繁衍具有缩放比例差异的样本图像和在图像噪音允许的范围内繁衍叠加多种噪音的样本图像。
优选地，所述S2中，样本数据包括待处理图像、目标位置及类别信息。
优选地，所述S4中，图像中存在目标设备，则计算目标区域轮廓最小外接矩形，完成目标定位工作、果在图像中没有检测到目标设备，结果反馈给机器人姿态控制模块，视觉伺服功能微调机器人云台角度，再次采集设备巡检图像。
优选地，所述S2中，样本数据集合按照适当的比例分为两部分，一部分数据将被输入深度学习的神经网络框架用于训练生成设备目标检测的网络模型，称为训练集；一部分数据将被用于测试网络模型检测目标的准确度，称为测试集。
优选地，所述S2中，样本数据集合按照适当的比例分为两部分，一部分数据将被输入深度学习的神经网络框架用于训练生成设备目标检测的网络模型，称为训练集；一部分数据将被用于测试网络模型检测目标的准确度，称为测试集。
优选地，所述S4中，巡检图像的置信度阈值为正确检出率大于95％，漏检率和误检率小于5％。
优选地，所述S3中，SSD算法利用CNN提取特征后直接分类与回归。
优选地，所述步骤S1至步骤S4具有普适性，S4步骤中产生的目标检测网络模型可以被多个不同巡检场景的机器人所共享加载。
本发明中，当巡检机器人在进行巡检任务时，首先配置机器人巡检场景中的设备树，划分设备类型，为每一个设备进行树状归类，例如，在根节点仪表设备类中可划分子类指针式仪表、数显式仪表等分支节点，指针式仪表又可分为矩形浮动式指针、弧形轴心式指针等叶节点，配置每一个待检测的设备都有类别归属，采集与制作每一个叶节点类型设备的样本图像，但样本图像不限于机器人的巡检场景，互联网中的同类图像资源可以被利用，由于同一类型的设备可以在场景中多个位置存在，机器人巡检时观测的角度、光照、缩放尺寸等条件各不相同，因此需要对设备图像进行样本繁殖，样本图像繁殖的方法可以包括，在限定的偏转角度范围内繁衍三维不同角度仿射变换的样本图像、在限定的图像亮度变化范围内繁衍亮度不同的样本图像、在限定的缩放尺寸范围内繁衍具有缩放比例差异的样本图像和在图像噪音允许的范围内繁衍叠加多种噪音的样本图像，为每一个样本图像标注设备类别，这样覆盖了所有类别的带有标注的样本数据集合就制作完成了，样本数据包括待处理图像、目标位置及类别信息，样本数据集合按照适当的比例分为两部分，一部分数据将被输入深度学习的神经网络框架用于训练生成设备目标检测的网络模型，称为训练集；一部分数据将被用于测试网络模型检测目标的准确度，称为测试集，基于深度学习框架的神经网络模型构建，在实施过程中本发明采用了兼顾实时性与准确率的目标检测算法SSD框架，首先初始化网络中待训练的参数及超参数，向初始化后的网络中输入训练样本数据进行网络前向传播，得到实际的输出结果，通过损失函数结合反向传播BP算法调整网络参数，进行迭代训练，至损失函数的损失值小于设定的阈值或达到最大迭代次数时训练结束，得到定位设备目标的网络模型，利用训练产生的模型对测试集样本数据进行设备定位测试，设置置信度阈值，若检测结果置信度得分大于阈值小于阈值则输出该结果，否则，丢弃，置信度阈值的设置需要权衡正确检出率、漏检率、误检率三个指标，本发明的实施方式为巡检图像为符合规范采集的条件下，正确检出率大于95％，漏检率和误检率小于5％，输出基于深度学习的目标设备检测网络模型，将每一类设备的检测置信度阈值都作为模型参数配置完成后，目标定位网络模型加载至巡检机器人视觉处理模块，沿用巡检机器人配置设备检测点预置位的原有流程，为每一个目标设备在地图中配置观测点坐标，机器人云台旋转角度参数，采集图像适用的相机参数等，但是不再为目标设备保存模板图像，因此不需再配置模板图像中的目标区域，机器人在执行设备巡检任务过程中，按照预设的地图坐标停车，读取该观测点的姿态与相机参数采集目标设备的工作状态图像，然后将采集的巡检图像输入S5步骤中加载的目标检测网络模型，按照该点的设备类别在图像中检测目标区域，如图像中存在目标设备，则计算目标区域轮廓最小外接矩形，完成目标定位工作；如果在图像中没有检测到目标设备，则将结果反馈给机器人姿态控制模块，通过视觉伺服功能微调机器人云台角度，再次采集设备巡检图像，最后将S8步骤中检测得到的目标设备区域子图像输入模式识别功能模块，识别设备此时的工作状态信息，本发明实现了将深度学习算法部署在巡检机器人视觉模块的功能，用以在采集的实时图像中实现目标设备准确定位，并且可以适应多种场景下的各类设备，有效的解决了过往方法中设备定位失误造成的机器人巡检任务差错的问题并解放了大量人工配置工作，提高了机器人巡检工作的效率与质量，有效的减少了现场工作人员的工作强度，大大降低了现有模板图像的配置工作。
附图说明
图1为本发明提出的一种基于深度学习框架的巡检机器人目标定位方法的训练用于目标设备检测的深度学习网络模型图；
图2为本发明提出的一种基于深度学习框架的巡检机器人目标定位方法的巡检机器人在执行巡检任务时的流程图；
图3为本发明提出的一种基于深度学习框架的巡检机器人目标定位方法的SSD网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-3，一种基于深度学习框架的巡检机器人目标定位方法，包括以下步骤：
S1、配置机器人巡检场景中的设备树，划分设备类型，为每一个设备进行树状归类，在根节点仪表设备类中可划分子类指针式仪表、数显式仪表等分支节点，指针式仪表又可分为矩形浮动式指针、弧形轴心式指针等叶节点，配置每一个待检测的设备都有类别归属。
S2、采集与制作每一个叶节点类型设备的样本图像，但样本图像不限于机器人的巡检场景，互联网中的同类图像资源可以被利用，由于同一类型的设备可以在场景中多个位置存在，机器人巡检时观测的角度、光照、缩放尺寸等条件各不相同，因此需要对设备图像进行样本繁殖，样本图像繁殖的方法可以包括，在限定的偏转角度范围内繁衍三维不同角度仿射变换的样本图像、在限定的图像亮度变化范围内繁衍亮度不同的样本图像、在限定的缩放尺寸范围内繁衍具有缩放比例差异的样本图像和在图像噪音允许的范围内繁衍叠加多种噪音的样本图像，为每一个样本图像标注设备被别，这样覆盖了所有类别的带有标注的样本数据集合就制作完成了，样本数据包括待处理图像、目标位置及类别信息，样本数据集合按照适当的比例分为两部分，一部分数据将被输入深度学习的神经网络框架用于训练生成设备目标检测的网络模型，称为训练集；一部分数据将被用于测试网络模型检测目标的准确度，称为测试集。
S3、基于深度学习框架的神经网络模型构建，在实施过程中本发明采用了兼顾实时性与准确率的目标检测算法SSD框架，首先初始化网络中待训练的参数及超参数，向初始化后的网络中输入训练样本数据进行网络前向传播，得到实际的输出结果，通过损失函数结合反向传播BP算法调整网络参数，进行迭代训练，至损失函数的损失值小于设定的阈值或达到最大迭代次数时训练结束，得到定位设备目标的网络模型。
S4、利用训练产生的模型对测试集样本数据进行设备定位测试，设置置信度阈值，检测结果置信度得分大于阈值则输出该结果，检测结果置信度得分小于阈值则丢弃，置信度阈值的设置需要权衡正确检出率、漏检率和误检率三个指标，巡检图像为符合规范采集的条件下，正确检出率大于95％，漏检率和误检率小于5％，输出基于深度学习的目标设备检测网络模型。
S5、将每一类设备的检测置信度阈值都作为模型参数配置完成后，目标定位网络模型加载至巡检机器人视觉处理模块。
S6、沿用巡检机器人配置设备检测点预置位的原有流程，为每一个目标设备在地图中配置观测点坐标，机器人云台旋转角度参数，采集图像适用的相机参数等，但是不再为目标设备保存模板图像，因此不需再配置模板图像中的目标区域。
S7、机器人在执行设备巡检任务过程中，按照预设的地图坐标停车，读取该观测点的姿态与相机参数采集目标设备的工作状态图像。
S8、将采集的巡检图像输入S5步骤中加载的目标检测网络模型，按照该点的设备类别在图像中检测目标区域，如图像中存在目标设备，则计算目标区域轮廓最小外接矩形，完成目标定位工作；如果在图像中没有检测到目标设备，则将结果反馈给机器人姿态控制模块，通过视觉伺服功能微调机器人云台角度，再次采集设备巡检图像。
S9、将S8步骤中检测得到的目标设备区域子图像输入模式识别功能模块，识别设备此时的工作状态信息。
本发明中，当巡检机器人在进行巡检任务时，首先配置机器人巡检场景中的设备树，划分设备类型，为每一个设备进行树状归类，例如，在根节点仪表设备类中可划分子类指针式仪表、数显式仪表等分支节点，指针式仪表又可分为矩形浮动式指针、弧形轴心式指针等叶节点，配置每一个待检测的设备都有类别归属，采集与制作每一个叶节点类型设备的样本图像，但样本图像不限于机器人的巡检场景，互联网中的同类图像资源可以被利用，由于同一类型的设备可以在场景中多个位置存在，机器人巡检时观测的角度、光照、缩放尺寸等条件各不相同，因此需要对设备图像进行样本繁殖，样本图像繁殖的方法可以包括，在限定的偏转角度范围内繁衍三维不同角度仿射变换的样本图像、在限定的图像亮度变化范围内繁衍亮度不同的样本图像、在限定的缩放尺寸范围内繁衍具有缩放比例差异的样本图像和在图像噪音允许的范围内繁衍叠加多种噪音的样本图像，为每一个样本图像标注设备类别，这样覆盖了所有类别的带有标注的样本数据集合就制作完成了，样本数据包括待处理图像、目标位置及类别信息，样本数据集合按照适当的比例分为两部分，一部分数据将被输入深度学习的神经网络框架用于训练生成设备目标检测的网络模型，称为训练集；一部分数据将被用于测试网络模型检测目标的准确度，称为测试集，基于深度学习框架的神经网络模型构建，在实施过程中本发明采用了兼顾实时性与准确率的目标检测算法SSD框架，首先初始化网络中待训练的参数及超参数，向初始化后的网络中输入训练样本数据进行网络前向传播，得到实际的输出结果，通过损失函数结合反向传播BP算法调整网络参数，进行迭代训练，至损失函数的损失值小于设定的阈值或达到最大迭代次数时训练结束，得到定位设备目标的网络模型，利用训练产生的模型对测试集样本数据进行设备定位测试，设置置信度阈值，若检测结果置信度得分大于阈值小于阈值则输出该结果，否则，丢弃，置信度阈值的设置需要权衡正确检出率、漏检率、误检率三个指标，本发明的实施方式为巡检图像为符合规范采集的条件下，正确检出率大于95％，漏检率和误检率小于5％，输出基于深度学习的目标设备检测网络模型，将每一类设备的检测置信度阈值都作为模型参数配置完成后，目标定位网络模型加载至巡检机器人视觉处理模块，沿用巡检机器人配置设备检测点预置位的原有流程，为每一个目标设备在地图中配置观测点坐标，机器人云台旋转角度参数，采集图像适用的相机参数等，但是不再为目标设备保存模板图像，因此不需再配置模板图像中的目标区域，机器人在执行设备巡检任务过程中，按照预设的地图坐标停车，读取该观测点的姿态与相机参数采集目标设备的工作状态图像，然后将采集的巡检图像输入S5步骤中加载的目标检测网络模型，按照该点的设备类别在图像中检测目标区域，如图像中存在目标设备，则计算目标区域轮廓最小外接矩形，完成目标定位工作；如果在图像中没有检测到目标设备，则将结果反馈给机器人姿态控制模块，通过视觉伺服功能微调机器人云台角度，再次采集设备巡检图像，最后将S8步骤中检测得到的目标设备区域子图像输入模式识别功能模块，识别设备此时的工作状态信息。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，包括以下步骤：
S1、配置机器人巡检场景中的设备树，划分设备类型，为每一个设备进行树状归类；
S2、采集与制作每一个叶节点类型设备的样本图像，对设备图像进行样本繁殖，为每一个样本图像标注设备类别，覆盖所有类别的带有标注的样本数据集合；
S3、基于深度学习框架的神经网络模型进行构建，采用兼顾实时性与准确率的目标检测算法SSD框架，首先初始化网络中待训练的参数及超参数，向初始化后的网络中输入训练样本数据进行网络前向传播，得到实际的输出结果，通过损失函数结合反向传播BP算法调整网络参数，进行迭代训练，至损失函数的损失值小于设定的阈值或达到最大迭代次数时训练结束，得到定位设备目标的网络模型；
S4、利用训练产生的模型对测试集样本数据进行设备定位测试，设置置信度阈值，检测结果置信度得分大于阈值小于阈值则输出该结果，检测结果置信度得分小于阈值则丢弃，输出基于深度学习的目标设备检测网络模型；
S5、将每一类设备的检测置信度阈值都作为模型参数配置完成后，目标定位网络模型加载至巡检机器人视觉处理模块；
S6、沿用巡检机器人配置设备检测点预置位的原有流程，为每一个目标设备在地图中配置观测点坐标，机器人云台旋转角度参数，采集图像适用的相机参数，不再为目标设备保存模板图像，不再配置模板图像中的目标区域；
S7、机器人在执行设备巡检任务过程中，按照预设的地图坐标停车，读取该观测点的姿态与相机参数采集目标设备的工作状态图像；
S8、将采集的巡检图像输入S5步骤中加载的目标检测网络模型，按照该点的设备类别在图像中检测目标区域；
S9、将S8步骤中检测得到的目标设备区域子图像输入模式识别功能模块，识别设备此时的工作状态信息。
2.根据权利要求1所述的一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，所述S1中，在根节点仪表设备类中可划分子类指针式仪表、数显式仪表等分支节点，指针式仪表又可分为矩形浮动式指针、弧形轴心式指针等叶节点。
3.根据权利要求1所述的一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，所述S2中，样本图像的放置方法可以包括：在限定的偏转角度范围内繁衍三维不同角度仿射变换的样本图像、在限定的图像亮度变化范围内繁衍亮度不同的样本图像、在限定的缩放尺寸范围内繁衍具有缩放比例差异的样本图像和在图像噪音允许的范围内繁衍叠加多种噪音的样本图像。
4.根据权利要求1所述的一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，所述S2中，样本数据包括待处理图像、目标位置及类别信息。
5.根据权利要求1所述的一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，所述S4中，图像中存在目标设备，则计算目标区域轮廓最小外接矩形，完成目标定位工作、在图像中没有检测到目标设备，结果反馈给机器人姿态控制模块，视觉伺服功能微调机器人云台角度，再次采集设备巡检图像。
6.根据权利要求1所述的一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，所述S2中，样本数据集合按照适当的比例分为两部分，一部分数据将被输入深度学习的神经网络框架用于训练生成设备目标检测的网络模型，称为训练集；一部分数据将被用于测试网络模型检测目标的准确度，称为测试集。
7.根据权利要求1所述的一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，所述S4中，巡检图像的置信度阈值为正确检出率大于95％、漏检率和误检率小于5％。
8.根据权利要求1所述的一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，所述S3中，SSD算法利用CNN提取特征后直接分类与回归。
9.根据权利要求1所述的一种基于深度学习框架的巡检机器人目标定位方法，其特征在于，所述步骤S1至步骤S4具有普适性，S4步骤中产生的目标检测网络模型可以被多个不同巡检场景的机器人所共享加载。
CN201910186976.5A 2019-03-13 2019-03-13 一种基于深度学习框架的巡检机器人目标定位方法 Active CN109977813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910186976.5A CN109977813B (zh) 2019-03-13 2019-03-13 一种基于深度学习框架的巡检机器人目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910186976.5A CN109977813B (zh) 2019-03-13 2019-03-13 一种基于深度学习框架的巡检机器人目标定位方法

Publications (2)

Publication Number Publication Date
CN109977813A CN109977813A (zh) 2019-07-05
CN109977813B true CN109977813B (zh) 2022-09-13

Family

ID=67078712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910186976.5A Active CN109977813B (zh) 2019-03-13 2019-03-13 一种基于深度学习框架的巡检机器人目标定位方法

Country Status (1)

Country Link
CN (1) CN109977813B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362085A (zh) * 2019-07-22 2019-10-22 合肥小步智能科技有限公司 一种用于特种巡检机器人的类脑平台
CN110430081A (zh) * 2019-08-13 2019-11-08 北京市天元网络技术股份有限公司 基于指令自动编排的智能化巡检方法以及装置
CN110516590A (zh) * 2019-08-26 2019-11-29 国网河北省电力有限公司保定供电分公司 基于场景识别的作业标准提示系统
CN111179352B (zh) * 2019-09-09 2023-06-16 浙江国自机器人技术有限公司 一种巡检机器人工作点位的同构定位方法
CN110598783A (zh) * 2019-09-10 2019-12-20 中国科学技术大学 基于分布式移动机器人系统的视觉一致性方法
CN110688925B (zh) * 2019-09-19 2022-11-15 国网智能科技股份有限公司 基于深度学习的级联目标识别方法及系统
CN110614638B (zh) * 2019-09-19 2021-07-23 国网智能科技股份有限公司 一种变电站巡检机器人自主采集方法及系统
WO2021066794A1 (en) * 2019-09-30 2021-04-08 Siemens Aktiengesellschaft Machine learning enabled visual servoing with dedicated hardware acceleration
CN110989344A (zh) * 2019-11-27 2020-04-10 云南电网有限责任公司电力科学研究院 一种巡检机器人预置参数自动调整方法及系统
CN110940950B (zh) * 2019-11-28 2022-03-22 中国船舶重工集团公司第七一七研究所 一种差斜率稳定方法
CN110991387B (zh) * 2019-12-11 2024-02-02 西安安森智能仪器股份有限公司 一种机器人集群图像识别的分布式处理方法及系统
CN111275112A (zh) * 2020-01-20 2020-06-12 上海高仙自动化科技发展有限公司 机器人控制方法、机器人和可读存储介质
CN111811502B (zh) * 2020-07-10 2022-07-22 北京航空航天大学 一种运动载体多源信息融合导航方法及系统
CN111929674B (zh) * 2020-07-10 2022-10-04 西安电子科技大学 一种基于神经网络的智能比幅测角方法、存储介质及设备
CN112113568A (zh) * 2020-08-21 2020-12-22 华南农业大学 一种畜禽养殖场巡检机器人的位姿校正方法
CN112207821B (zh) * 2020-09-21 2021-10-01 大连遨游智能科技有限公司 视觉机器人的目标搜寻方法及机器人
CN112975985B (zh) * 2021-03-22 2022-09-27 梅卡曼德（北京）机器人科技有限公司 抓取机器人及其控制方法和定位模型训练方法
CN115701302A (zh) * 2021-05-26 2023-02-07 京东方科技集团股份有限公司 一种深度学习模型测试的方法、设备及计算机存储介质
CN115209237B (zh) * 2022-06-08 2023-05-26 禾多科技（北京）有限公司 数据采集箱及用于该数据采集箱的控制方法
CN115797873B (zh) * 2023-02-06 2023-05-26 泰山学院 一种人群密度检测方法、系统、设备、存储介质及机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105698807A (zh) * 2016-02-01 2016-06-22 郑州金惠计算机系统工程有限公司 一种适用于变电站智能巡检机器人的激光导航系统
CN105759647A (zh) * 2016-02-22 2016-07-13 江苏大学 一种基于巡检小车与借地址路由算法的养猪场环境监控方法
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105698807A (zh) * 2016-02-01 2016-06-22 郑州金惠计算机系统工程有限公司 一种适用于变电站智能巡检机器人的激光导航系统
CN105759647A (zh) * 2016-02-22 2016-07-13 江苏大学 一种基于巡检小车与借地址路由算法的养猪场环境监控方法
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于巡检机器人的电气物联网系统集成设计;李久胜等;《中国教育信息化》;20180210(第04期);全文 *

Also Published As

Publication number Publication date
CN109977813A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN110599541B (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
CN105302151B (zh) 一种飞机入坞引导和机型识别的系统及方法
CN112766103B (zh) 一种机房巡检方法及装置
CN111897332A (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN112990310A (zh) 服务于电力机器人的人工智能系统及方法
CN111582234B (zh) 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN112668696A (zh) 一种基于嵌入式深度学习的无人机电网巡检方法和系统
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN110826549A (zh) 基于计算机视觉的巡检机器人仪表图像识别方法及系统
Rong et al. A peduncle detection method of tomato for autonomous harvesting
CN109544548A (zh) 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN111968048A (zh) 电力巡检少样本图像数据增强方法及系统
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN116310891A (zh) 一种云边协同输电线路缺陷智能检测系统和方法
Suprapto et al. The detection system of helipad for unmanned aerial vehicle landing using yolo algorithm
CN117215316B (zh) 基于协同控制与深度学习的驾驶环境感知的方法和系统
CN109636856A (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法
KR20230061612A (ko) 머신 러닝을 이용한 물체의 피킹 자동화 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant