CN114202584B - 自动视觉扫描生成巡检任务的方法及巡检机器人 - Google Patents

自动视觉扫描生成巡检任务的方法及巡检机器人 Download PDF

Info

Publication number
CN114202584B
CN114202584B CN202210136351.XA CN202210136351A CN114202584B CN 114202584 B CN114202584 B CN 114202584B CN 202210136351 A CN202210136351 A CN 202210136351A CN 114202584 B CN114202584 B CN 114202584B
Authority
CN
China
Prior art keywords
image
images
inspection
robot
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210136351.XA
Other languages
English (en)
Other versions
CN114202584A (zh
Inventor
陈玖霖
刘爽
闵济海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tetra Electronic Technology Co ltd
Original Assignee
Nanjing Tetra Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tetra Electronic Technology Co ltd filed Critical Nanjing Tetra Electronic Technology Co ltd
Priority to CN202210136351.XA priority Critical patent/CN114202584B/zh
Publication of CN114202584A publication Critical patent/CN114202584A/zh
Application granted granted Critical
Publication of CN114202584B publication Critical patent/CN114202584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种自动视觉扫描生成巡检任务的方法及巡检机器人，针对待巡检的行进道路方向视角的180°广角范围进行不间断连续旋转扫描，并在扫描过程中录像保存视频流；对视频流等间隔抽帧采样，将每一视频帧的图像与其时空坐标集建立对应关系，再将所有图像送入YOLOv4目标检测网络进行解析与筛选；对筛选后的图像进行场景相似度判定，直至遍历所有筛选后的图像，生成预置巡检任务表。本发明结合目标检测与图像评估算法，在流程上一步到位解决了设备添加与巡检点添加，且均为自动生成，同时可以采用其他备选点位，相对人工拍摄减少了大量时间。

Description

自动视觉扫描生成巡检任务的方法及巡检机器人
技术领域
本发明涉及机器人巡检技术，具体涉及一种自动视觉扫描生成巡检任务的方法及巡检机器人。
背景技术
当前国内巡检机器人或类似产品大多基于手动设置巡检点，或定点摄像拍摄检测各个仪表，在巡检任务开始前，工作人员手动操作机器人并调整机器人以及摄像云台位置，在合适角度设置巡检点，重复此项操作并遍历整个巡检场所即完成巡检任务的设置。巡检任务设定完成后，工作人员对每一个巡检点中根据所需要识别的表计进行配置，完成巡检设备的梳理。
对上述现有方法而言，相对于固定摄像头巡检机器人本身已经具有较强的灵活性，针对一个固定场景已经不需要安装多个定点摄像头设备进行检查。
但当前国内大部分巡检机器人依旧基于工作人员手动执行巡检点设置，当现场机柜庞大或设备数量巨大时，即使是设置初始巡检点也需要操作员花费大量的时间进行布置，对于体态庞大或数量巨大的现场来说，人力的时间的资源成本开销将相当之巨大。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种自动视觉扫描生成巡检任务的方法及巡检机器人。
技术方案：本发明的一种自动视觉扫描生成巡检任务的方法，包括以下步骤：
步骤1：启动巡检机器人，使其进入设备探索状态，巡检机器人开启仪表设备巡查模式，并开启搭载有可见光摄像头的云台；针对当前行进道路方向视角的180°广角范围进行不间断连续旋转扫描，并在扫描过程中录像保存视频流；
步骤2：步骤1扫旋转描过程中，当视频流传回时进行等间隔抽帧采样，设采样间隔 时间为t（例如t取0.5s，设置t的时间间隔能够保证视频清晰以及两图仪表重叠率不过高）， 并与当前时间进行同步记录设为
Figure 442206DEST_PATH_IMAGE001
，同时每隔t时间记录机器人以及云台当前的位置坐标， 即机器人可根据抽帧图像的当前时刻返回真实时刻的空间位置信息，因此可在该帧对应的 时间记录当前机器人位置坐标与云台坐标集合，由此得出当前视频帧图像的时空坐标集
Figure 52179DEST_PATH_IMAGE002
；
步骤3：将每一视频帧的图像
Figure 81315DEST_PATH_IMAGE003
与其时空坐标集
Figure 852961DEST_PATH_IMAGE002
建立对应关系；
Figure 600338DEST_PATH_IMAGE004
，
其中
Figure 764734DEST_PATH_IMAGE005
分别表示机器人在整个场景中的位置坐标；
Figure 648376DEST_PATH_IMAGE006
为云台当前的上升高度，取值范围为
Figure 856504DEST_PATH_IMAGE007
，
Figure 825597DEST_PATH_IMAGE008
表示云台最大上升高度；
Figure 528105DEST_PATH_IMAGE009
表示当前云台摄像头摄影方向的水平旋转角度，取值范围为
Figure 266253DEST_PATH_IMAGE010
，此处0° 为云台摄影正方向，即默认方向；
Figure 379703DEST_PATH_IMAGE011
表示云台摄像头的俯仰视角度，取值范围为
Figure 836092DEST_PATH_IMAGE012
，此处0°表示水平方 向，-90°为垂直地面向下拍摄，90°为垂直地面向上拍摄；
然后在机器人扫描完整个区间后将所有图像送入目标检测网络进行解析与筛选； 解析时记录对应图像中检出仪表的个数
Figure 325979DEST_PATH_IMAGE013
、类别数
Figure 184214DEST_PATH_IMAGE014
、全部检测目标的平均置信度
Figure 484876DEST_PATH_IMAGE015
；
步骤4：对步骤3筛选后的图像进行场景相似度判定，以图像拍摄时的原始时间先 后顺序排列，并设置相似度比对梯度
Figure 428562DEST_PATH_IMAGE016
，即每隔
Figure 722140DEST_PATH_IMAGE016
张分为另一梯度，并在该
Figure 169301DEST_PATH_IMAGE016
张内的图像进 行相似度判定，在该梯度内以检出仪表数
Figure 890133DEST_PATH_IMAGE013
和平均置信度
Figure 71847DEST_PATH_IMAGE015
依次为参考依据，选择其值最 高的图像作为比对参考图像，依次对下一张目标图像进行SIFT匹配，即将目标图像与基准 图像进行SIFT匹配，若能够匹配则认为这两个图像在该SIFT匹配下相似，然后将SIFT匹配 相似且图像中仪表类别数
Figure 903536DEST_PATH_IMAGE014
均相同的图像归为新的一组，若匹配不上则归为另一组，并进 行该组内的判断，直至对该梯度内的所有图像进行迭代判定；
在新的这一组图像中选择检出仪表数
Figure 205205DEST_PATH_IMAGE013
和平均置信度
Figure 362517DEST_PATH_IMAGE015
依次为参考依据，选择值 最高的图像作为预置巡检点图像，将该梯度中其他图像作为参考巡检点；然后依次针对每 一梯度进行同样操作，若到最后分割不均，则剩余图像单成一组，直至遍历所有筛选后的图 像，生成预置巡检任务表；
步骤5：管理员查看所有预选图像与预置巡检点图像，并根据实际需求进行筛选、替换、增删巡检点，并生成人工修正后的最后巡检点集以及对应的巡检任务，同时其他参考巡检点信息依旧保存，需要时可以采用。
进一步地，所述YOLOv4目标检测网络包括24个卷积层和2个全连接层，其中卷积层使用1x1卷积来做channel reduction，然后紧跟3x3卷积，且卷积层和全连接层中均采用Leaky ReLU激活函数，最后一层采用线性激活函数；
图像输入YOLOv4目标检测网络后，首先调整为416×416，进入CNN卷积层，主干网络采用CSPDarkNet53，其组成为CSPNet与DarkNet53，Darknet53共有5个大残差块，通过残差网络将输入层与输出层的结果相加；卷积后的池化层采用SPP实现，即空间金字塔池化，然后采用PANet进行实例分割，生成目标box，并通过YOLO head进行最后的特征拼接，输出box完成目标检测与分割提取。
进一步地，上述步骤4相似度判断是指将目标图像与基准图像进行SIFT匹配，若能够匹配则认为这两个图像在该SIFT匹配下相似，然后依次对该梯度内的所有图像进行迭代判定。
进一步地，步骤3中解析时记录对应图像中检出仪表的个数
Figure 15215DEST_PATH_IMAGE017
、类别数
Figure 385016DEST_PATH_IMAGE018
、全部检测 目标的平均置信度
Figure 806770DEST_PATH_IMAGE019
；若图像中无仪表则删除该图像，当仪表数量存在但数量少于预设阈 值，则继续判断这些目标检测框（目标检测框由目标检测网络识别仪表后生成）的平均置信 度，若平均置信度低于预设值则删除该图像；其余未删除的图像记录有仪表的个数
Figure 620137DEST_PATH_IMAGE017
、类别 数
Figure 494552DEST_PATH_IMAGE018
、全部检测目标的平均置信度
Figure 933623DEST_PATH_IMAGE019
，将未删除的图像作为预选图像进入步骤4。
本发明还公开一种巡检机器人，该巡检器人设有存储器、处理器以及搭载有可见光摄像头的云台；存储器存储有计算机程序；启动巡检机器人，使其进入设备探索状态，巡检机器人开启仪表设备巡查模式，并开启搭载有可见光摄像头的云台，同时，处理器执行计算机程序以实现上述自动视觉扫描生成巡检任务的方法。
有益效果：与现有技术相比，本发明具有以下优点：
（1）、本发明相对于当前需要人工设置巡检点取消了在庞大任务下的重复人力成本使用，使巡检机器人能够根据当前环境自己进行数据采集与识别，减少了大量的人力资源用于巡检前的准备工作。
（2）、本发明结合目标检测与图像评估算法，在流程上一步到位解决了设备添加与巡检点添加，且均为自动生成，同时可以采用其他备选点位，相对人工拍摄减少了大量时间。
（3）、本发明在采集视频与图像过程中保存有图像的时空信息，即针对视频也可以还原出相关的位置信息，对于后期出现偏差时校准有一定的辅助作用。
附图说明
图1为本发明的整体流程示意图；
图2为本发明中的目标检测网络示意图；
图3为本发明网络示意图；
图4为实施例中巡检任务列表示意图；
图5为实施例中巡检点集示例图；
图6为实施例中巡检点平面位置示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示，本实施例的自动视觉扫描生成巡检任务的方法，包括以下步骤：
步骤1：针对当前待巡检的行进道路方向视角的180°广角范围进行不间断连续旋转扫描，并在扫描过程中录像保存视频流；
步骤2：步骤1扫旋转描过程中，当视频流传回时进行等间隔抽帧采样，设采样间隔 时间为t，并与当前时间进行同步记录设为
Figure 475463DEST_PATH_IMAGE001
，同时每隔t时间记录机器人以及云台当前的 位置坐标，即机器人可根据抽帧图像的当前时刻返回真实时刻的空间位置信息，因此可在 该帧对应的时间记录当前机器人位置坐标与云台坐标集合，由此得出当前视频帧图像的时 空坐标集
Figure 708998DEST_PATH_IMAGE002
；
Figure 70710DEST_PATH_IMAGE004
，
其中
Figure 782314DEST_PATH_IMAGE005
分别表示机器人在整个场景中的位置坐标，取值范围根据机器人地 图范围而定；
Figure 929392DEST_PATH_IMAGE006
为云台当前的上升高度，取值范围为
Figure 599408DEST_PATH_IMAGE007
，
Figure 448415DEST_PATH_IMAGE008
表示云台最大上升高度；
Figure 963710DEST_PATH_IMAGE009
表示当前云台摄像头摄影方向的水平旋转角度，取值范围为
Figure 214563DEST_PATH_IMAGE010
，此处0° 为云台摄影正方向，即默认方向；
Figure 789901DEST_PATH_IMAGE011
表示云台摄像头的俯仰视角度，取值范围为
Figure 126204DEST_PATH_IMAGE012
，此处0°表示水平方 向，-90°为垂直地面向下拍摄，90°为垂直地面向上拍摄；
步骤3：将每一视频帧的图像
Figure 455642DEST_PATH_IMAGE003
与其时空坐标集
Figure 561002DEST_PATH_IMAGE002
建立对应关系，然后在机器人扫 描完整个区间后将所有图像送入目标检测网络进行解析与筛选；解析时记录对应图像中检 出仪表的个数
Figure 307241DEST_PATH_IMAGE013
、类别数
Figure 130840DEST_PATH_IMAGE014
、全部检测目标的平均置信度
Figure 253517DEST_PATH_IMAGE015
；若图像中无仪表则删除该图像， 当仪表数量存在但数量少于预设阈值，则继续判断这些目标检测框的置信度，若太低则删 除；其余未删除的图像记录有仪表上述三类数据，将未删除的图像作为预选图像进入步骤 4；其中，通过目标检测网络对原图进行检测，首先仪表个数
Figure 213383DEST_PATH_IMAGE013
依据获取检出的目标长度获 得，类别数
Figure 881256DEST_PATH_IMAGE014
则根据检出类别进行去重累加，平均置信度
Figure 457731DEST_PATH_IMAGE015
则计算所有检出目标除以检出数 量来获得；
步骤4：对步骤3筛选后的图像进行场景相似度判定，以图像拍摄时的原始时间先 后顺序排列，并设置相似度比对梯度
Figure 118519DEST_PATH_IMAGE016
，即每隔
Figure 932891DEST_PATH_IMAGE016
张分为另一梯度，并在该
Figure 286512DEST_PATH_IMAGE016
张内的图像进 行相似度判定，在该梯度内以检出仪表数
Figure 819125DEST_PATH_IMAGE013
和平均置信度
Figure 18025DEST_PATH_IMAGE015
依次为参考依据，选择其值最 高的图像作为比对参考图像，依次对下一张目标图像进行SIFT匹配，即将目标图像与基准 图像进行SIFT匹配，若能够匹配则认为这两个图像在该SIFT匹配下相似，然后将SIFT匹配 相似且图像中仪表类别数
Figure 968795DEST_PATH_IMAGE014
均相同的图像归为新的一组，若匹配不上则归为另一组，并进 行该组内的判断，直至对该梯度内的所有图像进行迭代判定；在新的这一组图像中选择检 出仪表数、平均置信度
Figure 493317DEST_PATH_IMAGE015
依次为参考，选择值最高的图像作为预置巡检点图像，将该梯度中 其他图像作为参考巡检点；然后依次针对每一梯度进行同样操作，若到最后分割不均，则剩 余图像单成一组，直至遍历所有筛选后的图像，生成预置巡检任务表；
步骤5：管理员查看所有预选图像与预置巡检点图像，并根据实际需求进行筛选、替换、增删巡检点，并生成人工修正后的最后巡检点集以及对应的巡检任务，同时其他参考巡检点信息依旧保存，需要时可以采用。
本发明在采集视频与图像过程中保存有图像的时空信息，即针对视频也可以还原出相关的位置信息，对于后期出现偏差时校准有一定的辅助作用，具体还原位置信息的方法为：根据视频抽帧的时空信息进行还原，每一帧图像对应了一个时空坐标，将所有抽帧图像按时间顺序重新生成视频，时间长度即为首尾两张抽帧图像的时空坐标间隔，生成后的视频在每一节点自带时空坐标，即可动态还原机器人的位置。
上述步骤3中，将对应图像输入目标检测网络后，输入的图像首先会被resize到416x416，然后送入CNN网络，最后处理网络预测结果得到检测的目标，最终输出图像中物体位置和类别。
如图2所示，本实施例的YOLOv4目标检测网络包括24个卷积层和2个全连接层，其中卷积层使用1x1卷积来做channel reduction，然后紧跟3x3卷积，且卷积层和全连接层中均采用Leaky ReLU激活函数，最后一层采用线性激活函数；图像输入YOLOv4目标检测网络后，首先调整为416×416，进入CNN卷积层，主干网络采用CSPDarkNet53，其组成为CSPNet与DarkNet53，Darknet53共有5个大残差块，通过残差网络将输入层与输出层的结果相加；卷积后的池化层采用SPP实现，即空间金字塔池化，然后采用PANet进行实例分割，生成目标box，并通过YOLO head进行最后的特征拼接，输出box完成目标检测与分割提取。通过CSPNet可增强CNN的学习能力，能够在轻量化的同时保持准确性、降低计算瓶颈、降低内存成本。
本实施例的巡检机器人设有存储器、处理器以及搭载有可见光摄像头的云台；存储器存储有计算机程序；启动巡检机器人，使其进入设备探索状态，巡检机器人开启仪表设备巡查模式，并开启搭载有可见光摄像头的云台，同时，处理器执行计算机程序以实现上述自动视觉扫描生成巡检任务的方法。该巡检机器人能够自动巡检大型设备场景，基于其存储器中的计算机程序，自动巡检过程中能够识别和判断图像中的仪表数量、个数和平均置信度，做出解析和筛选，直至巡检结束生成巡检任务列表和巡检点集以及巡检平面。
实施例：
启动带有本发明方法的巡检机器人，并从前端控制机器人进入设备巡查模式，将其初始位置遥控至场景的起始点，并在地图页面规划好固定线路。机器人开始沿规划好的线路行进，并慢速匀速水平转动搭载有可见光摄像机的云台。自动旋转的范围为水平方向[-90°，90°]，即以两侧为主，垂直方向为[-45°，45°]，主要用以辅助巡查可能在某些低处或高处漏掉的设备。同时进行视频录制，录制视频时以每0.5s记录一次机器人以及云台的位置信息。
根据不同现场的仪表设备个数、场地大小，录制视频的时长可能不一致，本实施例中录制时长为3分钟，录制完成后保存录制的视频流并获取录制的起始与结束时间。
以视频起始的第一帧图像作为抽帧的起始图像，并以录制起始时间为首帧图像的时间坐标，之后以每0.5s为间隔进行抽帧，由于在录制视频时已经对每0.5s间隔的位置信息进行记录，因此抽帧后的图像位置坐标即可认定为同等时间视频中的位置信息，此时便可以对每一帧的图像打上一个其时空信息的标签。
打上标签后的每一帧图像即与现场位置建立了动态的关联，方便在后续筛选出巡检点后直接获得机器人与云台的位置关系。现在将所有抽帧图像依次送入仪表目标检测网络进行第一次筛选，若网络未检测到目标仪表则直接删除该帧图像，若存在目标仪表，在本实施例中我们严格控制仪表个数阈值，即认为只要存在仪表（N≥1）即为有效样本，暂不判定置信度，实际使用时若仪表数量太多，可根据情况修改阈值，再进行置信度判定进行筛选。
通过第一次筛选去除了没有目标仪表的无效帧，对剩余的图像根据数量进行梯度划分，默认梯度为7（可根据实际数量设置），在该梯度内以检出仪表数、平均置信度依次为参考依据，选择其值最高的图像作为比对参考图像，依次对组内其他图像进行判定迭代。若能够进行匹配则将其与参考图像归为新的一组，若匹配失败则将比对图像归为新的一组，再重复以上操作迭代判断新一组的相似度。
在新的一组图像中以检出仪表数、平均置信度依次为参考，选择值最高的图像作为预置巡检点图像，其余为参考点巡检点。如此操作遍历所有第一次筛选后的图像，完成所有图像的预置巡检点筛选并生成预置巡检任务表，如图4至图6所示，为通过本实施例方法所得巡检任务列表、巡检点集和巡检点平面位置。
根据图4所得列表，管理员可以查看所有的自动分组并调节图像，或增删、替换巡检点，生成最终的巡检任务。
此处实施例中对比实验主要针对采用原有技术的耗时的经验与实践时间，即众多项目的生成巡检任务表的平均时长为天级别，集合大小场景平均时间为1天，主要用时在于人工部署。从图中可以看出：本发明主要用时在于对视频帧图像的检测，以3分钟视频每0.5s取帧为实施例，共抽帧360张，检测时间上限设为5s一张，耗时30分钟，检测后的评估解析总时间上限（考虑极端检测数量多分组多的情形）约为10分钟，因此到预置任务表生成约为40分钟。管理员根据实际进行修改命名上限时间设为半小时，生成最终任务列表总耗时约为1小时10分钟。由此可见本发明在耗时上即使为极端情况，仍然有较大优势。
通过上述实施例可以看出，通过本发明方法优化改进了现有技术中巡检点配置的过程，一般大型场景若巡检点与设备较多，在设置巡检点时的人工操作时间级别即为小时，设备配置更可能为天级别。本发明技术方案在前期设备探索时即录像完成设备检测，即使是大型场景，耗时仍在小时内，在录制完成后的筛选过程中总耗时为分钟级别。因此相比于人工设置效率提升接近百倍，时间消耗从小时甚至天级减小到小时甚至分钟级别。

Claims (4)

1.一种自动视觉扫描生成巡检任务的方法，其特征在于：包括：
步骤1：针对当前待巡检的行进道路方向视角的180°广角范围进行不间断连续旋转扫描，并在扫描过程中录像保存视频流；
步骤2：步骤1扫旋转描过程中，当视频流传回时进行等间隔抽帧采样，设采样间隔时间为t，并与当前时间进行同步记录设为
Figure 303203DEST_PATH_IMAGE001
，同时每隔t时间记录巡检机器人以及云台当前的位置坐标，即机器人可根据抽帧图像的当前时刻返回真实时刻的空间位置信息，因此可在该帧对应的时间记录当前机器人位置坐标与云台坐标集合，由此得出当前视频帧图像的时空坐标集
Figure 836953DEST_PATH_IMAGE002
；
步骤3：将每一视频帧的图像
Figure 625917DEST_PATH_IMAGE003
与其时空坐标集
Figure 55762DEST_PATH_IMAGE002
建立对应关系，
Figure 562966DEST_PATH_IMAGE004
，
其中
Figure 634828DEST_PATH_IMAGE005
分别表示机器人在整个场景中的位置坐标；
Figure 29031DEST_PATH_IMAGE006
为云台当前的上升高度，取值范围为
Figure 895356DEST_PATH_IMAGE007
，
Figure 624277DEST_PATH_IMAGE008
表示云台最大上升高度；
Figure 499830DEST_PATH_IMAGE009
表示当前云台摄像头摄影方向的水平旋转角度，取值范围为
Figure 263386DEST_PATH_IMAGE010
，此处0°为云台摄影正方向，即默认方向；
Figure 35033DEST_PATH_IMAGE011
表示云台摄像头的俯仰视角度，取值范围为
Figure 533142DEST_PATH_IMAGE012
，此处0°表示水平方向，-90°为垂直地面向下拍摄，90°为垂直地面向上拍摄；
然后在机器人扫描完整个区间后将所有图像送入YOLOv4目标检测网络进行解析与筛选；
步骤4：对步骤3筛选后的图像进行场景相似度判定，以图像拍摄时的原始时间先后顺序排列，并设置相似度比对梯度
Figure 681226DEST_PATH_IMAGE013
，即每隔
Figure 299289DEST_PATH_IMAGE013
张分为另一梯度，并在该
Figure 241838DEST_PATH_IMAGE013
张内的图像进行相似度判定，在该梯度内以检出仪表数
Figure 210931DEST_PATH_IMAGE014
和平均置信度
Figure 162706DEST_PATH_IMAGE015
依次为参考依据，选择其值最高的图像作为比对参考图像，依次对下一张目标图像进行SIFT匹配，即将目标图像与基准图像进行SIFT匹配，若能够匹配则认为这两个图像在该SIFT匹配下相似，然后将SIFT匹配相似且图像中仪表类别数
Figure 635276DEST_PATH_IMAGE016
均相同的图像归为新的一组；若匹配不上则归为另一组，并进行该组内的判断，直至对该梯度内的所有图像进行迭代判定；
在新的这一组图像中选择检出仪表
Figure 765037DEST_PATH_IMAGE014
和平均置信度
Figure 955847DEST_PATH_IMAGE015
依次为参考依据，选择值最高的图像作为预置巡检点图像，将该梯度中其他图像作为参考巡检点；然后依次针对每一梯度进行同样操作，若到最后分割不均，则剩余图像单成一组，直至遍历所有筛选后的图像，生成预置巡检任务表；
步骤5：管理员查看所有预选图像与预置巡检点图像，并根据实际需求进行筛选、替换、增删巡检点，并生成人工修正后的最后巡检点集以及对应的巡检任务，同时其他参考巡检点信息依旧保存，需要时可以采用。
2.根据权利要求1所述的自动视觉扫描生成巡检任务的方法，其特征在于：步骤3中解析时记录对应图像中检出仪表的个数
Figure 445734DEST_PATH_IMAGE017
、类别数
Figure 303969DEST_PATH_IMAGE018
、全部检测目标的平均置信度；
若图像中无仪表则删除该图像，当仪表数量存在但数量少于预设阈值，则继续判断这些目标检测框的平均置信度，若平均置信度低于预设值，则删除该图像；其余未删除的图像记录有仪表的个数
Figure 853899DEST_PATH_IMAGE014
、类别数
Figure 266425DEST_PATH_IMAGE016
、全部检测目标的平均置信度
Figure 593893DEST_PATH_IMAGE015
，将未删除的图像作为预选图像进入步骤4。
3.根据权利要求1所述的自动视觉扫描生成巡检任务的方法，其特征在于：所述YOLOv4目标检测网络包括24个卷积层和2个全连接层，其中卷积层使用1x1卷积来做channelreduction，然后紧跟3x3卷积，且卷积层和全连接层中均采用Leaky ReLU激活函数，最后一层采用线性激活函数；
图像输入YOLOv4目标检测网络后，首先调整为416×416，进入CNN卷积层，主干网络采用CSPDarkNet53，其组成为CSPNet与DarkNet53，Darknet53共有5个大残差块，通过残差网络将输入层与输出层的结果相加；卷积后的池化层采用SPP实现，即空间金字塔池化，然后采用PANet进行实例分割，生成目标box，并通过YOLO head进行最后的特征拼接，输出box完成目标检测与分割提取。
4.一种巡检机器人，其特征在于：该巡检机 器人设有存储器、处理器以及搭载有可见光摄像头的云台；存储器存储有计算机程序；启动巡检机器人，使其进入设备探索状态，巡检机器人开启仪表设备巡查模式，并开启搭载有可见光摄像头的云台，同时，处理器执行计算机程序以实现权利要求1至3任意一项所述自动视觉扫描生成巡检任务的方法。
CN202210136351.XA 2022-02-15 2022-02-15 自动视觉扫描生成巡检任务的方法及巡检机器人 Active CN114202584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210136351.XA CN114202584B (zh) 2022-02-15 2022-02-15 自动视觉扫描生成巡检任务的方法及巡检机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210136351.XA CN114202584B (zh) 2022-02-15 2022-02-15 自动视觉扫描生成巡检任务的方法及巡检机器人

Publications (2)

Publication Number Publication Date
CN114202584A CN114202584A (zh) 2022-03-18
CN114202584B true CN114202584B (zh) 2022-04-22

Family

ID=80658980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210136351.XA Active CN114202584B (zh) 2022-02-15 2022-02-15 自动视觉扫描生成巡检任务的方法及巡检机器人

Country Status (1)

Country Link
CN (1) CN114202584B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455275B (zh) * 2022-11-08 2023-02-03 广东卓维网络有限公司 融合巡检设备的视频处理系统
CN115922729B (zh) * 2023-01-05 2023-10-03 中国长江电力股份有限公司 一种用于物资盘点的智能机器人
CN115830518B (zh) * 2023-02-15 2023-05-09 南京瀚元科技有限公司 一种红外场景下电力巡检视频智能抽帧的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107036594A (zh) * 2017-05-07 2017-08-11 郑州大学 智能电站巡检智能体的定位与多粒度环境感知技术
CN109739239A (zh) * 2019-01-21 2019-05-10 天津迦自机器人科技有限公司 一种用于巡检机器人的不间断仪表识别的规划方法
CN113221805A (zh) * 2021-05-25 2021-08-06 云南电网有限责任公司电力科学研究院 一种电力设备图像位置获取方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107036594A (zh) * 2017-05-07 2017-08-11 郑州大学 智能电站巡检智能体的定位与多粒度环境感知技术
CN109739239A (zh) * 2019-01-21 2019-05-10 天津迦自机器人科技有限公司 一种用于巡检机器人的不间断仪表识别的规划方法
CN113221805A (zh) * 2021-05-25 2021-08-06 云南电网有限责任公司电力科学研究院 一种电力设备图像位置获取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于导线纹理的架空导线巡检机器人视觉定位;李松涛;《仪表技术与传感器》;20220130(第1期);第77-81页 *

Also Published As

Publication number Publication date
CN114202584A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN114202584B (zh) 自动视觉扫描生成巡检任务的方法及巡检机器人
CN103324937B (zh) 标注目标的方法和装置
CN109871763B (zh) 一种基于yolo的特定目标跟踪方法
CN111401146A (zh) 一种无人机电力巡检方法、设备及存储介质
CN110570454B (zh) 一种检测异物入侵的方法及装置
CN111460984A (zh) 一种基于关键点与梯度均衡损失的全局车道线检测方法
CN112102372A (zh) 一种针对机场地面对象的跨摄像头轨迹跟踪系统
CN105898107B (zh) 一种目标物体抓拍方法及系统
CN110288586A (zh) 一种基于可见光图像数据的多尺度输电线路缺陷检测方法
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
KR101558467B1 (ko) 지피에스 수신기의 동선에 따라 수치지도에 링크된 수치좌표를 보정하는 수치정보 시스템
CN108090896B (zh) 木板平整度检测及其机器学习方法、装置及电子设备
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN113822844A (zh) 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质
CN114708520A (zh) 一种输电线路上电力金具缺陷图像识别处理方法
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN114035606A (zh) 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质
CN113295142B (zh) 一种基于faro扫描仪和点云的地形扫描分析方法和装置
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
CN113160209A (zh) 用于建筑外立面损伤检测的目标标注方法及目标识别方法
CN111723643B (zh) 一种基于固定区域周期性图像采集的目标检测方法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN111583388A (zh) 一种三维扫描系统的扫描方法及设备
CN116132636A (zh) 煤矿综采工作面视频拼接方法和装置
CN115272815A (zh) 一种基于图像的电缆隧道环境异常识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant