CN115393278A - 压板状态巡检方法、系统、机器人及存储介质 - Google Patents

压板状态巡检方法、系统、机器人及存储介质 Download PDF

Info

Publication number
CN115393278A
CN115393278A CN202210875020.8A CN202210875020A CN115393278A CN 115393278 A CN115393278 A CN 115393278A CN 202210875020 A CN202210875020 A CN 202210875020A CN 115393278 A CN115393278 A CN 115393278A
Authority
CN
China
Prior art keywords
pressing plate
image
module
contour
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210875020.8A
Other languages
English (en)
Inventor
李康顺
黄旭灵
赵雪
王健聪
陈灿
李绍韬
周威驰
陈伟林
王文祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202210875020.8A priority Critical patent/CN115393278A/zh
Publication of CN115393278A publication Critical patent/CN115393278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种压板状态巡检方法、系统、机器人及存储介质，方法包括：获取作业点区域的压板图像；将所述压板图像转换为灰度图，对灰度图进行处理后得到压板图像轮廓；判断压板图像轮廓是否完整，若轮廓完整，则满足检测需求，图像采集单元的位置无需进行调整；若轮廓残缺，则不满足检测需求，通过图像采集单元获取检测物轮廓中心与智能巡检机器人的距离，并根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整；构建压板状态检测模型并进行训练；将待检测的保护压板图像传输到训练好的压板状态检测模型中，得到待检测压板图像的目标标签信息与标签预测概率信息。本发明极大提高检测精度及检测效率。

Description

压板状态巡检方法、系统、机器人及存储介质
技术领域
本发明属于智能巡检的技术领域，具体涉及一种压板状态巡检方法、系统、机器人及存储介质。
背景技术
随着电网规模的不断扩大，电压等级较高的输电线路主保护由过去的一套发展到了几套，保护压板(保护连片)由十几个发展到了几十个，压板的投退方式也由单独的投1端发展到投2～3端，压板与压板之间的联系随处可见。压板的断开与闭合决定了电路的通断，压板连接方式应准确无误，否则可能产生严重后果，但是长期以来，压板管理是继电保护管理的一个薄弱环节。电网保护设备类型繁多，保护压板名称、作用不统一，投退状态逻辑关联复杂，人工监测压板状态容易产生视觉疲劳、记忆错觉等现象，造成压板操作错误频繁发生。
在变电站的实际工作中，为了防止出现对保护压板的误操作，目前的主要措施是严格规章制度，提高保护整定人员的素质和责任感，采取双人反复核查，一人读取某一压板位置，另一人与所要求压板位置的原始库对照，决定压板的实际位置是否正确，若接错，应反复检查更正。变电站维护人员日常工作任务都需要对保护压板状态进行巡视检查，并制作保护压板投退表，这样采取人工检查的方式不仅耗时且浪费人力，对检查结果的准确性也无法保证。由于复杂的、不可控的人为因素，一旦保护压板的巡检操作出现失误，则只有当发生相关事故后才能得以纠正，对变电站设备运行安全危害极大。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种压板状态巡检方法、系统、机器人及存储介质，通过本发明的技术方案，可以大大提高检测精度及检测效率。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面提供了一种压板状态巡检方法，所述方法在智能巡检机器人上执行，包括：
利用智能巡检机器人上设置的图像采集单元获取作业点区域的压板图像；
将所述压板图像转换为灰度图，对灰度图进行处理后得到压板图像轮廓；
判断压板图像轮廓是否完整，若轮廓完整，则满足检测需求，图像采集单元的位置无需进行调整；若轮廓残缺，则不满足检测需求，通过图像采集单元获取检测物轮廓中心与智能巡检机器人的距离，并根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整；
构建压板状态检测模型，对进行训练得到训练好的压板状态检测模型，所述压板状态检测模型包括输入层Input、主干网络Backbone、颈部结构Neck和输出层Output；所述输入层Input是对所输入的压板图像进行预处理；所述主干网络Backbone用于特征映射图以及将特征映射图输出至颈部结构Neck中；所述颈部结构Neck使用特征金字塔网络FPN和金字塔自注意力网络PAN的结构，FPN结构自顶向下将高层的特征信息通过上采样的方式进行传递融合，使得底层特征图包含更强的保护压板语义信息，PAN结构自底向上进行下采样，使顶层特征包含强保护压板位置信息，最后将顶层特征和底层特征进行融合，使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息；所述输出层Output将颈部结构Neck中各分支结果分别通过卷积处理，生成边界框和预测目标的类别；
将待检测的保护压板图像传输到训练好的压板状态检测模型中，得到待检测压板图像的目标标签信息与标签预测概率信息，将所述目标标签信息与标签预测概率信息存储到数据库。
作为优选的技术方案，在利用智能巡检机器人上设置的图像采集单元获取作业点区域的压板图像的步骤之前，还包括下述步骤：
通过SLAM算法对变电站工作环境构建工作地图，并在所述工作地图上设置智能巡检机器人的作业点，通过智能巡检机器人的导航单元到达指定作业点。
作为优选的技术方案，所述根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整，具体为：
将目标轮廓中心点的X、Y、Z通过转换计算得到巡检机器人的微调偏移量和伸缩杆的伸缩量并将偏移量与伸缩量传输给控制模块，控制模块通过对机器人发布指令使巡检机器人对拍摄点进行微调。
作为优选的技术方案，所述主干网络Backbone通过CBS模块、CSP1_X模块以及快速空间金字塔池化SPPF模块形成特征映射图，以及将特征映射图输出至颈部结构Neck中，具体实现如下：
CBS模块由卷积层Conv、具有加快训练收敛的特征的归一化网络层BN和激活函数SiLu组成；
所述CSP1_X模块中，输入至CSP1_X模块的输入数据依次经过1个CBS模块、X个Resunit模块、Conv处理后和经过Conv处理后的输入数据进行张量拼接，扩充为两个张量的维度；
所述SPPF模块中，输入至SPPF模块的数据经过CBS模块处理后的依次经过三个MaxPool层处理后将每次经过MaxPool处理后的数据与经过CSB模块处理后的数据进行Concat操作后经过CBS模块处理后输出。
作为优选的技术方案，所述CBS模块的参数表示为(c_in，c_out，kernel_size，stride)，其中，c_in表示输入通道的大小，c_out表示输出通道的大小，kernel_size表示卷积核大小，stride表示步长；
所述CSP1_X模块的参数表示为(c_in，c_out)×该模块堆叠的次数；
所述SPPF模块的参数表示为(c_in，c_out，kernel_size)。
作为优选的技术方案，压板状态检测模型的损失函数Loss由分类损失函数Lcls、边界框回归损失函数Lbox和置信度损失函数Lobj组成，所述Loss的公式表达如下：
Loss＝Lbox+Lcls+Lobj
将分类损失函数Lcls替换为Focal Loss，设p是压板状态检测模型预测的概率，y是某一类别的标签，y＝1为正样本，y＝0为负样本，Focal Loss的具体形式Lfl如下述公式所示：
Lfl＝-αt(1-pt)τlog(pt)
其中，pt反应了分类的难易程度，pt越大，说明分类的置信度越高，代表样本越易分；pt越小，分类的置信度越低，代表样本越难分；αt是一个超参数，用来平衡正负样本的权重，τ参数是用来区分简单/困难样本的。
作为优选的技术方案，所述输出层Output包括Conv2d和sigmoid激活函数，na为每个检测头上的预测框的数量，nc为预测的类的数量即保护压板的是3种状态，3种状态分别为闭合、断开、空闲。
本发明另一方面提供了一种压板状态巡检系统，位于智能巡检机器人上，包括图像采集模块、轮廓处理模块、轮廓识别模块、模型构建模块以及巡检模块；
所述图像采集模块，用于利用智能巡检机器人上设置的图像采集单元获取作业点区域的压板图像；
所述轮廓处理模块，用于将所述压板图像转换为灰度图，对灰度图进行处理后得到压板图像轮廓；
所述轮廓识别模块，用于判断压板图像轮廓是否完整，若轮廓完整，则满足检测需求，图像采集单元的位置无需进行调整；若轮廓残缺，则不满足检测需求，通过图像采集单元获取检测物轮廓中心与智能巡检机器人的距离，并根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整；
所述模型构建模块，用于构建压板状态检测模型，对进行训练得到训练好的压板状态检测模型，所述压板状态检测模型包括输入层Input、主干网络Backbone、颈部结构Neck和输出层Output；所述输入层Input是对所输入的压板图像进行预处理；所述主干网络Backbone用于特征映射图以及将特征映射图输出至颈部结构Neck中；所述颈部结构Neck使用特征金字塔网络FPN和金字塔自注意力网络PAN的结构，FPN结构自顶向下将高层的特征信息通过上采样的方式进行传递融合，使得底层特征图包含更强的保护压板语义信息，PAN结构自底向上进行下采样，使顶层特征包含强保护压板位置信息，最后将顶层特征和底层特征进行融合，使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息；所述输出层Output将颈部结构Neck中各分支结果分别通过卷积处理，生成边界框和预测目标的类别；
所述巡检模块，用于将待检测的保护压板图像传输到训练好的压板状态检测模型中，得到待检测压板图像的目标标签信息与标签预测概率信息，将所述目标标签信息与标签预测概率信息存储到数据库。
本发明又一方面提供了一种智能巡检机器人，所述智能巡检机器人包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的压板状态巡检方法。
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的压板状态巡检方法。
本发明与现有技术相比，具有如下优点和有益效果：
1.本发明中通过构建的压板状态检测模型对压板图像的状态进行检测，压板状态检测模型包括输入层Input、主干网络Backbone、颈部结构Neck和输出层Output；所述颈部结构Neck使用特征金字塔网络FPN和金字塔自注意力网络PAN的结构，FPN结构自顶向下将高层的特征信息通过上采样的方式进行传递融合，使得底层特征图包含更强的保护压板语义信息，PAN结构自底向上进行下采样，使顶层特征包含强保护压板位置信息，最后将顶层特征和底层特征进行融合，使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息，保证了对不同尺寸的保护压板图片的准确预测。
2、本发明通过机器人的导航单元到达指定作业点区域附近并使用双目摄像头获得作业点区域的图像，并提出使用边缘检测算法分析图像中的保护压板轮廓是否完整，可以有效的发现机器人图像采集单元采集照片效果不佳的问题。利用双目摄像头、相机标定与相似三角形原理获得机器人与原作业点的偏移量以及伸缩杆的伸缩量，并将偏移量与伸缩量传输给控制模块对机器人发布指令使机器人的对拍摄点进行微调，使作业点区域的图像满足检测需求。从而改进了现有技术机器人导航至工作点采集照片效果不佳的问题，提高了保护压板状态识别的可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例压板状态巡检方法的结构示意图；
图2为本发明实施例中机器人微调位置原理平面图；
图3为本发明实施例中压板状态检测模型的流程示意图；
图4为本发明实施例中CBS模块的构建示意图；
图5为本发明实施例中CSP1_X模块的构建示意图；
图6为本发明实施例中CSP2_X模块的构建示意图；
图7为本发明实施例中SPPF模块的构建示意图；
图8为本发明实施例中Res unit模块的构建示意图；
图9为本发明实施例压板状态巡检系统的结构示意图；
图10为本发明实施例机器人的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
如图1所示，本实施例提供的一种压板状态巡检方法，该方法在智能巡检机器人上执行，包括下述步骤：
S1、通过SLAM算法对变电站工作环境构建工作地图，并在所述工作地图上设置智能巡检机器人的作业点，通过智能巡检机器人的导航单元到达指定作业点区域附近并使用图像检测单元获得作业点区域的压板图像。
进一步的，所述定位导航模块具有定位、建图、导航功能，包括全局路径规划单元，所述全局路径规划单元用于根据预设的任务信息以及地图信息规划巡检作业过程中的全局运动路径。
进一步的，所述智能巡检机器人的工作模块包括：图像采集单元以及识别检测单元；图像采集单元包括双目摄像头、伸缩杆，双目摄像头设于所述伸缩杆支架上，伸缩杆设于机器人的车身顶部；识别核对单元使用实时目标检测方法，包括：获取双目摄像头所拍摄的图像。将所述图像输入至已训练好的压板状态检测模型，通过所述压板状态检测模型对所述压板图像进行识别和检测，得到保护压板状态的分类和位置信息，并根据预设的保护压板方式表或历史保护压板图对所述保护压板状态信息进行自动核对。
S2、将双目摄像头拍摄的压板图像转换为灰度图，然后使用7×7内核的高斯滤波器对其进行模糊降噪，使用Canny边缘检测器对压板图像边缘进行检测，然后通过膨胀与腐蚀来缩小边缘图中的缝隙，获得压板图像轮廓。
S3、判断压板图像轮廓是否完整，若轮廓完整，则满足检测需求，图像采集单元的位置无需进行调整；若轮廓残缺，则不满足检测需求，通过图像采集单元获取检测物轮廓中心与智能巡检机器人的距离，并根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整。
可以理解的是，双目摄像头的几何原理如图2所示，在三维空间坐标系CXYZ中，左摄像头CL和右摄像头CR处于理想位置关系。其中，左摄像头光轴ZL和右摄像头光轴ZR平行，且直线ZLZR与三维空间坐标系中的X轴垂直。2个成像中心OL、OR的连线为基线b。三维空间中的一点P与两成像中心点OL、OR以及映射点PL和PR处于同一平面，平面与两成像平面的交线被称为极线。根据立体视觉的几何成像原理，双目立体视觉系统中三维的测量如式(1)所示：
Figure BDA0003762076340000061
其中基线b与焦距f为可在双目标定时计算得出；视差d等于同一个点在左视图的列坐标减去在右视图上的列坐标，即d＝XL-XR，可通过立体校正与立体匹配获得。立体校正的目的是将拍摄于同一场景的左右两个视图进行数学上的投影变换，使得两个成像平面平行于基线，且同一个点在左右两幅图中位于同一行，简称共面行对准。立体匹配的目的是为左图中的每一个像素点在右图中找到其对应点(世界中相同的物理点)。
进一步的，将目标轮廓中心点的X、Y、Z通过转换计算得到巡检机器人的微调偏移量和伸缩杆的伸缩量并将偏移量与伸缩量传输给控制模块，控制模块通过对机器人发布指令使巡检机器人对拍摄点进行微调，并通过工作模块进行拍摄于检测。其中，所述控制模块用于根据定位导航模块所提供的定位数据和导航指令控制机器人以及工作模块进行巡检工作。
S4、构建压板状态检测模型；
如图3所示，所述压板状态检测模型包括输入层Input、主干网络Backbone、颈部结构Neck和输出层Output四个部分组成，压板状态检测模型中Neck部分包括特征图金字塔网络和金字塔自注意力网络。
进一步的，输入层Input是对所输入的保护压板图像进行预处理，所述预处理包括但不限于增强、自适应缩放、自适应锚框；主干网络Backbone通过CBS模块与CSP1_X(X为Resunit的数量)模块以及SPPF模块形成特征映射图，以及将特征映射图输出至颈部结构Neck中；颈部结构Neck部分使用特征金字塔网络(Feature Pyramid Networks，FPN)和金字塔自注意力网络(Pyramid Attention Networks，PAN)的结构。FPN结构自顶向下将高层的特征信息通过上采样的方式进行传递融合，使得底层特征图包含更强的保护压板语义信息；PAN结构自底向上进行下采样，使顶层特征包含强保护压板位置信息，两个特征最后进行融合，使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息，保证了对不同尺寸的保护压板图片的准确预测；输出层Output将Neck部分中P1、P2和P3三个分支结果分别通过卷积处理，生成边界框和预测目标的类别，其中，包括Conv2d和sigmoid激活函数，na为每个检测头上的预测框的数量，nc为预测的类的数量即保护压板的是3种状态(on、off、null，闭合、断开、空闲)。
如图3和图4所示，CBS模块可以由卷积(Conv)、BN(Batch Normalization，例如BN为一个具有加快训练收敛的特征的归一化网络层)和SiLu(激活函数)组成,CBS模块的参数为(c_in，c_out，kernel_size，stride)，其中，c_in表示输入通道的大小，c_out表示输出通道的大小，kernel_size表示卷积核大小，stride表示步长。
如图3和图5所示，CSP1_X(X为Res unit的数量)模块的参数表示(c_in，c_out)×该模块堆叠的次数，输入至CSP1_X模块的输入数据依次经过1个CBS模块、X个Res unit模块、Conv处理后和经过Conv处理后的输入数据进行Concat(张量拼接，会扩充两个张量的维度，例如104×104×128和104×104×128两个张量拼接，结果是104×104×256)、BN、LeakyRelu处理后作为输出数据输出，其中Res unit模块如图8所示，输入Res unit模块的数据经过两个CBS模块处理后与输入数据通过add(张量相加，不会扩充维度，例如104×104×128和104×104×128相加，结果还是104×104×128)操作后输出。
如图3和图6所示，CSP2_X(X为2×X个CBS)模块的参数表示(c_in，c_out)×该模块堆叠的次数，输入至CSP2_X模块的数据依次经过1+2×X个CBS模块、Conv处理后和经过Conv处理后的输入数据进行Concat、BN、LeakyRelu处理后作为输出数据输出。
如图3和图7所示，SPPF表示快速空间金字塔池化(Spatial Pyramid PoolingFast)，参数为(c_in，c_out，kernel_size)，输入至SPPF模块的数据经过CBS模块处理后的依次经过三个MaxPool层处理后将每次经过MaxPool处理后的数据与经过CSB模块处理后的数据进行Concat操作后经过CBS模块处理后输出。
进一步的，所述压板状态检测模型的损失函数Loss由分类损失函数Lcls、边界框回归(Bounding box)损失函数Lbox和置信度损失函数Lobj组成，如式(2)所示：
Loss＝Lbox+Lcls+Lobj (2)
通常分类损失函数Lcls采用的是BCE(Binary Cross Entropy，二元交叉熵)损失函数。针对变电站实际工作时的目标检测正负样本不均衡问题，本发明实施例将分类损失函数替换为Focal Loss，Focal Loss可以有效解决one-stage目标检测中图片正负样本不均衡的问题，并且降低简单样本(容易预测正确)的权重，使损失函数更关注困难样本(容易预测错误)。设p是模型预测的概率，y是某一类别的标签，y＝1为正样本，y＝0为负样本，focalloss的具体形式如(3)所示：
Figure BDA0003762076340000081
Figure BDA0003762076340000082
将focal loss表达式(3)统一为一个表达式：
Lfl＝-αt(1-pt)τlog(pt) (4)
其中，pt也反应了分类的难易程度，pt越大，说明分类的置信度越高，代表样本越易分；pt越小，分类的置信度越低，代表样本越难分。αt并不是正负样本的比例，而是一个超参数，用来平衡正负样本的权重；τ参数是用来区分简单/困难样本的，它可以通过降低简单样本(数量多)的损失权重，使损失函数更加专注于困难样本(数量)，防止简单样本主导整个损失函数。
S5、使用训练好的压板状态检测模型进行检测；
将待检测的保护压板图像传输到训练好的压板状态检测模型中，得到待检测压板图像的目标标签信息与标签预测概率信息，将所述目标标签信息与标签预测概率信息存储到数据库。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的压板状态巡检方法相同的思想，本发明还提供了压板状态巡检系统，该系统可用于执行上述压板状态巡检方法。为了便于说明，压板状态巡检系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
请参阅图9，在本申请的另一个实施例中，提供了一种压板状态巡检系统100，该系统包括图像采集模块101、轮廓处理模块102、轮廓识别模块103、模型构建模块104以及巡检模块105；
所述图像采集模块101，用于利用智能巡检机器人上设置的图像采集单元获取作业点区域的压板图像；
所述轮廓处理模块102，用于将所述压板图像转换为灰度图，对灰度图进行处理后得到压板图像轮廓；
所述轮廓识别模块103，用于判断压板图像轮廓是否完整，若轮廓完整，则满足检测需求，图像采集单元的位置无需进行调整；若轮廓残缺，则不满足检测需求，通过图像采集单元获取检测物轮廓中心与智能巡检机器人的距离，并根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整；
所述模型构建模块104，用于构建压板状态检测模型，对进行训练得到训练好的压板状态检测模型，所述压板状态检测模型包括输入层Input、主干网络Backbone、颈部结构Neck和输出层Output；所述输入层Input是对所输入的压板图像进行预处理；所述主干网络Backbone用于特征映射图以及将特征映射图输出至颈部结构Neck中；所述颈部结构Neck使用特征金字塔网络FPN和金字塔自注意力网络PAN的结构，FPN结构自顶向下将高层的特征信息通过上采样的方式进行传递融合，使得底层特征图包含更强的保护压板语义信息，PAN结构自底向上进行下采样，使顶层特征包含强保护压板位置信息，最后将顶层特征和底层特征进行融合，使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息；所述输出层Output将颈部结构Neck中各分支结果分别通过卷积处理，生成边界框和预测目标的类别；
所述巡检模块105，用于将待检测的保护压板图像传输到训练好的压板状态检测模型中，得到待检测压板图像的目标标签信息与标签预测概率信息，将所述目标标签信息与标签预测概率信息存储到数据库。
需要说明的是，本发明的压板状态巡检系统与本发明的压板状态巡检方法一一对应，在上述压板状态巡检方法的实施例阐述的技术特征及其有益效果均适用于压板状态巡检的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的压板状态巡检系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述压板状态巡检系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
请参阅图10，在一个实施例中，提供了一种实现压板状态巡检方法的智能巡检机器人，所述智能巡检机器人200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如压板状态巡检程序203。
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是智能巡检机器人200的内部存储单元，例如该智能巡检机器人200的移动硬盘。所述第一存储器202在另一些实施例中也可以是智能巡检机器人200的外部存储设备，例如智能巡检机器人200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括智能巡检机器人200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于智能巡检机器人200的应用软件及各类数据，例如压板状态巡检程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述智能巡检机器人的控制核心(Control Unit)，利用各种接口和线路连接整个智能巡检机器人的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行智能巡检机器人200的各种功能和处理数据。
图10仅示出了具有部件的智能巡检机器人，本领域技术人员可以理解的是，图10示出的结构并不构成对所述智能巡检机器人200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述智能巡检机器人200中的所述第一存储器202存储的压板状态巡检程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
利用智能巡检机器人上设置的图像采集单元获取作业点区域的压板图像；
将所述压板图像转换为灰度图，对灰度图进行处理后得到压板图像轮廓；
判断压板图像轮廓是否完整，若轮廓完整，则满足检测需求，图像采集单元的位置无需进行调整；若轮廓残缺，则不满足检测需求，通过图像采集单元获取检测物轮廓中心与智能巡检机器人的距离，并根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整；
构建压板状态检测模型，对进行训练得到训练好的压板状态检测模型，所述压板状态检测模型包括输入层Input、主干网络Backbone、颈部结构Neck和输出层Output；所述输入层Input是对所输入的压板图像进行预处理；所述主干网络Backbone用于特征映射图以及将特征映射图输出至颈部结构Neck中；所述颈部结构Neck使用特征金字塔网络FPN和金字塔自注意力网络PAN的结构，FPN结构自顶向下将高层的特征信息通过上采样的方式进行传递融合，使得底层特征图包含更强的保护压板语义信息，PAN结构自底向上进行下采样，使顶层特征包含强保护压板位置信息，最后将顶层特征和底层特征进行融合，使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息；所述输出层Output将颈部结构Neck中各分支结果分别通过卷积处理，生成边界框和预测目标的类别；
将待检测的保护压板图像传输到训练好的压板状态检测模型中，得到待检测压板图像的目标标签信息与标签预测概率信息，将所述目标标签信息与标签预测概率信息存储到数据库。
进一步地，所述智能巡检机器人200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.压板状态巡检方法，其特征在于，所述方法在智能巡检机器人上执行，包括：
利用智能巡检机器人上设置的图像采集单元获取作业点区域的压板图像；
将所述压板图像转换为灰度图，对灰度图进行处理后得到压板图像轮廓；
判断压板图像轮廓是否完整，若轮廓完整，则满足检测需求，图像采集单元的位置无需进行调整；若轮廓残缺，则不满足检测需求，通过图像采集单元获取检测物轮廓中心与智能巡检机器人的距离，并根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整；
构建压板状态检测模型，对进行训练得到训练好的压板状态检测模型，所述压板状态检测模型包括输入层Input、主干网络Backbone、颈部结构Neck和输出层Output；所述输入层Input是对所输入的压板图像进行预处理；所述主干网络Backbone用于特征映射图以及将特征映射图输出至颈部结构Neck中；所述颈部结构Neck使用特征金字塔网络FPN和金字塔自注意力网络PAN的结构，FPN结构自顶向下将高层的特征信息通过上采样的方式进行传递融合，使得底层特征图包含更强的保护压板语义信息，PAN结构自底向上进行下采样，使顶层特征包含强保护压板位置信息，最后将顶层特征和底层特征进行融合，使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息；所述输出层Output将颈部结构Neck中各分支结果分别通过卷积处理，生成边界框和预测目标的类别；
将待检测的保护压板图像传输到训练好的压板状态检测模型中，得到待检测压板图像的目标标签信息与标签预测概率信息，将所述目标标签信息与标签预测概率信息存储到数据库。
2.根据权利要求1所述的压板状态巡检方法，其特征在于，在利用智能巡检机器人上设置的图像采集单元获取作业点区域的压板图像的步骤之前，还包括下述步骤：
通过SLAM算法对变电站工作环境构建工作地图，并在所述工作地图上设置智能巡检机器人的作业点，通过智能巡检机器人的导航单元到达指定作业点。
3.根据权利要求1所述的压板状态巡检方法，其特征在于，所述根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整，具体为：
将目标轮廓中心点的X、Y、Z通过转换计算得到巡检机器人的微调偏移量和伸缩杆的伸缩量并将偏移量与伸缩量传输给控制模块，控制模块通过对机器人发布指令使巡检机器人对拍摄点进行微调。
4.根据权利要求1所述的压板状态巡检方法，其特征在于，所述主干网络Backbone通过CBS模块、CSP1_X模块以及快速空间金字塔池化SPPF模块形成特征映射图，以及将特征映射图输出至颈部结构Neck中，具体实现如下：
CBS模块由卷积层Conv、具有加快训练收敛的特征的归一化网络层BN和激活函数SiLu组成；
所述CSP1_X模块中，输入至CSP1_X模块的输入数据依次经过1个CBS模块、X个Res unit模块、Conv处理后和经过Conv处理后的输入数据进行张量拼接，扩充为两个张量的维度；
所述SPPF模块中，输入至SPPF模块的数据经过CBS模块处理后的依次经过三个MaxPool层处理后将每次经过MaxPool处理后的数据与经过CSB模块处理后的数据进行Concat操作后经过CBS模块处理后输出。
5.根据权利要求4所述的压板状态巡检方法，其特征在于，所述CBS模块的参数表示为(c_in，c_out，kernel_size，stride)，其中，c_in表示输入通道的大小，c_out表示输出通道的大小，kernel_size表示卷积核大小，stride表示步长；
所述CSP1_X模块的参数表示为(c_in，c_out)×该模块堆叠的次数；
所述SPPF模块的参数表示为(c_in，c_out，kernel_size)。
6.根据权利要求4所述的压板状态巡检方法，其特征在于，压板状态检测模型的损失函数Loss由分类损失函数Lcls、边界框回归损失函数Lbox和置信度损失函数Lobj组成，所述Loss的公式表达如下：
Loss＝Lbox+Lcls+Lobj
将分类损失函数Lcls替换为Focal Loss，设p是压板状态检测模型预测的概率，y是某一类别的标签，y＝1为正样本，y＝0为负样本，Focal Loss的具体形式Lfl如下述公式所示：
Lfl＝-αt(1-pt)τlog(pt)
其中，pt反应了分类的难易程度，pt越大，说明分类的置信度越高，代表样本越易分；pt越小，分类的置信度越低，代表样本越难分；αt是一个超参数，用来平衡正负样本的权重，τ参数是用来区分简单/困难样本的。
7.根据权利要求1所述的压板状态巡检方法，其特征在于，所述输出层Output包括Conv2d和sigmoid激活函数，na为每个检测头上的预测框的数量，nc为预测的类的数量即保护压板的是3种状态，3种状态分别为闭合、断开、空闲。
8.压板状态巡检系统，其特征在于，位于智能巡检机器人上，包括图像采集模块、轮廓处理模块、轮廓识别模块、模型构建模块以及巡检模块；
所述图像采集模块，用于利用智能巡检机器人上设置的图像采集单元获取作业点区域的压板图像；
所述轮廓处理模块，用于将所述压板图像转换为灰度图，对灰度图进行处理后得到压板图像轮廓；
所述轮廓识别模块，用于判断压板图像轮廓是否完整，若轮廓完整，则满足检测需求，图像采集单元的位置无需进行调整；若轮廓残缺，则不满足检测需求，通过图像采集单元获取检测物轮廓中心与智能巡检机器人的距离，并根据轮廓中心点的空间位置信息调整图像采集单元的位置，使得调整后得到的压板图像轮廓完整；
所述模型构建模块，用于构建压板状态检测模型，对进行训练得到训练好的压板状态检测模型，所述压板状态检测模型包括输入层Input、主干网络Backbone、颈部结构Neck和输出层Output；所述输入层Input是对所输入的压板图像进行预处理；所述主干网络Backbone用于特征映射图以及将特征映射图输出至颈部结构Neck中；所述颈部结构Neck使用特征金字塔网络FPN和金字塔自注意力网络PAN的结构，FPN结构自顶向下将高层的特征信息通过上采样的方式进行传递融合，使得底层特征图包含更强的保护压板语义信息，PAN结构自底向上进行下采样，使顶层特征包含强保护压板位置信息，最后将顶层特征和底层特征进行融合，使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息；所述输出层Output将颈部结构Neck中各分支结果分别通过卷积处理，生成边界框和预测目标的类别；
所述巡检模块，用于将待检测的保护压板图像传输到训练好的压板状态检测模型中，得到待检测压板图像的目标标签信息与标签预测概率信息，将所述目标标签信息与标签预测概率信息存储到数据库。
9.一种智能巡检机器人，其特征在于，所述智能巡检机器人包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的压板状态巡检方法。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的压板状态巡检方法。
CN202210875020.8A 2022-07-25 2022-07-25 压板状态巡检方法、系统、机器人及存储介质 Pending CN115393278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210875020.8A CN115393278A (zh) 2022-07-25 2022-07-25 压板状态巡检方法、系统、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210875020.8A CN115393278A (zh) 2022-07-25 2022-07-25 压板状态巡检方法、系统、机器人及存储介质

Publications (1)

Publication Number Publication Date
CN115393278A true CN115393278A (zh) 2022-11-25

Family

ID=84116262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210875020.8A Pending CN115393278A (zh) 2022-07-25 2022-07-25 压板状态巡检方法、系统、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN115393278A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843999A (zh) * 2023-09-04 2023-10-03 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843999A (zh) * 2023-09-04 2023-10-03 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法
CN116843999B (zh) * 2023-09-04 2023-12-08 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法

Similar Documents

Publication Publication Date Title
CN112734692B (zh) 一种变电设备缺陷识别方法及装置
CN112132523B (zh) 一种货物数量确定方法、系统和装置
WO2020238256A1 (zh) 基于弱分割的损伤检测方法及装置
CN112102281B (zh) 基于改进Faster Rcnn的货车制动缸故障检测方法
CN113962274B (zh) 一种异常识别方法、装置、电子设备及存储介质
CN110186375A (zh) 智能化高铁白车身焊接装配特征检测装置及检测方法
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN113850799B (zh) 一种基于YOLOv5的微量DNA提取工作站工件检测方法
CN115393278A (zh) 压板状态巡检方法、系统、机器人及存储介质
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN115909157A (zh) 一种基于机器视觉的识别检测方法、装置、设备及介质
CN115546223A (zh) 一种列车车下设备紧固螺栓的缺失检测方法和系统
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN114511515B (zh) 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN114227717A (zh) 基于巡检机器人的智能巡检方法、装置、设备及存储介质
CN116805387A (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN116343143A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
Mu et al. UAV image defect detection method for steel structure of high-speed railway bridge girder
CN114266822A (zh) 基于双目机器人的工件质检方法、装置、机器人及介质
CN111815560A (zh) 光伏电站故障检测方法、装置、便携检测设备及存储介质
CN111797782A (zh) 基于图像特征的车辆检测方法和系统
Niblock et al. Fast model-based feature matching technique applied to airport lighting
CN113642565B (zh) 对象检测方法、装置、设备及计算机可读存储介质
CN117635603B (zh) 基于目标检测的中空遮阳产品在线质量检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination