CN116665126A - 一种机器人巡检部件缺陷检测方法及其应用 - Google Patents

一种机器人巡检部件缺陷检测方法及其应用 Download PDF

Info

Publication number
CN116665126A
CN116665126A CN202310615950.4A CN202310615950A CN116665126A CN 116665126 A CN116665126 A CN 116665126A CN 202310615950 A CN202310615950 A CN 202310615950A CN 116665126 A CN116665126 A CN 116665126A
Authority
CN
China
Prior art keywords
image
point
plane
points
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310615950.4A
Other languages
English (en)
Inventor
彭刚
彭嘉悉
宋朝位
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310615950.4A priority Critical patent/CN116665126A/zh
Publication of CN116665126A publication Critical patent/CN116665126A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明属于部件缺陷检测领域，具体涉及一种机器人巡检部件缺陷检测方法及其应用，包括：将由每张巡检图像经目标识别网络所对应得到的部件识别结果转换为二维测试结果语义点云；将该张巡检图像对应的标准图像中所有标注框转为二维标准语义点云；确定两个点云的相似变换，以将两者进行点云配准，基于配准结果，识别二维标准语义点云中的孤立点；将孤立点对应的标注框信息作为丢失部件的类型和位置；还可对每张巡检图像的部件识别结果中各边界框进行裁剪，并输入部件异常精细类别分类网络，得到各边界框对应的部件异常精细类别结果；其中，采用随机裁剪的方式构建训练分类网络的训练样本。本发明实现了适用于实际运用场景的高效率、高精度缺陷检测。

Description

一种机器人巡检部件缺陷检测方法及其应用
技术领域
本发明属于部件缺陷检测领域，更具体地，涉及一种机器人巡检部件缺陷检测方法及其应用。
背景技术
随着近年来轨道交通技术的迅速发展，我国高铁的总里程数和总车厢数节节攀升，动车组的安全性压力愈发凸显。目前的动车组人工检修方式通常是通过专业探测设备辅助肉眼观察预设的巡检点位来判断动车组上的零件是否有缺陷。但由于这种检修方式任务量大、检修时间长，同时，由于检修任务通常在夜间进行，人员还容易疲劳作业，严重影响了动车组设备的检修速度和精度，所以当前常用的方法是引入自动化检修系统进行智能化检修，例如巡检机器人或移动动车组故障检测系统。
巡检机器人比TEDS更灵活、更有发展前景，但目前绝大部分关于动车组缺陷检测技术的方法研究都是基于TEDS图像，无法直接用于机器人采集的巡检图像。因此针对该问题，亟需一种适用于实际运用场景的缺陷检测方法来解决巡检机器人高精度缺陷检测问题。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种机器人巡检部件缺陷检测方法及其应用，其目的在于实现一种适用于实际运用场景的高效率、高精度缺陷检测方法。
为实现上述目的，按照本发明的一个方面，提供了一种机器人巡检部件缺陷检测方法，包括：
将由每张巡检图像经目标识别网络所对应得到的部件识别结果转换为二维测试结果语义点云；基于每张巡检图像的采集位置，利用位置约束映射确定预采集的一张标准图像，将该标准图像中所有标注框转为二维标准语义点云；确定两个点云的相似变换，以将两者进行点云配准，对配准之后的点云，计算二维标准语义点云中每个点与其对应的二维测试结果语义点云中的点之间的距离，若距离大于阈值，则视为孤立点；将孤立点对应的标注框信息作为丢失部件的类型和位置，完成部件丢失缺陷诊断；
和/或，
对每张巡检图像的部件识别结果中各边界框进行裁剪，并输入部件异常精细类别分类网络，得到该张巡检图像中各边界框对应的部件异常精细类别结果；其中，用于训练所述分类网络的训练样本包括通过以下方式得到的样本：以训练用巡检图像中每一种部件的标注框为基础，在图像上随机裁剪若干区域，得到该种部件的精细类别训练样本，精细类别包括正常类别、异常类别以及非部件背景类别。
进一步，所述部件识别结果采用以下方式得到：
采集车间内复杂器械上各区域的巡检图像，基于每张巡检图像的采集位置，利用位置约束映射确定预采集的一张标准图像，获取由该标准图像得到的对应区域的多通道先验语义图像，其中，所述多通道先验语义图像的构建方式为：对该标准图像的部件标注信息进行信息转换，得到能够在图像上表达部件先验概率的信息形式；初始化通道数与复杂器械中所有部件类型总数一致的多通道灰度图像；将所述信息形式叠加在所述多通道灰度图像上，生成多通道先验语义图像，作为张量化的先验结构知识，每个通道的先验语义图像以像素值代表概率的形式表征某一种部件类型在该标准图像中的先验位置和大小；
采用预先构建的多通道语义图像输入分支，将已训练的巡检图像特征提取网络对每张巡检图像所生成的最后两层高语义性特征图像和该张巡检图像对应的所述多通道先验语义图像进行融合，实现先验结构知识对巡检图像特征的增强；其中，所述多通道语义图像输入分支是通过结合Resnet的Bottleneck模块和可变形卷积算子构造得到；
基于所述融合后的特征图像以及巡检图像特征提取网络其它输出层所输出的特征图像，通过回归与分类，得到部件目标识别结果。
进一步，利用改进的迭代最近点方法计算相似变换，具体计算方式为：
采用初始相似变换对二维标准语义点云进行变换，为每个变换后的二维标准语义点云中的点进行带有类别约束的最近邻匹配，找到对应的二维测试结果语义点云中的点，得到多组匹配点；通过所述多组匹配点，求解新的相似变换；基于新的相似变换，迭代上述过程，直至达到迭代终止条件，得到第一相似变换；
采用所述初始相似变换对二维标准语义点云进行变换，为每个变换后的二维标准语义点云中的点进行带有类别约束的最近邻匹配，找到对应的二维测试结果语义点云中的点，得到多组匹配点；从所述多组匹配点中剔除掉多对一匹配关系中距离最大的匹配关系，再根据经过剔除操作后的多组匹配点，求解新的相似变换；基于新的相似变换，迭代上述过程，直至达到迭代终止条件，得到第二相似变换；
将第一相似变换和第二相似变换分别带入最小化配准残差f，求得对应的最小化配准残差值；将较小的最小化配准残差值所对应的相似变换作为最终的相似变换；其中，所述最小化配准残差f表示为：
[xti yti 1]T＝A·[xi yi 1]T；
式中，A表示相似变换，将第一相似变换和第二相似变换分别作为A带入；xi,yi表示二维标准语义点云中的某一点二维坐标，(xdi,ydi)表示点(xi,yi)的最近邻匹配点。
进一步，当所述部件异常精细类别分类网络输出有正常螺栓和/或松动螺栓的精细类别结果时，采用3D点云测量算法，进一步确认螺栓是否确实松动，具体为：
将正常螺栓和松动螺栓的精细类别结果在部件识别结果中所对应的边界框映射到3D点云中，得到螺栓区域对应点云信息；其中，所述3D点云是在采集每一张巡检图像时对应生成的3D点云信息；
对所述螺栓区域对应点云信息使用Ransac算法分割出第一平面，并计算第一平面的法向量；从所述螺栓区域对应点云信息中所述排除所述第一平面的点，继续用带有第一平面法向量约束的Ransac方法分割出第二平面，第一平面和第二平面设定为螺栓的顶部和底部平面；
得到第一平面和第二平面后利用近似法计算平面距离，具体为计算第二平面内的所有点至第一平面的距离，将距离排序后，取设定距离区间的均值作为第二平面至第一平面的距离，即螺栓的高度。
进一步，所述带有第一平面法向量约束的Ransac方法具体为：
S1、随机从排除所述第一平面的点后的螺栓区域对应点云信息中选择三个点确定一个平面，并计算该随机平面的法向量；
S2、使用内积计算第一平面法向量和该随机平面的法向量之间的夹角cos值，若夹角cos值大于预设阈值，则满足约束条件，表明两法向量的平面近似平行，将所有与该随机平面的距离小于阈值的点都划分为平面内点；若不满足约束，则直接舍弃该随机平面，回到步骤S1，直至迭代预设次数；
S3、将平面内点最多的随机平面作为分割得到的最大平面，即第二平面。
进一步，用于训练所述分类网络的训练样本包括采用以下方式构建得到的样本：
将每张训练用巡检图像的每个标注框作为裁剪框，直接得到该标注框对应精细类别置信度为1.0的正样本；
统计各部件在该张巡检图像上的最大、最小面积，以及最大、最小长宽比；在该张巡检图像上为各部件每个精细类别随机设置若干个裁剪框，即先在图像区域上以均匀分布采样得到裁剪框的中心点，然后在统计的最大、最小面积之间以均匀分布采样得到裁剪框的面积，最后在统计的最大、最小长宽比之间以均匀分布采样得到裁剪框的长宽比，通过长宽比和面积解算具体的长宽值，得到随机的裁剪框；
若每个裁剪框和巡检图像上对应精细类别的某一个标注框有重叠区域，则计算该标注框和该裁剪框的并交比IoU；若每个裁剪框和巡检图像上对应精细类别的多个标注框有重叠区域，则计算IoU之后取其中的最大值；若每个裁剪框和巡检图像上对应精细类别的各标注框均无重叠区域，令IoU等于0；若IoU大于等于预设值，则以该裁剪框区域作为对应精细类别置信度为1.0的正样本，否则以该裁剪框区域作为负类置信度为(1-IoU)的负样本；
统计正负样本的数量，并通过追加采样，以均衡样本，完成样本标注的生成。
进一步，所述巡检图像为轨道交通车辆的巡检图像；所述方法还包括检测轨道交通车辆上刹车闸片的厚度，以判断刹车闸片是否超限，具体为：
步骤一、截取当前巡检图像中刹车闸片的图像区域，初始化双阈值为(250,180)；
步骤二、使用当前的双阈值进行Canny边缘检测，得到边缘响应；
步骤三、记录所述图像区域中竖直中轴线上的边缘点坐标，即在边缘响应的X轴中点处，以Y轴方向从上至下记录边缘点的坐标；
步骤四、若竖直中轴线上的边缘点数量不少于两个，则进入步骤五计算厚度；否则，双阈值都降低预设值，并回到步骤二；
步骤五、以Y值最小和最大的竖直中轴线边缘点分别作为闸片的上边缘点和下边缘点，将上下边缘点的坐标映射至相机采集巡检图像时所对应生成的3D点云中，得到在真实世界坐标系中的Y值，以上下边缘点Y值的差作为最终的厚度测量结果。
进一步，所述巡检图像为轨道交通车辆的巡检图像；所述方法还包括检测轨道交通车辆上扫石器的高度，以判断扫石器是否超限，具体为：
对含有扫石器的巡检图像进行预处理，得到平衡后的二值图像；
在平滑后的二值图像上，基于经目标识别网络预测的扫石器边界框，寻找扫石器和轨道平面的边界线，流程为：
步骤S1、将所述扫石器边界框映射到所述二值图像上；在所述二值图像上，从扫石器边界框的中心点竖直向下寻找第一个黑色像素点，作为扫石器的下边界，然后继续向下寻找第一个白色像素点，作为轨道平面的上边界，将这两个边界点坐标信息与其高度差H加入高度差集合中；
S2、从扫石器边界框的中心点向X轴方向左右偏移，每次移动2个坐标，然后重复步骤一，其中，设置左右偏移的坐标范围，最终高度差集合中有多组边界点坐标信息和高度差H；
S3、对高度差集合中按照高度差H排序，并去除H最小和最大的两组，得到新的高度差集合；
S4、通过新的高度差集合中高度差H的均值和中位数去除离群点，得到最终高度差集合；
S5、取最终高度差集合中按高度差H排序后较小的X分位数索引X_index，并以取X_index±A范围内的索引对应的边界点，分别拟合扫石器下边界的直线和轨道平面上边界的直线，将两条直线的斜率取均值，得到统一拟合斜率k，其中，X和A取正数；
S6、所述X_index对应的上边界点为(x0,ytop)，下边界点为(x0,ybottom)，分别过此二点，以所述统一拟合斜率k作最终斜率一致的上下边界拟合直线，截距为：
S7、基于所述截距，得到最终上下边界拟合直线的距离，作为最终扫石器至轨面的高度。
进一步，步骤S4中去除离群点的方式为：计算H的均值Mean和中位数Median，若某一组边界点的高度差H符合或/>则该组边界点视为离群点，从新的高度差集合中剔除；
和/或，
步骤S5中X为四，A为5。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种机器人巡检部件缺陷检测方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明第一阶段通过训练好的深度学习网络检测零部件类型和对零部件进行定位。同时，在目标识别网络后添加针对丢失、异常两大类部件缺陷的诊断算法，可以有效地利用零部件识别结果有针对的对各部件进行缺陷诊断，大大提高了缺陷诊断效率。
(2)针对部件丢失缺陷，本发明通过结合类别约束和尺度变换的迭代最近点方法进行标准图和测试图的二维语义点云的配准，得到标准图点云中的孤立点，从而诊断出部件的丢失。相比于其它部件丢失缺陷检测方法，本方法通过加入类别约束和尺度变换，有效地解决了零部件配准中错误匹配以及拍摄照片位置的误差问题。
(3)在缺少训练样本的条件下，本发明设计基于随机剪裁生成分类网络训练样本的方法，拓宽了分类样本的分布，可以有效地提高分类网络的训练效果，提高分类网络预测的准确度。
(4)在分类网络后针对正常螺栓以及螺栓松动两种类别引入点云测量方法，采用两次Ransac采样方法分割3D点云平面计算螺栓高度，有效提高了螺栓松动的检测精度。
(5)对于部件超限缺陷问题，本发明基于环境和部件本身特征，针对不同部件超限特性引入边缘检测、直线拟合两种方法方法实现部件关键值的测量，可以有效提高部件关键值测量的准确度。
附图说明
图1为本发明实施例提供的一种机器人巡检部件缺陷检测方法的流程图；
图2为本发明实施例提供的针对部件丢失缺陷检测算法的流程图；
图3为本发明实施例提供的一种改进迭代最近点算法的流程图；
图4为本发明实施例提供的针对螺栓松动缺陷的测量方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种机器人巡检部件缺陷检测方法，如图1所示，包括：
将由每张巡检图像经目标识别网络所对应得到的部件识别结果转换为二维测试结果语义点云；基于每张巡检图像的采集位置，利用位置约束映射确定预采集的一张标准图像，将该标准图像中所有标注框转为二维标准语义点云；确定两个点云的相似变换，以将两者进行点云配准，对配准之后的点云，计算二维标准语义点云中每个点与其对应的二维测试结果语义点云中的点之间的距离，若距离大于阈值，则视为孤立点；将孤立点对应的标注框信息作为丢失部件的类型和位置，完成部件丢失缺陷诊断；
和/或，
对每张巡检图像的部件识别结果中各边界框进行裁剪，并输入部件异常精细类别分类网络，得到该张巡检图像中各边界框对应的部件异常精细类别结果；其中，用于训练所述分类网络的训练样本包括通过以下方式得到的样本：以训练用巡检图像中每一种部件的标注框为基础，在图像上随机裁剪若干区域，得到该种部件的精细类别训练样本，精细类别包括正常类别、异常类别以及非部件背景类别。
需要说明的是，由于同一种复杂器械(如动车组)的零部件的制造安装均遵守严格的规范，相同车型的相同采集点位下拍摄的图像中部件空间结构一致，巡检图像和标准图像均是巡检机器人在几个特定位置拍照采集，因此，可以基于巡检图像的采集位置根据位置约束映射唯一的一张标准图像。上述的标准图像和训练用巡检图像均可由机器人在固定点位通过机械臂末端3D相机进行采集得到。关于映射的实现方式，可采用以下方式：
将巡检图像和标准图像的映射关系体现在图像文件的命名上，巡检图像的命名包含拍摄的时间信息和拍摄的位置信息，而标准图像的命名可以只有位置信息，命名举例如下：
标准图像：1#-abc,2#-abb等；
巡检图像：20230101-1#-abc,20230101-2#-abb等；
巡检图像20230101-1#-abc对应的标准图像是1#-abc，巡检图像20230101-2#-abb对应的标准图像是2#-abb。那么，任意巡检图像都可以通过位置信息得到唯一的标准图像。
对于训练样本的标注，使用矩形标注框在图像上标注部件和缺陷即可完成训练样本的构建。标准图像需要使用LabelImg进行部件标注，但是和构造训练用的巡检图像有不一样的标注规范，也就是，标准图像可以不标注图像上出现的所有部件目标，只标注图像上的重点目标，所谓重点目标，是指基于部件识别的后续任务(如缺陷检测任务)所关注的目标。这些目标在采集点位中拥有清晰的视野，同时不分布在图像边缘区域，以免机器人和机械臂的定位误差使其消失在视野中。需要说明的是，重点目标和非重点目标是对于单个部件来说的，因此，某部件类型在同一标准图像可能既有重点目标也有非重点目标。
针对部件异常精细类别分类检测，本方法在目标识别网络后级联一个分类网络，分类网络以部件识别网络预测的关注类别边界框作为兴趣区域，对其进行二次分类，输出更精细的类别。例如，关于螺栓的精细类别可为正常螺栓、松动螺栓、丢失螺栓(螺栓孔)、非螺栓类。
总的来说，本实施例方法，针对部件丢失和部件异常精细类别分类两种缺陷，设计了包含两个缺陷诊断分支的机器人巡检部件缺陷检测方法用于诊断，可以有效地利用零部件识别结果有针对的对各部件进行缺陷诊断，大大提高了缺陷诊断效率。
其中，针对部件丢失缺陷，本方法通过结合类别约束和尺度变换的迭代最近点方法进行标准图和测试图的二维语义点云的配准，得到标准图点云中的孤立点，从而诊断出部件的丢失。相比于其它部件丢失缺陷检测方法，本方法通过加入类别约束和尺度变换，有效地解决了零部件配准中错误匹配以及拍摄照片位置的误差问题。针对部件异常精细类别分类，在缺少训练样本的条件下，本方法设计基于随机剪裁生成分类网络训练样本的方法，拓宽了分类样本的分布，可以有效地提高分类网络的训练效果，提高分类网络预测的准确度。
可作为优选的实施方式，上述部件识别结果采用以下方式得到：
采集车间内复杂器械上各区域的巡检图像，基于每张巡检图像的采集位置，利用位置约束映射确定预采集的一张标准图像，获取由该标准图像得到的对应区域的多通道先验语义图像，其中，多通道先验语义图像的构建方式为：对该标准图像的部件标注信息进行信息转换，得到能够在图像上表达部件先验概率的信息形式；初始化通道数与复杂器械中所有部件类型总数一致的多通道灰度图像；将上述信息形式叠加在多通道灰度图像上，生成多通道先验语义图像，作为张量化的先验结构知识，每个通道的先验语义图像以像素值代表概率的形式表征某一种部件类型在该标准图像中的先验位置和大小；采用预先构建的多通道语义图像输入分支，将已训练的巡检图像特征提取网络对每张巡检图像所生成的最后两层高语义性特征图像和该张巡检图像对应的所述多通道先验语义图像进行融合，实现先验结构知识对巡检图像特征的增强；其中，上述多通道语义图像输入分支是通过结合Resnet的Bottleneck模块和可变形卷积算子构造得到；基于融合后的特征图像以及巡检图像特征提取网络其它输出层所输出的特征图像，通过回归与分类，得到部件目标识别结果。
多通道先验语义图像表征标准图像中目标部件的先验语义(包括类型、位置与长宽信息)，为了使得多通道先验语义图像能对高语义性特征图像中的特征起到正确的调制作用，需要将多通道先验语义图像和特征提取网络所输出的低分辨率、高语义性的特征图像结合在一起，提供目标识别的精度。因此，是一种融合先验结构知识的部件目标识别方法。
该方法首先在不同位置采集巡检图像，基于位置约束，确定每张巡检图像对应预采集的标准图像，以确定每张巡检图像采集位置和视角下对应的先验语义结构知识。后续本方法采用巡检图像特征提取网络对每张巡检图像进行特征提取，同时引入多通道语义图像输入分支，以用于对巡检图像特征提取网络得到的最后两层高语义性特征图像进行调整，将先验语义结构知识融入到两层高语义性特征图像中再输入后续的回归与分类网络，实现先验结构知识对巡检图像特征的增强，能够有效地提高部件识别精度。
上述信息转换的方式可优选为高斯概率椭圆语义信息提取。高斯概率椭圆语义指示了目标的长、宽、中心点等信息，能够保证提取到完整的先验语义分布且分布曲线平滑。
可作为优选的实施方式，利用改进的迭代最近点方法计算相似变换，如图2所示，具体计算方式为：
执行CS-ICP方法：如图3所示，采用初始相似变换对二维标准语义点云进行变换，为每个变换后的二维标准语义点云中的点进行带有类别约束的最近邻匹配，找到对应的二维测试结果语义点云中的点，得到多组匹配点；通过所述多组匹配点，求解新的相似变换；基于新的相似变换，迭代上述过程，直至达到迭代终止条件，得到第一相似变换；
执行CS-ICP-mono方法：采用所述初始相似变换对二维标准语义点云进行变换，为每个变换后的二维标准语义点云中的点进行带有类别约束的最近邻匹配，找到对应的二维测试结果语义点云中的点，得到多组匹配点；从所述多组匹配点中剔除掉多对一匹配关系中距离最大的匹配关系，再根据经过剔除操作后的多组匹配点，求解新的相似变换；基于新的相似变换，迭代上述过程，直至达到迭代终止条件，得到第二相似变换；
从第一相似变换和第二相似变换中选取相似变换：将第一相似变换和第二相似变换分别带入最小化配准残差f，求得对应的最小化配准残差值；将较小的最小化配准残差值所对应的相似变换作为最终的相似变换；其中，所述最小化配准残差f表示为：
[xti yti 1]T＝A·[xi yi 1]T；
式中，A表示相似变换，将第一相似变换和第二相似变换分别作为A带入；xi,yi表示二维标准语义点云中的某一点二维坐标，(xdi,ydi)表示点(xi,yi)的最近邻匹配点。
也就是，本实施例在迭代最近点(Iterative Closest Point,ICP)方法计算的相似变换矩阵中平面平移、旋转3个自由度的基础上，添加尺度这一自由度，同时以每个点的类别进行约束得到CS-ICP方法，在CS-ICP的基础上提出CS-ICP-mono方法，即在CS-ICP步骤二后剔除掉多对一匹配关系中距离更大的匹配关系，在实际诊断中，CS-ICP方法在没有部件丢失的情况下得到更精准的相似变换，而CS-ICP-mono方法在有部件丢失的情况下得到更精准的相似变换，因此需要从这两种改进方式得到的相似变换中，通过相应指标选择最优相似变换。
针对相似变换的确定，进一步相关说明如下：
相似变换通常有奇异值分解和非线性优化两种方法求解，本实施例采用非线性优化的方法。二维相似变换齐次矩阵如公式(1)所示：
其中，s表示尺度因子，θ表示旋转角，tx和ty表示x轴和y轴的平移。由此构建非线性优化的待求解参数P，如公式(2)所示：
P＝[txtyθs]T (2)
对于二维标准语义点云(即src点云)中的某点(xi,yi)和二维测试结果语义点云(即dst点云中的最近邻匹配点(xdi,ydi)，首先将当前的变换T用于(xi,yi)得到变换后的点(xti,yti)，如公式(3)所示：
[xti yti 1]T＝A·[xi yi 1]T (3)
将欧氏距离作为残差构建最小化目标函数f，其中f如公式(5)所示：
由于巡检图像和标准图像的语义点云非常稀疏，因此采用信赖域法求得精确全局最优解。信赖域法采用构建局部模型子问题近似的思路来逐步逼近全局最优解，子问题通过构建最小化近似函数取得待求解参数P，最小化近似函数如公式(6)所示：
其中G为目标函数f关于参数集合P中各项的一阶偏导数，即雅可比(Jacobi)矩阵。H为G关于P中各项的二阶偏导数，即海森(Hessian)矩阵。
由于标准图像的标注是不完备的，测试语义点云通常会比标准语义点云有更多的冗余。因此，在使用CS-ICP方法配准时，将标准语义点云作为src点云，测试语义点云作为dst点云，进行最近邻匹配时，为src点寻找最近邻dst点，即允许dst点不形成匹配，而需要src点则需要尽量匹配dst点，未能形成匹配的src点则指示部件的丢失。
另外，src和dst可能形成多对一的匹配关系，当测试图中有部件丢失时，src点云中可能会有孤立点，若dst中还有别的同类点，按照语义类别进行匹配时，孤立点会与同类dst点形成错误的匹配关系，错误匹配关系可能影响计算相似变换的精度。因此，在CS-ICP的基础上本实施例方法提出CS-ICP-mono方法，即在CS-ICP求得最近邻匹配步骤后剔除掉多对一匹配关系中距离更大的匹配关系。CS-ICP方法和CS-ICP-mono方法适用于不同的场景。当不存在部件丢失，或者测试图像和标准图像之间的拍摄位置相对变化越大时，CS-ICP方法仍然更精准。在实际诊断中，这两种改进方式得到的相似变换通过将相似变换A带入公式(5)即可求得对应的最小化配准残差；通过比较最小化配准残差选择最优相似变换。
对测试语义点云和标准语义点云利用最优相似变换A配准后，提取孤立的标准语义点作为关键点，生成部件丢失缺陷目标。具体方式可为：
(1)对标准语义点云std_pc应用相似变换A，得到std_pc_A；
(2)设置最大距离阈值threshold＝200，为每个std_pc_A点找到测试语义点云test_pc中与其距离最小且距离小于threshold的匹配点；
(3)两两比较每个std_pc_A点的匹配点，将匹配点相同且距离更大的std_pc_A点设置为匹配无效，匹配无效的std_pc_A点重新在threshold范围内寻找距离最小、类型相符的点作为匹配点；
(4)所有没有成功匹配的std_pc_A点视为部件丢失的关键点，以该std_pc_A点为中心，生成长宽为该点对应标准图标注框的长宽1.5倍的边界框，作为最终的部件丢失目标。
可作为优选的实施方式，当上述部件异常精细类别分类网络输出有正常螺栓或松动螺栓的精细类别结果时，采用3D点云测量算法，进一步确认螺栓是否确实松动，也就是经分类网络对螺栓类别分类后，采用两次Ransac方法分割3D点云平面计算螺栓高度以提高螺栓松动缺陷诊断精度，具体为：
3D相机为每一张图像都生成对应的3D点云信息，将分类网络得到的正常或松动类的螺栓的预测边界框映射至3D点云中，得到螺栓区域对应点云信息，对螺栓点云使用带有法向量约束的Ransac算法分割出第一平面，然后排除第一平面的点，继续用Ransac算法分割出第二平面，设定第一平面和第二平面为螺栓的顶部和底部平面；
得到平面参数后利用近似法计算平面距离：计算第二平面内的所有点至第一平面的距离，将距离排序后，取设定距离区间的均值作为第二平面至第一平面的距离，即螺栓的高度。
巡检机器人的机械臂末端所搭载的高精度3D相机能够同时输出RGB图像与3D点云信息。其通过光机向被测物体按一定规则和模式编码的图像投影，编码图案受到物体表面形状的调制而产生形变。带有形变的结构光被固定位置的面阵相机拍摄到，通过面阵相机与光源之间的位置关系和结构光形变的程度进行物体三维重建。在生成3D点云的同时，也能生成与RGB图像匹配的深度信息图像。
具体的，带有法向量约束的Ransac方法流程为：
(1)输入剔除了第一平面点的螺栓区域对应点云信息和第一平面法向量(即约束法向量NVcons)；
(2)随机从点云中选择3个点确定一个平面，并计算该随机平面的法向量NVcur；
(3)使用内积计算NVcons和NVcur的夹角cos值，若夹角cos值大于预设阈值0.9，则满足约束条件，表明两法向量的平面近似平行；
(4)若不满足约束，则直接舍弃该平面，回到(2)，否则将所有与该随机平面的距离小于阈值的点都划分为平面内点；
(5)迭代若干次，将平面内点最多的随机平面作为分割得到的最大平面。
得到平面参数后需要计算两个平面间的距离作为螺栓高度。然而，分割出来的两个平面不可能绝对平行，因此采用近似法计算平面距离。计算第二平面内的所有点至第一平面的距离，将距离排序后，取中间30％到70％的距离求均值作为第二平面至第一平面的距离，即螺栓的高度。
可作为优选的实施方式，用于训练上述分类网络的训练样本包括采用以下方式构建得到的样本：
将每张训练用巡检图像的每个标注框作为裁剪框，直接得到该标注框对应精细类别置信度为1.0的正样本；
统计各部件在该张巡检图像上的最大、最小面积，以及最大、最小长宽比；在该张巡检图像上为各部件每个精细类别随机设置若干个裁剪框，即先在图像区域上以均匀分布采样得到裁剪框的中心点，然后在统计的最大、最小面积之间以均匀分布采样得到裁剪框的面积，最后在统计的最大、最小长宽比之间以均匀分布采样得到裁剪框的长宽比，通过长宽比和面积解算具体的长宽值，得到随机的裁剪框；
若每个裁剪框和巡检图像上对应精细类别的某一个标注框有重叠区域，则计算该标注框和该裁剪框的并交比IoU；若每个裁剪框和巡检图像上对应精细类别的多个标注框有重叠区域，则计算IoU之后取其中的最大值；若每个裁剪框和巡检图像上对应精细类别的各标注框均无重叠区域，令IoU等于0；若IoU大于等于预设值，则以该裁剪框区域作为对应精细类别置信度为1.0的正样本，否则以该裁剪框区域作为负类置信度为(1-IoU)的负样本；
统计正负样本的数量，并通过追加采样，以均衡样本，完成样本标注的生成。
该种训练样本的构建方式可以扩充样本的分布范围，增强了分类网络的稳健性(鲁棒性)。
对于螺栓类型样本，分类网络的训练样本还包括通过以下增强方式得到的样本：
步骤一、分类训练样本的每个精细类别都按特定比例分割训练集和测试集；
步骤二、对训练集和测试集中部件各精细类别样本按照设定增强倍数进行数据集样本增强。
也就是，获得分类用训练样本后，需要对样本进行增强以扩充样本数量。由于在数据集中正常、松动、丢失的螺栓标注框比例约为50:4:1，为均衡样本数量，采用不同增强倍数的离线增强方式扩充训练样本，其中，离线增强方式包括：平移变换、旋转变换、尺度变换、高斯模糊、色相调整、亮度调整、饱和度调整、RGB通道像素值调整、添加噪声等。这些数据增强方式与巡检图像采集时的实际情况相适应，包括：应对机器人与机械臂的定位误差：平移、旋转、尺度变换；应对机械臂在拍照时的略微抖动：高斯模糊；应对环境光和相机曝光的动态变化：色相、亮度、饱和度、RGB像素调整；应对相机的本底噪声：添加高斯和椒盐噪声。具体的每一项增强参数范围根据对实际采集的样本进行观察而制定，如表1所示。将分类训练样本的每个精细类别都按照4:1的比例分出训练集和测试集。同时对训练集和测试集，螺栓正常、松动、丢失类型样本的增强倍数分别为2、5、20；保证每个异常类别的扩充后样本数量不小于正常类别的20％。负类样本不进行增强。
表1数据增强参数范围设置
利用上述方式制作的数据集对分类网络进行训练后，即可得到训练好的分类网络。将分类结果中的螺栓和螺栓松动两种类别利用两次Ransac方法分割3D点云平面来计算螺栓高度，以提高螺栓松动缺陷的检测精度。
可作为优选的实施方式，针对超限缺陷诊断，本实施例针对刹车闸片和扫石器高度两种部件不同的特点，提出了不同的测量方法。
对于刹车闸片厚度测量，采集图像大多出现多个刹车闸片，由于它们在刹车状态下会被刹车夹钳施加压力紧密贴合轮轴刹车盘，磨损状态一致，因此只需要测量其中之一的厚度。为了提高测量的效果，通常选取视野最清晰的最外侧的闸片。刹车闸片的图像存在明显的上下边缘，因此本实施例优选采用边缘检测算法检测出边缘，其具体实现方式为：
步骤一、截取闸片的图像区域，初始化双阈值分别为(250,180)；
步骤二、使用当前的双阈值进行Canny边缘检测，得到边缘响应；
步骤三、记录竖直中轴线(该中轴线与Y轴平行)上的边缘点坐标。在边缘响应的X轴(图像水平方向)中点处，以Y轴方向从上至下记录边缘点的坐标；
步骤四、若竖直中轴线上的边缘点数量不少于两个，则进入步骤五计算厚度；否则，双阈值都降低60，并回到步骤二；
步骤五、以Y值最小和最大的竖直中轴线边缘点分别作为闸片的上边缘点和下边缘点，将上下边缘点的坐标映射至相机生成的3D点云中，得到在真实世界坐标系中的Y值，以上下边缘点Y值的差作为最终的厚度测量结果。
本方法的Canny算法使用，只要能够满足闸片测量的需要即可，不是一定要获得清晰的边缘，因此，只要得到竖直中轴线上至少两个边缘点，实现闸片厚度测量即可。
对于扫石器高度测量，由于扫石器所处的视野中背景较为单一，轨道平面的直线特征明显，因此可以将巡检图像预处理后进行基于直线拟合获取测量基准线，进而得到高度值。
其中对于扫石器图像预处理流程为：将整张图像灰度化，并设置18为分割阈值，将灰度图二值化。得到对应二值化图像后使用5×5的中值滤波，初步去除孤立的黑白噪点；使用操作核大小为3的形态学开运算，进一步去除白色噪点；使用操作核大小为11的形态学闭运算，进一步去除黑色噪点，得到平滑后的二值图像，之后预处理流程结束。
进一步地，在平滑后的二值图像上，基于部件识别网路预测的扫石器边界框，寻找扫石器和轨道平面的边界线，流程为：
步骤一、将扫石器边界框映射到二值图像上，从扫石器边界框的中心点向下(即图像的Y轴正方向)寻找第一个黑色像素点，作为扫石器的下边界，然后继续向下寻找第一个白色像素点，作为轨道平面的上边界，将这两个边界点(坐标信息)与其高度差H加入集合Thickness(即高度差集合)中。
步骤二、从扫石器中心点向X轴方向左右偏移，每次移动2个坐标，然后重复步骤一。
步骤三、令步骤二遍历扫石器中心点X轴±50坐标的范围，最终Thickness中有51组边界点和高度差H。
步骤四、对Thickness按照高度差H排序，并去除H最小和最大的两组边界点，剩余49组。
步骤五、通过高度差H的均值和中位数去除离群点。计算H的均值Mean和中位数Median，若某一组边界点的高度差H符合或/>则该组边界点视为离群点，从Thickness中剔除。
步骤六、取当前Thickness中按高度差H排序后较小的四分位数索引Quarter_index，并以取Quarter_index±5范围内的索引对应的边界点，采用最小二乘法分别拟合扫石器下边界的直线和轨道平面上边界的直线。将两条直线的斜率取均值，得到统一拟合斜率k。
步骤七、四分位数索引Quarter_index对应的上边界点为(x0,ytop)，下边界点为(x0,ybottom)，分别过此二点，以斜率k作最终斜率一致的上下边界拟合直线，截距如公式(7)所示：
步骤八、求最终上下边界拟合直线的距离，作为最终扫石器至轨面的高度。
例如，以Quarter_index对应上下边界点的中点至最终上下边界拟合直线的垂足ftop和fbottom作为计算距离的两点，它们的坐标如公式(8)所示：
将ftop和fbottom映射至3D点云求得现实坐标系的Y轴高度，取差值得到扫石器距离轨面的高度。
本申请所提分类网络采用的为Resnet50网络，其他网络模型如AlexNet、VGG16、Inception-Resnet-v2等分类模型也可以替代本申请方法。
实施例二
一种机器人巡检部件缺陷检测设备，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如实施例一所述的一种机器人巡检部件缺陷检测方法。
相关技术方案同实施例一，在此不再赘述。
实施例三
一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如实施例一所述的一种机器人巡检部件缺陷检测方法。
相关技术方案同实施例一，在此不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机器人巡检部件缺陷检测方法，其特征在于，包括：
将由每张巡检图像经目标识别网络所对应得到的部件识别结果转换为二维测试结果语义点云；基于每张巡检图像的采集位置，利用位置约束映射确定预采集的一张标准图像，将该标准图像中所有标注框转为二维标准语义点云；确定两个点云的相似变换，以将两者进行点云配准，对配准之后的点云，计算二维标准语义点云中每个点与其对应的二维测试结果语义点云中的点之间的距离，若距离大于阈值，则视为孤立点；将孤立点对应的标注框信息作为丢失部件的类型和位置，完成部件丢失缺陷诊断；
和/或，
对每张巡检图像的部件识别结果中各边界框进行裁剪，并输入部件异常精细类别分类网络，得到该张巡检图像中各边界框对应的部件异常精细类别结果；其中，用于训练所述分类网络的训练样本包括通过以下方式得到的样本：以训练用巡检图像中每一种部件的标注框为基础，在图像上随机裁剪若干区域，得到该种部件的精细类别训练样本，精细类别包括正常类别、异常类别以及非部件背景类别。
2.根据权利要求1所述的机器人巡检部件缺陷检测方法，其特征在于，所述部件识别结果采用以下方式得到：
采集车间内复杂器械上各区域的巡检图像，基于每张巡检图像的采集位置，利用位置约束映射确定预采集的一张标准图像，获取由该标准图像得到的对应区域的多通道先验语义图像，其中，所述多通道先验语义图像的构建方式为：对该标准图像的部件标注信息进行信息转换，得到能够在图像上表达部件先验概率的信息形式；初始化通道数与复杂器械中所有部件类型总数一致的多通道灰度图像；将所述信息形式叠加在所述多通道灰度图像上，生成多通道先验语义图像，作为张量化的先验结构知识，每个通道的先验语义图像以像素值代表概率的形式表征某一种部件类型在该标准图像中的先验位置和大小；
采用预先构建的多通道语义图像输入分支，将已训练的巡检图像特征提取网络对每张巡检图像所生成的最后两层高语义性特征图像和该张巡检图像对应的所述多通道先验语义图像进行融合，实现先验结构知识对巡检图像特征的增强；其中，所述多通道语义图像输入分支是通过结合Resnet的Bottleneck模块和可变形卷积算子构造得到；
基于所述融合后的特征图像以及巡检图像特征提取网络其它输出层所输出的特征图像，通过回归与分类，得到部件目标识别结果。
3.根据权利要求1所述的机器人巡检部件缺陷检测方法，其特征在于，利用改进的迭代最近点方法计算相似变换，具体计算方式为：
采用初始相似变换对二维标准语义点云进行变换，为每个变换后的二维标准语义点云中的点进行带有类别约束的最近邻匹配，找到对应的二维测试结果语义点云中的点，得到多组匹配点；通过所述多组匹配点，求解新的相似变换；基于新的相似变换，迭代上述过程，直至达到迭代终止条件，得到第一相似变换；
采用所述初始相似变换对二维标准语义点云进行变换，为每个变换后的二维标准语义点云中的点进行带有类别约束的最近邻匹配，找到对应的二维测试结果语义点云中的点，得到多组匹配点；从所述多组匹配点中剔除掉多对一匹配关系中距离最大的匹配关系，再根据经过剔除操作后的多组匹配点，求解新的相似变换；基于新的相似变换，迭代上述过程，直至达到迭代终止条件，得到第二相似变换；
将第一相似变换和第二相似变换分别带入最小化配准残差f，求得对应的最小化配准残差值；将较小的最小化配准残差值所对应的相似变换作为最终的相似变换；其中，所述最小化配准残差f表示为：
[xtiyti1]T＝A·[xiyi1]T；
式中，A表示相似变换，将第一相似变换和第二相似变换分别作为A带入；xi,yi表示二维标准语义点云中的某一点二维坐标，(xdi,ydi)表示点(xi,yi)的最近邻匹配点。
4.根据权利要求1所述的机器人巡检部件缺陷检测方法，其特征在于，当所述部件异常精细类别分类网络输出有正常螺栓和/或松动螺栓的精细类别结果时，采用3D点云测量算法，进一步确认螺栓是否确实松动，具体为：
将正常螺栓和松动螺栓的精细类别结果在部件识别结果中所对应的边界框映射到3D点云中，得到螺栓区域对应点云信息；其中，所述3D点云是在采集每一张巡检图像时对应生成的3D点云信息；
对所述螺栓区域对应点云信息使用Ransac算法分割出第一平面，并计算第一平面的法向量；从所述螺栓区域对应点云信息中所述排除所述第一平面的点，继续用带有第一平面法向量约束的Ransac方法分割出第二平面，第一平面和第二平面设定为螺栓的顶部和底部平面；
得到第一平面和第二平面后利用近似法计算平面距离，具体为计算第二平面内的所有点至第一平面的距离，将距离排序后，取设定距离区间的均值作为第二平面至第一平面的距离，即螺栓的高度。
5.根据权利要求4所述的机器人巡检部件缺陷检测方法，其特征在于，所述带有第一平面法向量约束的Ransac方法具体为：
S1、随机从排除所述第一平面的点后的螺栓区域对应点云信息中选择三个点确定一个平面，并计算该随机平面的法向量；
S2、使用内积计算第一平面法向量和该随机平面的法向量之间的夹角cos值，若夹角cos值大于预设阈值，则满足约束条件，表明两法向量的平面近似平行，将所有与该随机平面的距离小于阈值的点都划分为平面内点；若不满足约束，则直接舍弃该随机平面，回到步骤S1，直至迭代预设次数；
S3、将平面内点最多的随机平面作为分割得到的最大平面，即第二平面。
6.根据权利要求1所述的机器人巡检部件缺陷检测方法，其特征在于，用于训练所述分类网络的训练样本包括采用以下方式构建得到的样本：
将每张训练用巡检图像的每个标注框作为裁剪框，直接得到该标注框对应精细类别置信度为1.0的正样本；
统计各部件在该张巡检图像上的最大、最小面积，以及最大、最小长宽比；在该张巡检图像上为各部件每个精细类别随机设置若干个裁剪框，即先在图像区域上以均匀分布采样得到裁剪框的中心点，然后在统计的最大、最小面积之间以均匀分布采样得到裁剪框的面积，最后在统计的最大、最小长宽比之间以均匀分布采样得到裁剪框的长宽比，通过长宽比和面积解算具体的长宽值，得到随机的裁剪框；
若每个裁剪框和巡检图像上对应精细类别的某一个标注框有重叠区域，则计算该标注框和该裁剪框的并交比IoU；若每个裁剪框和巡检图像上对应精细类别的多个标注框有重叠区域，则计算IoU之后取其中的最大值；若每个裁剪框和巡检图像上对应精细类别的各标注框均无重叠区域，令IoU等于0；若IoU大于等于预设值，则以该裁剪框区域作为对应精细类别置信度为1.0的正样本，否则以该裁剪框区域作为负类置信度为(1-IoU)的负样本；
统计正负样本的数量，并通过追加采样，以均衡样本，完成样本标注的生成。
7.根据权利要求1所述的机器人巡检部件缺陷检测方法，其特征在于，所述巡检图像为轨道交通车辆的巡检图像；所述方法还包括检测轨道交通车辆上刹车闸片的厚度，以判断刹车闸片是否超限，具体为：
步骤一、截取当前巡检图像中刹车闸片的图像区域，初始化双阈值为(250,180)；
步骤二、使用当前的双阈值进行Canny边缘检测，得到边缘响应；
步骤三、记录所述图像区域中竖直中轴线上的边缘点坐标，即在边缘响应的X轴中点处，以Y轴方向从上至下记录边缘点的坐标；
步骤四、若竖直中轴线上的边缘点数量不少于两个，则进入步骤五计算厚度；否则，双阈值都降低预设值，并回到步骤二；
步骤五、以Y值最小和最大的竖直中轴线边缘点分别作为闸片的上边缘点和下边缘点，将上下边缘点的坐标映射至相机采集巡检图像时所对应生成的3D点云中，得到在真实世界坐标系中的Y值，以上下边缘点Y值的差作为最终的厚度测量结果。
8.根据权利要求1所述的机器人巡检部件缺陷检测方法，其特征在于，所述巡检图像为轨道交通车辆的巡检图像；所述方法还包括检测轨道交通车辆上扫石器的高度，以判断扫石器是否超限，具体为：
对含有扫石器的巡检图像进行预处理，得到平衡后的二值图像；
在平滑后的二值图像上，基于经目标识别网络预测的扫石器边界框，寻找扫石器和轨道平面的边界线，流程为：
S1、将所述扫石器边界框映射到所述二值图像上；在所述二值图像上，从扫石器边界框的中心点竖直向下寻找第一个黑色像素点，作为扫石器的下边界，然后继续向下寻找第一个白色像素点，作为轨道平面的上边界，将这两个边界点坐标信息与其高度差H加入高度差集合中；
S2、从扫石器边界框的中心点向X轴方向左右偏移，每次移动2个坐标，然后重复步骤一，其中，设置左右偏移的坐标范围，最终高度差集合中有多组边界点坐标信息和高度差H；
S3、对高度差集合中按照高度差H排序，并去除H最小和最大的两组，得到新的高度差集合；
S4、通过新的高度差集合中高度差H的均值和中位数去除离群点，得到最终高度差集合；
S5、取最终高度差集合中按高度差H排序后较小的X分位数索引X_index，并以取X_index±A范围内的索引对应的边界点，分别拟合扫石器下边界的直线和轨道平面上边界的直线，将两条直线的斜率取均值，得到统一拟合斜率k，其中，X和A取正数；
S6、所述X_index对应的上边界点为(x0,ytop)，下边界点为(x0,ybottom)，分别过此二点，以所述统一拟合斜率k作最终斜率一致的上下边界拟合直线，截距为：
S7、基于所述截距，得到最终上下边界拟合直线的距离，作为最终扫石器至轨面的高度。
9.根据权利要求8所述的机器人巡检部件缺陷检测方法，其特征在于，步骤S4中去除离群点的方式为：计算H的均值Mean和中位数Median，若某一组边界点的高度差H符合或/>则该组边界点视为离群点，从新的高度差集合中剔除；
和/或，
步骤S5中X为四，A为5。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至9任一项所述的一种机器人巡检部件缺陷检测方法。
CN202310615950.4A 2023-05-29 2023-05-29 一种机器人巡检部件缺陷检测方法及其应用 Pending CN116665126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310615950.4A CN116665126A (zh) 2023-05-29 2023-05-29 一种机器人巡检部件缺陷检测方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310615950.4A CN116665126A (zh) 2023-05-29 2023-05-29 一种机器人巡检部件缺陷检测方法及其应用

Publications (1)

Publication Number Publication Date
CN116665126A true CN116665126A (zh) 2023-08-29

Family

ID=87709128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310615950.4A Pending CN116665126A (zh) 2023-05-29 2023-05-29 一种机器人巡检部件缺陷检测方法及其应用

Country Status (1)

Country Link
CN (1) CN116665126A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152102A (zh) * 2023-09-07 2023-12-01 南京天创电子技术有限公司 一种焦炉废气砣杆工作状态的检测方法和系统
CN117349711A (zh) * 2023-12-04 2024-01-05 湖南京辙科技有限公司 一种铁路机车零部件电子标签数据处理方法及系统
CN117593528A (zh) * 2024-01-18 2024-02-23 中数智科(杭州)科技有限公司 一种基于机器视觉的轨道车辆螺栓松动检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152102A (zh) * 2023-09-07 2023-12-01 南京天创电子技术有限公司 一种焦炉废气砣杆工作状态的检测方法和系统
CN117152102B (zh) * 2023-09-07 2024-04-05 南京天创电子技术有限公司 一种焦炉废气砣杆工作状态的检测方法和系统
CN117349711A (zh) * 2023-12-04 2024-01-05 湖南京辙科技有限公司 一种铁路机车零部件电子标签数据处理方法及系统
CN117349711B (zh) * 2023-12-04 2024-02-13 湖南京辙科技有限公司 一种铁路机车零部件电子标签数据处理方法及系统
CN117593528A (zh) * 2024-01-18 2024-02-23 中数智科(杭州)科技有限公司 一种基于机器视觉的轨道车辆螺栓松动检测方法
CN117593528B (zh) * 2024-01-18 2024-04-16 中数智科(杭州)科技有限公司 一种基于机器视觉的轨道车辆螺栓松动检测方法

Similar Documents

Publication Publication Date Title
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
Zhang et al. Change detection between multimodal remote sensing data using Siamese CNN
CN116665126A (zh) 一种机器人巡检部件缺陷检测方法及其应用
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
CN104112269B (zh) 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统
CN109583324A (zh) 一种基于单点多盒检测器的指针仪表读数自动识别方法
CN105069790A (zh) 一种齿轮外观缺陷快速影像检测方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN109615654B (zh) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
CN104778721A (zh) 一种双目图像中显著性目标的距离测量方法
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN115482195B (zh) 一种基于三维点云的列车部件变形检测方法
CN110378957B (zh) 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统
CN113240623B (zh) 一种路面病害检测方法及装置
CN113643371B (zh) 一种飞行器模型表面标记点的定位方法
CN115063579B (zh) 基于二维图像和三维点云投影的列车定位销松动检测方法
CN116358449A (zh) 一种基于双目面结构光的飞机铆钉凹凸量测量方法
CN111768417A (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN113870326B (zh) 一种基于图像和三维点云配准的结构损伤映射、量化及可视化方法
CN113837166B (zh) 一种基于深度学习的指针式仪表自动读数方法
CN114419140A (zh) 一种轨道激光测量装置光斑中心的定位算法
CN113705564A (zh) 一种指针式仪表识别读数方法
CN104655041A (zh) 一种附加约束条件的工业零件轮廓线多特征提取方法
CN116958837A (zh) 基于无人机的市政设施故障检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination