CN115063579A - 基于二维图像和三维点云投影的列车定位销松动检测方法 - Google Patents

Abstract

本发明公开了基于二维图像和三维点云投影的列车定位销松动检测方法，包括：使用三维工业相机采集定位销部件的二维图像和三维点云数据；对于二维图，采用YOLOv5目标检测算法定位定位销位置；将二维图中定位销目标区域映射到采集的三维点云数据中，截取目标点云；基于二维图像与三维点云数据综合计算定位销高度；与历史数据和标准数据作差，对比故障阈值，判断定位销状态。本发明结合二维数据和三维数据的特点，提高了检测算法的稳定性与准确性，实现在整个地铁车底复杂环境下稳定的定位销定位，分割、计算和识别松动的功能，通过计算相关客观真实数据来判断松动；并且能够提供定位销松动的数值，为检修人员提供参考，提升检测效率。

Description

基于二维图像和三维点云投影的列车定位销松动检测方法

技术领域

本发明涉及基于二维图像和三维点云投影的列车定位销松动检测方法，属于列车故障检测技术领域。

背景技术

随着国民经济和轨道交通的快速发展，中国的高速铁路系统已经突破4万公里以上，为全球最大规模的高速铁路系统。为了保证列车的安全运行，需要列车在连续运行一天或者几天后入库进行整体进行定期维护检修。目前，尽管智能检测技术发展迅速，但列车的维护依旧以人工维护为主。由于列车数量越来越多，检修环境恶劣，且检修人员易受生理和心理因素影响，可能导致部件漏检和误检。人工检修整个检修过程时间短、效率低、成本高。

近年来计算机视觉技术已经广泛应用于医学辅助诊断，人脸识别、智能交通监控、桥梁裂纹检测、智能驾驶、高速路车牌识别、航空遥感测控地形地貌、电影特效制作、工业生产自动化检测等领域。计算机视觉在列车故障领域的应用也逐渐被重视起来，各类列车外观检测系统也在处于研发或者应用阶段，但大都是以二维图像为基础来开发算法。二维图像有很多优点，例如采集便捷，算法成熟，易于传输，检测速度快等。但是对于一些故障类型基于二维图片的检测算法开发难度较大，比如部件的尺寸，间隙，距离等物理量的测量，除此之外检测结果可能会受到光照变化、颜色失真等噪声影响。三维点云可以有效地弥补二维图像的部分缺陷，点云能够呈现部件的三维结构，获得大量二维图像所没有的信息，而光照变化，颜色失真等噪声对于点云结构影响不大，因此能够增强检测算法的鲁棒性，但原始三维点云数据量十分庞大，如果直接基于原始点云来实现检测算法，检测时间可能过长；同时，因为三维点云很多是通过激光测量原理得到的，由于角度问题，部分部件区域可能会遮挡激光，导致该区域后的部件点云缺失，因此可能会影响检测准确率。

定位销是以工件孔作为定位基准，主要用于二维空间的位置确定，参与限制物体自由度的零件。列车定位销位于列车两侧车轮旁，能够反映列车两车侧相同部件的相对位置，可以用来判断两侧车侧相同部件是否处于同一状态，并能够一定程度上限制列车两侧部件的移动。在列车部件在使用过程中由于受振动、腐蚀和冲击等因素的影响，可能会引起松动、转动和位置变化等危害列车安全运行的问题，进而反映到定位销的松动程度上，因此定位销的松动检测对于列车的安全运行非常重要。目前列车定位销的松动检测主要靠人工巡检，通过人眼观察模糊判断定位销高度，以及对定位销底部的防松线进行识别，判断定位销是否松动，该检测方法耗时费力，且无法知道定位销松动程度的精确值，进而不能确定列车两侧相同部件精确的相对位置，对后续的维修造成困阻。因此有必要利用计算机视觉检测技术来对列车设备进行智能、高效、准确的检测，并提升维修效率。

实际工业环境中的定位销松动检测具备诸多难点：（1）不同的列车定位销模样可能存在差异。（2）每辆列车检修存在时限。（3）实际环境中拍摄的定位销图片由于不同的光照或拍摄角度，具备大量噪点。

从上诉背景中可以清晰地知道利用计算机视觉进行定位销松动检测必须要解决的三个关键点是：（1）算法模型必须具备智能性、高鲁棒性、泛化性。算法必须对不同列车部件上的定位销都能够识别并进行松动检测，这样才能代替人工检测实现智能检测，保证列车的运行安全。（2）算法模型必须具备高效率。列车定期检修的运营空期时间短，因此算法必须能在列车的运营空期中快速地完成列车定位销的松动检测，保证列车准时运营。（3）算法模型必须具备高精度性。算法必须可以准确计算定位销的松动程度，为检修人员提供一个松动值，提升质检质量。

发明内容

为了克服现有技术中的问题，本发明提供基于二维图像和三维点云投影的列车定位销松动检测方法，该方法结合定位销二维表面图像和定位销三维点云深层结构实现定位销松动检测，弥补了单一二维或三维数据检测的不足之处，可以有效减轻列车质检员繁重的质检工作量，提升质检效率，解决了上述背景技术中提到的问题。

本发明解决上述技术问题所提供的技术方案是：基于二维图像和三维点云投影的列车定位销松动检测方法，包括以下步骤：

步骤1、采集定位销部件的三维点云数据，并通过三维点云数据映射为二维定位销图像；

步骤2、对二维定位销图像中的定位销位置进行定位，获得包含定位销底座上边缘和定位销紧固件上边缘的图像1和包含定位销紧固件上边缘和下边缘的图像2，并获取图像1中的边框坐标，然后将坐标框映射到三维点云数据中，截取位于三维点云数据中的定位销目标点云；

步骤3、对图像1、图像2进行预处理获得以图像Y轴平均分为两份的图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2；

步骤4、分别对图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2检测直线；

步骤5、基于图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2中检测出的直线计算定位销高度（定位销紧固件上边缘到底座上边缘距离）与定位销紧固件长度（定位销紧固件上边缘到固件右边缘距离）比值K _2D ；

步骤6、对三维点云数据进行预处理获得三维点云投影；

步骤7、基于三维点云投影计算定位销高度与定位销底座宽度比值K _3D ；

步骤8、基于定位销高度与定位销紧固件长度比值K _2D 、定位销高度与定位销底座宽度比值K _3D 计算定位销的平均高度H _D ；

步骤9、基于定位销的平均高度H _D 判断定位销是否松动。

进一步的技术方案是，所述步骤2中通过利用目标检测算法YOLOv5对二维定位销图像的位置进行定位。

进一步的技术方案是，所述步骤3的具体步骤为：

步骤301、利用自适应阈值二值化算法提取定位销基本结构黑白骨架；

步骤302、利用基于连通域面积的噪点去除算法，将面积S小于设定阈值T的连通域删除；

步骤303、利用中值滤波非线性平滑算法，平滑定位销骨架结构的边缘毛刺，使得定位销骨架结构更清晰硬朗；

将该3*3大小的核kernel与原图进行逐像素卷积；

步骤304、利用Canny算子检测定位销边缘；

步骤305、将图像1和图像2以其Y轴平均分为两份，分别为图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2。

进一步的技术方案是，所述步骤4的具体步骤为：

步骤401、分别对图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2使用霍夫直线检测算法检测直线；

步骤402、计算每个窗口中每条检测出直线与水平X轴的夹角α；

步骤403、在图像I _1y1、图像I _1y2中|α|＜30°的直线集合里分别选取1条|α|最小的直线，最终能选出第一直线L ₁和第二直线L ₂两条目标直线，分别代表定位销底座上边缘和定位销紧固件上边缘；同理在图像I _2y1、图像I _2y2中最终能选出第三直线L ₃和第四直线L ₄两条目标直线，分别代表定位销紧固件上边缘和下边缘。

进一步的技术方案是，所述步骤5的具体步骤为：

步骤501、将第一直线L ₁和第二直线L ₂映射到图像1中，第三直线L ₃和第四直线L ₄映射到图像2中；

步骤502、计算图像1中第一直线L ₁到第二直线L ₂的距离D ₁，图像2中第三直线L ₃到第四直线L ₄的距离D ₂；

步骤503、基于第一直线L ₁到第二直线L ₂的距离D ₁、第三直线L ₃到第四直线L ₄的距离D ₂计算定位销高度与定位销紧固件长度比值K _2D ；

式中：K _2D 为定位销高度与定位销紧固件长度比值；D ₁为第一直线L ₁到第二直线L ₂的距离；D ₂为第三直线L ₃到第四直线L ₄的距离。

进一步的技术方案是，所述步骤502中点到直线的距离公式为：

式中：x _i 、y _i 为对应的点x坐标、y坐标；A _n 、B _n 、C _n 为对应的直线方程参数；D为点到直线的距离。

进一步的技术方案是，所述步骤6的具体步骤为：

步骤601、利用定位销目标点云中第三个维度即深度精确提取定位销内侧结构的两片点云；

式中：Z_min为最小深度，Z_max为最大深度，只提取位于该范围内的点云；

步骤602、将该两片点云投影到X-Y平面上，呈现为两片散点图，对该片散点图下采样；

设某点坐标为（x _i ，y _i ），则下采样后的坐标为：

进一步的技术方案是，所述步骤7的具体步骤为：

步骤701、在存在点的列中，计算每片散点图每列最上侧的点与最下侧的点的距离l _i ^y 以及第一平均值M ₁；

式中：p代表存在点的列的总数，y _imax代表每列中最上侧点纵坐标值，y _imin代表每列中最下侧点纵坐标值；

步骤702、将l _i ^y 中小于M ₁/2的值删除，并计算最终的定位销高度平均值；

式中：m代表最终的列数；

步骤703、在存在点的行中，计算每行最左侧的点到最右侧的点的距离l _i ^x 以及第二平均值M ₂；

式中：q代表存在点的行的总数，x _imax代表每行中最右侧点的横坐标值，x _imin代表每行中最左侧点的横坐标值；

步骤704、将l _i ^x 中小于M ₂/2的值删除，并计算最终的定位销底座宽度平均值；

式中：n代表最终的行数。

步骤705、基于定位销高度平均值、定位销底座宽度平均值计算定位销高度与定位销底座宽度比值K _3D ；

式中：K _3D 为定位销高度与定位销底座宽度比值；M ^´ ₁为定位销高度平均值；M ^´ ₂为定位销底座宽度平均值。

进一步的技术方案是，所述步骤8中的计算公式为：

式中：K _3D 为定位销高度与定位销底座宽度比值；K _2D 为定位销高度与定位销紧固件长度比值；W _G 为定位销底座宽度的真实值；L _G 为定位销紧固件长度的真实值；H _D 为定位销的平均高度。

进一步的技术方案是，所述步骤9中当定位销的平均高度H _D 大于上限阈值说明定位销松动，当定位销的平均高度H _D 小于下限阈值说明定位销可能已经损坏。

本发明具有以下有益效果：

1、本发明在定位二维目标的同时通过坐标映射定位三维点云中的目标，避免了直接在百万级三维点云中进行目标检测，过滤掉大量与目标部件无关的点云数据，提高算法模型效率；二维图像的目标定位采用基于深度学习的目标检测算法，能够通过自主学习不同种类定位销的特征，对于不同种类的定位销也能有良好的目标检测效果，并可有效解决因为光照、颜色失真、拍摄角度等因素引起的定位不准的问题，同时后期还可以通过不断采集图像来优化模型，进一步提升目标检测算法的准确性与鲁棒性；

2、本发明将三维点云数据映射到二维空间中，同时保留了点云投影到x-y平面上的边界信息，避免了复杂的三维点云计算，提升了算法检测速度；

3、本发明结合了二维图像和三维点云数据，利用两类数据对列车定位销进行松动检测，能够有效提升定位销松动检测的准确性与鲁棒性。这种方法弥补了定位销单一二维图像松动检测算法易受光照、颜色失真等噪声影响的缺陷，同时通过二维图像的定位销松动检测算法弥补了定位销深层结构3D点云可能出现缺失而导致检测不够精确的问题；

4、本发明对基于二维图像和三维点云数据的定位销松动检测结果赋予不同的权值，能够有效利用不同类型数据的检测优势，准确地计算出定位销的高度，并且能自动判断定位销是否松动，可以为维修人员提供一个参考结果；这种二维图像与三维点云结合的检测模式可以推广到列车更多的部件测量中，为列车的安全运营提供保障。

附图说明

图1是本发明的流程图；

图2是定位销定位图；

图3是定位销高度图；

图4是定位销紧固件长度图；

图5是定位销高度检测图；

图6是定位销紧固件长度检测图；

图7是目标三维点云位置图；

图8是提取目标点云图；

图9是目标点云投影图；

图10是下采样图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的基于二维图像和三维点云投影的列车定位销松动检测方法，包括以下步骤：

步骤1、使用三维工业相机采集列车两车侧的包含定位销部件的三维点云数据，其中三维点云数据映射为二维定位销图像；

采集平台是一个智能巡检机器人，通过自动导航技术运行到列车底部指定位置，然后通过搭载在机械臂上的三维相机，准确采集列车定位销部件的数据，并能够传输后台进行实时处理；3D相机的成像原理是结构光，可以生成高精度的点云数据（XYZ）和高质量颜色信息(RGB)，并能够通过三维点云数据映射为二维定位销图像；

步骤2、定位销定位：利用目标检测算法YOLOv5对二维定位销图像的位置进行定位，效果如图2；

总共定位两幅图像，分别是包含定位销底座上边缘和定位销紧固件上边缘的图3；包含定位销紧固件上边缘和下边缘的图4；

获取图3边框坐标，然后将坐标框映射到三维点云数据中，截取三维点云数据；

通过先对定位销二维图像进行基于深度学习的目标检测网络的训练和检测，再通过坐标映射定位定位销三维点云数据；

YOLOv5采用了Mosaic数据增强，通过拼接四幅图像极大地丰富了被检测物体的背景；除此之外，还对输入图像的色相、饱和度和值进行了调整，添加了随机缩放、裁剪、平移、剪切和旋转等数据增强操作，可有效解决因为光照、颜色失真、拍摄角度等因素引起的定位不准的问题，使模型对不同环境下获得的图像具有较高的鲁棒性；

通过YOLOv5在二维定位销图上定位了定位销目标位置后，将目标位置左上、左下、右上、右下的坐标映射到三维点云中，截取定位销三维点云数据，实现对定位销的三维点云定位，大大提升了算法的检测效率；

步骤3、图3、图4预处理；

人工检测方法通过定位销的高度（定位销紧固件上边缘到底座上边缘距离）可以判断定位销是否松动。但在二维图像中，由于拍摄距离与角度不同，即使是同一定位销的高度在不同拍摄距离与角度上所占据的像素个数都不一样，因此不能简单地通过像素个数来计算定位销的高度。由于同一幅图像中定位销底座与定位销紧固件具备相同的拍摄距离与角度、空间条件，所以理论上它们的相对大小在不同的图像中是相同的，并且定位销紧固件实际的长度L _G 和宽度W _G 是已知参数，因此可以首先计算同一图像中定位销高度与定位销紧固件长度之比，再乘以真实的定位销紧固件长度，可以得到由二维图像检测的实际定位销高度。

在二维图像中，如图3，定位销高度可由定位销紧固件上边缘与定位销底座上边缘的距离来计算得到；如图4，定位销紧固件的长度可由定位销紧固件上边缘与下边缘的距离计算得到。边缘距离可以通过检测直线然后计算直线之间的距离得到。

为了准确检测边缘直线，必须对图像进行预处理，提取出准确的边缘。

步骤301、利用自适应阈值二值化算法提取定位销基本结构黑白骨架；

步骤302、利用基于连通域面积的噪点去除算法，将面积S小于设定阈值T的连通域删除；

步骤303、利用中值滤波非线性平滑算法，平滑定位销骨架结构的边缘毛刺，使得定位销骨架结构更清晰硬朗；

将该3*3大小的核kernel与原图进行逐像素卷积；

步骤304、利用Canny算子检测定位销边缘；

步骤305、将图3和图4以其Y轴平均分为两份，分别命名为图像I _1y1、图像I _1y2和图像I _2y1、图像I _2y2；

步骤4、基于二维图像的定位销高度与定位销紧固件长度比值检测；

提取出边缘后，就可通过霍夫直线检测算法检测边缘直线。这里通过图3检测定位销紧固件上边缘与定位销底座上边缘距离，通过图4检测定位销紧固件上边缘与下边缘的距离。每幅图以Y轴（高度）平均分为2个窗口，每个窗口只检测一条直线。通过多窗口进行直线检测可以过滤掉大量的误检直线，并且可以准确方便地提取出目标直线，相比在整幅图像中提取直线更容易、准确。由于每个窗口霍夫直线检测算法仍然会检测出大量的直线，因此需要提取出适合的直线。由于定位销紧固件上边缘、下边缘与定位销底座上边缘偏向水平方向，角度较小，因此可以在每个窗口中通过判断直线与X轴角度，准确选取目标直线。

通过角度选取到4条目标直线后，由于对应的直线可能并不平行，因此采用点到直线的距离来近似直线与直线的距离。

通过点到直线的距离计算，可以获得同一幅二维图像中，定位销紧固件高度与定位销紧固件长度，它们的比值为K _2D 。

步骤401、分别对图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2使用霍夫直线检测算法检测直线；

霍夫直线检测算法将笛卡尔坐标系映射到极坐标参数空间中进行直线检测：

直线方程：

式中：r是坐标原点到直线的距离，θ是直线的垂线与

轴的夹角；

步骤402、计算每个窗口中每条检测出直线与水平X轴的夹角α；

由霍夫直线检测结果，每条直线由（r，θ）唯一确定。将极坐标系下的直线映射到笛卡尔坐标系下。

两类坐标系的转换关系为：

则直线与x轴的夹角α：

步骤403、在图像I _1y1、图像I _1y2中|α|＜30°的直线集合里分别选取1条|α|最小的直线，最终能选出第一直线L ₁和第二直线L ₂两条目标直线，分别代表定位销底座上边缘和定位销紧固件上边缘；同理在图像I _2y1、图像I _2y2中最终能选出第三直线L ₃和第四直线L ₄两条目标直线，分别代表定位销紧固件上边缘和下边缘；

步骤404、将第一直线L ₁和第二直线L ₂映射到图3，效果如图5所示，第三直线L ₃和第四直线L ₄映射到图4，效果如图6；

步骤405、计算图5中第一直线L ₁到第二直线L ₂的距离D ₁，图6中第三直线L ₃到第四直线L ₄的距离D ₂；

由于对应的直线可能并不绝对平行，但角度也只有略微差距，因此可以采用点到直线的距离来近似直线与直线的距离。选取窗口图像中第一直线L ₁的中心点（x ₁，y ₁），第三直线L ₃的中心点（x ₃，y ₃）；

由点到直线的距离公式，距离

为：

式中：x _i 、y _i 为对应的点x坐标、y坐标；A _n 、B _n 、C _n 为对应的直线方程参数；D为点到直线的距离；

步骤406、求取基于二维图像的定位销高度与定位销紧固件长度比值

：

式中：K _2D 为定位销高度与定位销紧固件长度比值；D ₁为第一直线L ₁到第二直线L ₂的距离；D ₂为第三直线L ₃到第四直线L ₄的距离；

步骤5、三维点云数据预处理；

通过二维图像中定位销的坐标映射到三维点云数据后，可以提取出定位销的三维点云数据。定位销紧固件上边缘与定位销底座上边缘、定位销底座左边缘与右边缘包围形成了一个深度结构，存在两片三维点云，如图7框内所示，包含了定位销松动检测所需的边缘信息。图2包含了目标点云大致的位置坐标。

通过图2坐标映射可以截取位于三维点云数据中的定位销目标点云，避免了直接在百万计的点云中进行目标检测，大大节省检测时间，提升算法效率。

截取了目标点云大致的平面位置后，可以通过深度维度精确提取点云。目标点云在定位销底座深处，通过z通道即深度通道设置二值过滤，可对该两片点云进行提取，过滤掉其余点云，只保留两片目标点云，效果如图8所示。

步骤6、基于三维点云投影的定位销高度与定位销底座宽度比值检测；

与基于二维图像的定位销高度检测类似，通过计算同一图像中定位销高度与定位销底座宽度之比K _3D ，再乘以真实的定位销底座宽度，就可以得到定位销的实际高度，并且定位销底座的实际宽度与定位销紧固件的实际宽度是相同的，均为W _G 。

获得两片点云后，为增加算法速度，将点云投影到X-Y平面，效果如图9所示，并下采样点云，减少点云数量，效果如图10所示，可以减少算力，同时投影仍然保留了边界信息，因此算法准确性只有略微下降。

两片点云投影后为散点图图10，包含了定位销高度信息即两片散点图高度的平均值，也包含了定位销底座宽度信息即第一片散点图的左边缘与第二片散点图的右边缘距离的平均值。

具体的步骤为：

步骤601、在存在点的列中，计算每片散点图每列最上侧的点与最下侧的点的距离l _i ^y 以及第一平均值M ₁；

式中：p代表存在点的列的总数，y _imax代表每列中最上侧点纵坐标值，y _imin代表每列中最下侧点纵坐标值；

步骤602、将l _i ^y 中小于M ₁/2的值删除，并计算最终的定位销高度平均值；

式中：m代表最终的列数；

步骤603、在存在点的行中，计算每行最左侧的点到最右侧的点的距离l _i ^x 以及第二平均值M ₂；

式中：q代表存在点的行的总数，x _imax代表每行中最右侧点的横坐标值，x _imin代表每行中最左侧点的横坐标值；

步骤604、将l _i ^x 中小于M ₂/2的值删除，并计算最终的定位销底座宽度平均值；

式中：n代表最终的行数。

步骤605、基于定位销高度平均值、定位销底座宽度平均值计算定位销高度与定位销底座宽度比值K _3D ；

式中：K _3D 为定位销高度与定位销底座宽度比值；M ^´ ₁为定位销高度平均值；M ^´ ₂为定位销底座宽度平均值；

步骤7、定位销松动检测；

基于二维图像检测出的定位销实际的高度为：

基于三维点云检测出的定位销实际的高度为：

基于二维图像检测出的定位销实际的高度比基于三维点云的检测算法更准确、快速，但基于二维图像的检测算法可能会因光照、颜色失真等噪声影响检测结果。基于三维点云的定位销高度检测相比基于二维图像的方法更加稳定，不易受环境影响，但对于相机的拍摄要求更高一点，否则可能会导致目标点云出现部分缺失的情况，影响检测精度。

因此，综合基于二维图像和三维点云的检测方法，对它们赋予不同的权重，可以充分利用不同类型数据的优势，平衡算法的准确度与稳定性，使整体的检测效果具备高稳定性、高准确性与快速性。

定位销松动检测算法的稳定性是第一优先级，精度其次。因此对基于三维点云数据的检测结果赋予更高的权重，然后利用基于二维图像的检测结果去提升精度。最终定位销的平均高度为：

根据定位销的平均高度H _D ，与定位销松动的阈值比较，可以判断定位销是否松动。

本发明整体方案具有一个完善的检测流程。

通过基于深度学习的目标检测算法YOLOv5，可以利用采集的数据与制作的标签自主学习不同种类定位销的特征，对于不同种类的定位销也能有良好的目标检测效果，模型在拍摄角度发生偏移或者存在一定光照变化、污渍影响时，仍能准确定位到目标部件，鲁棒性比起传统的模板匹配算法有巨大提升，可以适用于列车定位销检测，具有不错的泛化性。经过实际测试，在1080Ti 8G的硬件平台上对一张定位销的2D图片（1944×1200）进行检测仅仅需要0.03s左右，能够满足实时检测的需求，且没有漏检情况。

通过基于二维坐标映射三维点云的目标定位方法，可以在定位二维目标的同时通过坐标映射定位三维点云中的目标，避免了直接在百万级三维点云中进行目标检测，过滤掉大量与目标部件无关的点云数据，提高了算法效率。

为了在二维图像中准确地找到所需要的4条边缘直线，首先对图像做了预处理，过滤了大量的噪点、背景，通过多窗口处理与调整霍夫直线检测算法的参数，并设置角度阈值，可以有效降低检测出的直线数量，最后精确提取出所需要的4条直线，然后通过直线之间的距离比值求得定位销的准确高度。

由于点云是三维数据，相比二维数据更复杂，因此将三维数据投影到X-Y平面上可以有效降低计算量，但点云的边界依旧保留，因此基于点云投影的检测算法准确度只有略微下降，而检测速度却有显著提升。

算法将二维和三维数据的优势结合起来，通过基于二维图像的定位销松动检测算法弥补了定位销深层结3D点云可能出现缺失而导致检测不够精确的问题，通过三维点云的检测算法弥补了基于二维图像的检测算法不够稳定的问题。算法拥有直观、严谨的数学推导，能够精确解算出定位销的的高度，并且兼顾了稳定性、准确性、泛化性和快速性。

本发明通过大量京港地铁列车实际数据测试，算法漏检率仅4.5%，定位销检测高度误差在-6.1%至8.4%，满足检测要求。数字化定位销高度检测能够直观显示定位销的松动情况，并能够从历史检测数据中更新算法模型，进一步提升检测准确率，给列车行车安全提供强有力保障。

以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，包括以下步骤：

步骤1、采集定位销部件的三维点云数据，并通过三维点云数据映射为二维定位销图像；

步骤2、对二维定位销图像中的定位销位置进行定位，获得包含定位销底座上边缘和定位销紧固件上边缘的图像1和包含定位销紧固件上边缘和下边缘的图像2，并获取图像1中的边框坐标，然后将坐标框映射到三维点云数据中，截取位于三维点云数据中的定位销目标点云；

步骤3、对图像1、图像2进行预处理获得以图像Y轴平均分为两份的图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2；

步骤4、分别对图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2检测直线；

步骤5、基于图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2中检测出的直线计算定位销高度与定位销紧固件长度比值K _2D ；

步骤6、对三维点云数据进行预处理获得三维点云投影；

步骤7、基于三维点云投影计算定位销高度与定位销底座宽度比值K _3D ；

步骤8、基于定位销高度与定位销紧固件长度比值K _2D 、定位销高度与定位销底座宽度比值K _3D 计算定位销的平均高度H _D ；

步骤9、基于定位销的平均高度H _D 判断定位销是否松动。

2.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤2中通过利用目标检测算法YOLOv5对二维定位销图像的位置进行定位。

3.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤3的具体步骤为：

步骤301、利用自适应阈值二值化算法提取定位销基本结构黑白骨架；

步骤302、利用基于连通域面积的噪点去除算法，将面积S小于设定阈值T的连通域删除；

步骤303、利用中值滤波非线性平滑算法，平滑定位销骨架结构的边缘毛刺；

步骤304、利用Canny算子检测定位销边缘；

步骤305、将图像1和图像2以其Y轴平均分为两份，分别为图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2。

4.根据权利要求3所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤4的具体步骤为：

步骤401、分别对图像I _1y1、图像I _1y2、图像I _2y1、图像I _2y2使用霍夫直线检测算法检测直线；

步骤402、计算每个窗口中每条检测出直线与水平X轴的夹角α；

步骤403、在图像I _1y1、图像I _1y2中|α|＜30°的直线集合里分别选取1条|α|最小的直线，最终能选出第一直线L ₁和第二直线L ₂两条目标直线，分别代表定位销底座上边缘和定位销紧固件上边缘；同理在图像I _2y1、图像I _2y2中最终能选出第三直线L ₃和第四直线L ₄两条目标直线，分别代表定位销紧固件上边缘和下边缘。

5.根据权利要求4所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤5的具体步骤为：

步骤501、将第一直线L ₁和第二直线L ₂映射到图像1中，第三直线L ₃和第四直线L ₄映射到图像2中；

步骤502、计算图像1中第一直线L ₁到第二直线L ₂的距离D ₁，图像2中第三直线L ₃到第四直线L ₄的距离D ₂；

步骤503、基于第一直线L ₁到第二直线L ₂的距离D ₁、第三直线L ₃到第四直线L ₄的距离D ₂计算定位销高度与定位销紧固件长度比值K _2D ；

式中：K _2D 为定位销高度与定位销紧固件长度比值；D ₁为第一直线L ₁到第二直线L ₂的距离；D ₂为第三直线L ₃到第四直线L ₄的距离。

6.根据权利要求5所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤502中点到直线的距离公式为：

式中：x _i 、y _i 为对应的点x坐标、y坐标；A _n 、B _n 、C _n 为对应的直线方程参数；D为点到直线的距离。

7.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤6的具体步骤为：

步骤601、利用定位销目标点云中第三个维度即深度精确提取定位销内侧结构的两片点云；

步骤602、将该两片点云投影到X-Y平面上，呈现为两片散点图，对该片散点图下采样。

8.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤7的具体步骤为：

步骤701、在存在点的列中，计算每片散点图每列最上侧的点与最下侧的点的距离l _i ^y 以及第一平均值M ₁；

步骤702、将l _i ^y 中小于M ₁/2的值删除，并计算最终的定位销高度平均值；

步骤703、在存在点的行中，计算每行最左侧的点到最右侧的点的距离l _i ^x 以及第二平均值M ₂；

步骤704、将l _i ^x 中小于M ₂/2的值删除，并计算最终的定位销底座宽度平均值；

步骤705、基于定位销高度平均值、定位销底座宽度平均值计算定位销高度与定位销底座宽度比值K _3D ；

式中：K _3D 为定位销高度与定位销底座宽度比值；M ^´ ₁为定位销高度平均值；M ^´ ₂为定位销底座宽度平均值。

9.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤8中的计算公式为：

式中：K _3D 为定位销高度与定位销底座宽度比值；K _2D 为定位销高度与定位销紧固件长度比值；W _G 为定位销底座宽度的真实值；L _G 为定位销紧固件长度的真实值；H _D 为定位销的平均高度。

10.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤9中当定位销的平均高度H _D 大于上限阈值说明定位销松动，当定位销的平均高度H _D 小于下限阈值说明定位销可能已经损坏。

Images