CN117635520A - 一种二维图像和三维点云融合的弹条扣件松紧检测方法 - Google Patents

Abstract

本发明公开了一种二维图像和三维点云融合的弹条扣件松紧检测方法，涉及机器视觉缺陷检测及大数据处理技术领域。其包括：利用线激光传感器扫描轨道获得轨道轮廓，根据轮廓构造三维点云图像和RGB深度图像，建立语义分割模型Unet网络，利用Unet网络分割RGB深度图像中的弹条，并对弹条进行骨架提取；将二维图像中的弹条骨架映射至三维点云图像，获得弹条的初始骨架，利用初始骨架及法向量拟合弹条横截面圆，利用圆心代替初始骨架点，提高扣件检测的速度和鲁棒性；提取三维点云弹条骨架前颚点及特征点，弹条前颚点距离接触面的距离，根据距离分布快速检测弹条松紧状态。

Description

一种二维图像和三维点云融合的弹条扣件松紧检测方法

技术领域

本发明涉及机器视觉缺陷检测及大数据处理技术领域，特别涉及一种基于二维图像和三维点云融合的轨道弹条扣件松紧检测方法。

背景技术

铁路是国民经济大动脉、关键基础设施和重大民生工程，是综合交通运输体系的骨干，在我国经济社会发展中占有重要地位。根据轨道设计规范，铁路上使用的扣件类型主要是Vossloh-300、WJ-7/8弹条扣件。弹条扣件缺陷主要表现为五种：扣环丢失、异位、折断，扣件螺栓丢失和松动。扣件功能失效首先表现为螺栓松动，再演变为扣环异位、丢失。扣件功能失效不仅加剧列车振动影响列车使用寿命和乘车舒适度，而且会导致左右两根钢轨发生偏移，严重情况下造成列车脱轨。因此，需要对轨道扣件的状态进行监测，并及时检测功能失效的扣件，确保铁路安全运输。

目前，各工务段主要依靠人工在“天窗”时间沿线路通过目视逐一排查扣件异常状态。传统的人工目视巡检方法效率低、主观意识强，显然已经无法满足我国高速发展的铁路应用需求。如何在有限的“天窗”时间内快速检测和维护铁路基础设施已成为国内外轨道养护部门亟需解决的问题。近年来，随着计算机视觉和图像处理技术的发展，基于视觉检测技术在铁路行业得到了初步发展。通过将各类相机安装在轨道检测车上采集轨道图像数据，采用图像处理和模式识别等技术，对感兴趣区域进行定位、形态识别以及量化分析，得到被测对象的相关参数，使一线维护人员快速了解线路状态，进而提高铁路维护效率。

基于机器视觉的轨道扣件扣件缺陷检测技术可大致分为二维和三维视觉成像检测。前者利用二维图像传感器获得轨道的二维图像，提取轨道图像的颜色及纹理特征，或者利用深度卷积神经网络挖掘轨道图像更深层信息，从而实现扣件定位及检测。后者一般利用线扫描相机获取轨道的轮廓构成成三维点云，直接对三维点云数据进行区域分割和特征提取，根据弹条扣件的空间结构和特征点计算扣件的离缝高度即扣件松紧状态。以上两种检测方法目前已经在铁路上进行了尝试，但是还存在以下技术问题：

(1)二维图像缺少第三维的深度信息，只能检测扣件丢失、折断和异位等常规肉眼容易辨别的缺陷，但是难以检测扣件的松紧状态。

(2)三维点云数据量大，直接对三维点云进行处理导致运行效率低，难以实现对扣件松紧状态快速检测。

发明内容

基于此，有必要针对上述背景技术中提出的技术问题，提供一种二维图像和三维点云融合的弹条扣件松紧检测方法。

本发明实施例提供一种二维图像和三维点云融合的弹条扣件松紧检测方法，其包括：

获取包含弹条扣件的轨道三维点云图像和RGB深度图像；

从RGB深度图像中分割出弹条扣件图像，并从弹条扣件图像中提取出弹条扣件二维骨架图像及骨架法向量；

将弹条扣件二维骨架图像及骨架法向量映射至三维点云图像中得到初始三维骨架图像；并利用初始三维骨架图像及其每个骨架点的法向量拟合形成三维弹条扣件的横截面圆，以圆心作为三维弹条扣件横截面的骨架点，更新初始骨架图像得到弹条扣件三维点云骨架图像；

确定弹条扣件三维点云骨架的前颚点，并从弹条扣件三维点云骨架图像中不同位置处提取出多个特征点；

根据多个特征点拟合形成弹条扣件与轨道弹性垫块的接触平面，计算前颚点与接触面的距离；并根据前颚点与接触面的距离大小，判断弹条扣件的松紧状态。

进一步地，所述三维点云图像的获取，包括：

将线激光扫描传感器垂直安装在检测车上，并利用安装在检测车上的编码器触发线激光传感器动态扫描轨道轮廓；

设置线激光传感器在水平方向及高度方向的采集范围，建立数据采集坐标系，设检测车前进方向为Y方向，垂直轨道方向为X方向，高度方向为Z方向；设线激光传感器在X方向设定的点间距是Δx，编码器触发间距是Δy，在X方向上点云个数为N，Y方向M行轮廓构成轨道三维点云图像；

其中，在轨道三维点云图中，X方向第i个点的坐标表示为X_i＝X₀+i*Δx，第j行的Y坐标表示为Y_j＝Y₀+j*Δy，X₀、Y₀是X方向和Y方向上的起始坐标，i＝1,2,…,N-1,j＝1,2,…,M-1，则第i行和第j列点的高度表示为Z_ij，其点云表示为(X_i,Y_j,Z_ij)。

进一步地，所述RGB深度图像的获取，包括：

将大小为N×M的三维点云图像转换为大小为N×M的二维RGB图像；二维图像中的每个点与三维点云一一对应，且将三维点云第i行和第j列对应的高度值映射在二维图像第i行和第j列的RGB像素点；

设线激光传感器的测量范围为h，点云高度Z_ij∈(-h/2,h/2)，以Δh为等间距，将高度划分为K等分，K＝h/Δh，建立颜色表，随机选择K种不同颜色放入颜色表，使不同高度段用不同颜色表示，相同高度段用相同颜色表示，高度与颜色对应关系为：

其中，[·]为取整函数，t表示颜色表中的第t种颜色，t∈[0,K-1]。

进一步地，所述从RGB深度图像中分割出弹条扣件图像，包括：

对RGB深度图像制作样本标签标记出弹条扣件，得到标签样本数据集，表示为D_t＝{X_t,Y_t}，其中，X_t为RGB深度图像，Y_t为X_t中弹条扣件的真值标签图像；

用标签样本数据集D_t＝{X_t,Y_t}训练Unet网络，得到已训练的弹条扣件分割Unet网络模型；

将无标签样本数据集D_v＝{X_v}输入已训练的弹条扣件分割Unet网络模型，预测及分割出RGB深度图像中的弹条扣件图像I_A。

进一步地，所述从弹条扣件图像中提取出弹条扣件二维骨架图像，包括：

将弹条扣件图像I_A转换为二值图像，将弹条扣件的像素点置为白色，其余像素点均为黑色，设二值图像为A，利用下式对A进行骨架提取：

其中，AΘkB表示用结构元素B对A做k次腐蚀得到的弹条扣件骨架二维图像，其点集表示为Skeleton_p＝{p₀,…,p_n}，n为骨架线上点的个数，表示开运算。

进一步地，所述将弹条扣件二维骨架图像映射至三维点云图像中得到初始三维骨架图像，包括：

遍历骨架图像，求取每个骨架点的法向；设当前骨架点表示为p_i(x_i,y_i)∈Skeleton_p，Skeleton_p为弹条扣件骨架二维图像点集；搜索当前骨架点邻域骨架点中距离p_i(x_i,y_i)最近的两个点，设最近的两个点表示为p_i1(x_i1,y_i1)，p_i2(x_i2,y_i2)，利用p_i1，p_i2点计算当前骨架点p_i(x_i,y_i)的法线表示为：

遍历弹条扣件图像I_A，以弹条扣件骨架坐标为基准点，搜索弹条扣件图像中落在每个骨架法向量上的点或者距离法向量最近的k₁个点，设k₁个点表示为k₁由用户设定；

将弹条扣件骨架二维图像点集Skeleton_p＝{p₀,…,p_n}及每个骨架点的k个最近点Dist_p＝{skep₀,…,skep_n}均映射到三维点云图像中，得到初始三维骨架图像；其中，所述映射包括：

根据X_i＝X₀+Δx*x_i和Y_i＝Y₀+Δy*y_i将二维图像的点映射到扣件的三维点云图像，得到二维图像在三维点云中的坐标P_i(X_i,Y_i,Z_i)，其中Δx是线激光传感器在X方向设定的点间距，Δy编码器触发间距，X₀是X方向的最小坐标值，Y₀是Y方向的最小坐标值，x_i和y_i分别表示二维图像在x方向和y方向的坐标，Skeleton_p映射的初始三维骨架点表示为Skeleton_P_initial＝{P₀,…,P_n}，Dist_p映射的三维点集表示为Dist_P＝{skeP₀,…,skeP_n}。

进一步地，所述弹条扣件三维点云骨架图像的确定，包括：

利用初始三维骨架点Skeleton_P_initial＝{P₀,…,P_n}及其截面上的多个点Dist_P＝{skeP₀,…,skeP_n}拟合成弹条截面的圆，以圆心作为该截面的骨架点；

遍历初始三维点云骨架点Skeleton_P_initial＝{P₀,…,P_n}，设当前骨架点为P_i，利用P_i及P_i法向切面上的k个点skeP_i＝{P₀,…,P_k}拟合圆，将圆心P_ci代替P_i作为当前截面的骨架点，得到弹条扣件三维点云骨架点，表示为Skeleton_P_c＝{P_c0,…,P_cn}。

进一步地，所述确定弹条扣件三维点云骨架的前颚点，包括：

弹条扣件的前额均朝向轨道，计算弹条扣件三维点云骨架中心点所在的垂线(X_center,Y_center)，且

X_center＝(max(Skeleton_P_c.X)-min(Skeleton_P_c.X))/2

Y_center＝(max(Skeleton_P_c.X)-min(Skeleton_P_c.X))/2

其中，Skeleton_P_c.X，Skeleton_P_c.Y分别表示Skeleton_P_c骨架点的X，Y坐标值；

判断是否存在骨架点落在平面y＝Y_center上，若存在则表示骨架点与弹条中心面存在交点，该交点作为弹条扣件三维点云骨架前颚中心点A；若不存在，则在平面y＝Y_center两侧分别搜索距离平面最近的一个骨架点，设这两个点分别为P_C1(X_C1,Y_C1,Z_C1)，P_C2(X_C2,Y_C2,Z_C2)，用这两点构造直线，以直线与平面的交点作为弹条扣件三维点云骨架前颚中心点A，设A点表示为P_A(X_A,Y_A,Z_A)。

进一步地，所述从弹条扣件三维点云骨架图像中提取特征点，包括：

根据弹条扣件三维点云骨架前颚点A和骨架的中心面X＝X_center及Y＝Y_center，利用下式将弹条扣件三维点云骨架分成四个部分：

其中，Skeleton_P_c.X、Skeleton_P_c.Y分别表示各骨架点的X,Y坐标；依据下式在四个部分的骨架点中各选一个初始特征点B、C、D、E，各特征点分别表示为P_B(X_B,Y_B,Y_B)，P_C(X_C,Y_C,Y_C)、P_D(X_D,Y_D,Y_D)、P_E(X_E,Y_E,Y_E)；

其中，max和min分别表示求最大值和最小值；

分别建立前颚点A及四个初始特征点B,C,D,E的邻域，在各点的邻域内取Z方向最小值的点或者邻域内Z方向平均值更新原特征点坐标。

进一步地，所述判断弹条扣件的松紧状态，包括：

已知特征点D,E的坐标P_D、P_E，求点D,E线段的中点F，其坐标表示为P_F(X_F,Y_F,Y_F)；

利用特征点B、C及中点F，构建一个平面，设该平面为弹条扣件与轨道弹性垫块的接触平面，已知三点B、C、F的坐标P_B,P_C,P_F，构建出BCF平面，表示为：

αX+βY+χZ+δ＝0

其中，α，β，χ，δ分别为平面参数；

计算前颚中心点A到BCF平面的距离：

其中，用Deviation值表示弹条扣件的松紧状态，计算全部待检弹条扣件的Deviation值，设置上下阈值t₁,t₂,当deviation小于t₁，则扣件扣压力过大，当deviation值大于t₂，扣件过松。

本发明实施例提供的上述二维图像和三维点云融合的弹条扣件松紧检测方法，与现有技术相比，其有益效果如下：

利用线扫描三维相机获得轨道轮廓并构造出清晰的RGB深度图像和三维点云数据，得到轨道的双模态数据，在二维深度图像中利用已训练的Unet语义分割模型对弹条分割，代替三维点云的聚类分割或者语义分割，实现对扣件弹条的快速分割；提取二维图像的骨架，将二维图像中的骨架特征根据坐标关系快速映射至三维点云图像中获得弹条的初始骨架，利用初始骨架及法向量等特征点拟合弹条截面的圆形，以截面圆心代替弹条上表面骨架作为弹条的中心骨架，从而减少轨道垃圾及杂物的干扰，提高松紧检测的准确性；根据弹条的对称结构及空间位置，提取弹条骨架的特征，提取弹条前颚特征，计算弹条前颚的离缝高度值，根据离缝高度值的分布来排查弹条松动扣件。特别地，通过将二维图像与三维点云融合可以快速准确挖掘扣件弹条的关键特征，提高扣件检测效率；并且通过拟合弹条的截面圆，以截面圆心构成的点集为骨架代替常规的弹条轮廓骨架更能准确的描述弹条空间结构，从而减少轨道环境对检测结果的影响，从而提高扣件松脱缺陷检测的准备性。

附图说明

图1为一个实施例中提供的一种二维图像和三维点云融合的弹条扣件松紧检测方法流程图；

图2为一个实施例中提供的轨道数据采集坐标系；

图3为一个实施例中提供的RGB深度图像与三维点云轨道弹条扣件双模态图像；

图4为一个实施例中提供的深度图像弹条骨架提取算法流程；

图5为一个实施例中提供的图3中RGB深度图像弹条语义分割结果；

图6为一个实施例中提供的RGB深度图像弹条图像骨架提取结果；

图7为一个实施例中提供的弹条三维结构图；

图8为一个实施例中提供的扫描轨道得到的弹条三维点云图；

图9为一个实施例中提供的轨道弹条扣件弹条三维点云骨架；

图10为一个实施例中提供的三维点云骨架区域划分平面投影示意图；

图11为一个实施例中提供的弹条骨架三维点云提取特征点。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参见图1，本发明提出了一种二维图像和三维点云融合的弹条扣件松紧检测方法，该方法包括：

S1、线激光传感器安装在检测车上获取三维点云图像，建立三维点云图像与二维深度图像的映射关系，构造RGB深度图像。

S2、建立Unet深度卷积神经网络语义分割模型，对RGB深度图像中的弹条区域制作样本标签，利用标签样本训练Unet模型分割深度图像中弹条，并对弹条进行骨架提取得到二维图像弹条骨架及骨架法向量。

S3、将二维图像中骨架及骨架法向量映射至三维点云得到初始骨架，以初始骨架为参考，构造弹条截面的圆形，以圆心作为三维弹条截面的骨架点，更新初始骨架得到弹条三维点云骨架。

S4、定位三维点云弹条骨架的前颚点，并对三维骨架提取特征点。

S5、根据特征点拟合接触平面，计算弹条前颚距离接触面的距离Deviation，利用Deviation值判断弹条的松紧状态。

上述步骤S1～S5与其他轨道弹条扣件松脱检测方法相比，其优点为：同时利用二维图像和三维点云数据，使两种数据优势互补，从而检测速度更快，鲁棒性更好，能够排除轨道垃圾及碎石等因素的干扰，准确检测出弹条松脱的缺陷扣件。

结合图2-3，上述步骤S1的实现方法包括以下步骤：

S11、将线激光扫描传感器垂直安装在检测车上，对传感器进行校准，利用安装在检测车上的编码器触发线激光传感器动态扫描轨道轮廓。

S12、设置传感器在水平方向及高度方向的采集范围，建立数据采集坐标系，设检测车前进方向为Y方向，垂直钢轨方向为X方向，高度方向为Z方向，且以校准平面为X,Y的坐标平面，设传感器在X方向设定的点间距是Δx，编码器触发间距是Δy，在X方向上点云个数为N，Y方向M行轮廓构成一幅轨道三维点云数据图。

S13、X方向第i个点的坐标表示为X_i＝X₀+i*Δx，第j行的Y坐标表示为Y_j＝Y₀+j*Δy，其中X₀、Y₀是X方向和Y方向上的起始坐标，i＝1,2,…,N-1,j＝1,2,…,M-1，则第i行和第j列点的高度表示为Z_ij，其点云表示为(X_i,Y_j,Z_ij)；将大小为N×M的三维点云图像转换为大小为N×M的二维RGB图像，二维图像的每个点与三维点云一一对应，将三维点云第i行和第j列对应的高度值映射在二维图像第i行和第j列的RGB像素点。

S14、设传感器的测量范围为h，点云高度Z_ij∈(-h/2,h/2)，以Δh为等间距，将高度划分为K等分，K＝h/Δh，建立颜色表，随机选择K种不同颜色放入颜色表，使不同高度段用不同颜色表示，相同高度段用相同颜色表示，高度与颜色对应关系为：

其中，[·]为取整函数，t表示颜色表中的第t种颜色，t∈[0,K-1]。

S15、判断第i行和第j列点的坐标(X_i,Y_j)处是否有高度值，若当前点有高度值，则二维图像第i行和第j列的颜色用公式(1)进行选择。若无高度值，则二维图像中对应点用步骤S14所指颜色表以外的一种颜色表示。

在本例实施中，将LMI Gogator 2450线激光传感器安装在手推式轨道检测仪上进行数据采集，且以钢轨轨底所在的平面对传感器进行校准，将检测仪的差分编码器输出触发线激光传感器采集轨底轮廓数据，同时根据传感器的参数及轮廓数据构造RGB深度图像，使传感器同时输出三维点云图像及与之对应的RGB深度图像，RGB深度图像与三维点云图像的对应关系见图3。

结合图2～4所述，上述步骤S2的实现方法包括以下步骤：

S21、对RGB深度图像制作样本标签，完整标记出整个弹条，得到标签样本数据集，表示为D_t＝{X_t,Y_t}，其中，X_t为RGB深度图像，Y_t为X_t中弹条的真值标签图像。

S22、用带标签D_t＝{X_t,Y_t}样本集训练Unet网络，得到已训练的扣件弹条分割Unet网络模型。

S23、将无标签样本RGB深度图像数据集D_v＝{X_v}输入已训练的Unet模型中，预测及分割出RGB深度图像中的弹条，得到I_A。

S24、将弹条区域的RGB图像转换为二值图像，将语义分割得到的弹条区域像素点置为白色，其余像素点均为黑色，设弹条二值图像表示A，利用公式(2)对A进行骨架提取：

其中，AΘkB表示用结构元素B对A做K次腐蚀，从而得到弹条细化骨架图像，且骨架点集表示为Skeleton_p＝{p₀,…,p_n}，(n为骨架线上点的个数)，表示开运算。

在本例实施中，用2000张标记出弹条的样本图像对Unet网络进行训练得到已训练的Unet网络，将待检测扣件输入Unet网络中快速分割出弹条区域，见图5所示，对弹条图像进行二值化处理，再用椭圆形的结构元素对二值弹条图像进行细化，得到弹条的骨架图像，如图6所示。

结合图5至图8，步骤S3的实现方法包括以下步骤：

S31、遍历骨架图像，求取每个骨架点的法向，设当前骨架点表示为p_i(x_i,y_i)∈Skeleton_p，搜索其邻域骨架点中距离p_i(x_i,y_i)最近的两个点，设最近的两个点表示为p_i1(x_i1,y_i1)，p_i2(x_i2,y_i2)，利用p_i1，p_i2点计算当前骨架点p_i(x_i,y_i)的法线，表示为：

S32、遍历弹条语义分割得到的图像I_A，以弹条骨架坐标为基准点，搜索弹条图像中落在每个骨架法向量上的点或者距离法向量最近的k₁个点，设这k₁个点表示为k₁由用户设定。

S33、将二维图像的弹条骨架点Skeleton_p＝{p₀,…,p_n}及每个骨架点的k个最近点Dist_p＝{skep₀,…,skep_n}均映射到三维点云图像中。其中，将二维图像到三维点云的映射包括：

根据X_i＝X₀+Δx*x_i和Y_i＝Y₀+Δy*y_i将二维图像的点映射到扣件的三维点云图像，得到二维图像在三维点云中的坐标P_i(X_i,Y_i,Z_i)，其中Δx是线激光传感器在X方向设定的点间距，Δy编码器触发间距，X₀是X方向的最小坐标值，Y₀是Y方向的最小坐标值，x_i和y_i分别表示二维图像在x方向和y方向的坐标，Skeleton_p映射的三维骨架点表示为Skeleton_P_initial＝{P₀,…,P_n}，Dist_p映射的三维点集表示为Dist_P＝{skeP₀,…,skeP_n}。

S34、弹条型扣件扣环的截面为圆形或者接近圆形，线激光传感器扫描的得到的弹条数据只有表面的部分数据，为了降低轨道环境对扣件松动检测的影响，利用弹条表面骨架点Skeleton_P_initial＝{P₀,…,P_n}及其截面上的多个点Dist_P＝{skeP₀,…,skeP_n}拟合成弹条截面的圆，以圆心作为该截面的骨架点；遍历三维点云骨架点Skeleton_P_initial＝{P₀,…,P_n}，设当前骨架点为P_i，以P_i为基准点，利用P_i及P_i法向切面上的k个点skeP_i＝{P₀,…,P_k}拟合圆，将圆的圆心P_ci代替P_i作为当前截面的骨架点，从而得到弹条的骨架点表示为Skeleton_P_c＝{P_c0,…,P_cn}。

在本例实施中，考虑到弹条的横截面为圆形，而扫描得到的弹条点云只有上表面的部分数据，以上表面的数据提取的骨架作为弹条的骨架容易收到轨道环境的影响，因此通过拟合弹条的截面圆，以各个截面的圆心集合代替上表面骨架点作为弹条骨架，具有更好的鲁棒性。

结合图9和图11，步骤S4的实现方法包括以下步骤：

S41、以钢轨为中心，左右两侧各有一排扣件，因此在分析弹条骨架时需要考虑弹条的左右方向，对正常扣件和螺栓松扣件，弹条的前额均朝向钢轨；计算弹条骨架中心点所在的垂线标为(X_center,Y_center)，且

X_center＝(max(Skeleton_P_c.X)-min(Skeleton_P_c.X))/2

Y_center＝(max(Skeleton_P_c.X)-min(Skeleton_P_c.X))/2

其中Skeleton_P_c.XSkeleton_P_c.Y分别表示Skeleton_P_c骨架点的X，Y坐标值。

S42、判断是否存在骨架点落在平面y＝Y_center上，若存在则表示骨架点与弹条中心面存在交点，该交点作为弹条前颚中心点A；若不存在，则在平面y＝Y_center两侧分别搜索距离平面最近的一个骨架点、设这两个点分别为P_C1(X_C1,Y_C1,Z_C1)，P_C2(X_C2,Y_C2,Z_C2)，用这两点构造直线，以直线与平面的交点作为弹条前颚中心点A，设A点表示为P_A(X_A,Y_A,Z_A)。

S43、根据弹条骨架前颚点A和骨架的中心面X＝X_center及Y＝Y_cent_er，利用公式(4)将弹条骨架分成四个部分：

其中Skeleton_P_c.X、Skeleton_P_c.Y分别表示各骨架点的X,Y坐标；依据公式(5)-(8)在四个部分的骨架点中各选一个初始特征点B、C、D、E，各特征点分别表示为P_B(X_B,Y_B,Y_B)，P_C(X_C,Y_C,Y_C)、P_D(X_D,Y_D,Y_D)、P_E(X_E,Y_E,Y_E)

其中max和min分别表示求最大值和最小值。

S44、分别建立前颚点A及四个初始特征点B,C,D,E的邻域，在各点的邻域内取Z方向最小值的点或者邻域内Z方向平均值来更新原特征点坐标。

结合图11，步骤S5的实现方法包括以下步骤：

S51、已知点弹条特征点D,E的坐标P_D、P_E，求点D,E线段的中点F，其坐标表示为P_F(X_F,Y_F,Y_F)。

S52、利用特征点B、C及中点F，构建一个平面，设该平面为弹条与钢轨弹性垫块的接触面，已知三点B、C、F的坐标P_B,P_C,P_F，可构建出BCF平面，表示为：

αX+βY+χZ+δ＝0 (8)

其中α，β，χ，δ分别为平面参数；

S53、计算前颚中心点A到BCF平面的距离:

其中Deviation值表示扣件的松紧状态，计算全部待检扣件的Deviation值，设置上下阈值t₁,t₂,当deviation小于t₁，则扣件扣压力过大，当deviation值大于t₂，扣件过松。

综上所述，由于二维图像和三维点云图像数据格式完全不同，本发明实施例充分利用二维图像的颜色及纹理和三维点云的空间结构可以实现两种数据优势互补，从而检测速度更快，鲁棒性更好，能够排除轨道垃圾及碎石等因素的干扰，准确检测出弹条松脱的缺陷扣件。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，包括：

获取包含弹条扣件的轨道三维点云图像和RGB深度图像；

从RGB深度图像中分割出弹条扣件图像，并从弹条扣件图像中提取出弹条扣件二维骨架图像及骨架法向量；

将弹条扣件二维骨架图像及骨架法向量映射至三维点云图像中得到初始三维骨架图像；并利用初始三维骨架图像及其每个骨架点的法向量拟合形成三维弹条扣件的横截面圆，以圆心作为三维弹条扣件横截面的骨架点，更新初始骨架图像得到弹条扣件三维点云骨架图像；

确定弹条扣件三维点云骨架的前颚点，并从弹条扣件三维点云骨架图像中不同位置处提取出多个特征点；

根据多个特征点拟合形成弹条扣件与轨道弹性垫块的接触平面，计算前颚点与接触面的距离；并根据前颚点与接触面的距离大小，判断弹条扣件的松紧状态。

2.如权利要求1所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述三维点云图像的获取，包括：

将线激光扫描传感器垂直安装在检测车上，并利用安装在检测车上的编码器触发线激光传感器动态扫描轨道轮廓；

设置线激光传感器在水平方向及高度方向的采集范围，建立数据采集坐标系，设检测车前进方向为Y方向，垂直轨道方向为X方向，高度方向为Z方向；设线激光传感器在X方向设定的点间距是Δx，编码器触发间距是Δy，在X方向上点云个数为N，Y方向M行轮廓构成轨道三维点云图像；

其中，在轨道三维点云图中，X方向第i个点的坐标表示为X_i＝X₀+i*Δx，第j行的Y坐标表示为Y_j＝Y₀+j*Δy，X₀、Y₀是X方向和Y方向上的起始坐标，i＝1,2,…,N-1,j＝1,2,…,M-1，则第i行和第j列点的高度表示为Z_ij，其点云表示为(X_i,Y_j,Z_ij)。

3.如权利要求2所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述RGB深度图像的获取，包括：

将大小为N×M的三维点云图像转换为大小为N×M的二维RGB图像；二维图像中的每个点与三维点云一一对应，且将三维点云第i行和第j列对应的高度值映射在二维图像第i行和第j列的RGB像素点；

设线激光传感器的测量范围为h，点云高度Z_ij∈(-h/2,h/2)，以Δh为等间距，将高度划分为K等分，K＝h/Δh，建立颜色表，随机选择K种不同颜色放入颜色表，使不同高度段用不同颜色表示，相同高度段用相同颜色表示，高度与颜色对应关系为：

其中，[·]为取整函数，t表示颜色表中的第t种颜色，t∈[0,K-1]。

4.如权利要求1所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述从RGB深度图像中分割出弹条扣件图像，包括：

对RGB深度图像制作样本标签标记出弹条扣件，得到标签样本数据集，表示为D_t＝{X_t,Y_t}，其中，X_t为RGB深度图像，Y_t为X_t中弹条扣件的真值标签图像；

用标签样本数据集D_t＝{X_t,Y_t}训练Unet网络，得到已训练的弹条扣件分割Unet网络模型；

将无标签样本数据集D_v＝{X_v}输入已训练的弹条扣件分割Unet网络模型，预测及分割出RGB深度图像中的弹条扣件图像I_A。

5.如权利要求4所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述从弹条扣件图像中提取出弹条扣件二维骨架图像，包括：

将弹条扣件图像I_A转换为二值图像，将弹条扣件的像素点置为白色，其余像素点均为黑色，设二值图像为A，利用下式对A进行骨架提取：

其中，AΘkB表示用结构元素B对A做k次腐蚀得到的弹条扣件骨架二维图像，其点集表示为Skeleton_p＝{p₀,…,p_n}，n为骨架线上点的个数，表示开运算。

6.如权利要求1所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述将弹条扣件二维骨架图像映射至三维点云图像中得到初始三维骨架图像，包括：

遍历骨架图像，求取每个骨架点的法向；设当前骨架点表示为p_i(x_i,y_i)∈Skeleton_p，Skeleton_p为弹条扣件骨架二维图像点集；搜索当前骨架点邻域骨架点中距离p_i(x_i,y_i)最近的两个点，设最近的两个点表示为p_i1(x_i1,y_i1)，p_i2(x_i2,y_i2)，利用p_i1，p_i2点计算当前骨架点p_i(x_i,y_i)的法线表示为：

遍历弹条扣件图像I_A，以弹条扣件骨架坐标为基准点，搜索弹条扣件图像中落在每个骨架法向量上的点或者距离法向量最近的k₁个点，设k₁个点表示为k₁由用户设定；

将弹条扣件骨架二维图像点集Skeleton_p＝{p₀,…,p_n}及每个骨架点的k个最近点Dist_p＝{skep₀,…,skep_n}均映射到三维点云图像中，得到初始三维骨架图像；其中，所述映射包括：

根据X_i＝X₀+Δx*x_i和Y_i＝Y₀+Δy*y_i将二维图像的点映射到扣件的三维点云图像，得到二维图像在三维点云中的坐标P_i(X_i,Y_i,Z_i)，其中Δx是线激光传感器在X方向设定的点间距，Δy编码器触发间距，X₀是X方向的最小坐标值，Y₀是Y方向的最小坐标值，x_i和y_i分别表示二维图像在x方向和y方向的坐标，Skeleton_p映射的初始三维骨架点表示为Skeleton_P_initial＝{P₀,…,P_n}，Dist_p映射的三维点集表示为Dist_P＝{skeP₀,…,skeP_n}。

7.如权利要求6所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述弹条扣件三维点云骨架图像的确定，包括：

利用初始三维骨架点Skeleton_P_initial＝{P₀,…,P_n}及其截面上的多个点Dist_P＝{skeP₀,…,skeP_n}拟合成弹条截面的圆，以圆心作为该截面的骨架点；

遍历初始三维点云骨架点Skeleton_P_initial＝{P₀,…,P_n}，设当前骨架点为P_i，利用P_i及P_i法向切面上的k个点skeP_i＝{P₀,…,P_k}拟合圆，将圆心P_ci代替P_i作为当前截面的骨架点，得到弹条扣件三维点云骨架点，表示为Skeleton_P_c＝{P_c0,…,P_cn}。

8.如权利要求1所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述确定弹条扣件三维点云骨架的前颚点，包括：

弹条扣件的前额均朝向轨道，计算弹条扣件三维点云骨架中心点所在的垂线(X_center,Y_center)，且

X_center＝(max(Skeleton_P_c.X)-min(Skeleton_P_c.X))/2

Y_center＝(max(Skeleton_P_c.X)-min(Skeleton_P_c.X))/2

其中，Skeleton_P_c.X，Skeleton_P_c.Y分别表示Skeleton_P_c骨架点的X，Y坐标值；

判断是否存在骨架点落在平面y＝Y_center上，若存在则表示骨架点与弹条中心面存在交点，该交点作为弹条扣件三维点云骨架前颚中心点A；若不存在，则在平面y＝Y_center两侧分别搜索距离平面最近的一个骨架点，设这两个点分别为P_C1(X_C1,Y_C1,Z_C1)，P_C2(X_C2,Y_C2,Z_C2)，用这两点构造直线，以直线与平面的交点作为弹条扣件三维点云骨架前颚中心点A，设A点表示为P_A(X_A,Y_A,Z_A)。

9.如权利要求8所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述从弹条扣件三维点云骨架图像中提取特征点，包括：

根据弹条扣件三维点云骨架前颚点A和骨架的中心面X＝X_center及Y＝Y_center，利用下式将弹条扣件三维点云骨架分成四个部分：

其中，Skeleton_P_c.X、Skeleton_P_c.Y分别表示各骨架点的X,Y坐标；依据下式在四个部分的骨架点中各选一个初始特征点B、C、D、E，各特征点分别表示为P_B(X_B,Y_B,Y_B)，P_C(X_C,Y_C,Y_C)、P_D(X_D,Y_D,Y_D)、P_E(X_E,Y_E,Y_E)；

其中，max和min分别表示求最大值和最小值；

分别建立前颚点A及四个初始特征点B,C,D,E的邻域，在各点的邻域内取Z方向最小值的点或者邻域内Z方向平均值更新原特征点坐标。

10.如权利要求9所述的二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，所述判断弹条扣件的松紧状态，包括：

已知特征点D,E的坐标P_D、P_E，求点D,E线段的中点F，其坐标表示为P_F(X_F,Y_F,Y_F)；

利用特征点B、C及中点F，构建一个平面，设该平面为弹条扣件与轨道弹性垫块的接触平面，已知三点B、C、F的坐标P_B,P_C,P_F，构建出BCF平面，表示为：

αX+βY+χZ+δ＝0

其中，α，β，χ，δ分别为平面参数；

计算前颚中心点A到BCF平面的距离：

其中，用Deviation值表示弹条扣件的松紧状态，计算全部待检弹条扣件的Deviation值，设置上下阈值t₁,t₂,当deviation小于t₁，则扣件扣压力过大，当deviation值大于t₂，扣件过松。