CN110310255A - 基于目标检测和图像处理的转辙机缺口检测方法 - Google Patents

Abstract

本发明提供了一种基于目标检测和图像处理的转辙机缺口检测方法，其中，该方法包括：采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像；建立目标检测网络并训练；将待测缺口图像输入训练好的目标检测网络，识别缺口图像中的目标区域，得到区域的边界框参数；根据区域的边界框参数对缺口图像进行预处理；对缺口图像进行缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正；根据所述缺口特征直线计算缺口值w。此发明可直接应用于各种类型转辙机，不需要针对不同类型转辙机设置不同的图像预处理参数，适用于复杂恶劣的运行工况，如缺口图像局部曝光过度、缺口图像倾斜，进一步提高缺口检测系统的准确率、鲁棒性和普适性。

Description

基于目标检测和图像处理的转辙机缺口检测方法

技术领域

本发明涉及轨道交通领域，具体涉及一种基于目标检测和图像处理的转辙机缺口检测方法。

背景技术

道岔是铁路中保障行车安全的重要设备，转辙机带动道岔移动能实现列车从一条轨道换到另一条轨道行驶，转辙机缺口偏移量检测能反映道岔的尖轨与基本轨是否密贴。当缺口过大时，不能为列车建立进路，否则可能发生列车脱轨等严重安全事故。因此，实时检测缺口大小对铁路的信号系统和应急响应非常重要，能够实时掌握缺口的情况。

传统的转辙机缺口检测方法是人工巡检或在转辙机内部安装光电传感器、磁栅传感器等，这些方法受环境因素和人为因素的影响较大。目前铁路现场使用的转辙机缺口检测系统主要是基于视频图像的检测方法，在转辙机内部安装摄像头并配置相应的照明灯，对着缺口位置拍摄缺口视频，将缺口视频上传至主机后转化成帧图片，采用图像处理算法处理转辙机缺口图像，得到缺口值，这种方法具有准确性高、非接触、直观可视等优点。

由于铁路现场的道岔和转辙机工作频繁且运行工况非常复杂和恶劣，很容易出现由于转辙机内部密闭空间狭小导致的缺口图像局部曝光过度、由于列车过车或转辙机工作时带来的机械振动导致的缺口图像倾斜等情况。现有的基于图像处理的转辙机缺口检测方法直接对缺口图像进行处理，存在不具有泛化性、无法长时间保持高准确率和低误报率、无法适用于各种复杂恶劣的环境等问题，并且需要针对不同类型的转辙机进行单独开发。

发明内容

本发明提供了一种基于目标检测和图像处理的转辙机缺口检测方法，提高转辙机缺口检测的准确率、降低图像处理算法的复杂度、提高系统的普适性、鲁棒性。

技术方案

一种结合基于深度学习的目标检测网络与图像处理的检测转辙机缺口方法，设计目标检测网络识别缺口图像的目标区域，返回目标区域的边界框参数；边界框参数作为图像处理算法的输入，缺口图像先经过图像预处理，再进行缺口检测和计算。图像处理算法只需要根据目标区域的边界框参数针对性地处理目标区域的图像，大幅度降低图像处理的复杂度的同时，避免了非目标区域，特别是局部曝光过度的区域，对图像处理的干扰，适用于缺口图像局部曝光过度的情况；缺口检测和缺口距离计算中提出了图像倾斜检测及矫正算法和缺口特征直线拟合算法，准确检测倾斜的缺口图像，并计算缺口值大小，提高系统的鲁棒性和缺口计算准确性，适用于缺口图像倾斜的情况。

本发明提出的基于目标检测和图像处理的转辙机缺口检测方法解决了现有技术中系统运行一段时间后准确率降低，误报率升高的问题、无法适用于复杂恶劣环境的问题、针对不同类型转辙机开发而带来的系统开发维护成本高的问题。

本发明提出的基于目标检测和图像处理的转辙机缺口检测方法，包括以下步骤：

步骤S1：采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像；

步骤S2：建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练目标检测网络，直到训练参数满足要求；

步骤S3：获得区域的边界框参数

将待测缺口图像输入步骤S2中训练好的目标检测网络，用于识别缺口图像中的缺口区域Gr和基准区域Re，返回区域的边界框参数提供给步骤S4；

步骤S4：缺口图像预处理

根据步骤S3得到的所述目标区域的边界框参数，对缺口图像进行预处理，包括图像灰度化、目标区域分割、图像增强、图像二值化，提供给步骤S5；

步骤S5：对输入的缺口图像进行缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正，得到缺口线l₁和基准线l₂用于步骤S6的计算；

步骤S6：根据步骤S5中所述缺口特征直线l₁和l₂计算缺口值w。

进一步的，步骤S1中所述采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像包括：采集安装在转辙机内部的摄像机拍摄的缺口视频并将所述缺口视频通过现场总线传输至主机、将缺口视频转化成帧图片并存储。

进一步的，步骤S2中所述建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练所述目标检测网络，包括以下步骤：

步骤S21：建立样本数据库，包含海量的各种转辙机各时段的缺口图像。

步骤S22：将样本数据库中的缺口图像按照10∶1的比例随机分为训练集和测试集，再对训练集中的缺口图像标注目标区域的边界框参数和类别，所述类别包括缺口区域Gr和基准区域Re；

步骤S23：建立目标检测网络YOLO，对训练集的缺口图像进行迭代训练，不断调整网络的结构和参数，直至训练的参数达到要求。

步骤S3中所述的训练好的目标检测网络的结构如下：

目标检测网络包括Convolutional层、MaxPooling层、Route层、Upsample层、 Yolo层，一共24层：

所述Convolutional层通过3×3和1×1的卷积核提取原始图像的基本特征，如颜色、纹理、形状等，步长为1；

所述MaxPooling层采用最大池化的方法，对前一层进行最大采样，滑窗大小为2×2，步长为2；

所述Route层将深层的特征图与浅层的特征图进行拼接，同时学习深层和浅层的特征；

所述Upsample层对图像进行上采样；

所述Yolo层指定缺口图像类别数等参数，计算训练的平均损失值loss等，并进行输出；

第0至11层为6个卷积核大小为3×3的所述Convolutional层，每个所述Convolutional层之后是所述MaxPooling层；

第12至15层是4个所述Convolutional层，卷积核大小分别为3×3、1×1、 3×3、1×1；

第16层是所述Yolo层；

第17层是所述Route层，将第16层与第13层的特征图进行拼接；

第18层是卷积核大小为1×1的所述Convolutional层；

第19层是所述Upsample层；

第20层是所述Route层，将第19层的特征图与第8层的特征图进行拼接；

第21至22层是两个卷积核大小分别为3×3、1×1的所述Convolutional层；

第23层是所述Yolo层，输出最后的检测结果。

训练好的目标检测网络的结构如下：

进一步的，步骤S3中所述缺口区域Gr是缺口线所在的区域，所述缺口线在转辙机内部随着检测杆的移动而移动；

步骤S3中所述基准区域Re是基准线所在的区域，所述基准线为转辙机内用于标定缺口位置的固定基准块的边缘线，通常在转辙机内部处于固定位置；

步骤S3中所述边界框参数包括四维位置参数{x_1eft，x_right，y_top，y_bottom}和一维置信度参数ω，所述位置参数为目标区域边界框在缺口图像中的左边界的x坐标 x_1eft、右边界的x坐标x_right、上边界的y坐标y_top、下边界的y坐标y_bottom，其中坐标原点位于缺口图像的左上角；所述置信度参数ω为目标区域为此类别的概率。

进一步的，步骤S4中所述图像预处理算法包括：

(4a)图像灰度化：将原始RGB缺口图像通过已知的图像灰度化算法转换成灰度图像，计算公式如下：

Y_i＝a₀R_i+a₁G_i+a₂B_i

其中，i表示所述原始RGB缺口图像的第i个像素点；R_i、G_i和B_i分别为原始 RGB缺口图像的第i个像素点的R、G和B分量；a₀、a₁和a₂是所述R、G和B分量的权重；Y_i是灰度化之后的第i个像素点的灰度值。

(4b)目标区域分割：根据所述目标检测网络输出的目标区域边界框的位置参数，将缺口图像中的缺口区域Gr和基准区域Re进行分割。具体方法为：

(4b-1)将所述目标检测网络输出的Gr的边界框框参数定义为x₁、x₂、y₁、 y₂，Re的边界框参数定义为x₃、x₄、y₃、y₄。约束条件为x₁＜x₂，y₁＜y₂，x₃＜ x₄，y₃＜y₄， 其中m和n为缺口图像的尺寸。Gr和Re区域表示如下：

(4b-2)将目标区域的像素点的像素值保留原像素值，非目标区域的像素点的像素值置0，得到图像D，计算公式如下：

(4c)图像增强：所述图像增强包括灰度变换和图像滤波，步骤具体如下：

(4c-1)所述灰度变换将输入图像D的灰度值集中的区间定义为[k，l]，灰度值小于k和大于l的像素点数分别占所有像素点数的1％。将灰度值在[k，l]区间的像素点(x，y)的灰度值均匀分布到[0，255]区间，得到图像f，计算公式如下：

(4c-2)所述图像滤波的方式是中值滤波，把输入图像f的每一个像素点(x，y) 的灰度值设置为该点某邻域窗口内的所有像素点的灰度值的中值，得到图像g；滤波窗口A对应的中值滤波器定义为：

g(x，y)＝MED(f(x，y))，(x，y)∈A

(4d)图像二值化：采用多阈值图像二值化的方法，对所述图像增强后的图像 g的Gr和Re分别采用阈值opt1和opt2进行二值化，灰度值高于阈值的像素点的灰度值置1，否则置0，得到图像bw。计算公式如下：

其中，

进一步的，步骤S5中所述缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正；所述缺口特征直线拟合算法提取所述缺口线l₁和所述基准线l₂；所述图像倾斜检测及矫正算法检测缺口图像是否倾斜，当倾斜角度超过阈值时进行倾斜矫正；

所述缺口特征直线拟合的具体方法为采用前向差分方法对所述缺口图像的Gr 和Re区域逐行或逐列进行微分，得到焦点区域各行或各列的边缘点和中心点的坐标；再用最小二乘法计算所述缺口线l_g和基准线l_b的参数β₁、β₂、β₃和β₄。所述逐行或逐列、各行或各列取决于不同类型转辙机的内部结构；

方程中x_g、x_b分别表示缺口线和基准线方程对应在缺口图像坐标系中的y方向(竖直向下)坐标，y_g、y_b分别表示缺口线和基准线方程对应在缺口图像坐标系中的x方向(水平向右)，如图1所示坐标，图像的坐标原点在图像的左上角。

所述图像倾斜检测及矫正算法检测缺口图像是否倾斜，当倾斜角度超过阈值时进行倾斜矫正。图像预处理后的缺口图像经过所述缺口特征直线拟合算法得到的缺口线l_g的参数β₁、β₂计算缺口图像的倾斜角度α₀，所述倾斜角度α₀表示偏离正常情况的角度；当α₀超过阈值γ时，对缺口图像进行矫正，矫正的角度α₁的计算公式如下：

进一步的，步骤S6中所述根据缺口线l₁和基准线l₂计算缺口值w，缺口线l₁和基准线l₂是所述图像倾斜检测及矫正后的缺口图像经过所述缺口特征直线拟合算法拟合的缺口特征直线；计算缺口值w的方法具体为：计算l₁落在缺口区域的线段 l₁’和l₂落在基准区域的线段l₂’之间的距离；所述距离的计算方法为，计算l₁’与l₂’对应相同x值或y值的直线上的点之间的像素点个数的平均值，其中，像素点个数的计算方法是l₂’上的对应点的y值或x值减去l₁’上的对应点的y值或x值；取相同x值或相同y值取决于不同类型转辙机的内部结构。由于适用于多种不同类型转辙机缺口结构，缺口图像中的缺口线可能是接近竖直的，也可能是接近水平的，因此在拍摄的缺口图像对应的图像坐标系固定不变的情况下，计算两条直线的距离的时可以对应取相同的x或相同的y。

若所述缺口值w的绝对值大于阈值，则认为缺口异常，返回报警信息和缺口值w；否则缺口正常，返回缺口值w。

本发明的有益效果在于：

(1)应用本发明方法可以开发实现的系统：将不同类型的转辙机的缺口检测系统集成为一个系统用图像目标检测与图像处理结合的方式检测转辙机缺口大小。系统适用于各种类型的转辙机以及转辙机的定位和反位状态，不需要进行单独开发和维护，大大降低了系统的复杂度，方便系统运行和维护。

(2)通过目标检测网络检测出缺口图像的目标区域，图像预处理算法及缺口检测、计算算法只需要针对目标区域进行处理，大幅度降低计算复杂度及图像处理算法复杂度的同时，避免非目标区域(特别是局部曝光过度的区域)对缺口图像特征提取产生影响，提高缺口检测的准确率，降低误报率。

(3)采用多阈值二值化算法进行图像二值化，消除了局部曝光过度等亮度不均匀情况对特征提取造成的影响，最大限度地保留目标区域的特征；采用图像倾斜检测及矫正算法检测倾斜的缺口图像，并进行矫正。一方面使系统适用于由于列车过车或转辙机工作时带来的机械振动导致的缺口图像倾斜的情况，另一方面能够检测摄像头的歪斜角度，当歪斜角度超过阈值时，能够进行报警，及时通知工作人员进行调整；采用缺口特征直线拟合算法提取缺口特征，更加准确地提取缺口线和基准线，更加准确地计算缺口大小。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的缺口线和基准线方程对应在缺口图像坐标系的示意图；

图2是根据本发明实施例中的基于目标检测和图像处理的转辙机缺口检测方法的流程图；

图3是根据本发明实施例中的建立目标检测网络及缺口图像目标检测的流程图；

图4是本发明实施例中的S700K转辙机的缺口图像；

图5是本发明实施例中的目标区域标注后的缺口示例图像；

图6是根据本发明实施例中的缺口图像经过目标检测后的缺口图像；

图7是根据本发明实施例中的缺口图像预处理的流程图；

图8是根据本发明实施例中的缺口图像经过图像预处理后的缺口图像；

图9是根据本发明实施例中的缺口检测及计算的流程图；

图10是根据本发明实施例中的缺口图像经过缺口检测及计算后的缺口图像。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

在本实施例中提供了一种基于目标检测和图像处理的转辙机缺口检测方法，图2是根据本发明实施例的基于目标检测和图像处理的转辙机缺口检测方法流程图，如图2所示，该检测方法包括如下步骤：

步骤S1：采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像；

步骤S2：建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练所述目标检测网络，直到训练参数满足要求；

步骤S3：将待测缺口图像输入步骤S2中训练好的目标检测网络，识别缺口图像中的缺口区域Gr和基准区域Re，返回区域的边界框参数；

步骤S4：根据步骤S3得到的所述目标区域的边界框参数，对缺口图像进行预处理，包括图像灰度化、目标区域分割、图像增强、图像二值化；

步骤S5：对步骤S4处理后的缺口图像进行缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正，得到缺口线l₁和基准线l₂；

步骤S6：根据步骤S5中所述缺口特征直线l₁和l₂计算缺口值w。

通过上述步骤，本申请将自动识别缺口图像中的目标区域，并根据目标区域的边界框参数进行图像预处理和缺口检测及计算，得到缺口值大小。相比于现有技术中，直接对缺口处理进行处理，计算缺口值大小的方法带来的高复杂度、低准确率和高误报率，本申请解决了现有技术中，系统运行一段时间后准确率降低，误报率升高、无法适用于复杂恶劣环境、针对不同类型转辙机开发而带来的系统开发维护成本高的问题，从而实现了各种类型转辙机缺口检测系统的集成，提高了转辙机缺口检测的准确率、可靠性、鲁棒性，降低了误报率和系统运行维护成本，保证行车安全。

图3是根据本发明实施例中的建立目标检测网络及缺口图像目标检测的流程图，包括如下步骤：

步骤S21：建立缺口图像样本数据库，包含海量的各种转辙机各时段的缺口图像；

步骤S22：将样本数据库中的缺口图像按照10∶1的比例随机分为训练集和测试集，再对训练集中的缺口图像标注目标区域的边界框参数和类别，所述类别包括缺口区域Gr和基准区域Re；

步骤S23：建立目标检测网络YOLO，对训练集的缺口图像进行迭代训练，不断调整网络的结构和参数，直至训练的参数，如平均损失值loss等达到要求，得到训练好的目标检测网络；

步骤S24：将采集的待测缺口图像输入训练好的目标检测网络进行识别；

步骤S25：输出目标区域的边界框参数。

下面结合图3至图5对本发明的步骤S1至步骤S3的可选实施例进行详细说明。

1.建立样本数据库，包含从铁路现场采集的海量的S700K转辙机各时段的缺口图像，包括上缺口图像和下缺口图像，共10000张；

2.如图4(a)至图4(c)所示是本发明实施例中的S700K转辙机的缺口图像，图4(a)是上缺口图像，图4(b)是下缺口图像，图4(c)是下缺口倾斜图像，缺口图像的尺寸为m×n＝352×288。将样本数据库中的缺口图像按照10∶1 的比例随机分为训练集和测试集，再对训练集中的缺口图像标注目标区域的边界框参数和类别，所述类别包括缺口区域Gr和基准区域Re，其中，缺口区域分为上缺口区域和下缺口区域，分别表示为up_gap和gap_area，基准区域表示为basic_area，目标区域标注后的缺口图像示例如图5(a)至图5(c)所示；

3.建立目标检测网络YOLO，对训练集的缺口图像进行迭代训练，不断调整网络的结构和参数，直至训练的平均损失值loss小于0.6，且不再明显下降、识别的目标区域与真实的目标区域的重叠率IOU大于90％、分类准确率大于99％，得到训练好的目标检测网络。训练好的目标检测网络包括Convolutional层、MaxPooling 层、Route层、Upsample层、Yolo层，一共24层。第0至11层为6个卷积核大小为3×3的所述Convolutional层，每个所述Convolutional层之后是所述 MaxPooling层；第12至15层是4个所述Convolutional层，卷积核大小分别为 3×3、1×1、3×3、1×1；第16层是所述Yolo层；第17层是所述Route层，拼接所述第13层的特征图；第18层是卷积核大小为1×1的所述Convolutional层；第19层是所述Upsample层；第20层是所述Route层，将第19层的特征图与所述第8层的特征图进行拼接；第21至22层是两个卷积核大小分别为3×3、1×1 的所述Convolutional层；第23层是所述Yolo层，输出最后的检测结果。

4.将如图4所示的待测缺口图像输入训练好的目标检测网络进行识别；输出目标区域的边界框参数，包括四维位置参数{x_1eft，x_right，y_top，y_bottom}和一维置信度参数ω。图6(a)至图6(c)是根据本发明实施例中的缺口图像经过目标检测后的缺口图像，图6(a)中的框1表示上缺口的缺口区域up_gap，区域边界框的参数为{202，214，1，128}，置信度为1.00；框2表示基准区域basic_area，区域边界框的参数为{171，210，205，281}，置信度为1.00；图6(b)中的框1表示下缺口的缺口区域gap_area，区域边界框的参数为{189，199，141，205}，置信度为1.00；框2表示基准区域basic_area，区域边界框的参数为{172，211，206，275}，置信度为1.00。图 6(c)中的框1表示下缺口的缺口区域gap_area，区域边界框的参数为{181，200，128，192}，置信度为0.92；框2表示基准区域basic_area，区域边界框的参数为{171，220，193，269}，置信度为1.00。

下面结合图7和图8对本发明的步骤S4的可选实施例进行详细说明。

图7是根据本发明实施例中的缺口图像预处理的流程图，如图8所示，该方法包括输入目标检测后的缺口图像及目标检测网络输出的边界框参数；图像灰度化；目标区域分割；图像增强；图像二值化。

1.输入目标检测后的缺口图像及目标检测网络输出的边界框参数；

2.图像灰度化，将原始RGB缺口图像通过所述图像灰度化算法转换成灰度图像，计算公式如下：

Y_i＝a₀R_i+a₁G_i+a₂B_i

其中，i表示所述原始RGB缺口图像的第i个像素点；R_i、G_i和B_i分别为原始 RGB缺口图像的第i个像素点的R、G和B分量；a₀、a₁和a₂是所述R、G和B分量的权重，a₀＝0.299、a₁＝0.587、a₂＝0.114；Y_i是灰度化之后的第i个像素点的灰度值。图8(1-1)、图8(2-1)和图8(3-1)是根据本发明实施例中的图4缺口图像经过图像灰度化后的缺口图像Y。

3.目标区域分割，步骤为：

(1)输入目标检测网络输出的缺口区域、基准区域的边界框参数。

其中，对于图8(1-1)缺口图像：

{x₁，x₂，y₁，y₂}＝{202，214，1，128}

{x₃，x₄，y₃，y₄}＝{171，210，205，281}

对于图8(2-1)缺口图像：

{x₁，x₂，y₁，y₂}＝{189，199，141，205}

{x₃，x₄，y₃，y₄}＝{172，211，206，275}

对于图8(3-1)缺口图像：

{x₁，x₂，y₁，y₂}＝{181，200，128，192}

{x₃，x₄，y₃，y₄}＝{171，220，193，269}

(2)将目标区域的像素点的像素值保留原像素值，非目标区域的像素点的像素值置0，得到图像D，计算公式如下：

图8(1-2)、图8(2-2)和图8(3-2)是根据本发明实施例中的图8(1-1)、图8(2-1)和图8(3-1)缺口图像经过图像目标区域分割后的缺口图像D。

4.图像增强，包括灰度变换和图像滤波，步骤具体如下：

(1)输入图像D的灰度值集中的区间为[k，l]，灰度值小于k和大于l的像素点数分别占所有像素点数的1％。将灰度值在[k，l]区间的像素点(x，y)的灰度值均匀分布到[0，255]区间，得到图像f，计算公式如下：

其中，对于图8(1-2)，[k，l]＝[57，241]；对于图8(2-2)，[k，l]＝[12，236]；对于图8(3-2)，[k，l]＝[28，181]。

(2)把输入图像f的每一个像素点(x，y)的灰度值设置为该点某邻域窗口内的所有像素点的灰度值的中值，得到图像g；大小为(3×3)的滤波窗口A对应的中值滤波器定义为：

g(x，y)＝MED(f(x，y))，(x，y)∈A

图8(1-3)、图8(2-3)和图8(3-3)是根据本发明实施例中的图8(1-2)、图8(2-2)和图8(3-2)缺口图像经过图像增强后的缺口图像g。

5.图像二值化，对图8(1-3)、图8(2-3)和图8(3-3)的Gr和Re分别采用阈值opt1和opt2进行二值化，灰度值高于阈值的像素点的灰度值置1，否则置0，得到图像bw。计算公式如下：

其中，

阈值opt1和opt2采用Otsu最佳阈值，

对于图8(1-3)：

对于图8(2-3)：

对于图8(3-3)：

图8(1-4)、图8(2-4)和图8(3-4)是根据本发明实施例中的图8(1-3)、图8(2-3)和图8(3-3)缺口图像经过图像二值化后的缺口图像bw。

下面结合图9和图10对本发明的步骤S5和步骤S6的可选实施例进行详细说明。

图9是根据本发明实施例中的缺口检测及计算的流程图，如图9所示，该方法包括根据图像特征直线拟合算法提取缺口线的方程，计算缺口线的倾斜角度α₀；当 |α₀|＞γ时，缺口图像的矫正角度α₁＝-α₀，否则缺口图像的矫正角度α₁＝0，即不需要矫正；根据图像特征直线拟合算法提取倾斜矫正后的缺口图像的缺口线l₁和基准线l₂；根据缺口线l₁和基准线l₂计算缺口值w。

1.根据图像特征直线拟合算法提取缺口线的方程，计算缺口线的倾斜角度α₀。对于图8(1-4)，缺口线方程为：y＝-0.0457x+211.5266，缺口线的倾斜角度α₀＝-2.6°，不需要进行倾斜矫正；对于图8(2-4)，缺口线方程为：y＝0.0425x+ 179.6897，缺口线的倾斜角度α₀＝-1.9°，不需要进行倾斜矫正；对于图8(3-4)，缺口线方程为：y＝0.1184x+170.5011缺口线的倾斜角度α₀＝-6.8°，需要进行倾斜矫正，矫正的角度α₁＝6.8°。图10(1-1)、图10(1-2)和图10(1-3)是根据本发明实施例中的图8(1-4)、图8(2-4)和图8(3-4)缺口图像经过图像倾斜检测及矫正后的缺口图像。

2.根据图像特征直线拟合算法提取倾斜矫正后的缺口图像的缺口线l₁和基准线l₂。

对于图10(1-1)：

l₁：y＝-0.0457x+211.5266

l₂：y＝-0.0196x+194.0606

对于图10(1-2)：

l₁：y＝0.0425x+179.6897

l₂：y＝-0.0328x+199.2366

对于图10(1-3)：

l₁：y＝-0.0047x+183.3433

l₂：y＝-0.0312x+192.5391

3.根据缺口线l₁和基准线l₂计算缺口值w。对于图10(1-1)，缺口值w为-19，表示上缺口向右偏移19个像素；对于图10(1-2)，缺口值w为-4，表示下缺口向右偏移4个像素；对于图10(1-3)，缺口值w为-5，表示下缺口向右偏移5个像素。图10(2-1)、图10(2-2)和图10(2-3)是根据本发明实施例中的图10(1- 1)、图10(1-2)和图10(1-3)缺口图像经过图像缺口直线拟合及缺口大小计算后的结果。

经过所述步骤的处理，即可得到每一种转辙机的缺口大小及缺口的偏移方向，进而实时掌握转辙机缺口的状态。在缺口图像局部曝光过度、缺口图像倾斜时均能准确计算缺口值。在出现异常或故障情况时能够及时进行报警，便于相关部门进行应急处理和维修。

上述描述仅是对本申请较佳实施例的描述，并非是对本申请范围的任何限定。任何熟悉该领域的普通技术人员根据上述揭示的技术内容做出的任何变更或修饰均应当视为等同的有效实施例，均属于本申请技术方案保护的范围。

Claims (10)

1.一种基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，包括以下步骤：

步骤S1：采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像；

步骤S2：建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练所述目标检测网络，直到训练参数满足要求；

步骤S3：将待测缺口图像输入步骤S2中训练好的目标检测网络，识别缺口图像中的缺口区域Gr和基准区域Re，返回区域的边界框参数；

步骤S4：根据步骤S3得到的所述目标区域的边界框参数，对缺口图像进行预处理，包括图像灰度化、目标区域分割、图像增强、图像二值化；

步骤S5：对缺口图像进行缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正，得到缺口线l₁和基准线l₂；

步骤S6：根据步骤S5中所述缺口线l₁和基准线l₂计算缺口值w。

2.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S1中所述采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像包括：

采集安装在转辙机内部的摄像机拍摄的缺口视频，并将所述缺口视频通过现场总线传输至主机将缺口视频转化成帧图片并存储。

3.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S2中所述建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练所述目标检测网络包括：

步骤S21：建立样本数据库，包含海量的各种转辙机各时段的缺口图像；

步骤S22：将样本数据库中的缺口图像按照10:1的比例随机分为训练集和测试集，再对训练集中的缺口图像标注目标区域的边界框参数和类别，所述类别包括缺口区域Gr和基准区域Re；

步骤S23：建立目标检测网络YOLO，对训练集的缺口图像进行迭代训练，不断调整网络的结构和参数，直至训练的参数达到要求。

4.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S3中所述的训练好的目标检测网络的结构如下：

目标检测网络包括Convolutional层、MaxPooling层、Route层、Upsample层、Yolo层，一共24层；

所述Convolutional层通过3×3和1×1的卷积核提取原始图像的基本特征，步长为1；所述MaxPooling层采用最大池化的方法，对前一层进行最大采样，滑窗大小为2×2，步长为2；所述Route层将深层的特征图与浅层的特征图进行拼接，同时学习深层和浅层的特征；所述Upsample层对图像进行上采样；所述Yolo层指定缺口图像类别数等参数，计算训练的平均损失值loss，并进行输出；

第0至11层为6个卷积核大小为3×3的所述Convolutional层，每个所述Convolutional层之后是所述MaxPooling层；第12至15层是4个所述Convolutional层，卷积核大小分别为3×3、1×1、3×3、1×1；第16层是所述Yolo层；第17层是所述Route层，拼接所述第13层的特征图；第18层是卷积核大小为1×1的所述Convolutional层；第19层是所述Upsample层；第20层是所述Route层，将第19层的特征图与所述第8层的特征图进行拼接；第21至22层是两个卷积核大小分别为3×3、1×1的所述Convolutional层；第23层是所述Yolo层，输出最后的检测结果。

5.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于：步骤S3中所述缺口区域Gr是缺口线所在的区域，所述缺口线在转辙机内部随着检测杆的移动而移动；

步骤S3中所述基准区域Re是基准线所在的区域，所述基准线为转辙机内用于标定缺口位置的固定基准块的边缘线，通常在转辙机内部处于固定位置；

步骤S3中所述边界框参数包括四维位置参数{x_1eft,x_right,y_top,y_bottom}和一维置信度参数ω，所述位置参数为目标区域边界框在缺口图像中的左边界的x坐标x_1eft、右边界的x坐标x_right、上边界的y坐标y_top、下边界的y坐标y_bottom，其中坐标原点位于缺口图像的左上角；所述置信度参数ω为目标区域为此类别的概率。

6.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S4中所述缺口图像进行预处理包括：

(4a)图像灰度化：将原始RGB缺口图像通过所述图像灰度化算法转换成灰度图像，计算公式如下：

Y_i＝a₀R_i+a₁G_i+a₂B_i

其中，i表示所述原始RGB缺口图像的第i个像素点；R_i、G_i和B_i分别为原始RGB缺口图像的第i个像素点的R、G和B分量；a₀、a₁和a₂是所述R、G和B分量的权重；Y_i是灰度化之后的第i个像素点的灰度值；

(4b)目标区域分割：根据所述目标检测网络输出的目标区域边界框的位置参数，将缺口图像中的缺口区域Gr和基准区域Re进行分割，具体方法为：

(4b1)将所述目标检测网络输出的Gr的边界框框参数定义为x₁、x₂、y₁、y₂，Re的边界框参数定义为x₃、x₄、y₃、y₄；约束条件为x₁<x₂、y₁<y₂、x₃<x₄、y₃<y₄、x₂、x₃、x₄∈{1，2，···，m}、y₂、y₃、y₄∈{1，2，···，n}；其中m和n为缺口图像的尺寸，Gr和Re区域表示如下：

(4b2)将目标区域的像素点的像素值保留原像素值，非目标区域的像素点的像素值置0，得到图像D，计算公式如下：

(4c)图像增强：所述图像增强包括灰度变换和图像滤波，步骤具体如下：

(4c1)所述灰度变换将输入图像D的灰度值集中的区间定义为[k，l]，灰度值小于k和大于l的像素点数分别占所有像素点数的1％，将灰度值在[k，l]区间的像素点(x,y)的灰度值均匀分布到[0，255]区间，得到图像f，计算公式如下：

(4c2)所述图像滤波的方式是中值滤波，把输入图像f的每一个像素点(x,y)的灰度值设置为该点某邻域窗口内的所有像素点的灰度值的中值，得到图像g；滤波窗口A对应的中值滤波器定义为：

g(x,y)＝MED(f(x,y))，(x,y)∈A

(4d)图像二值化：采用多阈值图像二值化的方法，对所述图像增强后的图像g的Gr和Re分别采用阈值opt1和opt2进行二值化，灰度值高于阈值的像素点的灰度值置1，否则置0，得到图像bw，计算公式如下：

其中，

7.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S5中采用缺口特征直线拟合算法拟合缺口特征直线：缺口线和基准线；采用前向差分方法对所述缺口图像的Gr和Re区域逐行或逐列进行微分，得到焦点区域各行或各列的边缘点和中心点的坐标；再用最小二乘法计算所述缺口线l_g和基准线l_b的参数β₁、β₂、β₃和β₄。所述逐行或逐列、各行或各列取决于不同类型转辙机的内部结构；

8.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S5中采用图像倾斜检测及矫正算法检测缺口图像是否倾斜，当倾斜角度超过阈值时进行倾斜矫正；图像预处理后的缺口图像经过所述缺口特征直线拟合算法得到的缺口线l_g的参数β₁、β₂计算缺口图像的倾斜角度α₀，所述倾斜角度α₀表示偏离正常情况的角度；当α₀超过阈值γ时，对缺口图像进行矫正，矫正的角度α₁的计算公式如下：

9.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S6中所述根据缺口线l₁和基准线l₂计算缺口值w：缺口线l₁和基准线l₂是所述图像倾斜检测及矫正后的缺口图像经过所述缺口特征直线拟合算法拟合的缺口特征直线；计算缺口值w的方法具体为计算l₁落在缺口区域的线段l₁’和l₂落在基准区域的线段l₂’之间的距离，所述距离的计算方法为计算l₁’与l₂’对应相同x值或y值的直线上的点之间的像素点个数的平均值；其中，像素点个数的计算方法是l₂’上的对应点的y值或x值减去l₁’上的对应点的y值或x值；取相同x值或相同y值取决于不同类型转辙机的内部结构。

10.根据权利要求9所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，若所述缺口值w的绝对值大于阈值，则认为缺口异常，返回报警信息和缺口值w；否则缺口正常，返回缺口值w。