CN114913151A - 一种基于人工智能ai模型的转辙机缺口图像检测方法 - Google Patents

Abstract

本发明公开了一种基于人工智能AI模型的转辙机缺口图像检测方法，包括以下步骤：对目标图像进行特征识别，得到目标特征，其中所述目标特征包括待识别特征及辅助特征，其中待识别特征为待识别缺口；对待识别特征与辅助特征之间的位置关系进行判断，基于判断结果，得到缺口位置以实现转辙机缺口图像检测，本发明能够实现对转辙机缺口的准确检测。

Description

一种基于人工智能AI模型的转辙机缺口图像检测方法

技术领域

本发明属于图像检测技术领域，特别是涉及一种基于人工智能AI模型的转辙机缺口图像检测方法。

背景技术

转辙机是铁路的重要设备之一，它的运行状态关系着车辆的行车安全，一旦出现故障未能及时排除，则有可能会引起非常严重的事故。在转辙机运行状态的监测中，缺口是非常重要的监测对象。缺口的目标位置反映了转辙机扳动是否到位，缺口间隙的大小则反映出轨道的密贴程度，如果未到位，车辆经过时轮毂会对尖轨挤压导致移动，严重影响车辆行驶安全。目前业界采用较多的方法是通过远程图像监测，对缺口位置的图像进行实时的识别和测量，计算缺口位置和大小，提供给电务段信号人员进行监测和分析。

目前行业内基于图像的缺口检测方法，大多采用传统的计算机图像视觉技术，需要预先指定缺口运动范围，并对采集到的缺口图像进行伽马校正，滤波等预处理，再通过模板匹配，阈值分割，边缘检测等技术定位缺口位置，进行进一步测量。这种方法的缺点是，检测效果受其它环境因素影响很大。如，不同设备缺口形状差异，不同摄像头安装位置的差异，以及设备内部存在的油污、光照变化的影响等都会影响检测结果，检测错误率比较高，且参数需要根据每个实施环境进行适配，工作量巨大，效率很低。且环境一旦变化，参数需要重新调试。

普通的AI模型图像识别，一般是对于每一类目标定义一个分类，对于缺口检测的应用，如果仅仅只定义一个缺口类别，则容易出现误判和漏判。单缺口目标检测，在一些极端情况下，有可能出现漏检的情况。由于缺口实际上是属于转辙机设备内部机械部件围合的间隙，在设备内部存在很多其它相似的图像，仅通过AI模型识别缺口单一目标，很难保证识别到的缺口是真正的缺口，而不是其它位置的伪缺口。

发明内容

本发明的目的是提供一种基于人工智能AI模型的转辙机缺口图像检测方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于人工智能AI模型的转辙机缺口图像检测方法，包括：

通过人工智能AI模型对目标图像进行特征识别，得到目标特征，其中所述目标特征包括待识别特征及辅助特征，待识别特征为待识别缺口，所述人工智能AI模型用于多类别目标特征检测；

对待识别特征与辅助特征之间的位置关系进行判断，基于判断结果，得到实际缺口位置以实现转辙机缺口图像检测。

可选的，所述人工智能AI模型为AI神经网络模型。

可选的，所述辅助特征包括缺口检测边和凸块。

可选的，对位置关系进行判断之前还包括：根据转辙机落柱边缘在水平投影上的位置，获取基准线；通过对待识别特征进行ROI边缘检测，获取待识别缺口的初始边；对初始边与基准线进行校准，得到待识别缺口的基准边。

可选的，校准过程包括：Lb＝Le-D/dp；

其中，D是人工测量当前缺口实际宽度值，Le是用算法程序测量得到缺口检测边位置，dp是摄像机标定的像素宽度，Lb是缺口基准边所在的位置。

可选的，对待识别特征与辅助特征之间的位置关系进行判断的过程包括：获取所述待识别特征及辅助特征的外接框位置，基于外接框位置进行位置关系计算，其中位置关系包括水平线及垂直轴线距离，高度及排列关系，基于位置关系计算结果进行阈值判断，当所述位置关系计算结果不符合阈值时，则剔除对应的待识别缺口，当所述位置关系计算结果符合阈值时，则保留对应的待识别缺口，得到实际缺口位置。

可选的，结果输出之前还包括：当所述目标特征中只有辅助特征时，则根据辅助特征的位置，计算得到真实缺口位置。

可选的，构建人工智能AI模型之后的过程包括，获取不同场景不同位置，不同光照条件下样本图像，通过样本图像对人工智能AI模型进行训练，得到训练好的人工智能AI模型，通过训练好的人工智能AI模型对目标图像进行识别。

本发明的技术效果为：基于人工智能AI模型的缺口识别方法，只需要针对一类机型的缺口，收集到不同场景不同位置，不同光照等条件下适量的样本图像，经过AI神经网络进行训练，得到的模型可以达到比较高的识别准确度，而且稳定性较好，不需要预设缺口运动范围，不需要经常调试算法参数，大大简化了实施成本，且随着数据样本的不断增加，识别的精度可以不断提高，具有较高的实用推广价值。

基于本方法提供的GEB多目标识别模型，可以通过关联目标之间的位置关系和形态学上的特点来排除伪目标。多目标检测，如果能检测其它目标，也可以通过上述形态学上的关系推测到缺口位置。同时根据关联目标之间存在的位置关系，可以得到检测缺口的轴线方向及移动方向，通过与用户事先设置的基准信息进行对比，可以检测转辙机运行状态是否正常并输出预警，实现自动化监测转辙机运行状态，减少人工干预所需时间。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的GEB缺口检测流程图；

图2为本发明实施例中的缺口位置为基准线与EDG合围的矩形区域示意图；

图3为本发明实施例中的缺口位置为基准线与BLK离基准线近端边缘合围的矩形区域示意图；

图4为本发明实施例中的GEB缺口检测目标位置关系图；

图5为本发明实施例中的多个伪目标和一个真目标示意图；

图6为本发明实施例中的一个伪目标和一个真目标示意图；

图7为本发明实施例中的伪目标的排除示意图；

图8为本发明实施例中的判断是否在一条轴线上的流程图；

图9为本发明实施例中的判断在轴线上高度的流程图；

图10为本发明实施例中的判断是否在轴线上邻接的流程图；

图11为本发明实施例中的判断两个目标之间的位置关系的流程图；

图12为本发明实施例中的只有EDG目标时计算缺口ROI矩形的流程图；

图13为本发明实施例中的只有BLK目标时计算缺口ROI矩形的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本实施例中提供一种基于人工智能AI模型的转辙机缺口图像检测方法，包括：对目标图像进行特征识别，得到目标特征，其中所述目标特征包括待识别特征及辅助特征，其中待识别特征为待识别缺口；对待识别特征与辅助特征之间的位置关系进行判断，基于判断结果，得到缺口位置以实现转辙机缺口图像检测。

在一些实施例中，本实施例检测的目标包括，缺口(GAP)，边缘(EDG)，凸块(BLK)。其作用和含义如下，

GAP：即缺口，指落柱和连杆凹槽边缘之间的间隙，由落柱侧面，连杆缺口边缘，以及周边的部件边缘围合。缺口中落柱边缘与凹槽边缘之间的间隙(距离)是缺口图像测量的关键目标。

EDG：缺口检测边，指缺口中连杆凹槽的边缘，简称边缘。这个目标主要用来辅助缺口定位和测量。

BLK：连杆上的凸块，指缺口中的连杆凹槽所在的凸块，简称凸块。有些转辙机机型无凸块或因拍摄角度无法观察。这个目标主要用来辅助缺口定位和测量。不影响本方法的主要原理及实施。

如图4所示，本实施例设定的检测目标之间存在位置关系和形态学上特点：

三者在一条水平或垂直轴线上；三者在轴线上的高度H基本接近；三者相互邻接，并存在排列顺序关系，基准线->GAP->EDG->BLK，或反过来。

其中，基准线是转辙机落柱边缘在水平投影上的位置，由于存在拍摄角度的影响，与图像上的缺口边缘位置(基准边)存在一定偏差，需要在工程上预先校准。缺口宽度D即基准线与检测边之间的距离。校准方式是，由人工测量当前缺口实际宽度值D(单位为mm)，拍摄缺口图片，用算法程序测量得到缺口检测边位置Le(单位为像素点)。根据摄像机标定的像素宽度dp(单位为mm/像素点)，可以反推出缺口基准边Lb(单位为像素点)所在的位置。方法如下，由D＝(Le–Lb)xdp，可得Lb＝Le-D/dp，如图4所示。

AI模型输入待检测图片后，将返回检测到的缺口目标结果，包括各个目标类型和相应的置信度(CoF)和外接矩形框(BondingRect)位置。

根据检测到的目标置信度和上述位置关系，可以判定缺口准确位置，如图1所示。当GAP目标未被识别到时，可以根据EDG或BLK与基准线的位置关系，计算出缺口的相应位置，如图2-图3所示。

识别到多个目标

由于缺口实际上是属于转辙机设备内部机械部件围合的间隙，在设备内部存在很多其它相似的图像，仅通过AI模型识别缺口单一目标，很难保证识别到的缺口是真正的缺口，而不是其它位置的伪缺口。如图5所示，除中间正确的缺口外，还检测到了下方两个伪目标。如图6所示，左侧检测到一个缺口伪目标，下侧检测到一个边缘真目标。

我们基于本方法提供的GEB多目标识别模型，可以通过关联目标之间的位置关系和形态学上的特点来排除伪目标。比如下图，AI模型识别到了两个GAP目标，我们可以通过原理描述的目标之间的位置关系，可排除错误目标，得到正确的缺口位置，如图7所示。

模型的位置关系计算

AI模型输入待测图片后，会根据模型事先设置的目标分类器输出检测到的所有符合GAP/EDG/BLK图像特征的结果，该结果是一个列表，包括了目标的名称，外接矩形框位置，检测置信度等信息。列表中可能包括0～多个目标，同一个目标也可能有多个数量，位置也可能重叠，算法需要进行目标有效性的处理，其中AI模型检测结果的示例如表1所示，表1为模型检测结果表。

表1

流程图中的存在判断就是根据检测结果中，是否存在相应的目标进行处理。三者之间的关系已经如前所述，三者代表了缺口图像上的不同位置。GAP代表了整个缺口间隙，EDG代表了缺口的检测边，BLK代表了包括缺口检测边的凸块。三者相互之间有关联，但又不完全相同，各自包括了全部或部分缺口位置信息，因此可以根据它们之间的关系来检测缺口实际位置。

计算缺口的位置方法，包括初步定位(获取缺口感兴趣区域，即缺口ROI区域)和精确测量(得到像素级的检测边和基准边，并计算两个边缘之间的距离)两个步骤。

其中初步定位是由AI模型得到的。如上所述，AI检测模型可以得到目标位置的外接矩形框，这就是缺口所需的初步定位，根据初步目标定位可以计算缺口ROI。

精确定位需要根据缺口ROI位置进行进一步的图像分析，这些分析方法包括图像预处理，阈值分割，边缘检测等常用算法。

本实施例公开了从AI模型检测得到的GEB目标结果得到缺口ROI的具体步骤：

一，判断GAP/EDG/BLK目标是否符合位置关系

假设目标A外接框为rectA(x,y,width,height)，目标B的外接框为rectB(x,y,width,height)。

1)是否在一个轴向上

可以通过判断两个目标之间在水平或垂直方向上，中心点之间的距离和两者轴线上的高度平均值的比值，是否小于一定的阈值来判断是否在一条轴线上，具体步骤如图8所示。

2)是否在轴线上高度相等/相近

可以通过判断两个目标之间在水平或垂直方向上，两者高度差异与高度平均值的比值，是否小于一定的阈值来判断在轴线上的高度相等或相近，具体步骤如图9所示。

3)是否在轴线上邻接

可以通过判断两个目标之间在水平或垂直方向上，中心点之间的抽线距离是否小于两者轴线上的外接矩形宽度之和来判断是否在轴线上邻接(重叠)，具体步骤如图10所示。

4)判断两个目标之间的位置关系

可以通过判断两个目标之间在水平或垂直方向上，中心点坐标的大小来判断位置关系。如果A中心点坐标小于B中心点坐标，则表示A在B的左侧或上方，具体步骤如图11所示。

二，通过GAP/EDG/BLK计算缺口ROI

1)有GAP时

假设GAP的外接矩形为Rect(x,y,width,height)，缺口ROI直接采用GAP目标的外接矩形。

2)只有EDG目标时

假设EDG的外接矩形为rect(x,y,width,height)，由标定的基准线位置Lb＝nBasePos，运动方向dir＝0(0-向右，1-向左，2-向下，3-向上)。则缺口ROI矩形的计算步骤，如图12所示。

3)只有BLK目标时

假设BLK的外接矩形为rect(x,y,width,height)，由标定的基准线位置Lb＝nBasePos，运动方向dir＝0(0-向右，1-向左，2-向下，3-向上)。则缺口ROI矩形的计算步骤，如图13所示。

4)同时有EDG和BLK时

可以任意选择从EDG还是BLK获得缺口ROI位置。

本实施例有益效果：本实施例基于人工智能AI模型的缺口识别方法，只需要针对一类机型的缺口，收集到不同场景不同位置，不同光照等条件下适量的样本图像，经过AI神经网络进行训练，得到的模型可以达到比较高的识别准确度，而且稳定性较好，不需要经常调试算法参数，大大简化了实施成本，且随着数据样本的不断增加，识别的精度可以不断提高，具有较高的实用推广价值。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于人工智能AI模型的转辙机缺口图像检测方法，其特征在于，包括以下步骤：

通过人工智能AI模型对目标图像进行特征识别，得到目标特征，其中所述目标特征包括待识别特征及辅助特征，待识别特征为待识别缺口，所述人工智能AI模型用于多类别目标特征检测；

对待识别特征与辅助特征之间的位置关系进行判断，基于判断结果，得到实际缺口位置以实现转辙机缺口图像检测。

2.根据权利要求1所述的基于人工智能AI模型的转辙机缺口图像检测方法，其特征在于，所述人工智能AI模型为AI神经网络模型。

3.根据权利要求1所述的基于人工智能AI模型的转辙机缺口图像检测方法，其特征在于，所述辅助特征包括缺口检测边和凸块。

4.根据权利要求1所述的基于人工智能AI模型的转辙机缺口图像检测方法，其特征在于，对位置关系进行判断之前还包括：根据转辙机落柱边缘在水平投影上的位置，获取基准线；通过对待识别特征进行ROI边缘检测，获取待识别缺口的初始边；对初始边与基准线进行校准，得到待识别缺口的基准边。

5.根据权利要求4所述的基于人工智能AI模型的转辙机缺口图像检测方法，其特征在于，校准过程包括：Lb＝Le-D/dp；

其中，D是人工测量当前缺口实际宽度值，Le是用算法程序测量得到缺口检测边位置，dp是摄像机标定的像素宽度，Lb是缺口基准边所在的位置。

6.根据权利要求1所述的基于人工智能AI模型的转辙机缺口图像检测方法，其特征在于，对待识别特征与辅助特征之间的位置关系进行判断的过程包括：获取所述待识别特征及辅助特征的外接框位置，基于外接框位置进行位置关系计算，其中位置关系包括水平线及垂直轴线距离，高度及排列关系，基于位置关系计算结果进行阈值判断，当所述位置关系计算结果不符合阈值时，则剔除对应的待识别缺口，当所述位置关系计算结果符合阈值时，则保留对应的待识别缺口，得到实际缺口位置。

7.根据权利要求1所述的基于人工智能AI模型的转辙机缺口图像检测方法，其特征在于，结果输出之前还包括：当所述目标特征中只有辅助特征时，则根据辅助特征的位置，计算得到真实缺口位置。

8.根据权利要求7所述的基于人工智能AI模型的转辙机缺口图像检测方法，其特征在于，构建人工智能AI模型之后的过程包括，获取不同场景不同位置，不同光照条件下样本图像，通过样本图像对人工智能AI模型进行训练，得到训练好的人工智能AI模型，通过训练好的人工智能AI模型对目标图像进行识别。

Images