CN106709911A - 一种基于机器视觉的高铁扣件检测与计数方法及系统 - Google Patents

Abstract

本发明涉及一种基于机器视觉的高铁扣件检测与计数方法及系统，包括图像采集设备、DSP嵌入式处理系统和两个LED照明装置；并设计了基于扣件面积与宽度特征的快速扣件检测方法。同采用光电编码器、光电测距传感器及GPS定位系统等扣件定位方法相比，采用基于机器视觉的扣件定位方法具有定位精度高、无累积误差、结构简单易于搭建、性价比高等优势；利用该系统获得的扣件计数结果上传至上位机，并对轨道几何参数测量传感器获得的轨道几何参数故障位置进行标注，为铁路维修人员快速准确提供维修位置，对实现对铁路的安全预警具有非常重要的意义。

Description

一种基于机器视觉的高铁扣件检测与计数方法及系统

技术领域

本发明属于数字图像处理以及高铁机动化技术，具体涉及一种基于机器视觉的高铁扣件检测与计数方法及系统，实现了对轨道扣件的实时准确检测与计数，为高速铁路故障提供定位标注信息。

背景技术

截止2015年末，我国投入运营的高速铁路超过1.9万公里，居世界第一位，最高行驶速度可达350公里/每小时，极大地推进了我国交通运输的发展。但是维护不断扩张的高铁线路，实现对铁路的安全预警也成为亟待解决的问题。

为了高速铁路线路长期处于符合铁路技术标准规定的良好状态，需要对铁路轨道、扣件组、路基进行经常性检测、维修作业。其中，轨道检测是铁路工务部门的基础任务，目前已研发出的轨检车是用于轨道参数连续动态检测的专用车辆，其目的是定期对轨道进行检测，掌握轨道质量状态，指导铁路工务部门进行轨道维护，确保铁路运输安全。

轨道几何参数测量一旦发现问题，如何准确定位故障发生的位置，对提高维修人员的工作效率具有重要意义。

由于扣件组之间的距离(除去进出站、轨道交汇、拐弯等区域)是基本一致的，为了完成以上目的，可通过里程测量来完成扣件的计数(编号)。目前，我国高铁轨道巡检车常采用光电编码器、光电测距传感器或GPS定位系统对轨道扣件进行定位。然而，光电编码器由于车轮打滑，定位误差会随里程数的增加而累积增大。基于光电测距传感器的定位系统由于安装误差准确程度不够；GPS在隧道、山区等环境下定位会受到严重影响。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于机器视觉的高铁扣件检测与计数方法及系统，将其搭载于轨道检测小车之上，完成扣件的实时、准确检测与计数。计数结果可用于轨道故障定位，共同辅助对轨道几何参数的快速修正。

技术方案

一种基于机器视觉的高铁扣件检测与计数方法，其特征在于步骤如下：

步骤1：对采集到的当前帧图像数据，抽取Y通道分量，得到灰度图像；

步骤2：对灰度图像数据进行中值滤波去噪；

步骤3：以阈值分割方法对图像进行二值化处理，得到二值化图像数据；

步骤4：对二值图像中的黑色像素个数进行统计，将统计结果作为目标面积m；对二值化图像按行累加获得投影曲线，并计算行投影曲线凸起部分的长度值做为目标在图像中的宽度n；

步骤5：将目标面积m和目标在图像中的宽度n与实际扣件在图像中的面积M和宽度N进行比较；如果检测到的目标面积与宽度都与实际扣件的面积与宽度一致，则判定图像中存在扣件；

步骤6：如果当前帧图像中存在扣件，且上一帧图像经过步骤1～步骤5判定为不存在扣件，则给予计数；否则不予计数；

重复步骤1～步骤6完成扣件的检测与计数。

一种实现所述方法的系统，其特征在于：包括图像采集设备、DSP嵌入式处理系统和两个LED照明装置；图像采集设备的镜头位于机箱下部的中心，两个LED照明装置等距离置于镜头两侧，DSP嵌入式处理系统置于机箱内；DSP嵌入式处理系统与包括图像采集设备的相机之间通过BNC接口的数据线连接；使用时，机箱搭载于轨道检测小车上，镜头对准轨道扣件位置，两个LED照明装置与运行方向平行，图像采集 装置将连续捕获的图像数据通过BNC接口的数据线送至DSP嵌入式处理系统。

所述图像采集系统的视场纵向长度为单个扣件的宽度+50mm的空间余量；视场横向长度为扣件长度+80mm的余量；所述视场纵向长度为列车运行方向；所述视场横向长度为列车运行方向垂直。

所述图像采集系统的工作距离为400mm，测量视场大小为：440mm×330mm。

所述相机采用SONY公司的VS-250DH2小型彩色工业模拟相机。

所述镜头采用维视图像公司的AFT-0420MP镜头。

所述DSP嵌入式处理系统采用TI公司C6000系列DSP中的定点DSP。

采用透光率高达到92％亚克力有机玻璃板作为相机、镜头、LED装置的防护罩。

有益效果

本发明提出的一种基于机器视觉的高铁扣件检测与计数方法及系统，首先设计了扣件计数方法，在此基础上设计了图像采集系统及照明装置，并设计了基于扣件面积与宽度特征的快速扣件检测方法。

本发明优越性：

1、同采用光电编码器、光电测距传感器及GPS定位系统等扣件定位方法相比，采用基于机器视觉的扣件定位方法具有定位精度高、无累积误差、结构简单易于搭建、性价比高等优势；

2、该系统可全天时正常工作。LED光源具有寿命长(一般超过3万小时)、响应迅速(能在10ms或更短的时间内达到最大亮度)等优点，选择装配LED照明装置不仅可以令系统在晚间正常工作，也可以在白天抑制因太阳光照射产生的阴影的影响，可提高扣件检测对环境影响的鲁棒性；

3、采用的TMS320DM642是TI公司C6000系列DSP中的定点DSP，其核心是C6414型高性能数字信号处理器，具有极强的处理性能，高度的灵活性和可编程性， 同时外围集成了非常完整的视频接口，特别适用于机器视觉应用领域；

4、采用具有高透光性(透光率高达到92％)的亚克力有机玻璃板作为防护罩，在不影响成像效果的情况下，可防止工作环境中风沙、碎石对相机、镜头、LED装置造成污染或破坏。

5、利用该系统获得的扣件计数结果上传至上位机，并对轨道几何参数测量传感器获得的轨道几何参数故障位置进行标注，为铁路维修人员快速准确提供维修位置，对实现对铁路的安全预警具有非常重要的意义。

附图说明

图1为系统结构示意图。

图2为系统工作流程图。

图3为扣件计数方法流程图。

图4为扣件尺寸与轨枕距离示意图

图5为相机和镜头参数设计示意图。

图6为是否满足扣件计数要求的临界情况示意图。

图7为光源安装位置示意图。

(a)观察方向与行驶方向一致(b)观察方向垂直于行驶方向

图8为基于面积与宽度特征的扣件快速检测流程图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

如图1示，将该系统通过支架搭载于轨道检测小车之上，接通电源后，系统处于待机状态，位于机箱下部镜头两侧的LED照明装置开始工作。当由上位机通过RS232串口发送启动信号给位于机箱上部DSP嵌入式系统时，系统开始工作，位于机箱中央图像采集装置(相机1和镜头2)开始连续捕获图像数据，通过BNC接口的数据线，将图像数据送至DSP嵌入式处理系统，利用扣件检测算法完成扣件检测，然后采用提 出的扣件计数方法完成扣件的计数，最后将计数结果由DSP嵌入式系统通过RS232串口送至上位机保存。

本发明的工作原理以及进一步的详细说明如下：

基于机器视觉扣件检测与计数系统的运行原理框图如图2所示。在此对扣件计数方法、扣件检测算法以及图像采集设备具体设计给予介绍。

1.扣件计数方法

由于高速铁路场景与普通铁路相比较为单调、轨道检测车运行速度不确定等因素，若前后两帧图像中均捕获多个扣件，将很难从两帧图像中找到相互对应的相同扣件。即使能将相同的扣件匹配对应上，也要付出计算时间较多的代价且难以保证其匹配结果的正确率，这样便很可能出现重复计数的错误结果；另外在扣件检测与计数过程中，不希望出现漏计的现象。为了避免上述情况，本发明提出了系统设计过程中需要满足的三个条件，如下所示：

(1)轨道检测车以最大速度行驶时，相机连续捕获的两帧图像至少有一个扣件成像尺寸大小的重合区域；

(2)轨道检测车以最大速度行驶时，拍摄到第n个完整扣件和第n+1个完整扣件图像之间至少有一帧不包含完整扣件的图像；

(3)若图像中捕获到的扣件不是完整的，则不能判定该帧图像检测到扣件。

在满足以上三个条件基础上，只要能完成每帧图像中扣件有无的准确检测，那么扣件计数问题就变得较为容易，大大减小了算法复杂度，避免了漏计与多计。扣件计数流程如图3所示。

为了使设计的基于机器视觉的高铁扣件检测与计数系统满足以上的扣件检测计数条件，需要选取合适的图像采集设备,本发明完成了相关设计，下文给予介绍。

2.图像采集设备设计

在图像采集系统设计的过程中，需要综合考虑多种因素。例如，扣件尺寸以及轨枕的距离(如图4所示)，保证设计的图像采集系统能拍摄到完整扣件的同时不会出现一张图像中出现多个扣件的情况；要考虑图像采集系统的工作距离(即镜头表面到成像目标的距离)，因为工作距离大小与镜头的参数设计密切相关。要想获得同样大小的视场，工作距离越近，要求镜头视场角越大，工作距离越远，要求镜头视场角越小；还要考虑轨道巡检车工作的最高时速，设计合适的帧速率避免相机高速运动时出现扣件漏拍的情况；除此以外，还要考虑系统信息处理单元的性能，在满足实时计算的前提下，选用图像的像素个数满足要求的相机。整体图像采集系统设计需考虑的因素及关系如图5所示。

(1)相机分辨率与镜头参数

本发明针对高铁线路常采用的WJ-8C型弹条式扣件进行设计，扣件宽度约为200mm，长度约为120mm，如图4所示。高铁线路的轨枕间距约为625mm，。图像采集系统的视场纵向长度(即列车运行方向，如图7(b)所示)应大于单个扣件的宽度，另外考虑到系统安装角度的偏差及列车运动对相机成像造成的影响，应预留50mm的空间余量，所以视场纵向长度应大于250mm。视场横向长度(与列车运行方向垂直，如图7(a)所示)应大于扣件长度，另外考虑系统安装角度的偏差和列车行进过程中可能出现的晃动，再保留80mm的余量，视场横向长度应大于200mm。

考虑相机及镜头参数要满足到所提扣件计数方法的限制条件(3)和限制条件(2)，如图6所示，假设相机连续捕获两帧图像，其中第n个扣件出现在第一帧图像的最左侧，第n+1个扣件出现在第二帧图像的最右侧，视场纵向长度为L，两帧图像间列车移动的距离为D。这种情况处于满足限制条件和不满足限制条件情况的一个临界条件。若轨道巡检车行驶速度不变(即D不变)，视场纵向长度L只要小于上述极限情况的L值，即可满足上述假设。

再考虑到所提扣件计数方法的限制条件(1)，在保证任何一个扣件都会完整的被某一帧图像捕获的同时，降低了相机帧速率要求，因此D＝L-200(mm)。若满足扣件 计数过程中的限制条件(2)、(3)，则需要L+D<625+200(mm)，即L<512.5(mm)。

综上所述，理论上视场的纵向长度应大于250mm，但不能大于512.5mm，视场的横向长度要大于200mm。然而在实际的工程应用过程中，视场纵向长度越大，对相机的帧速率的要求越小，且在相机成像过程中相机可能还出现晃动影响成像，但若视场纵向长度过于接近临界最大值，也可能造成系统的失效，故在实际应用中视场纵向适宜长度在360至450mm之间，因此取视场纵向长度为440mm，视场横向长度为240mm，由于面阵CCD感光器件的长宽比一般为4:3，则取实际测量视场的大小为400mm×330mm。

另外，为了获得较高的相机帧速率，使得相机在较高速度移动下也不会发生某个扣件漏拍的情况，那么图像不应具有较大的分辨率。但为了能让扣件检测系统获得扣件尽可能多的特征信息，以便提高扣件检测的准确率，又要求图像有较高的分辨率。所以折中考虑，拟采用面阵CCD相机的像素个数为640×480。

本发明考虑到便于将该系统搭载与某型号轨道检测车上，同时在外观上不至于太突兀。如图7(a)所示，设定图像采集系统的工作距离为400mm，测量视场大小为：440mm×330mm。

对于选择工业模拟相机，其传感器光学尺寸为1/3"，即尺寸为宽4.8毫米，高3.6毫米，故求得镜头的焦距为：

镜头的水平视角为：

镜头的垂直视角为：

(2)帧速率设计

本发明为了配合某型号轨道检测车的行驶速度(最大行驶速度为20km/h)，结合设计好的纵向视场大小L(单位：米)、帧间重合区域O(单位：米)以及搭载该系统的轨道检测车最大行驶速度V(单位：帧/秒)，可由式(1-4)计算出满足要求的相机帧速率F为：23.14帧/秒。

3.6(L-O)·F＝V (1-4)

(3)相机类型选择

通常情况下，CCD相机在分辨率、灵敏度、噪声和功耗等方面要优于CMOS相机。同时，目前目标市场上有许多重量轻、体积小、价格低的不同型号CCD相机可供选择，本发明选取CCD相机作为高铁扣件检测与计数系统的图像获取传感器。

本系统主要通过对相机实时捕获的图像进行检测，判断图像捕获区域是否存在扣件，并完成扣件数目的顺序标号统计，并不需要非常高的图像分辨率，所以并不需要高分辨率的线扫面相机。除此以外，线扫描相机价格较高，所以本系统选择的是更加合适的面阵相机。

综上所述，最终该系统配置的是一款SONY公司的VS-250DH2小型彩色工业模拟相机(参数如表1所示)，以及一款维视图像公司的AFT-0420MP镜头(参数如表2所示)。

表1工业模拟相机主要参数指标

表2镜头主要参数

3.照明装置及安装方式

在基于机器视觉的应用系统中，光源起着至关重要的作用。光源往往能决定整个视觉系统是否能完成任务要求，获得理想的成像效果。图像的亮度、对比度、饱和度、纹理、条纹等属性是衡量图像质量的重要指标，与光源有着直接关系。基于机器视觉的扣件检测与计数系统要求在全天时光照变化下正常工作，而解决这一问题的关键技术是辅助光源的设计。

考虑到整体系统的电气连接问题，应尽可能选用低压供电的光源；考虑到因系统需要长时间连续工作会导致光源温度升高，为了保证光源工作在适宜的温度范围内，需要解决散热问题，所以应考虑选用冷光源作为照明设备；考虑到系统的工作环境，保证系统具有良好的抗震性与防护性，最好选用固体光用。同时，户外环境温度较低，要保证光源的工作温度范围满足系统的要求。综合考虑以上因素，本系统选用LED光源。

由于本系统选择面阵相机对扣件区域成像，所以可以采用面光源照明方式，照亮相机成像区域即可，面光源体积小，亮度高且光照较为均匀。

照明装置可以令该系统在晚间能正常工作，此外，为了抑制白天因太阳光照射产生的阴影对扣件检测的影响，需选用亮度较大的光源。为了防止照明光线发散，需要加装聚光透镜。

综上所述，本系统选用的是功率较大集成LED面阵光源。

为了让机器视觉捕获较高质量的图像数据，本系统采用两个面光源进行照明。为使待检测区域光照均匀，将两个LED光源与扣件平行放置。同时，为使整体系统结构紧凑，光源应夹在相机两侧。为不影响相机的视场和光源照射范围，两个LED光源下表面应和镜头表面位于同一平面。光源安放示意图如图7所示。

4.扣件检测算法

本发明的主要思想就是通过对系统的合理设计为扣件检测营造较为理想的检测环境，避免相机前下视造成的尺度变化、全天时工作时的阴影干扰、光源照射不均匀等问题对扣件检测造成的影响，达到扣件实时准确检测的目的。采用运算量较小的基于扣件面积与宽度特征的快速扣件检测算法，该算法首先将彩色图像变换成灰度图像并进行平滑去噪处理，然后进行二值化处理，进而提取出目标面积并通过行投影提取目标的宽度，将其和预先设定的扣件在图像中实际的面积和宽度值进行比较，如果满足设定的门限，即判定图像中的目标为扣件。该算法的基本流程如下图8所示。

算法具体步骤如下：

(1)通过图像采集设备获得捕获的图像数据；

(2)图像灰度化处理。由于模拟相机捕获到的是由YCbCr表示的彩色图像，直接抽取Y通道分量，将其作为的灰度化图像；

(3)图像中值滤波去噪；

(4)采用固定阈值分割方法对图像二值化处理。在镜头光圈设置为4.5的情况下，经过大量的实验验证，选取分割阈值为110；

(5)对二值图像的黑色像素个数进行统计，将统计结果作为目标面积m；

(6)行投影提取目标宽度。将得到的二值化图像分别按行累加(行投影)，即可获得投影曲线，计算行投影曲线凸起部分的长度值即为目标在图像中的宽度n；

(7)根据视场中目标的面积m和宽度n，与预先计算好的扣件在图像中的面积M和宽度N相比较，如果检测到的目标面积与宽度都与实际扣件的面积与宽度一致，则判定图像中存在扣件，否则判定为未检测到扣件。

Claims (8)

1.一种基于机器视觉的高铁扣件检测与计数方法，其特征在于步骤如下：

步骤1：对采集到的当前帧图像数据，抽取Y通道分量，得到灰度图像；

步骤2：对灰度图像数据进行中值滤波去噪；

步骤3：以阈值分割方法对图像进行二值化处理，得到二值化图像数据；

步骤4：对二值图像中的黑色像素个数进行统计，将统计结果作为目标面积m；对二值化图像按行累加获得投影曲线，并计算行投影曲线凸起部分的长度值做为目标在图像中的宽度n；

步骤5：将目标面积m和目标在图像中的宽度n与实际扣件在图像中的面积M和宽度N进行比较；如果检测到的目标面积与宽度都与实际扣件的面积与宽度一致，则判定图像中存在扣件；

步骤6：如果当前帧图像中存在扣件，且上一帧图像经过步骤1～步骤5判定为不存在扣件，则给予计数；否则不予计数；

重复步骤1～步骤6完成扣件的检测与计数。

2.一种实现权利要求1所述方法的系统，其特征在于：包括图像采集设备、DSP嵌入式处理系统和两个LED照明装置；图像采集设备的镜头位于机箱下部的中心，两个LED照明装置等距离置于镜头两侧，DSP嵌入式处理系统置于机箱内；DSP嵌入式处理系统与包括图像采集设备的相机之间通过BNC接口的数据线连接；使用时，机箱搭载于轨道检测小车上，镜头对准轨道扣件位置，两个LED照明装置与运行方向平行，图像采集装置将连续捕获的图像数据通过BNC接口的数据线送至DSP嵌入式处理系统。

3.根据权利要求2所述的系统，其特征在于：所述图像采集系统的视场纵向长度为单个扣件的宽度+50mm的空间余量；视场横向长度为扣件长度+80mm的余量；所述视场纵向长度为列车运行方向；所述视场横向长度为列车运行方向垂直。

4.根据权利要求2所述的系统，其特征在于：所述图像采集系统的工作距离为400mm，测量视场大小为：440mm×330mm。

5.根据权利要求2所述的系统，其特征在于：所述相机采用SONY公司的VS-250DH2小型彩色工业模拟相机。

6.根据权利要求2所述的系统，其特征在于：所述镜头采用维视图像公司的AFT-0420MP镜头。

7.根据权利要求2所述的系统，其特征在于：所述DSP嵌入式处理系统采用TI公司C6000系列DSP中的定点DSP。

8.根据权利要求2所述的系统，其特征在于：采用透光率高达到92％亚克力有机玻璃板作为相机、镜头、LED装置的防护罩。