CN106940884A - 一种包含深度信息的动车组运行故障图像检测系统及方法 - Google Patents

Abstract

本发明公开一种包含深度信息的动车组运行故障图像检测系统及方法，采用线阵相机拍摄动车组可视图像信息；利用结构光3D模块采集动车组的深度信息；通过车号相机拍摄动车组的车号图像，采用车号识别技术，自动识别车号和端位信息，能实现车号与动车组自动索引，建立动车组部件图像与车号的对应关系；采集车辆的底部和侧部外观的可视图像与深度信息，采用信息融合技术，对可视图像信息和深度信息进行匹配融合；通过异常区域自动定位技术检测车辆运行故障，实现同一动车组的部件图像自动识别和异常分级报警。本发明的优点在于：能同时采集列车组的2维图像信息和3维深度信息进行融合，大大提高故障检测效率。

Description

一种包含深度信息的动车组运行故障图像检测系统及方法

技术领域

本发明属于铁路列车运行外观故障检测领域，具体涉及一种包含深度信息的动车组运行故障图像检测系统。

背景技术

随着我国铁路事业的迅猛发展，采用自动检测系统进行列车检修的应用越来越广泛，相机传感器得到越来越多的应用，然而相机传感器只能得到拍摄物体的二维信息，无法得到物体的深度信息，结构光3D采集装置能收集物体的深度信息，在进行动车组故障图像检测算法中，通过融合可视图像信息和深度信息，可以有效的识别出列车故障，为列车的安全运行提供了有力的保障。

发明内容

针对上述问题，本发明提出一种包含深度信息的动车组运行故障图像检测系统，可用于铁路等领域内车辆故障动态检测。

一种包含深度信息的动车组运行故障图像检测系统，包括底部线阵相机、侧部线阵相机、结构光3D模块、车号相机、车号接收装置、车轮传感器构成的轨边设备以及机房设备。

所述底部线阵相机、侧部线阵相机与结构光3D模块位于轨道上同一竖直平面位置。其中，底部线阵相机至少为3台，设置于两相邻枕木间的路渣上，分别拍摄动车组底部中部及左右3个区域的可视图像信息，并发送至机房设备中的信息采集装置。底部线阵相机中至少1台位于两条铁轨之间，两条铁轨外侧各设置至少一台。侧部线阵相机至少为2台，分别安装轨道两侧，用来获取动车组左侧面与右侧面的可视图像信息，并发送至机房设备中的信息采集装置。信息采集装置将接受到的可视图像信息发送至显示设备中进行显示，还发送至数据存储器中进行存储。所述车号相机安装在轨道一侧相机上方拍摄动车组的车号图像，采用车号识别技术，自动识别动车组车号和端位信息，由信息采集装置发送至显示设备中进行显示，并发送至机房设备中的信息采集装置。

所述结构光3D模块至少为3个，分别用于采集动车组底部与两侧面的深度信息。其中，至少1个安装在两相邻枕木间的路渣上，轨道两侧各安装至少1个。

由此，通过结构光3D模块连续获取列车底部与两侧面的深度信息，并发送至机房设备中的信息采集装置，由信息采集装置发送至显示设备中进行显示，并发送至数据存储器中进行存储。信息采集装置还将接收到的可使图像信息、车号信息与深度信息发送至机房设备中的图像处理装置中，由图像处理装置利用机房设备中的图像识别装置和图像识别技术，对将可使图像信息与深度信息合成4维坐标，进行拼接后即可实现整个车体的三维深度成像，并发送至数据存储器中进行存储，且发送至显示设备中进行显示；进而实现故障自动检测和异常分级报警；同时图像处理装置还根据车号信息实现车号与动车组自动索引，建立动车组部件图像与车号的对应关系，并将车号信息及对应的故障检测结果发送至数据存储器中进行存储。所述车轮传感器实现接车、测速、计轴计辆、拍摄图像定位。

针对上述动车组运行故障图像检测系统的检测方法，具体步骤为：

步骤1：系统初始化，加载列车车辆信息，配置参数。

步骤2：加载各个相机拍摄到的灰度图像和深度图像，对平面灰度图片进行标准化。

步骤3：对灰度图像进行去噪平滑处理。

步骤4：利用底部线阵相机拍摄图像中的轴位信息，对拍摄的图像进行区域划分，从而定位出车体部件在灰度图像中所在的位置。

步骤5：根据车体部件在灰度图像上的区域在深度图像上搜索相应的深度区域。

步骤6：将灰度图像信息与对应位置的深度图像信息进行融合，生成三维深度图像，并使用深度图像信息和灰度图像信息在不同角度对车体部件进行识别。

步骤7：根据车辆标准外观结合融合后的三维深度图像对列车进行异常检测。

步骤8：根据预先设定故障特征对列车上的异常区域进行过滤。

步骤9:结合步骤6、7、8所识别的故障信息，得到动车组存在的异常及故障综合信息；

步骤10：发出异常警告。

本发明的优点为：

1、本发明动车组运行故障图像检测系统，能同时采集列车车底与侧壁的2维图像信息和3维深度信息；

2、本发明在故障检测模块中，能融合2维图像信息和3维深度信息，大大提高故障检测效率；

3、本发明动车组运行故障图像检测系统，采用模块化设计，结构设计简单，便于维护；

附图说明

图1为本发明动车组运行故障图像检测系统结构框图；

图2为结构光3D模块深度信息获取方法流程图；

图3为本发明动车组运行故障图像检测系统中结构光3D模块结构示意图；

图4为本发明动车组运行故障图像检测系统工作流程图。

具体实施方式

本发明包含深度信息的动车组运行故障图像检测系统，包括底部线阵相机、侧部线阵相机、结构光3D模块、车号相机、车轮传感器构成的轨边设备，以及机房设备，各设备按标准模块化设计，可通用互换，如图1所示。

所述底部线阵相机、侧部线阵相机与结构光3D模块位于轨道上同一竖直平面位置。其中，底部线阵相机至少为3台，分别安装于3个相机箱体内；3个相机箱体均设置在两相邻枕木间的路渣上；其中，两条铁轨之间至少设置一台；两条铁轨外侧各设置至少一台。全部底部线阵相机的镜头方向朝向动车组底部，通过中部与左右侧底部线阵相机分别拍摄动车组底部中部及左右3个区域的可视图像信息，并发送至机房设备中的信息采集装置，并发送至数据存储器中进行存储。所述侧部线阵相机至少为2台，分别安装在2个轨边箱体内，2个轨边箱体分别安装在轨道两侧。轨道两侧的侧部线阵相机镜头分别朝向动车组车身左右侧面，通过侧部线阵相机获取动车组左侧面与右侧面的可视图像信息，并发送至机房设备中的信息采集装置，并发送至数据存储器中进行存储。通过信息采集装置将采集到的动车组底部中部及左右3个区域的可视图像信息与动车组左侧面与右侧面的可视图像信息发送至显示设备中进行显示，可实现车体底部轴位以及侧部转向架和裙板等区域的可视信息的观察。

所述车号相机安装在轨道一侧的侧部相机上方，拍摄动车组的车号图像，采用车号识别技术，自动识别动车组车号和端位信息，并发送至机房设备中的信息采集装置，由信息采集装置发送至显示设备中进行显示，并发送至数据存储器中进行存储。

上述底部线阵相机与侧部线阵相机，车号相机均采用高分辨率线阵相机，保证拍摄图像分辨率高于1mm；为避免不同相机之间的光干扰，相机采用交叉摆放。

所述结构光3D模块至少为3个，分别用于采集动车组底部与两侧面的深度信息，实现车体底部以及两侧面上的外观部件的异常检测与尺寸测量。其中，至少1个安装在两相邻枕木间的路渣相机箱体内，两个轨边箱体内至少安装1个。上述结构光3D模块包括外壳1、连接支架2、摄像机3与线性激光器4；其中，连接支架2采用L型结构，用于实现摄像机3与线性激光器4间的连接。连接支架2一侧边固定安装激光器支架，线性激光器4安装在激光器支架上。连接支架2另一侧边通过转轴轴接摄像机支架，摄像机3安装在摄像机支架上。上述摄像机3的镜头轴线与线性激光器4的投影光轴共面A，且摄像机支架可转动，进而实现摄像机3镜头轴线与线性激光器4的投影光轴间夹角的调节。上述激光器支架固定安装在外壳1内，通过外壳1实现摄像机3与线性激光器4的封装；且在线性激光器4的镜头朝向一侧，位于线性激光器4镜头对应位置处开有开口，并通过透明玻璃密封；在摄像机3镜头对应位置处开有开口，同样通过透明玻璃密封。上述结构光3D模块，可采用不同波段的激光器(包括808nm20nm，650nm 20nm等波段)，且可采用摄像机(ccd，cmos芯片等)及滤光片组合的方式。

通过上述结构光3D模块，由下述方法即可实现对车体底面与两侧的深度信息的获取，具体如下：

步骤1：通过线性激光器向车体表面投影结构光。

步骤2：根据车体的大小，以及摄像机需求的拍摄范围和拍摄精度，调节摄像机的镜头与线性激光器的投影光轴间的夹角，使摄像机可获取结构光与车体表面相交的激光线；若车体表面无高低变化，则激光线为一条直线；反之，若车体表面存在高低变化，则激光线为曲线。

步骤3：标定摄像机参数和结构光平面。

如图2所示，设线结构光平面上任意一点P在摄像机的投影平面x_uO_uy_u上的投影点为p，点p在图像坐标系O_u(x_u，y_u)下的齐次坐标为点p在摄像机坐标系O_c(x_c，y_c、z_c)下的齐次坐标为P_c＝(x_c,y_c,z_c,1)^T，点p在世界坐标系O_w(x_w，y_w，z_w)下的齐次坐标为P_w＝(x_w,y_w,z_w,1)^T。

由此，根据摄像机成像模型可得：

式(1)中，ρ为比例系数，A为摄像机内参矩阵，R，t分别为世界坐标系到摄像机坐标系的旋转矩阵与平移矢量，M为摄像机投影矩阵。

P点同时还满足所在结构光平面的平面方程，设结构光平面在摄像机坐标系O_c(x_c，y_c、z_c)下满足方程：

ax_c+by_c+cz_c+d＝0 (2)

式(2)中a，b，c，d分别表示结构光平面的平面方程的四个系数。

联立式(1)、式(2)可得：

在世界坐标系O_w(x_w，y_w，z_w)中，由摄像机成像模型确定射线O_cp的方程，由式(2)确定结构光平面的平面方程，由此，由O_cp和结构光平面的交点可以唯一确定点P在摄像机坐标系下的三维坐标。

步骤4：调整线性激光器的亮度与摄像机的曝光时间，避免激光线成像过曝，使得激光线能在测量范围内清晰成像。由此在二值化图像时，摄像机能够稳定的提取出激光线轮廓；

步骤5：通过摄像机拍摄激光线，获取包含激光线的图像；

步骤6：对步骤5获取的图像进行二值化，提取激光线轮廓；

步骤7：由于激光线具有一定宽度，本发明中通过图像处理定位激光线轮廓的中心线位置，并得到激光线的中心线上各点在图像坐标系上的坐标；

步骤8：将步骤7中激光线的中心线上各点在图像坐标系上的坐标带入步骤3中式(3)，计算得到激光线的中心线上各点在摄像机坐标系下的三维坐标(x′，y′，z′),其中z为深度信息。

由此，通过摄像机对成像物体表面激光线进行连续拍摄，从而获取成像物体上不同位置的深度信息，并发送至机房设备中的信息采集装置。信息采集装置还将接收到的可使图像信息、车号信息与深度信息发送至图像处理装置中，由图像处理装置利用机房设备中的图像识别装置和图像识别技术，对三维坐标(x′，y′，z′)以及对应的可使图像信息(g)合成4维坐标(x′，y′，z′，g)，进行拼接后即可实现整个车体的三维深度成像，发送至数据存储器中进行存储，并发送至显示设备中进行显示，利用图像识别技术进而实现故障自动检测和异常分级报警；同时图像处理装置还根据车号信息实现车号与动车组自动索引，建立动车组部件图像与车号的对应关系，并将车号信息及对应的故障检测结果发送至数据存储器中进行存储。上述显示设备由多台计算机构成，通过KVM切换器进行相互间的显示切换控制。

本发明中在3个相机箱体与2个轨边箱体内均安装有防护设备，防护设备包括水泵、吹风机、以及防护门。其中，水泵用来对箱体内的积水进行减排。吹风机用来防止灰尘散落在镜头上。由此保证各个线性相机在雨雪雾沙等恶劣条件下正常工作。同时，在3个箱体与2个轨边箱体设计有防护门结构，防护门打开时，仅开启一条缝隙，使其中的相机镜头暴露在外，此种防护门故障率低，便于维护。通过上述防护设备对相机箱体与轨边箱体内相机和补偿光源进行防护，仅在列车通过时由机房设备控制防护门打开，有效防止外部杂物等进入箱体内影响图像拍摄质量，且使相机箱体与轨边箱体具有抗震性，具有防水和防尘功能，适应铁路轨边环境。

所述车轮传感器(磁钢)实现接车、测速、计轴计辆、拍摄图像定位。本发明中车轮传感器设置八个，分别为4个远端磁钢与4个近端磁钢，能实现出入库双向接车功能。其中，4个远端磁钢中，2个作为远端开机磁钢，另两个作为远端计轴计量磁钢。2个远端开机磁钢安装在轨边设备来车方向一侧，距离轨边设备大于25米处，且间距250毫米，用于列车探测，当列车车轮压过2个远端开机磁钢时，磁钢信号经机房设备中的的采用TFDS成熟的车轮传感器信号处理装置处理成数字信号后，发送至信息采集装置，由信息采集装置发送至数据存储设备中存储；且发送至机房设备中的控制箱，此时系统进入准备接车状态，由控制箱控制防护门打开，且开启机房控制设备中的车号接收装置。2个远端计轴计量磁钢安装在轨边设备来车方向一侧，距离轨边设备40m处，作为轨边设备工作开启磁钢，当列车车轮压过远端计轴计量磁钢时，由控制箱控制控制轨边箱体门打开，激光光源打开，相机进入拍摄状态。4个近端磁钢中，2个作为近端计轴计量磁钢，另2个作为近端拍照控制磁钢。2个近端计轴计量磁钢安装在轨边设备来车方向一侧，距离轨边设备4m处，且间距为250毫米，根据近端计轴计量磁钢信号，由机房控制设备中的数据处理装置计算列车的速度、计轴计辆。2个近端拍照控制磁钢的安装在轨边设备来车方向一侧，距离轨边设备位置紧贴各个相机所在竖直平面，当车轮压过2个近端拍照控制磁钢时，由磁钢信号处理装置处理成数字信号后，直接触发本发明中所有相机开始拍照，尽量减少延时。

所述机房控制设备还配有车号接收装置、信号防雷设备、电源防雷设备、远程维护装置与UPS不间断电源，各设备按标准模块化设计可通用互换。车号接收装置主机(AEI主机)用来接收车号地面天线(AEI天线)采集到的机车及车辆的标签数据，通过同轴电缆发送到车号接收主机。信号防雷设备用来消除或减小车轮传感器带入的电涌信号，保障设备正常运行。电源防雷设备用来防止雷电和其他内部电压侵入设备造成损坏。远程维护装置用来远程查看本发明动车组运行故障图像检测系统中各个设备是否正常，和对各个设备进行远程控制重启。UPS不间断电源用来提供本发明动车组运行故障图像检测系统提供稳定、不间断、可靠的电源。本发明动车组运行故障图像检测系统中在轨边设备处与机房室内安装有视频监控设备，对机房设备以及轨边设备进行实时拍摄监控，通过交换机进行控制，并将视频图像存储于数据存储设备中。本发明动车组运行故障图像检测系统可自动分析动车组底部走行部、侧部走行部图像，对所有疑似异常(变形、缺失等其他异常状态)的区域(最小可达15mmx15mm) 进行预警提示。

针对上述系统，通过下述的方法完成动车组运行故障图像检测，如图4所示，具体步骤为：

步骤1：系统初始化，加载列车车辆信息(车轴与辆位信息)，配置参数等信息；

步骤2：加载各个相机拍摄到的灰度图像和深度图像，对平面灰度图片进行标准化，即对灰度图像进行比例放缩，使得图像拍摄的车体外观中的各个部件行车方向比例与实际比例一致；

步骤3：对灰度图像进行预处理，即进行去噪平滑处理；

步骤4：利用底部线阵相机拍摄图像中的轴位信息，对拍摄的图像进行区域划分，从而定位出车体部件在灰度图像中所在的位置；

步骤5：根据车体部件在灰度图像上的区域在深度图像上搜索相应的深度区域；

步骤6：将灰度图像信息与对应位置的深度图像信息进行融合，生成三维深度图像，并使用深度图像信息和灰度图像信息在不同角度对车体部件进行识别；

步骤7：根据车辆标准外观结合融合后的三维深度图像对列车进行异常检测；

步骤8：根据预先存储的故障特征对列车上的异常区域进行过滤；

步骤9:结合步骤6、7、8所识别的故障信息，得到动车组存在的异常及故障综合信息；

步骤10：发出异常警告。

Claims (9)

1.一种包含深度信息的动车组运行故障图像检测系统，其特征在于：包括底部线阵相机、侧部线阵相机、结构光3D模块、车号相机、车号接收装置、车轮传感器构成的轨边设备以及机房设备；

所述底部线阵相机、侧部线阵相机与结构光3D模块位于轨道上同一竖直平面位置；其中，底部线阵相机至少为3台，设置于两相邻枕木间的路渣上，分别拍摄动车组底部中部及左右3个区域的可视图像信息，并发送至机房设备中的信息采集装置；底部线阵相机中至少1台位于两条铁轨之间，两条铁轨外侧各设置至少一台；侧部线阵相机至少为2台，分别安装轨道两侧，用来获取动车组左侧面与右侧面的可视图像信息，并发送至机房设备中的信息采集装置；信息采集装置将接受到的可视图像信息发送至显示设备中进行显示，还发送至数据存储器中进行存储；所述车号相机安装在轨道一侧相机上方拍摄动车组的车号图像，采用车号识别技术，自动识别动车组车号和端位信息，由信息采集装置发送至显示设备中进行显示，并发送至机房设备中的信息采集装置；

所述结构光3D模块至少为3个，分别用于采集动车组底部与两侧面的深度信息；其中，至少1个安装在两相邻枕木间的路渣上，轨道两侧各安装至少1个；

由此，通过结构光3D模块连续获取列车底部与两侧面的深度信息，并发送至机房设备中的信息采集装置，由信息采集装置发送至显示设备中进行显示，并发送至数据存储器中进行存储；信息采集装置还将接收到的可使图像信息、车号信息与深度信息发送至机房设备中的图像处理装置中，由图像处理装置利用机房设备中的图像识别装置和图像识别技术，对将可使图像信息与深度信息合成4维坐标，进行拼接后即可实现整个车体的三维深度成像，并发送至数据存储器中进行存储，且发送至显示设备中进行显示；进而实现故障自动检测和异常分级报警；同时图像处理装置还根据车号信息实现车号与动车组自动索引，建立动车组部件图像与车号的对应关系，并将车号信息及对应的故障检测结果发送至数据存储器中进行存储。

所述车轮传感器实现接车、测速、计轴计辆、拍摄图像定位。

2.如权利要求1所述一种包含深度信息的动车组运行故障图像检测系统，其特征在于：

机房设备中的数据处理装置，通过数据处理装置实现车号与动车组自动索引，建立动车组部件图像与车号的对应关系，利用机房设备中的图像识别装置和图像识别技术对除车号相机外的各个线阵相机采集的图像信息与3D采集装置采集到的深度信息进行融合后，实现故障自动检测和异常分级报警，并将车号信息及对应的故障检测结果发送至数据存储器中进行存储。

3.如权利要求1所述一种包含深度信息的动车组运行故障图像检测系统，其特征在于：所述底部线阵相机与侧部线阵相机，车号相机均采用高分辨率线阵相机，图像分辨率高于1mm；相机间采用交叉摆放，避免不同相机之间的光干扰。

4.如权利要求1所述一种包含深度信息的动车组运行故障图像检测系统，其特征在于：所述结构光3D模块包括外壳、连接支架、摄像机与线性激光器；其中，连接支架采用L型结构，用于实现摄像机与线性激光器间的连接。连接支架一侧边固定安装激光器支架，线性激光器安装在激光器支架上；连接支架另一侧边通过转轴轴接摄像机支架，摄像机安装在摄像机支架上；上述摄像机的镜头轴线与线性激光器的投影光轴共面A，且摄像机支架可转动；上述激光器支架固定安装在外壳内，通过外壳实现激光器与摄像机的封装；且在激光器的镜头朝向一侧，位于激光器镜头对应位置处开有开口，并通过透明玻璃密封；在摄像机镜头对应位置处开有开口，同样通过透明玻璃密封。

5.如权利要求1所述一种包含深度信息的动车组运行故障图像检测系统，其特征在于：所述底部线阵相机、侧部线阵相机安装与结构光3D模块安装在箱体内，箱体内部设置有防护设备对底部线阵相机与侧部线阵相机进行保护；防护设备包括水泵、吹风机、以及防护门；水泵用来对箱体内的积水进行减排；吹风机用来防止灰尘散落在镜头上；防护门打开时，仅开启一条缝隙，使相机镜头暴露在外，且仅在列车通过时由机房设备控制防护门打开。

6.如权利要求1所述一种包含深度信息的动车组运行故障图像检测系统，其特征在于：所述车轮传感器采用磁钢，设置八个，分别为4个远端磁钢与4个近端磁钢；其中，4个远端磁钢中，2个作为远端开机磁钢，另两个作为远端计轴计量磁钢；2个远端开机磁钢安装在与轨边设备距离大于25米处，当列车车轮压过2个远端开机磁钢时，磁钢信号经机房设备中的磁钢信号处理装置处理成数字信号后，发送至信息采集装置，由信息采集装置由信息采集装置发送至数据存储设备中存储；且发送至机房设备中的控制箱，此时由控制箱控制防护门打开，且开启机房控制设备中的车号接收装置；2个远端计轴计量磁钢安装在距离轨边设备来车方向的40m处，作为轨边设备工作开启磁钢，当列车车轮压过远端计轴计量磁钢时，由控制箱控制各个相机进行进入拍摄状态；4个近端磁钢中，2个作为近端计轴计量磁钢，另2个作为近端拍照控制磁钢；2个近端计轴计量磁钢安装在距离轨边设备4m处，根据近端计轴计量磁钢信号，由机房控制设备中的数据处理装置计算列车的速度、计轴计辆；2个近端拍照控制磁钢的安装位置紧贴轨边设备，当车轮压过2个近端拍照控制磁钢时，由磁钢信号处理装置处理成数字信号后，直接触发各个相机开始进入拍摄状态。

7.如权利要求1所述一种包含深度信息的动车组运行故障图像检测系统，其特征在于：所述机房控制设备还配有信号防雷设备、电源防雷设备、远程维护装置与UPS不间断电源；信号防雷设备用来消除或减小车轮传感器带入的电涌信号，保障设备正常运行。电源防雷设备用来防止雷电和其他内部电压侵入设备造成损坏。远程维护装置用来远程查看本发明动车组运行故障图像检测系统中各个设备是否正常，和对各个设备进行远程控制重启。UPS不间断电源用来提供本发明系统设备稳定、不间断、可靠的电源。

8.如权利要求1所述一种包含深度信息的动车组运行故障图像检测系统，其特征在于：所述机房设备与轨边设备通过摄像机系统进行实时拍摄监控。

9.针对权利要求1所述的一种包含深度信息的动车组运行故障图像检测系统的检测方法，其特征在于：具体步骤为：

步骤1：系统初始化，加载列车车辆信息，配置参数；

步骤2：加载各个相机拍摄到的灰度图像和深度图像，对平面灰度图片进行标准化；

步骤3：对灰度图像进行去噪平滑处理；

步骤4：利用底部线阵相机拍摄图像中的轴位信息，对拍摄的图像进行区域划分，从而定位出车体部件在灰度图像中所在的位置；

步骤5：根据车体部件在灰度图像上的区域在深度图像上搜索相应的深度区域；

步骤6：将灰度图像信息与对应位置的深度图像信息进行融合，生成三维深度图像，并使用深度图像信息和灰度图像信息在不同角度对车体部件进行识别；

步骤7：根据车辆标准外观结合融合后的三维深度图像对列车进行异常检测；

步骤8：根据预先设定故障特征对列车上的异常区域进行过滤；

步骤9:结合步骤6、7、8所识别的故障信息，得到动车组存在的异常及故障综合信息；

步骤10：发出异常警告。