CN104132943B - 一种车载高速动态轨道表面缺陷视频检测方法及装置 - Google Patents

Abstract

本发明涉及一种车载高速动态轨道表面缺陷视频检测方法及装置，所述方法包括：根据检测要求确定TDI线扫描相机运行参数；TDI线扫描相机进行图像标定；对两个TDI线扫描相机所获得的图像进行图像配准；对配准后的、空间错开一定亚像元位移的图像进行图像插值计算，从而获得插值点的像素值，并最终获得空间分辨率得到提高的轨道表面图像；对轨道表面缺陷进行分类识别；给出轨道表面缺陷的警示，并结合列车行驶里程和GPS定位信息给出故障点位置；记录检测结果数据；所述装置包括TDI线扫描相机、工控机、显示器、列车运行状态记录设备组和光源组件。与现有技术相比，本发明具有检测速度快、检测精度高、易于实现实时检测等优点。

Description

一种车载高速动态轨道表面缺陷视频检测方法及装置

技术领域

本发明涉及一种轨道表面缺陷检测方法及装置，尤其是涉及一种车载高速动态轨道表面缺陷视频检测方法及装置。

背景技术

在轨道交通中轨道表面缺陷，如扣件断裂缺损、轨道表面擦伤、掉块、裂纹等会对轮对、轴承等造成很大损害，车轮在表面有缺陷的轨道上运动，不仅会缩短列车各部件的使用寿命，而且是造成车辆颠覆、燃轴、切轴的重要原因，因此定期对轨道状态进行检测显得尤为重要。在我国，目前普通铁路检测还是以人工巡查为主，但是随着电气化铁路的快速发展，列车提速和重载，很多地方铁路周边环境恶劣、仍旧采用人工方式就显得力不从心，迫切需要开发高效、可靠的自动检测系统来满足铁路运行安全检测的需求。铁路技术先进的国家(日、美、德、法、奥等)都开发有自己的综合轨道检测车，这些检测车上安装有各种检测传感器，以计算机为数据处理主体，采用各种模拟、数字处理技术，实现对轨道几何参数、表面缺陷的检测；而我国目前还没有自己的轨检车，现有的准高速轨检车也主要靠引进国外技术，进行集成制造，因此开展对轨检技术基础理论的深入研究，提升我国自主研发能力具有重要的现实意义。

在轨检技术方面，现有的轨检车集成有各种高精度检测传感器，如：各种惯性传感器(陀螺仪，加速度计、倾角计等)、激光图像传感器、超声波探伤设备等。其中，实现各种检测任务的还是以各种机械传感器为主，探伤主要为超声波检测技术，而基于图像传感器的检测仅起到一个辅助作用。随着计算机技术，计算机图形、图像处理技术、模式识别技术的不断发展，以视频检测为主进行轨道检测成为可能，国内外很多研究机构在进行相关方面的研究。

基于视频的轨道检测面临的主要问题是：如何在高速运动的同时对轨道进行高分辨率的图像获取，只有高分辨率的图像采集才能保证检测精度。例如，如果进行轨道裂纹检测，其检测精度至少要保证小于0.1mm，而目前最快的线扫描相机(行扫描频率110KHZ)在80千米/小时的速度下，其空间分辨率为0.2mm，根据采样定理，能够分辨的景物为0.4mm，而这还是在保证其他成像因素完全理想的情况下的成像。因此如何在现有图像传感器技术限制的条件下进一步通过图像处理技术提高分辨率是需要解决的关键所在。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种检测速度快、检测精度高、易于实现实时检测的车载高速动态轨道表面缺陷视频检测方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种车载高速动态轨道表面缺陷视频检测方法，包括如下步骤：

1)根据检测要求确定TDI线扫描相机运行参数；

2)列车速度检测设备实时检测列车运行的速度和加速度并传输给TDI线扫描相机，保证TDI线扫描相机成像的同步；

3)TDI线扫描相机进行图像标定，根据投影理论确定世界坐标系中像点与物点之间的对应关系；

4)TDI线扫描相机实时采集图像并传输给工控机，工控机对两个TDI线扫描相机所获得的图像进行图像配准，获得图像配准后的图像，并确定图像间的亚像元位移；

5)对配准后的、空间错开一定亚像元位移的图像进行图像插值计算，从而获得插值点的像素值，并最终获得空间分辨率得到提高的轨道表面图像；

6)对图像进行分割裁减，并对图像进行图像增强、边缘提取，获得轨道表面缺陷的图像信息；

7)对轨道表面缺陷进行分类识别；

8)工控机给出轨道表面缺陷的警示，并结合列车行驶里程和GPS定位信息给出故障点的位置信息；

9)记录检测结果数据，形成统计分析报表并输出给显示器。

所述的TDI线扫描相机运行参数包括相机扫描行频、相机的安装固定方法及相机间空间参数关系。

图像标定后像点与物点之间的对应关系为：

U_ph＝TU

式中，U_ph＝(kx_p,ky_p,kz_p,k)^T为像面坐标系0-x_py_pz_p中像点的齐次坐标向量，T为变换阵：

T＝P×R×T₁

式中：T₁为将相机的万向节点G移到世界参考坐标系0-xyz中的线性变换阵，P为像点到物点的投影变换矩阵，R使相面对准世界参考帧的线性变换阵：

R＝R_PR_TR_S

式中，R_P将像面沿水平方向转动一个角度θ，R_T将像面沿上下方向转动一个角度φ，R_S将像面沿轴转动一个角度ψ。

所述的图像配准具体为：

假设两台TDI线扫描相机的传感器分别为TDI CCD1与TDI CCD2，TDI CCD1有效行像素的中间像素位于坐标原点，TDI CCD2有效行像素的中间像素相对于TDI CCD1有效行像素的中间像素的坐标为(x₁，y₁)，则TDI CCD2相对于TDI CCD1对相同景物的成像滞后像素列数N_x计算法则为：

n_x＝INT(x₁/Rs)，INT表示取整计算，若x₁/Rs＞n_x+0.5，则TDI CCD2相对于TDI CCD1对相同景物的成像滞后像素列数为N_x＝n_x+1，否则，N_x＝n_x，其中，Rs为TDI线扫描相机的分辨率；

对于行方向上，n_y＝INT(y₁/Rs)，若y₁/Rs＞n_y+0.5，则TDI CCD2相对于TDICCD1对相同景物的成像滞后像素行数为N_y＝n_y+1，否则，N_y＝n_y；

采用计算得到的N_x、N_y对图像进行配准。

所述的图像插值计算采用的方法包括三点均值插值、四点均值插值、中点插值方法或双线性插值方法。

一种车载高速动态轨道表面缺陷视频检测装置，固定安装在列车底部，该检测装置包括TDI线扫描相机、工控机、显示器、列车运行状态记录设备组和光源组件，所述的TDI线扫描相机、工控机、显示器依次连接，所述的列车运行状态记录设备组分别连接TDI线扫描相机和工控机，所述的TDI线扫描相机和光源组件设置在列车底部。

所述的工控机为带有高速图像采集卡的大存储容量工控机。

所述的TDI线扫描相机设有至少两套，相邻TDI线扫描相机在空间上错开固定位移。

所述的列车运行状态记录设备组包括列车速度检测设备、列车行驶里程计算器和GPS定位仪，所述的列车速度检测设备分别连接TDI线扫描相机和工控机，所述的列车行驶里程计算器和GPS定位仪均与工控机连接。

所述的光源组件包括成像专用光源和光线检测设备。

与现有技术相比，本发明提出利用TDI CCD亚像元动态成像及超分辨率图像处理技术的解决方法，保证即使在较高运动速度下，仍能够高分辨率成像，本发明主要对超分辨亚像元高速动态视频检测机理进行研究，重点解决高速运动物体的高分辨率成像问题，具有以下优点：

1、将超分辨亚像元成像技术应用于轨道检测中，保证在不牺牲检测速度的前提下，突破现有图像传感器技术的限制，提高图像空间分辨率，进而提高检测的速度和精度；

2、成像设备采用高速TDI线扫描相机，可在低照度的条件下获得高灵敏度、高空间分辨率的图像，由于TDI线扫描相机本质上属于线扫描相机，其工作原理如图3所示，与面阵相机相比，它的传感器只有一行有效像素，可以实现高速、高分辨率扫描成像，检测速度快、检测精度高；

3、将超分辨亚像元成像技术应用于TDI线扫描相机中，并设计实现方案，由于每扫描一行就输出一行图像信息，因此易于实现像素级的实时图像处理，图像处理可以采用硬件实现，也可以采用软件实现，计算量小，易于实现实时检测要求；

4、亚像元成像通常需要特殊设计的光学拼接，使同一景物分别成像于在x轴和y轴方向均相差半个像元的两片TDI CCD上，之后通过图像处理方法提高分辨率；本发明中没有设计特殊的光学拼接，而是通过对两台TDI线扫描相机所成图像进行标定和配准，确定两行图像的亚像元位移，从而实现亚像元成像和超分辨率图像处理，极大的简化对硬件设计的依赖。

附图说明

图1为本发明方法的流程示意图；

图2为本发明装置的结构示意图；

图3为TDI线扫描相机的工作原理图；

图4为TDI线扫描相机像点与物点投影关系示意图；

图5为本发明图像配准示意图；

图6为图像插值计算示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种车载高速动态轨道表面缺陷视频检测方法，包括如下步骤：

1)根据检测要求确定TDI线扫描相机运行参数，包括相机扫描行频、相机的安装固定方法及相机间空间参数关系。

2)列车速度检测设备实时检测列车运行的速度和加速度并传输给TDI线扫描相机，保证TDI线扫描相机成像的同步。

3)TDI线扫描相机进行图像标定，根据投影理论确定世界坐标系中像点与物点之间的对应关系。

由于采用两台完全一致的TDI线扫相机对同一景物成像，因此需要对两台相机所成图像进行图像配准，这就需要对相机进行使用前的标定。建立TDI CCD相机投影关系如图4所示。图中各部分的关系为：1.世界参考坐标系0-xyz相对于物面不变，像面坐标0-x_py_pz_p相对于相机不变；2.相机的万向节点假设位于相机传感器的最后一行的中点上，并且在镜头的光学轴上，相机万向节点在x-z平面上的投影总是位于z轴上，并且在t＝0时恰好位于世界参考坐标系0-xyz的原点上；3.相机以匀速v(单位为lines/s)沿z轴扫描物面；4.相机万向节点G到x-z平面的距离不变恒为H。

为了方便进行齐次线性变换，将像点和物点的坐标写成齐次坐标向量的形式，则物点U坐标可以写成(x,0,z,1)，图像标定后像点与物点之间的对应关系为：

U_ph＝TU (1)

式中，U_ph＝(kx_p,ky_p,kz_p,k)^T为像面坐标系0-x_py_pz_p中像点的齐次坐标向量，T为变换阵：

T＝P×R×T₁ (2)

式中：T₁为将相机的万向节点G移到世界参考坐标系0-xyz中的线性变换阵，P为像点到物点的投影变换矩阵，R使相面对准世界参考帧的线性变换阵：

R＝R_PR_TR_S (3)

式中，R_P将像面沿水平方向转动一个角度θ，R_T将像面沿上下方向转动一个角度φ，R_S将像面沿轴转动一个角度ψ。

对于具体情况，TDI线扫描相机从物点到像点的对应投影关系可以用式子(1)～(3)描述，如果给定TDI行扫描速率v，给定相机的姿态和位置θ，φ，ψ和H，则从景物到TDI CCD传感器的点对点的对应投影关系就可以确定了。

4)TDI线扫描相机实时采集图像并传输给工控机，工控机对两个TDI线扫描相机所获得的图像进行图像配准，获得图像配准后的图像，并确定图像间的亚像元位移。所述的图像配准具体为：

假设两台TDI线扫描相机的传感器分别为TDI CCD1与TDI CCD2，TDI CCD1有效行像素的中间像素位于坐标原点，TDI CCD2有效行像素的中间像素相对于TDI CCD1有效行像素的中间像素的坐标为(x₁，y₁)，如图5所示，则TDI CCD2相对于TDI CCD1对相同景物的成像滞后像素列数N_x计算法则为：

n_x＝INT(x₁/Rs)，INT表示取整计算，若x₁/Rs＞n_x+0.5，则TDI CCD2相对于TDI CCD1对相同景物的成像滞后像素列数为N_x＝n_x+1，否则，N_x＝n_x，其中，Rs为TDI线扫描相机的分辨率；

对于行方向上，n_y＝INT(y₁/Rs)，若y₁/Rs＞n_y+0.5，则TDI CCD2相对于TDICCD1对相同景物的成像滞后像素行数为N_y＝n_y+1，否则，N_y＝n_y；

采用计算得到的N_x、N_y对图像进行配准。

5)对配准后的、空间错开一定亚像元位移的图像进行图像插值计算，从而获得插值点的像素值，并最终获得空间分辨率得到提高的轨道表面图像。所述的图像插值计算可以采用简单易于硬件实时实现的三点均值插值、四点均值插值、中点插值方法，也可以采用插值效果较好的计算速度也较快的双线性插值方法。插值计算后的像素点数据分布如图6所示。

6)对图像进行分割裁减，并对图像进行图像增强、边缘提取，获得轨道表面缺陷的图像信息。

7)对轨道表面缺陷进行分类识别。

8)工控机给出轨道表面缺陷的警示，并结合列车行驶里程和GPS定位信息给出故障点的位置信息。

9)记录检测结果数据，形成统计分析报表并输出给显示器，对于不确定的难以判断的表面缺陷可以对相应图像进行回放作为人工参与判断的参考。

实施上述车载高速动态轨道表面缺陷视频检测方法的装置如图2所示，该装置固定安装在列车底部，包括TDI线扫描相机1、工控机2、显示器3、列车运行状态记录设备组和光源组件，所述的TDI线扫描相机1、工控机2、显示器3依次连接，所述的列车运行状态记录设备组分别连接TDI线扫描相机1和工控机2，所述的TDI线扫描相机和光源组件设置在列车底部。

所述的工控机2为带有高速图像采集卡的大存储容量工控机，图像的预处理、配准、插值、缺陷识别、记录等过程全部由高速、大容量的工控机进行。

所述的TDI线扫描相机1设有两套，相邻TDI线扫描相机在空间上错开固定位移，且参数设置完全一致。检测过程中列车高速行驶，两个相机对轨道表面进行高速扫描成像。相机为线扫描相机，有效像素只有一行，对应同一行景物，两个相机所成图像在时间上一前一后，空间上错开有亚像元的位移。恰是利用这个位移可以对两行像素进行图像融合处理，从而提高图像空间分辨率。

相机参数根据列车运行速度，图像空间分辨率的要求进行选择。假设列车的运行速度为v，TDI线扫描相机的行扫描频率为f，TDI级数为N，对应空间分辨率为Rs，则根据TDI线扫描相机的成像原理(如图3所示)，计算参数为：

T_行＝1/f

Rs＝v×(1/f)

系统中的列车运行速度和加速度要进行实时检测，从而根据检测结果确定TDI线扫描相机的行扫描频率为f，保证列车运行速度与行扫描速度同步，同时列车运行速度和加速度的实时检测结果还会被送到工控机中，如果存在不同步，可通过图像处理方法进行图像复原处理，尽量减少由于不匹配导致的图像降质问题。

所述的列车运行状态记录设备组包括列车速度检测设备4、列车行驶里程计算器5和GPS定位仪6，所述的列车速度检测设备4分别连接TDI线扫描相机1和工控机2，所述的列车行驶里程计算器5和GPS定位仪6均与工控机2连接，列车速度检测设备4用于实时检测列车的速度和加速度。

所述的光源组件包括成像专用光源7和光线检测设备8，光线检测设备实时检测自然光源是否充足，如果自然光充足，则可取消成像专用光源，如果夜间或阴雨天进行检测，则需要启动专用光源，同时根据成像时的光线情况，调整相机的TDI级数N，保证合理的曝光。

为了覆盖全部钢轨，TDI线扫描相机可以设置两套或四套，这取决于所采用的相机传感器的参数，例如，如果要求相机的空间分辨率为0.2mm左右，而相机一行的像素为2048个，则一行像素对应的空间长度L＝2048*0.2mm＝40.96cm，勉强可以覆盖一条轨道；如果相机一行的像素为1024个，则一行像素对应的空间长度L＝1024*0.2mm＝20.48cm，则不能覆盖一条轨道，同时完成全部的检测任务需要四套相同的成像设备组成。

如果为两套，则每一套对应一根钢轨；如果为四套则分别为左轨左成像设备、左轨右成像设备、右轨左成像设备、右轨右成像设备，成像设备镜头朝下，垂直于地面安装，四套成像设备需要各配置一套光源设备。

Claims (10)

1.一种车载高速动态轨道表面缺陷视频检测方法，其特征在于，包括如下步骤：

1)根据检测要求确定TDI线扫描相机运行参数；

2)列车速度检测设备实时检测列车运行的速度和加速度并传输给TDI线扫描相机，保证TDI线扫描相机成像的同步；

3)TDI线扫描相机进行图像标定，根据投影理论确定世界坐标系中像点与物点之间的对应关系；

4)TDI线扫描相机实时采集图像并传输给工控机，工控机对两个TDI线扫描相机所获得的图像进行图像配准，获得图像配准后的图像，并确定图像间的亚像元位移；

5)对配准后的、空间错开一定亚像元位移的图像进行图像插值计算，从而获得插值点的像素值，并最终获得空间分辨率得到提高的轨道表面图像；

6)对图像进行分割裁减，并对图像进行图像增强、边缘提取，获得轨道表面缺陷的图像信息；

7)对轨道表面缺陷进行分类识别；

8)工控机给出轨道表面缺陷的警示，并结合列车行驶里程和GPS定位信息给出故障点的位置信息；

9)记录检测结果数据，形成统计分析报表并输出给显示器。

2.根据权利要求1所述的一种车载高速动态轨道表面缺陷视频检测方法，其特征在于，所述的TDI线扫描相机运行参数包括相机扫描行频、TDI积分级数、相机的安装固定方法及相机间空间参数关系。

3.根据权利要求1所述的一种车载高速动态轨道表面缺陷视频检测方法，其特征在于，图像标定后像点与物点之间的对应关系为：

U_ph＝TU

式中，U_ph＝(kx_p,ky_p,kz_p,k)^T为像面坐标系0-x_py_pz_p中像点的齐次坐标向量，T为变换阵：

T＝P×R×T₁

式中：T₁为将相机的万向节点G移到世界参考坐标系0-xyz中的线性变换阵，P为像点到物点的投影变换矩阵，R使相面对准世界参考帧的线性变换阵：

R＝R_PR_TR_S

式中，R_P将像面沿水平方向转动一个角度θ，R_T将像面沿上下方向转动一个角度φ，R_S将像面沿轴转动一个角度ψ。

4.根据权利要求1所述的一种车载高速动态轨道表面缺陷视频检测方法，其特征在于，所述的图像配准具体为：

假设两台TDI线扫描相机的传感器分别为TDI CCD1与TDI CCD2，TDI CCD1有效行像素的中间像素位于坐标原点，TDI CCD2有效行像素的中间像素相对于TDI CCD1有效行像素的中间像素的坐标为(x₁，y₁)，则TDI CCD2相对于TDI CCD1对相同景物的成像滞后像素列数N_x计算法则为：

n_x＝INT(x₁/Rs)，INT表示取整计算，若x₁/Rs＞n_x+0.5，则TDI CCD2相对于TDI CCD1对相同景物的成像滞后像素列数为N_x＝n_x+1，否则，N_x＝n_x，其中，Rs为TDI线扫描相机的分辨率；

对于行方向上，n_y＝INT(y₁/Rs)，若y₁/Rs＞n_y+0.5，则TDI CCD2相对于TDICCD1对相同景物的成像滞后像素行数为N_y＝n_y+1，否则，N_y＝n_y；

采用计算得到的N_x、N_y对图像进行配准。

5.根据权利要求1所述的一种车载高速动态轨道表面缺陷视频检测方法，其特征在于，所述的图像插值计算采用的方法包括三点均值插值、四点均值插值、中点插值方法或双线性插值方法。

6.一种用于执行如权利要求1所述的车载高速动态轨道表面缺陷视频检测方法的检测装置，固定安装在列车底部，其特征在于，该检测装置包括TDI线扫描相机、工控机、显示器、列车运行状态记录设备组和光源组件，所述的TDI线扫描相机、工控机、显示器依次连接，所述的列车运行状态记录设备组分别连接TDI线扫描相机和工控机，所述的TDI线扫描相机和光源组件设置在列车底部。

7.根据权利要求6所述的检测装置，其特征在于，所述的工控机为带有高速图像采集卡的大存储容量工控机。

8.根据权利要求6所述的检测装置，其特征在于，所述的TDI线扫描相机设有至少两套，相邻TDI线扫描相机在空间上错开固定位移。

9.根据权利要求6所述的检测装置，其特征在于，所述的列车运行状态记录设备组包括列车速度检测设备、列车行驶里程计算器和GPS定位仪，所述的列车速度检测设备分别连接TDI线扫描相机和工控机，所述的列车行驶里程计算器和GPS定位仪均与工控机连接。

10.根据权利要求6所述的检测装置，其特征在于，所述的光源组件包括成像专用光源和光线检测设备。