CN110956151A - 基于结构光的轨道交通异物侵入检测方法及其系统 - Google Patents

Abstract

本发明公开了一种基于结构光的轨道交通异物侵入检测方法及其系统，包括：以钢轨轨顶平面为Z＝0建立世界坐标系XYZ；使用激光开关状态下的图像差分获取图像中结构光投影，使用直线检测获取图像中钢轨直线；将结构光投影与钢轨直线交点的像素坐标代入相机标定方程，联立Z＝0解出2交点世界坐标；由2交点与预先测量的激光光源位置3点标定光平面(激光飞行所经过的平面)；检测系统定时对比无异物的先验图像，检测出异物后，异物与结构光投影重合部分为检测对象，该重合部分处于光平面中。联立相机标定方程与光平面方程计算重合部分端点的世界坐标，得到异物的尺寸信息。本发明能够获得激光投影上任意点的世界坐标，从而检测异物三维信息。

Description

基于结构光的轨道交通异物侵入检测方法及其系统

技术领域

本发明涉及检测检验领域，具体公开了一种基于结构光的轨道交通异物侵入检测方法及其系统。

背景技术

铁路上时常发生货物、落石等异物入侵铁路线路的事件，甚至有人为在轨道上放置异物，严重威胁行车安全。由于异物入侵铁路线路引起的列车晚点、滞留甚至脱轨倾覆事故多次发生，极大的影响了铁路的正常运营秩序，造成旅客生命财产的巨大损失。及时准确地发现入侵铁路线路的异物能够在很大程度上减少此类事故的发生。目前在已开通的线路上普遍采用单电网检测、光纤光栅检测等技术进行物入侵检测。此类技术由于检测目的不同，无法检测飞溅落入、车上掉落或人为放置的异物，也无法对入侵异物的三维尺寸进行测量。

随着机器视觉技术的发展，该技术越来越广泛的应用于铁路安全检测。基于机器视觉的检测技术可以更加准确的检测异物有无并对异物尺寸进行测量，与其他检测技术功能互补，形成更加全面可靠的铁路安全防护系统。目前，多个铁路行业研究所和高校都在进行大量基于机器视觉检测异物入侵铁路线路技术的研究，这些技术大体可以分为车载型和沿线路安装型两种。在车载型方面，Khien Meow David Chew研究了轨道扫描异物识别系统，安装在列车上的检测相机能够根据前方轨道的走向调整自身扫描方式，根据扫描方式和轨道信息判断异物有无及其位置。同磊提出了一种基于移动车载摄像机检测轨间异物的方法：首先，通过钢轨识别算法自动定位钢轨位置，然后使用基于边缘检测的异物检测算法自动检测轨间可疑异物，提取可疑异物的尺度信息和颜色索引参数等相关特征，最后，用支持向量机(SVM)对可疑异物区域进行分类和辨识。在沿线路安装型方面，何茜研究了基于双目立体视觉的异物侵限检测系统，对于异物的侵限识别采用了二维图像识别和三维立体视觉识别相结合的方法。习可研究了针对累积性物体和运动目标的铁路入侵检测算法，使用单相机拍摄图像，采用基于方向场特征模板匹配的方法对线路进行有效监测。王前选提出并实现了一种基于机器视觉理论和仿射几何原理的异物入侵轨道交通线路检测技术，利用图像中线激光投影在异物和钢轨上的畸变量比例得到异物高度与钢轨高度的比例来计算异物尺寸。基于机器视觉的铁路异物入侵检测技术仍处于发展阶段，现有的各种检测技术拥有各自的优势和不足。使用车载型技术进行全线路检测，所需设备数量少，成本低，设备可随车维护，但是目前的相机、摄像机等设备能够有效检测的距离有限，当列车高速运行时，即使设备检测出威胁列车运行安全的异物，驾驶员也没有足够的时间采取紧急措施回避危险，在目前的技术条件下，车载型异物检测技术实用意义有限，只能适用于速度较低的工程车或者观光列车。

发明内容

本发明目的在提供一种基于结构光的轨道交通异物侵入检测方法及其系统，以解决现有技术中存在的铁路异物侵入检测效率低的技术缺陷。

本方法是基于结构光实现的。结构光系统具有结构简单、易于建模、精度高等优点，应用在铁路异物检测中不但能够立刻判断异物有无，更能够进一步获取异物三维信息，使得检测结果更加全面，具有广阔的应用前景。结构光系统基于激光三角测量原理。系统由线激光器和相机构成，线激光器主动投射结构光，由物体表面调制形成变形条纹，通过相机记录变形的激光条纹图像，提取图像特征，通过传感器的测量模型获取物体表面的三维信息。线结构光系统的检测精度直接受系统标定精度的影响，系统标定包括相机标定和光平面标定。相机标定是求解相机透视投影成像模型参数的过程，目前已有多种成熟方法。铁路异物检测场景中存在平行的两条钢轨，具有明显的特征，体现为长、直、连续的直线，易于从图像中提取^[11-15]。钢轨在现实中具有固定的特殊形状，利用钢轨外形的几何约束补充单目视觉系统三维维度的缺失，获得若干特殊点的世界坐标，构成满足光平面间接标定的条件，实现光平面实时标定。光平面实时标定能够及时更新光平面方程，减少累积误差，检测过程中光平面能够在相机拍摄的大部分范围内扫描，扩大检测区域，具有重要的应用价值。

基于上述理论，为实现提高铁路异物检测效率、可靠性并分析异物尺寸的目的，本发明提供了一种基于结构光的轨道交通异物侵入检测方法，包括以下步骤：

以钢轨轨顶平面为Z＝0建立世界坐标系XYZ；

使用激光光源N在开关两种状态下的图像差分获取图像中结构光投影，使用直线检测获取图像中两钢轨直线；将结构光投影与两钢轨直线交点P和Q的像素坐标代入相机标定方程得到两个交点P和Q的世界坐标；

联合两个交点P和Q的世界坐标与预先测量的激光光源N的世界坐标标定光平面NPQ并确定光平面方程；

对比无异物的先验图像，若检测出异物，异物与结构光投影重合部分为检测对象，重合部分处于光平面中，联立相机标定方程与光平面方程计算重合部分端点的世界坐标，得到异物的尺寸信息。

优选地，结构光投影是采用相机和线激光投影仪实现的。

优选地，世界坐标x(x_w，y_w，z_w)与其在图像平面投影的像素坐标(μ，v)的变换关系，即相机标定方程为：

M由相机内外参数决定。

优选地，光平面方程为：

Ax+By+Cz-AX_n-BY_n-CZ_n＝0

其中：

A＝(Y_p-Y_n)(Z_q-Z_n)-(Y_q-Y_n)(Z_p-Z_n)

B＝(X_p-X_n)(Z_q-Z_n)-(X_q-X_n)(Z_p-Z_n)

C＝(X_q-X_n)(Y_p-Y_n)-(X_p-X_n)(Y_q-Y_n)

N的世界坐标为(X_n，Y_n，Z_n)，P的世界坐标为(X_p，Y_p，Z_p)，Q的世界坐标为(X_q，Y_q，Z_q)。

优选地，获取异物上一点D_i，异物尺寸信息的计算方式为：

将D_i的像素坐标代入相机标定方程，得到直线OD_i的方程为：

现实世界中，D_i即在直线OD_i上，也在光平面NPQ上，D_i的世界坐标是直线OD_i方程与光平面方程的公共解，得到D_i点坐标值：

其中，D_i坐标为(x_i，y_i，z_i)，D′_i是直线OD_i与Z＝0平面的交点，坐标为(x′_i，y′_i，z′_i)，可由D_i的像素坐标与Z＝0代入相机标定方程求得，相机O坐标为(X_O，Y_O，Z_O)，可由相机标定获得。

依托于上述方法，本发明还提供了一种基于结构光的轨道交通异物侵入检测系统，包括存储器和处理器；存储器，用于存储计算机程序；处理器，用于当执行计算机程序时，实现如上述任一的基于结构光的轨道交通异物侵入检测方法。

本发明具有以下有益效果：

本发明利用钢轨上表面Z＝0的约束，通过图像获取结构光投影与钢轨交点的世界坐标，构成光平面标定条件，实现光平面实时标定。激光光源旋转，使激光投影在检测范围内扫描，光平面位置改变后，仍可使用此方法及时更新光平面方程，扩大了结构光系统的检测范围，并减少光源多次旋转的累积误差。经过标定的光平面与相机共同组成结构光系统，结构光系统通过光平面方程约束补充单目视觉系统三维维度的缺失，能够获得激光投影上任意点的世界坐标，从而检测异物三维信息。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种基于结构光的轨道交通异物侵入检测方法流程图；

图2为本发明优选实施例提供的光平面标定原理示意图；

图3为本发明优选实施例提供激光光线照射于异物时的示意图；

图4为本发明优选实施例提供的实验场地结构光布置示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

结构光系统可用于检测铁路异物表面轮廓信息及异物尺寸，检测精度受相机标定精度和光平面标定精度的影响。本发明提出一种以钢轨为约束，确定线激光投影平面中若干点的世界坐标从而实时标定光平面的方法。线激光投影在钢轨上，以钢轨上表面为Z＝0平面，通过图像处理提取线激光投影与钢轨交点。已知Z轴坐标的目标点在已标定的单目视觉系统中能够计算其世界坐标，根据若干目标点世界坐标计算光平面方程。单目相机与光平面共同组成结构光测量系统，可以检测铁路异物尺寸。建立该光平面标定方法模型，编写软件实现标定功能，通过现场试验分析该方法光平面标定结果精度。试验结果表明间接法能够准确的标定光平面。结构光系统能够准确测量铁路异物尺寸。

实施例1

本实施例提供了一种基于结构光的轨道交通异物侵入检测方法，参见图1，包括以下步骤：

S1：以钢轨轨顶平面为Z＝0建立世界坐标系XYZ。

S2：使用激光光源N开关状态下的图像差分获取图像中结构光投影，使用直线检测获取图像中两钢轨直线；将结构光投影与两钢轨直线交点P和Q的像素坐标代入相机标定方程得到两个交点P和Q的世界坐标。

参见图2，双目视觉需要准确的匹配特征点，匹配过程复杂，单目视觉还原的三维信息存在歧义，可以使用结构光测量的思想测量铁路异物尺寸。首先确定世界坐标系，由于钢轨的特征一致且为铁路限界的重要基准，选取轨顶所在平面为Z＝0平面(图中虚线方框)。点O为相机光心，点N为线激光光源(光源可绕发光点旋转)，点O在Z＝0平面上的投影为世界坐标系原点A，三轴方向如图中所示。线激光投影与钢轨的顶面中心线分别相交于点P、Q，线段D₁D₂为异物表面的线激光投影。

S3：联合两个交点P和Q的世界坐标与预先测量的激光光源N的世界坐标标定光平面NPQ并确定光平面方程。

相机的内外参数固定，直线OD_i(i＝1,2)的方程可以通过标定得到。线激光飞行路径形成光平面NPQ经过点D_i，若平面NPQ的方程已知，就可以根据点D_i为直线OD_i与平面NPQ的交点来计算点D的真实位置。传统的结构光测量系统需要事先标定光平面方程，标定后相机和线激光的位置不能改变，本申请中光平面可以围绕发光点转动，利用图像中的钢轨与线激光投影的交点实时标定光平面的方程，求解平面方程和直线方程的公共解得到目标点的坐标。

空间中某一点的世界坐标为x(x_w，y_w，z_w)，该点在图像中的像素坐标为(μ，v)，式(1)是世界坐标系与像素坐标系的转换关系，式中矩阵M由检测相机内外参数决定。根据相机标定得到M，令Z′_w＝0，将目标点的像素坐标(μ，v)代入式(1)得到相机至目标的直线与Z＝0平面交点的坐标(X′_w，Y′_w，0)，结合相机光心坐标可以得到相机至目标的直线方程。测试状态下进行标定后固定相机内外参数，利用文献中的铁轨识别技术和目标提取等方法获得P、Q、D₁、D₂的像素坐标，根据上述方法计算D₁、D₂对应的直线方程，P、Q由于已知Z坐标为0，可以由式(1)计算P、Q的世界坐标。线激光光源N的世界坐标通过现场测得，NPQ三点可以确定光平面方程。

目标点D₁(D₂)是直线OD₁(OD₂)与光平面NPQ的交点，因此联立直线方程和光平面方程即可求得目标点的坐标。以发光点N为基点，使光源绕y轴方向旋转，在旋转过程中拍摄多张线激光投影在异物不同位置的图片，按前述方法计算多个断面上异物关键点的坐标，即可进一步分析异物三维尺寸。

S4：对比无异物的先验图像，若检测出异物，异物与结构光投影重合部分为检测对象，重合部分处于光平面中，联立相机标定方程与光平面方程计算重合部分端点的世界坐标，得到异物的尺寸信息。

设N的世界坐标为(X_n，Y_n，Z_n)，P的世界坐标为(X_p，Y_p，Z_p)，Q的世界坐标为(X_q，Y_q，Z_q)，D_i坐标为(x，y，z)，D′_i是直线OD_i与Z＝0平面的交点，坐标为(x_i′，y_i′，z_i′)，相机O坐标为(X_O，Y_O，Z_O)。

由N、P、Q三点坐标可得平面NPQ的方程：

光平面方程为：

Ax+By+Cz-AX_n-BY_n-CZ_n＝0 (3)

其中：

A＝(Y_p-Y_n)(Z_q-Z_n)-(Y_q-Y_n)(Z_p-Z_n)

B＝(X_p-X_n)(Z_q-Z_n)-(X_q-X_n)(Z_p-Z_n)

C＝(X_q-X_n)(Y_p-Y_n)-(X_p-X_n)(Y_q-Y_n)

将Di的像素坐标代入相机标定方程，得到直线OD_i的方程为：

现实世界中，D_i即在直线OD_i上，也在光平面NPQ上，D_i的世界坐标是直线OD_i方程与光平面方程的公共解，得到D_i点坐标值：

其中，D_i坐标为(x_i，y_i，z_i)，D′_i是直线OD_i与Z＝0平面的交点，坐标为(x′_i，y′_i，z′_i)，可由D_i的像素坐标与Z＝0代入相机标定方程求得，相机O坐标为(X_O，Y_O，Z_O)，可由相机标定获得。

依托于上述方法，本发明还提供了一种基于结构光的轨道交通异物侵入检测系统，包括存储器和处理器；存储器，用于存储计算机程序；处理器，用于当执行计算机程序时，实现如上述任一的基于结构光的轨道交通异物侵入检测方法。

实施例2

将测量系统安装在某试验线路上，利用该方法测量放置在铁路线路上的异物尺寸，分析测量结果，验证该方法的可行性和准确度。测试系统的硬件组成参考王前选的异物检测系统^[7]。测试相机型号为AK-W3482，像素分辨率768×576，镜头尺寸为1/4inch，线激光波长约为808nm。相机和线激光光源分别安装在两个可控云台中。测试系统通过计算机中的图像采集卡获取图像。测试设备及场地如图4所示。

相机标定得到点O的坐标为(0，0，2506)，现场测得点N坐标为(4232，-609，2787)。图3(a)为相机拍摄的线激光照射到入侵铁路线路异物的图片，利用式(1)，根据图像中目标点的像素坐标可以得到点P、Q、D′₁、D′₂的世界坐标，如表1所示：

表1各点的像素坐标与世界坐标

将点O、N、P、Q和D′₁、D′₂的世界坐标代入式(5)、式(6)、式(7)，可求得点D₁、D₂的世界坐标分别为(4556，2658，-49)、(4555，2783，-45)。

异物的宽度为

目标点z坐标的最大值为-45。轨顶所在平面(Z＝0平面)距道床上表面的距离为269mm，所以异物实际高度为224mm。异物在X方向上的长度通过光源旋转扫描得到，测试精度很大程度上取决于光源旋转速度与相机照相速度。

参见图3(b)，改变异物的放置姿态，重复试验，测量结果见表2。

表2异物尺寸测量结果

测量结果表明，该方法能够较为准确的测量铁路中异物的尺寸。该方法的使用前提是相机内外参数固定，如果参数改变，世界坐标系与像素坐标系的对应关系需要重新标定。在实际应用时，可以使用图像中位置固定且特征明显的物体作为标定目标，在相机参数变化后重新标定。

产生误差的原因：

1)试验中的部分初始参数(如线激光光源N的世界坐标)由人工测量，不可避免的产生误差，该误差使标定的光平面轻微偏离真实光平面。

2)由于相机分辨率的制约，像素坐标代表的位置与目标点的实际位置存在偏差，测量精度受低于系统最大测量精度。

3)相机标定中在校正了径像畸变后，使用线性模型计算相机参数，相机矩阵中的参数标定值偏离真实值，最终的标定结果与真实的相机成像模型有所偏差，造成由目标点的像素坐标计算得到的世界坐标偏离真实值。

4)钢轨顶面实际是一个弧面，在图像中的边缘不明显，钢轨直线识别实际是将轨顶弧面的一条切边作为钢轨直线，并非轨顶中心线，该切边直线的实际位置与相机的拍摄角度有关，与现场测量的钢轨高度存在误差。

综上所述，本申请利用线激光光平面辅助单相机方法能够较为准确的测量异物的尺寸。实现了光平面的实时标定。检测过程中无需传统立体视觉的图像匹配问题。检测系统距离工程实际应用还有差距，需根据检测场景和实际情况完善检测系统。可从理论上研究测量精度随相机拍摄角度、光平面扫描角度、异物尺寸等因素改变的变化规律，通过试验加以验证。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于结构光的轨道交通异物侵入检测方法，其特征在于，包括以下步骤：

以钢轨轨顶平面为Z＝0建立世界坐标系XYZ；

使用激光光源N开关两种状态下的图像差分获取图像中结构光投影，使用直线检测获取图像中两钢轨直线；在Z＝0时将结构光投影与两钢轨直线交点P和Q的像素坐标代入相机标定方程得到两个交点P和Q的世界坐标；

联合两个交点P和Q的世界坐标与预先测量的激光光源N的世界坐标标定光平面NPQ并确定光平面方程；

对比无异物的先验图像，若检测出异物，将激光投射在异物上，异物与结构光投影重合部分为检测对象，重合部分处于光平面中，联立相机标定方程与光平面方程计算重合部分端点的世界坐标，得到异物的尺寸信息。

2.根据权利要求1所述的基于结构光的轨道交通异物侵入检测方法，其特征在于，结构光投影是采用相机和线激光投影仪实现的。

3.根据权利要求1所述的基于结构光的轨道交通异物侵入检测方法，其特征在于，世界坐标x(x_w，y_w，z_w)与其在图像平面投影的像素坐标(μ，v)的变换关系，即相机标定方程为：

M由相机内外参数决定。

4.根据权利要求3所述的基于结构光的轨道交通异物侵入检测方法，其特征在于，光平面方程为：

Ax+By+Cz-AX_n-BY_n-CZ_n＝0

其中：

A＝(Y_p-Y_n)(Z_q-Z_n)-(Y_q-Y_n)(Z_p-Z_n)

B＝(X_p-X_n)(Z_q-Z_n)-(X_q-X_n)(Z_p-Z_n)

C＝(X_q-X_n)(Y_p-Y_n)-(X_p-X_n)(Y_q-Y_n)

N的世界坐标为(X_n，Y_n，Z_n)，P的世界坐标为(X_p，Y_p，Z_p)，Q的世界坐标为(X_q，Y_q，Z_q)。

5.根据权利要求4所述的基于结构光的轨道交通异物侵入检测方法，其特征在于，获取异物上结构光光斑上的一点D_i，异物尺寸信息的计算方式为：

将D_i的像素坐标代入相机标定方程，得到直线OD_i的方程为：

现实世界中，D_i即在直线OD_i上，也在光平面NPQ上，D_i的世界坐标是直线OD_i力程与光平面方程的公共解，得到D_i点坐标值：

其中，D_i坐标为(x_i，y_i，z_i)，D′_i是直线OD_i与Z＝0平面的交点，坐标为(x′_i，y′_i，z′_i)，可由D_i的像素坐标与Z＝0代入相机标定方程求得，相机O坐标为(X_O，Y_O，Z_O)，可由相机标定获得。

6.一种基于结构光的轨道交通异物侵入检测系统，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，其特征在于，实现如权利要求1-5任一所述的基于结构光的轨道交通异物侵入检测方法。

Images