CN112733713B - 一种基于图像梯度角的图像中轨道线提取方法 - Google Patents

Abstract

本发明提供一种基于图像梯度角的图像中轨道线提取方法，其中，图像梯度角的定义为：Gx和Gy分别为图像在横纵方向上的图像梯度，可以通过一阶Sobel算子提取，所述轨道线提取方法包括步骤：A、将所述图像由所述图像底边至图像顶边分成n个不同的检测层，所述n个不同的检测层依次相连接；B、将所述n个不同的检测层进行轨道线的提取；C、将所述n个不同的检测层的提取效果进行拼接得到最终的轨道线检测结果。本发明的基于图像梯度角的图像中钢轨轨道线提取方法在弯道、直道、强光照和隧道暗环境等不同环境下都具有稳定和准确的轨道线检测效果；同时对于阴影和光照强度变换都有较好的鲁棒性。

Description

一种基于图像梯度角的图像中轨道线提取方法

技术领域

本发明属于列车控制技术领域，特别涉及一种基于图像梯度角的图像中轨道线提取方法。

背景技术

钢轨轨道线提取对于列车自动驾驶，监测沙、雪等异物入侵确保行车安全等均具有重要的意义。随着计算机视觉技术的发展，视频监测在铁路安全监测中的应用越来越广泛。利用钢轨轨道线确定行驶区域是监测异物入侵等安全监测的第一步。因此，是否能够准确识别图像中铁路钢轨将直接影响铁路安全监测的有效性。

目前，基于视觉的汽车车道线检测方法有许多的研究成果。相比起来，钢轨轨道线的检测相关研究还处于比较初步的阶段。汽车车道线的颜色为白色，与黑色的地面具有强烈的对比。但是，钢轨的色彩与背景的区分度较低。并且，汽车的车道线不会存在相交的情况。然而，铁路的不同轨道之间会存在相交的情况。上述这些因素导致视觉检测钢轨轨道线存在诸多阻碍。

现有的钢轨轨道线检测技术大多是针对直轨的检测。基于Hough变换、Radon变换的钢轨直线检测方法虽然具有比较好的效果，但是这些方法只适用于直轨检测，无法检测出弯道。也有一些采用Hu不变矩等特征的弯轨检测方法，但是这类方法在光照强烈变化或者隧道暗环境下的钢轨轨道线检测效果很差。

发明内容

针对上述问题，本发明提供了一种基于图像梯度角的图像中钢轨轨道线检测方法。将待检测的轨道线分割成若干段的小段钢轨直线，后再将这些小段钢轨直线进行拼接，既能实现直轨的轨道线检测也能实现弯轨的轨道线检测。

本发明的一种基于图像梯度角的图像中轨道线提取方法中，

图像梯度角的定义为：

tan^-1()为反正切三角函数，Gx和Gy分别为所述图像在横纵方向上的图像梯度，所述图像梯度通过一阶Sobel算子提取；

设所述图像的四条边缘线中轨道初始出现的边缘线为图像底边，与图像底边平行的方向为水平方向，并设所述图像中与所述图像底边相对的边缘线为图像顶边，所述轨道从所述图像底边在所述图像的第一角度范围内延展，所述第一角度范围中的角度是以所述图像中水平向右方向的直线为起始边逆时针形成的角度，所述第一角度范围为[20°,160°]，

所述轨道线提取方法包括步骤：

A、将所述图像由所述图像底边至图像顶边分成n个不同的检测层，所述n个不同的检测层依次相连接；

B、将所述n个不同的检测层进行轨道线的提取；

C、将所述n个不同的检测层的提取效果进行拼接得到最终的轨道线检测结果，

其中，n取10～100的整数。

进一步，

对于所述n个不同的检测层中的第m检测层，m为整数且1≤m≤n，所述步骤B中包括以下步骤：

B1、将所述第m检测层的图片切分成多个模块，每个所述模块的大小是mm1pixel×mm2pixel或取整张所述图像的高度的五十分之一至十分之一为每个所述模块的长或宽，其中，mm1和mm2取8～128的整数；

B2、在每个所述模块中统计所述图像梯度角属于所述第一角度范围内的像素个数，若所述像素个数超过一个阈值，则确定所述模块存在钢轨，所述阈值为所述模块的图像的高度的1/5-4/5；

B3、保留所述第m检测层中存在钢轨的模块，并进行像素灰度处理，将所述第m检测层中不存在钢轨的区域的像素灰度全部置为0；

B4、将进行所述进行像素灰度处理后的所述第m检测层的灰度图像进行Hough直线检测，得到一组直线，并保留所述灰度图像中与所述水平方向的夹角在所述第一角度范围内的那些直线作为备选直线；

B5、在所述灰度图像中做出一条水平直线，计算所述备选直线与水平直线之间的交点坐标，将所述备选直线依照所述交点坐标中在水平方向的坐标筛选出两类轨道直线，分别对应于两根轨道；

B6、对于所述两类轨道直线，定义轨道直线的直线得分对所述轨道直线所占据的所有像素点的所述图像梯度角与所述轨道直线的倾角接近程度进行度量，所述倾角为所述轨道直线与所述图像中水平向右方向间的夹角，所述度量包括：

对于第i条轨道直线，设置所述第i条轨道直线的直线得分的初值；

遍历所述第i条轨道直线的所有像素点D，如果所述所有像素点D之一的所述图像梯度角与所述第i条轨道直线的倾角A之差小于预设角度差，则所述第i条轨道直线的直线得分加1分，如果所述倾角A之差超过所述预设角度差，则所述第i条轨道直线的直线得分不加分，

对于所述两类轨道直线分别筛选出直线得分最高的轨道直线，作为所述第m检测层中检测到的轨道线，

所述预设角度差取为5～20度。

进一步，

在所述步骤A中，以从所述图像底边起始、高度为所述图像的高度的1/20～1/5的部分所述图像作为初始检测层即第1检测层，所述图像底边与所述轨道的交点为所述初始检测层中待检测的轨道直线的起点。

进一步，

当2≤m≤n时，所述第m检测层以第m-1检测层中检测到的轨道线的终点作为待检测的轨道直线的起点，检测出所述第m检测层存在的轨道线，最终得到所述图像中的整段轨道线。

进一步，

所述步骤B6中，令所述第i条轨道直线的直线得分的初值为s₀，所述直线得分的计算公式为：

式中，score_i为所述第i条轨道直线的得分，为所述第i条轨道直线上第j个像素点的得分，其中，上式的求和为对所述第i条轨道直线上所有像素点求和，且所述第i条轨道直线上第j个像素点的得分定义如下：

为所述第i条轨道直线上第j个像素点的图像梯度角/>与所述第i条轨道直线的倾角之差。

进一步，

在所述第m检测层中，依据所述待检测的轨道直线的起点确定一个感兴趣图像区域来提取轨道线。

进一步，

所述感兴趣图像区域的范围为以直线起点为中心分别向左、右扩展15-35pixel的图像范围。

进一步，

将所述感兴趣图像区域最顶部的一行像素作为预期的所述第m检测层中轨道线的终点集合，与所述第m检测层的轨道直线的起点相连得到预设组数的待选直线，对于每条所述待选直线均根据所述起点和终点坐标计算出在所述第m检测层中与水平方向之间的倾斜角，按照所述步骤B6进行所述度量，以得到所述第m检测层中的轨道线。

进一步，

对于所述第m检测层中的直线得分，还要满足所述第i条轨道直线的倾角A与第m-1检测层中已检测出的轨道线倾角之差在预期角度以内，才令所述直线得分加一分。

进一步，

当所述第m检测层中得分最高的轨道直线的得分小于预期分数时，检测结果不准确，则不记录检测结果，并且跳出检测流程，不再进行后续的检测。

本发明的基于图像梯度角的图像中钢轨轨道线提取方法在弯道、直道、强光照和隧道暗环境等不同环境下都具有稳定和准确的轨道线检测效果；同时对于阴影和光照强度变换都有较好的鲁棒性；本发明的方法是一种高动态、高精确的轨道线提取方法。本方法是一种基于图像梯度角特征的提取方法，对于列车的自动驾驶、异物侵限危害检测都有很重要的意义。本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的原始的图像中的底部轨道图像；

图2示出了根据本发明实施例的底部轨道图像中可能存在待检测轨道的灰度图像区域；

图3示出了根据本发明实施例的对灰度图像区域中提取的边缘结果；

图4示出了根据本发明实施例的从提取的边缘结果进行Hough直线检测并分类为左右轨道线；

图5示出了根据本发明实施例的基于图像梯度角在底部图像中获得的最佳的左右轨道线；

图6示出了根据本发明实施例的基于图像梯度角向图像上部搜索得到最终的检测结果；

图7示出了根据本发明实施例的采用本发明的隧道中的直轨的检测结果；

图8示出了根据本发明实施例的采用本发明的户外的直轨的检测结果；

图9示出了根据本发明实施例的采用本发明的户外的弯轨的检测结果；

图10示出了根据本发明实施例的采用本发明的户外存在相交的轨道时的检测结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1至图6，本发明的基于图像梯度角的图像中轨道线提取方法包括：

A、将所述图像由所述图像底边至图像顶边分成n个不同的检测层，所述n个不同的检测层依次相连接，其中，n取10～100的整数；检测层的高度通常选整张图像高度的三十分之一，在实际处理时优选为32pixel；

B、将所述不同的检测层进行轨道线的提取；

C、将所述不同的检测层的提取效果进行拼接得到最终的轨道线检测结果。

本发明中一个关键点在于将图像按照不同的高度分成不同的检测层，通过将不同检测层的轨道线提取结果进行拼接得到最终的轨道线检测结果。图像梯度角的定义为：

其中，tan^-1()为反正切三角函数，Gx和Gy分别为图像在横纵方向上的图像梯度，所述图像梯度可通过一阶Sobel算子提取。

如图1所示，本实施例中，首先以从图像底边起始、高度为图像高度的1/20～1/5的部分图像作为初始检测层，可优选图像底部100像素高度的图像作为初始检测层。由于在图像的底层，轨道都是笔直的，因此在该检测层轨道线的提取采用的直线检测方案。将初始检测层的图像图片切分成多个模块，每个模块的大小是mm1pixel×mm2pixel或取整张图像高度的五十分之一至十分之一为每个模块的长或宽，其中，mm1和mm2取8～128的整数，其中，每个模块的大小优选为32pixel×32pixel，也可优选整张图像高度的三十分之一为每个模块的长或宽。由于轨道在图1所示的图像中与水平方向的夹角在[20°,160°](优选为[60°,140°])的范围内，因此在每个模块中统计图像梯度角属于[20°,160°]范围内的像素个数，如果像素个数超过一个阈值，则认为这个模块的图像区域中有可能存在钢轨。其中，所述阈值取可为模块的图像的高度的1/5-4/5，优选为图像模块的高度的1/2，例如若图像模块的高度为32pixel，则所述阈值优选取为16。

保留存在钢轨的图像区域，并进行像素灰度处理，将不存在钢轨的区域的像素灰度全部置为0，得到图2所示结果，并如图3所示提取到相应的边缘结果。将经过像素灰度处理后的初始检测层的灰度图像进行Hough直线检测，可以得到一组直线，在这些直线中，只保留与水平方向的夹角在[20°,160°](优选为[60°,140°])的范围内的那些直线作为备选直线。

得到备选直线后，在初始检测层图像中做出一条水平直线，计算这些备选直线与水平直线之间的交点坐标。这些交点的Y轴(与所述水平直线垂直的坐标轴)坐标相同，但是X轴(与所述水平直线平行的坐标轴)坐标不同。在初始检测层图像中，与左侧轨道对应的各备选直线的X轴坐标接近，同理与右侧轨道对应的各备选直线的X轴坐标接近。因此，如图4所示，可将备选直线按照X轴坐标大小筛选出两类轨道直线A和B，分别对应于左、右两根轨道。

对于所述两类轨道直线，考虑到轨道直线在图像中占据的像素点的图像梯度角与轨道直线的倾角大小接近，因而定义直线得分为轨道直线所占据的所有像素点的图像梯度角与轨道直线的倾角接近的度量，如果轨道直线所占据的任一像素点的图像梯度角与轨道直线的倾角之差小于预设角度差，则该轨道直线的直线得分加1分；如果所述倾角之差超过预设角度差，则该轨道直线的直线得分不得分，预设角度差差取为5～20度，优选为10度。所以轨道直线的直线得分很高时，就能准确的检测出钢轨，直线得分的具体表示如下：

式中，score_i为初始检测层图像中第i条轨道直线的得分，为第i条轨道直线上第j个像素点的得分，其中，第j个像素点的得分定义如下：

为第i条轨道直线上第j个像素点的图像梯度角/>与所述第i条轨道直线的倾角之差。对于所述两类轨道直线分别筛选出直线得分最高的轨道直线，作为底层图像即初始检测层图像中检测到的轨道线。

当确定好初段的即初始检测层图像中轨道直线后，第一个图层中直线的起点和终点也确定了下来。如图5所示，图中的线段C和D即为初始检测层图像中的提取到的轨道线。

然后按照上述方法依次提取其它n-1层检测层图像中轨道线。其中，由于轨道是连续的，因此在后续的每次检测中，将前一次检测到的轨道线的终点作为待检测轨道直线的起点，检测出待检测层中存在的轨道线，如此反复，最终得到整段轨道线。

具体检测时，如图6所示，在待检测的图像区域内以图像高度为20pixel对所述图像分层后逐层进行钢轨检测，在每个检测层里检测该检测层中分得的小段直线轨道，图6中的轨道线E和F为图像分层检测结果综合后得到的图像的最终轨道线。由于采用上一检测层的轨道线的终点作为当前检测层中待检测轨道直线的起点，因此在每个检测层里，依据轨道直线的起点确定一个小的感兴趣图像区域(ROI)来检测钢轨。这种做法的好处是减少计算量，同时也能避免当前检测层中一些其余轨道区域对当前轨道所处检测区域的影响。由于钢轨的轨迹不会有剧烈的变化，取ROI的范围为轨道直线的起点位置向左、右分别扩展15-35pixel(优选为25pixel)的图像范围。因此，本实施例中，ROI的范围从轨道直线的起点位置向左、右分别扩展25pixel时，ROI的宽度为50pixel，高度为20pixel。

将ROI最顶部的一行像素作为可能的轨道直线的终点集合，与起点相连可以得到预设组数(20～80组，优选为50组)的待选直线。对于每条可能的轨道直线都根据起点和终点坐标计算出其在图像中与水平方向之间的倾斜角，按照前述的直线得分计算方法，通过逐像素的进行像素点的图像梯度角与轨道直线的倾角比对，以得到最佳得分的轨道直线作该检测层中存在的轨道线。其中，为了提高检测的准确性，在这里的轨道直线的直线得分计算更加严格，除了需要像素点的图像梯度角与轨道直线的倾斜角之差在预设角度差以内，还需要满足当前轨道直线倾斜角与上一个检测层中已检测出的轨道线的倾斜角之差在预期角度(5～20度，优选为10度)以内，才令直线得分加一分。由于本实施例中图像的高度为20，理论上轨道直线的直线得分的最大值为20。在这里，当检测层中最优的直线得分也小于预期分数(5～15分，优选为10分)时，认为检测结果已经不够准确，不记录检测结果，并且跳出检测流程，不再进行后续的检测。这样完成左侧轨道的检测后，按照同样的方法就可完成右侧轨道的检测。

本文提出的钢轨轨道在弯道、直道、强光照和隧道暗环境等不同环境下都具有稳定和准确的轨道线检测效果，如图7，图8，图9和图10所示，各图中央的两条铁轨上的白线E1和F1，E2和F2，E3和F3，E4和F4即为本发明方法的检查结果，与图中所测试的两条铁轨能够精确符合。同时本发明对于阴影和光照强度变换都有较好的鲁棒性；本发明的方法是一种高动态、高精确的轨道线提取方法，对于列车的自动驾驶、异物侵限危害检测都有很重要的意义。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于图像梯度角的图像中轨道线提取方法，其特征在于，

图像梯度角 的定义为：

其中，

tan -1 ()为反正切三角函数，Gx和Gy分别为所述图像在横纵方向上的图像梯度，所述图像梯度通过一阶Sobel算子提取；

设所述图像的四条边缘线中轨道初始出现的边缘线为图像底边，与图像底边平行的方向为水平方向，并设所述图像中与所述图像底边相对的边缘线为图像顶边，所述轨道从所述图像底边在所述图像的第一角度范围内延展，所述第一角度范围中的角度是以所述图像中水平向右方向的直线为起始边逆时针形成的角度，所述第一角度范围为[20°,160°]，

所述轨道线提取方法包括步骤：

A、将所述图像由所述图像底边至图像顶边分成n个不同的检测层，所述n个不同的检测层依次相连接；

B、将所述n个不同的检测层进行轨道线的提取；

C、将所述n个不同的检测层的提取效果进行拼接得到最终的轨道线检测结果，

其中，n取10～100的整数；

对于所述n个不同的检测层中的第m检测层，m为整数且1≤m≤n，所述步骤B中包括以下步骤：

B1、将所述第m检测层的图片切分成多个模块，每个所述模块的大小是mm1pixel×mm2pixel或取整张所述图像的高度的五十分之一至十分之一为每个所述模块的长或宽，其中，mm1和mm2取8～128的整数；

B2、在每个所述模块中统计所述图像梯度角 属于所述第一角度范围内的像素个数，若所述像素个数超过一个阈值，则确定所述模块存在钢轨，所述阈值为所述模块的图像的高度的1/5-4/5；

B3、保留所述第m检测层中存在钢轨的模块，并进行像素灰度处理，将所述第m检测层中不存在钢轨的区域的像素灰度全部置为0；

B4、将进行所述进行像素灰度处理后的所述第m检测层的灰度图像进行Hough直线检测，得到一组直线，并保留所述灰度图像中与所述水平方向的夹角在所述第一角度范围内的那些直线作为备选直线；

B5、在所述灰度图像中做出一条水平直线，计算所述备选直线与水平直线之间的交点坐标，将所述备选直线依照所述交点坐标中在水平方向的坐标筛选出两类轨道直线，分别对应于两根轨道；

B6、对于所述两类轨道直线，定义轨道直线的直线得分对所述轨道直线所占据的所有像素点的所述图像梯度角 与所述轨道直线的倾角接近程度进行度量，所述倾角为所述轨道直线与所述图像中水平向右方向间的夹角，所述度量包括：

对于第i条轨道直线，设置所述第i条轨道直线的直线得分的初值；

遍历所述第i条轨道直线的所有像素点D，如果所述所有像素点D之一的所述图像梯度角 与所述第i条轨道直线的倾角A之差小于预设角度差，则所述第i条轨道直线的直线得分加1分，如果所述倾角A之差超过所述预设角度差，则所述第i条轨道直线的直线得分不加分，

对于所述两类轨道直线分别筛选出直线得分最高的轨道直线，作为所述第m检测层中检测到的轨道线，

所述预设角度差取为5～20度。

2.根据权利要求1所述的基于图像梯度角的图像中轨道线提取方法，其特征在于，

在所述步骤A中，以从所述图像底边起始、高度为所述图像的高度的1/20～1/5的部分所述图像作为初始检测层即第1检测层，所述图像底边与所述轨道的交点为所述初始检测层中待检测的轨道直线的起点。

3.根据权利要求2所述的基于图像梯度角的图像中轨道线提取方法，其特征在于，

当2≤m≤n时，所述第m检测层以第m-1检测层中检测到的轨道线的终点作为待检测的轨道直线的起点，检测出所述第m检测层存在的轨道线，最终得到所述图像中的整段轨道线。

4.根据权利要求1所述的基于图像梯度角的图像中轨道线提取方法，其特征在于，

所述步骤B6中，令所述第i条轨道直线的直线得分的初值为s 0 ，所述直线得分的计算公式为：

式中，score i 为所述第i条轨道直线的得分， 为所述第i条轨道直线上第j个像素点的得分，其中，上式的求和为对所述第i条轨道直线上所有像素点求和，且所述第i条轨道直线上第j个像素点的得分定义如下：

为所述第i条轨道直线上第j个像素点的图像梯度角 与所述第i条轨道直线的倾角之差。

5.根据权利要求3所述的基于图像梯度角的图像中轨道线提取方法，其特征在于，

在所述第m检测层中，依据所述待检测的轨道直线的起点确定一个感兴趣图像区域来提取轨道线。

6.根据权利要求5所述的基于图像梯度角的图像中轨道线提取方法，其特征在于，

所述感兴趣图像区域的范围为以直线起点为中心分别向左、右扩展15-35pixel的图像范围。

7.根据权利要求6所述的基于图像梯度角的图像中轨道线提取方法，其特征在于，

将所述感兴趣图像区域最顶部的一行像素作为预期的所述第m检测层中轨道线的终点集合，与所述第m检测层的轨道直线的起点相连得到预设组数的待选直线，对于每条所述待选直线均根据所述起点和终点坐标计算出在所述第m检测层中与水平方向之间的倾斜角，按照所述步骤B6进行所述度量，以得到所述第m检测层中的轨道线。

8.根据权利要求7所述的基于图像梯度角的图像中轨道线提取方法，其特征在于，

对于所述第m检测层中的直线得分，还要满足所述第i条轨道直线的倾角A与第m-1检测层中已检测出的轨道线倾角之差在预期角度以内，才令所述直线得分加一分。

9.根据权利要求7或8所述的基于图像梯度角的图像中轨道线提取方法，其特征在于，

当所述第m检测层中得分最高的轨道直线的得分小于预期分数时，检测结果不准确，则不记录检测结果，并且跳出检测流程，不再进行后续的检测。