CN112287888A - 一种基于预测权重的轨道转弯识别方法 - Google Patents

Abstract

本发明属于图像识别技术领域，涉及一种基于预测权重的轨道转弯识别方法。本发明包括以下步骤，摄像装置捕获前方目标图像，获取ROI区域，直方图均衡，采用基于多角度模板的Sobel变换进行边缘检测，采用基于中值和高斯滤波线性叠加的Bernsen算法进行二值化，采用基于预测权重的Hough变换检测直线，统计经过轨道中心点直线所占的比重等步骤。相较于现有技术，本发明对于轨道弯道的检测率较高，且适用于多轨道场景。更有效地识别前方轨道并提醒司机，使司机做出正确地判断，为列车运行提供更好的保障。

Description

一种基于预测权重的轨道转弯识别方法

技术领域

本发明属于图像识别技术领域，涉及一种基于预测权重的轨道转弯识别方法。

背景技术

近年来，随着轨道交通建设规划的实施，轨道交通、客运专线建设正在高速发展，为了实现更快的人员来往、物资运输，列车运行速度也在不断提高，同时为了保障列车运行的安全，对轨道车辆及运营设备的要求也越来越高。在正常运行时，列车设备上安装有列车运行自动防护系统(ATP)进行安全自动防护。但对于铁路检修工程车，考虑到运营的特殊性及经济性，并没有安装列车运行自动防护系统装置。尤其是在前方铁轨转弯时，需要人为的判断前方是否有转弯并手动减速，这样大大地降低了效率。而且人不能时时刻刻保持高效率的状态，当司机受施工作业压力、任务繁重等因素影响下，可能会出现处理速度慢，甚至错误处理等危险行为。这就需要提出一种能够实时识别前方铁轨直行还是转弯的方法。

图像识别技术是以图像的主要特征为基础的，利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。图像识别的基本过程可以分为预处理、特征抽取和选择、分类器设计、分类决策等。因此通过图像识别技术对铁轨弯道进行识别是一种有效的方法。

关于铁轨弯道识别的技术前人也提出过许多方法。经过现有的文献检索发现，申请号为201210080391的专利，专利名称为：一种轨道识别方法，该方法包括“安装视频采集装置；摄像头采集图像，并输入数据处理装置；确定感兴趣的区域，至少包括图像中的轨道；进行预处理得到轨道的轮廓点；采用Hough变换对轮廓点进行处理，分别得到两条待拟合的直线的斜率；对上述两条待拟合直线进行拟合；识别轨道；计算轨道上每点到火车的距离；判断前方是否有弯道。”申请号为201410546719的专利，专利名称为：一种轨道最小曲率半径的图像识别方法，该方法包括“通过摄像装置获取目标图像；对目标图像进行直方图均衡化预处理；对均衡化图像构建区域生长模型，确定相似性准则，确定生长停止条件；将铁轨模型进行曲线拟合，得到铁轨识别图像；判断前方是否有转弯”上述两个专利，都对铁轨进行了预处理和曲线拟合，但是存在一些问题：第一预处理方法较为简单，识别效果不佳；第二曲线拟合的效果其实在实际当中不是非常好，存在许多干扰噪声，包括铁路的多轨道、树木等因素；第三在实时摄像中，相邻两帧图像之间的信息是非常相似的，而许多现有方法忽略了相邻两帧图像的特征点信息。

发明内容

为了解决现有轨道识别的难题，本发明的目的是提出一种基于预测权重的轨道转弯识别方法，能够准确识别前方轨道是直行还是转弯，从而及时地进行语音报警。

本发明的技术方案是：一种基于预测权重的轨道转弯识别方法，包括：

(1)通过摄像装置实时捕获工程车前方目标图像

将摄像头固定在工程车驾驶室内，通过摄像装置实时捕获工程车前方目标图像。

(2)确定ROI(Region Of interest)区域

图像识别首先需要对感兴趣的区域进行操作，过滤掉不感兴趣的区域。识别对象是轨道，因此ROI区域是两条轨道，同时考虑到离摄像头最近的轨道在直行或转弯时都是相同的，只有在远处才有区别，因此ROI区域为图2和图3目标图像中的小方框S区域。

(3)对ROI区域内的目标图像采用直方图均衡化，进行图像增强

对铁轨转弯进行分析判断不需要彩色图像信息，否则会降低运算速率，需要先对其进行灰度化。其次当原始图像的灰度分布在某一段狭窄的区间中时，如白天太阳光较强导致灰度分布在较高亮度的区间，或是阴天太阳光较弱导致灰度分布在较低亮度的区间，造成图像不够清晰、识别率降低，这时需要运用直方图均衡进行图像增加，将灰度分布较为平衡地延展到0到255区间上，使得图像的对比度增强，使图像更清晰有利于后续的识别分类。

(4)采用改进的Sobel变换对目标图像进行边缘检测

若要得到铁轨的轨迹，必须进行边缘检测，这里采用改进的Sobel算子与目标图像进行卷积，并用无穷范数表示梯度值。对于铁路而言，从摄像头角度去看两条铁轨在远处汇聚成一点，且估算出直线角度在60°附近，除了用90°普通的Sobel模版，还可以用改进的45°和135°模版。考虑到铁轨上的枕木是水平直线段，其边缘也会被检测出来，导致后续Hough变换会检测出许多水平直线，作为无效直线会对铁轨的识别产生一定的影响，因此不考虑0°模版。边缘检测有具体的3×3梯度模版如图4所示。

假设某3×3模版的原图像F(x,y)为：

将三种Sobel算子分别与上述原图像作卷积得：

S_45°＝(L₂₃+L₃₂+2L₃₃)-(L₁₂+L₂₁+2L₁₁)

S_90°＝(L₁₁+L₃₁+2L₂₁)-(L₁₃+L₃₃+2L₂₃)

S_135°＝(L₂₁+L₃₂+2L₃₁)-(L₁₂+L₂₃+2L₁₃)

将综合梯度值用无穷范数表示：

此时得到的G(x,y)为边缘检测后的图像。

(5)采用改进的Bernsen算法对边缘检测的图像进行二值化

在Hough变换检测直线前需要对图像进行二值化处理，而普通的处理方法是对上述Sobel变换后的图像进行人工设置阈值方法，即超过某一门限值则设置为255，未超过则设置为0，这样提取的边缘效果较差。而Bernsen算法作为一种局部二值化算法是将图像分割成块，然后分别计算阈值，通过比较选出最佳阈值。一般算法通常会忽略扫描框对周边像素的阈值选取，从而造成边缘断点或缺失，因此该方法可以抑制不均匀光照给图像带来的影响。假设G(x,y)为原始图像，且窗口大小为(2w+1)*(2w+1)，w是像素宽度，则该窗口下的阈值T₁(x,y)为：

其中i，j表示步长，x+i，y+j表示像素点位置。

由普通Bernsen算法得到的图像容易受制于噪声的干扰，导致与预期图像有一定偏差，因此采用改进的Bernsen算法，结合高斯滤波和中值滤波对结果进行线性组合。

假设高斯滤波器模版为H₁(x,y)，则高斯滤波后的图像为：

K₁(x,y)＝G(x,y)*H₁(x,y)

经高斯滤波后的Bernsen阈值T₂(x,y)为：

假设中值波器模版为H₂(x,y)，则中值滤波后的图像为：

K₂(x,y)＝G(x,y)*H₂(x,y)

经高斯滤波后的Bernsen阈值T₃(x,y)为：

由上述三种Bernsen算法线性组合确定最佳阈值T(x,y)为：

T(x,y)＝(1-a-b)T₁(x,y)+aT₂(x,y)+bT₃(x,y)

试中0<a<1,0<b<1,0<a+b<1；

表1改进Bernsen算法不同a，b线性组合下的最终铁轨弯道识别率(％)

由表1可以发现当a＝0.5，b＝0.3时，最终识别率是最高的，因此本发明选择这两个参数作为最终的系数。

确定了最佳阈值后，再与原图像G(x,y)进行比较，若G(x,y)比阈值小则标为背景像素取0，若比阈值大则标为目标像素取1；

由上式得到B(x,y)就是预处理阶段结束的二值化图像。

(6)采用基于预测权重的Hough变换对图像进行处理

目标图像的预处理阶段结束后，需要检测铁轨相关直线段，而检测直线比较好的方法就是通过Hough变换，但仅仅通过Hough变换检测的直线每次都会有一定的差别从而导致识别率下降，考虑到摄像头实时采集图像而视频图像前后帧的相似度非常高，因此可以将前一帧图像中的特征点部分映射到下一帧图像里。将二值化图像经Hough变换后得到ρ，θ极坐标图像，在该坐标中每个点代表二值化图像中的一条直线，点越密集表示检测到同一条直线越多。基于预测权重的Hough变换就是将前一幅极坐标下的值取c％，加到下一幅极坐标下，再进行归一化。

表2不同预测权重的百分比c下的最终铁轨弯道识别率(％)

由表2可以得出，当c＝40时弯道识别率是最高的，因此基于预测权重的占比为40％是最优的。

(7)统计所有经过轨道中心点直线的比重，判断铁轨是直行还是转弯

最后一步，经过Hough变换后的图像，一般是判断极坐标下最密集的两个点作为两条铁轨，并进行曲线拟合或构建区域生长模型。但是会出现两个问题：其一，当出现多轨道问题时，得到的很有可能是其他轨道的直线；其二，在弯道的处理上，曲线拟合和构建区域生长模型效果不是很好。

而本方案是先从极坐标下选择最密集的前100个点，代表100条直线，由于直行的铁轨每次都相交于远处同一点，将该点作为中心点，统计经过中心点附近的直线，根据其占所有100条直线的比重判断铁轨时直行还是转弯。该方法的优势在于：第一，多轨道情形下识别率较高，当铁轨直行时其他轨道大多数是直行的，当铁轨转弯时其他轨道大多数是转弯的，这样相应的比重会增加提高了结果的正确性，多轨道情形如图3所示；第二，不需要拟合弯道的曲线，降低了因拟合失败导致的误判。

考虑到靠近摄像头附近的直线段铁轨对比重产生较大的影响，因此与前面第(2)部分“ROI区域的选择”相呼应，选择中间方框内的区域。

具体的实现方法如下所示：

假设中心点的笛卡尔坐标为(x₀,y₀)，某条直线在极坐标下的坐标为(ρ_i,θ_i)。则直线在笛卡尔坐标下的方程为：

cosθ_ix+sinθ_iy-ρ_i＝0

根据点到直线的方程：

(假设直线为ax+by+c＝0，中心点为(x₀,y₀))

可推导出轨道中心点到该直线的距离为：

对于512×512像素，当d_i≤5，该直线可被认为经过中心点附近，统计这些直线在100条直线中所占比重大小，

经过测验，当比重设置为74％时识别率是最高的，即：

将本发明算法与背景技术里两个算法作对比，识别率如表3所示。

表3不同算法下的最终铁轨弯道识别率(％)

由表3可看出，本发明算法下的铁轨弯道识别率比另外两种识别率要高，更有效地识别前方轨道并提醒司机，使司机做出正确地判断。

本发明的有益效果为，本发明对于轨道弯道的检测率较高，且适用于多轨道场景。更有效地识别前方轨道并提醒司机，使司机做出正确地判断，为列车运行提供更好的保障。

附图说明

图1为本发明中总体实施方案流程框图；

图2为本发明中单轨道下直行轨道和转弯轨道的ROI区域图；

图3为本发明中多轨道下直行轨道和弯道轨道的ROI区域图；

图4为本发明中45度、90度和135度的Sobel模版图。

具体实施方式

下面结合附图和实施例对本发明进行详细描述，以便本领域的技术人员能够更好地理解本发明。

实施例1

如图1所示，本发明提出了一种基于预测权重的轨道转弯识别方法，主要包括以下步骤：

步骤1、通过摄像装置实时捕获工程车前方目标图像。将摄像头固定在工程车驾驶室内，正前方对准铁轨的中心区域，使直行铁轨的交汇处大致在摄像区域正中心，并通过USB连接到主控设备(电脑)，通过摄像装置实时捕获工程车前方目标图像，并将图像的像素大小设置为512×512。

步骤2，获取目标图像的ROI区域。从步骤1获得前方目标图像后，图像识别首先需要对感兴趣的区域进行操作，过滤掉不感兴趣的区域。识别对象是轨道，因此ROI区域是两条轨道，同时考虑到离摄像头最近的一条轨道在直行或转弯时都是相同的，只有在远处中心点附近才有区别，因此选择目标图像中的小方框区域为ROI区域，如图2和图3中的S区域所示。对于图2单轨道情形下的ROI区域，显示有一条轨道；而对于图3多轨道情形下的ROI区域，显示有多条轨道，因此在此条件下仅仅通过拟合方法难以区分。

步骤3，对ROI区域内的目标图像采用直方图均衡化，进行图像增强。对铁轨转弯进行分析判断不需要彩色图像信息，否则会降低运算速率，需要先对其进行灰度化。其次当原始图像的灰度分布在某一段狭窄的区间中时，如白天太阳光较强导致灰度分布在较高亮度的区间，或是阴天太阳光较弱导致灰度分布在较低亮度的区间，造成图像不够清晰、识别率降低，这时需要运用直方图均衡进行图像增加，将灰度分布较为平衡地延展到0到255区间上，使得图像的对比度增强，使图像更清晰有利于后续的识别分类。因此对步骤2中的ROI区域进行灰度化，再进行直方图均衡，增强图像的对比度。

步骤4，采用基于多角度模板的Sobel变换对目标图像进行边缘检测。若要得到铁轨的轨迹，必须进行边缘检测，这里采用改进的Sobel算子与目标图像进行卷积，并用无穷范数表示梯度值。对于铁路而言，从摄像头角度去看两条铁轨在远处汇聚成一点，且估算出直线角度在60°附近，除了用90°普通的Sobel模版，还可以用改进的45°和135°模版。考虑到铁轨上的枕木是水平直线段，其边缘也会被检测出来，导致后续Hough变换会检测出许多水平直线，作为无效直线会对铁轨的识别产生一定的影响，因此不考虑0°模版。只考虑45°、90°、135°模板，将原图像F(x,y)分别与这三种模板进行卷积，并通过无穷范数得到边缘检测后的G(x,y)图像。

步骤5，采用基于中值和高斯滤波线性叠加的Bernsen算法对边缘检测的图像进行二值化。由步骤4得到的边缘检测图像需要对其进行二值化处理，有利于后面Hough变换的直线检测。Bernsen算法作为一种局部二值化算法是将图像分割成块，然后分别计算阈值，通过比较选出最佳阈值。一般算法通常会忽略扫描框对周边像素的阈值选取，从而造成边缘断点或缺失，因此该方法可以抑制不均匀光照给图像带来的影响。但是普通Bernsen算法容易受制于噪声的干扰，导致与预期图像有一定偏差，因此采用改进的Bernsen算法，结合高斯滤波和中值滤波对结果进行线性叠加。

将步骤4得到的G(x,y)图像通过高斯滤波和中值滤波分别得到滤波后的图像K₁(x,y)和K₂(x,y)，再将G(x,y)、K₁(x,y)、K₂(x,y)通过Bernsen算法分别得到阈值T₁(x,y)、T₂(x,y)、T₃(x,y)，再通过线性叠加法得到最终阈值T(x,y)＝0.2T₁(x,y)+0.5T₂(x,y)+0.3T₃(x,y)。将阈值T(x,y)与图像G(x,y)进行比较，若G(x,y)比阈值小则标为背景像素取0，若比阈值大则标为目标像素取1，最终得到二值化图像B(x,y)。

步骤6，采用基于预测权重的Hough变换对图像进行处理。目标图像的预处理阶段结束后，需要检测铁轨相关直线段，而检测直线比较好的方法就是通过Hough变换，但仅仅通过Hough变换检测的直线每次都会有一定的差别从而导致识别率下降，考虑到摄像头实时采集图像而视频图像前后帧的相关性非常高，可以将前一帧图像中的特征点部分映射到下一帧图像里。因此这里将步骤5得到的二值化图像经Hough变换后得到ρ，θ极坐标图像，在该坐标中每个点代表二值化图像中的一条直线，点越密集表示检测到同一条直线越多。基于预测权重的Hough变换就是将前一幅极坐标下的值取40％，加到下一幅极坐标下，再进行归一化即得到变换后的极坐标图像。

步骤7，统计所有经过轨道中心点直线的比重，判断铁轨是直行还是转弯。先从步骤6得到的极坐标图像中选择最密集的前100个点，代表100条直线，由于直行的铁轨每次都相交于远处同一点，将该点作为中心点，统计经过中心点附近的直线，根据其占所有100条直线的比重判断铁轨时直行还是转弯。该方法的优势在于：第一，多轨道情形下识别率较高，当铁轨直行时其他轨道大多数是直行的，当铁轨转弯时其他轨道大多数是转弯的，这样相应的比重会增加提高了结果的正确性，多轨道情形如图3所示；第二，不需要拟合弯道的曲线，降低了因拟合失败导致的误判。根据中心点到各条直线的距离d_i＝|cosθ_ix₀+sinθ_iy₀-ρ_i|，统计出d_i≤5经过中心点所有直线的比重p，若p≥0.74则认为前方轨道直行；若p<0.74则认为前方轨道转弯。

本发明采用基于多角度模板的Sobel变换进行边缘检测，采用基于中值和高斯滤波线性叠加的Bernsen算法进行二值化，使得生成的二值图像具有更多的铁轨信息，更少的噪声信息。采用基于预测权重的Hough变换检测直线，使得相邻两幅图像具有更强的相关性。最后统计所有经过轨道中心点直线的比重，判断轨道是直行还是转弯，该方法在多轨道场景下的效果更为明显。

Claims (4)

1.一种基于预测权重的轨道转弯识别方法，其特征在于，包括以下步骤：

S1、通过摄像装置实时捕获工程车前方目标图像；

S2、确定ROI区域，从S1获取的目标图像中，选取图像核心部分能区分轨道是直行还是转弯的方框区域；

S3、对ROI区域内的目标图像采用直方图均衡化，进行图像增强；

S4、采用Sobel变换对目标图像进行边缘检测；

S5、采用改进的Bernsen算法对边缘检测的图像进行二值化，具体为：

假设G(x,y)为原始图像，(x,y)为像素点位置，且窗口大小为(2w+1)*(2w+1)，则该窗口下的阈值T₁(x,y)为：

其中，i、j表示步长；

假设高斯滤波器模版为H₁(x,y)，则高斯滤波后的图像为：

K₁(x,y)＝G(x,y)*H₁(x,y)

经高斯滤波后的Bernsen阈值T₂(x,y)为：

假设中值波器模版为H₂(x,y)，则中值滤波后的图像为：

K₂(x,y)＝G(x,y)*H₂(x,y)

经高斯滤波后的Bernsen阈值T₃(x,y)为：

令最佳阈值T(x,y)为：

T(x,y)＝(1-a-b)T₁(x,y)+aT₂(x,y)+bT₃(x,y)

式中0<a<1,0<b<1,0<a+b<1；

确定了最佳阈值后，再与原图像G(x,y)进行比较，若G(x,y)比阈值小则标为背景像素取0，若比阈值大则标为目标像素取1：

得到的B(x,y)就是预处理阶段结束的二值化图像；

S6、采用基于预测权重的Hough变换对图像进行处理，具体为：

将二值化图像经Hough变换后得到ρ，θ极坐标图像，在该坐标中每个点代表二值化图像中的一条直线，基于预测权重的Hough变换就是将前一幅极坐标下的值取权重c％，加到下一幅极坐标下，再进行归一化；

S7、统计所有经过轨道中心点直线的比重，判断铁轨是直行还是转弯。

2.根据权利要求1所述的一种基于预测权重的轨道转弯识别方法，其特征在于，步骤S4具体为采用改进的Sobel变换对目标图像进行边缘检测：采用45°、90°和135°的Sobel算子，假设3×3模版的原图像F(x,y)为：

将三种Sobel算子分别与上述原图像作卷积得：

S_45°＝(L₂₃+L₃₂+2L₃₃)-(L₁₂+L₂₁+2L₁₁)

S_90°＝(L₁₁+L₃₁+2L₂₁)-(L₁₃+L₃₃+2L₂₃)

S_135°＝(L₂₁+L₃₂+2L₃₁)-(L₁₂+L₂₃+2L₁₃)

将综合梯度值用无穷范数表示：

得到的G(x,y)为边缘检测后的图像。

3.根据权利要求1或2所述的一种基于预测权重的轨道转弯识别方法，其特征在于，所述步骤S7的具体方法为：

从极坐标下选择最密集的前100个点，代表100条直线，由于直行的铁轨每次都相交于远处同一点，将该点作为中心点，统计经过中心点附近的直线，根据其占所有100条直线的比重判断铁轨时直行还是转弯。

4.根据权利要求3所述的一种基于预测权重的轨道转弯识别方法，其特征在于，步骤S7具体方法为：

假设中心点的笛卡尔坐标为(x₀,y₀)，某条直线在极坐标下的坐标为(ρ_i,θ_i)。则直线在笛卡尔坐标下的方程为：

cosθ_ix+sinθ_iy-ρ_i＝0

根据点到直线的方程：

推导出轨道中心点到该直线的距离为：

对于512×512像素，当d_i≤5，该直线被认为经过中心点附近，统计这些直线在100条直线中所占比重大小，

将比重设置为74％：

Images