CN104598916A - 一种火车识别系统的构建方法和火车识别的方法 - Google Patents

Abstract

本发明涉及车辆领域，尤其涉及一种火车识别系统的构建方法和火车识别的方法。该方法只需在站台一侧安装摄像头，对拍摄到的视频图像进行处理从而识别出钩挡。由于光照、天气等诸多因素的影响，需要首先对火车的图像进行增强，根据不同列车特点选取适当的特征，包括纹理特征和直线特征等，通过离线学习的方式获得模型，最终完成钩挡的在线识别。经过初步实验验证，提出的钩挡识别系统能够自动识别火车钩挡的开始和结束，从而控制喷洒系统，且安装简单，能够最大程度的减少抑尘剂浪费。

Description

一种火车识别系统的构建方法和火车识别的方法

技术领域

本发明涉及车辆领域，尤其涉及一种火车识别系统的构建方法和火车识别的方法。

背景技术

煤炭在铁路装车时，均采用敞篷车皮。为了防止煤炭在运输过程中被风吹散，需要在煤炭表面喷洒一层抑尘剂。一般情况下装车和喷洒是两个过程，人工装车和自动喷洒。在自动喷洒的过程中，由于车厢与车厢之间存在空隙(这个空隙被称为钩挡)，如果一直开启喷洒装置，喷洒完整列火车会浪费10％左右的抑尘剂。长期累积，会造成两方面的损失，一是抑尘剂浪费严重，二是环境污染。因此，在自动喷洒抑尘剂时，需要识别火车车厢与车厢之间的钩挡，同时为了自动开启和关闭喷洒系统，需要识别火车头和尾。

钩挡识别主要是识别出车厢的结束(即钩挡开始)和开始(即钩挡结束)，当车厢结束时发送关闭信号给喷洒系统，当车厢开始时发送打开信号给喷洒系统。一般的，在铁路两边放置一对红外线装置可以很精确的识别出钩挡的开始和结束。但是存在两个比较困难的问题，第一，红外线装置反馈出的信号太简单，对一些复杂的情况无法识别，例如当火车头经过时不应该喷洒，当火车倒车时也不应该启动喷洒。第二，红外线装置通常都是在火车两侧成对铺设，如果火车的一侧没有站台，那么这一侧红外线装置的电源引接比较困难。

发明内容

发明的目的：为了提供一种效果更好的火车识别系统的构建方法和火车识别的方法，具体目的见具体实施部分的多个实质技术效果。

为了达到如上目的，本发明采取如下技术方案：

方案一：

一种火车识别系统的构建方法，在站台的一侧近距离架设摄像头获取图像，对获取的图形进行如下处理，处理系统包括两大模块：计算机视觉分析和钩挡识别。

计算机视觉分析包括如下步骤：

图像增强

采用直方图均衡化的方法调整图像的全局对比度，拉伸图像的直方图，使亮度均匀的在直方图上分布；直方图均衡方法是：对原始图像灰度直方图中第i级有灰度f_i，根据其左右两边和之比来确定其修正后的灰度g_i的位置j：

$\frac{j}{n-1-j}=\frac{\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{p}_k}{\underset{k=i+1}{\overset{n-1}{\mathrm{\Σ}}}{p}_k}---\left(8\right)$

经整理得： 

$j=(n-1)\frac{\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{p}_k}{\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{p}_k+\underset{k=i+1}{\overset{n-1}{\mathrm{\Σ}}}{p}_k}---\left(\text{9}\right)$

因为p_k＝q_k/Q，q_k为灰度级为k的像素数，Q为整幅图像 的总像素数，所以(2)式可进一步变换为：

$j=(n-1)\frac{\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{q}_k}{Q-q_i}---\left(10\right)$

具体实现过程为：

第一步：得到原始图像的灰度级f_i，i＝0，1，2，L，n-1

第二步：统计各灰度级的像素数q_i，i＝0，1，2，L，n-1

第三步：作灰度映射表

$g_0=f_0,g_j=\mathrm{INT}\{(n-1)\left(\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{q}_k\right)(Q-q_i)+0.5\},g_{n-1}=f_{\text{n-1}}$

第四步：由灰度映射表的对应关系，修正原始图像的灰度级。

特征提取

针对车厢尾部的纹理和直线特性提取特征；纹理特征提取的方式为，计算图像的灰度共现阵，提取LBP(Local Binary Patterns)纹理特征，对LBP特征向量进行提取的步骤如下：

第一步，将检测窗口划分为16×16的小区域(cell)，对于每个cell中的一个像素，将其环形邻域内的8个点或者是环形邻域多个点，进行顺时针或逆时针的比较，如果中心像素值比该邻点大，则将邻点赋值为1，否则赋值为0，这样每个点都会获得一个8位二进制数；

第二步，计算每个cell的直方图，即每个数字出现的频率；

第三步，对该直方图进行归一化处理；

第四步，将得到的每个cell的统计直方图进行连接，就得到了整幅图的LBP纹理特征F_LBP，然后便可利用SVM进行分类。

直线特征提取 

采用相位编组法提取直线，有四个步骤：

第一步：计算梯度，用Sobel算子或Robert算子得到梯度的幅值和方向角；

第二步：梯度方向图分割，通过得到的方向角，采用固定分组的方法进行梯度方向分割，即将360度平均分为8个区域，每个区域45度，分别标记为0，1，2，...，6，7形成标记图，将有相同标记的像素划分为一组；

第三步：连接直线支持区域，一条边缘会被分为若干个相距较近且编码相同的直线支持区，将同属于一条边缘的直线支持区进行连接，形成更长的直线支持区；

第四步：直线支持区拟合直线，采用最小二乘法确定最后的直线方程参数。

将提取到的直线特征形成特征矢量F_Line如下：

L_i＝{x_si，y_si，x_ei，y_eilen_i，org_i，i∈[1，2，...，n]   (11)

F_Line＝{L₁，L₂，...，L_n}   (12) 

其中，(x_g，y_g)为直线的端点，len_i为直线的长度，org_i为直线的方向，将直线L_i按照从上到下，从左到右的顺序形成矢量F_Line。

特征融合

将纹理特征和直线特征通过线性加权的方式组合起来，形成当前视频帧的特征矢量：

F＝αF_Line+(1-α)F_LBP   (13) 

其中，α∈(0.5，1)为加权系数。

钩挡识别

钩挡识别的过程主要分两步：离线训练和在线识别；离线训练用已标识过的数据训练SVM分类器参数，在线识别用已训练好的SVM分类器识别新的数据。

离线训练

在多种光照条件下对SVM分类进行训练，构建核函数，然后用测试集验证准确率，当达到满足需要的准确率后，就能够对新数据进行识别了。

本文中SVM的核函数选取为径向基内核RBF函数

K(x，x_i)＝exp(-γ||x-x_i||²)   (14) 

其中γ为核函数的宽度；在进行γ参数选择时采用K交叉验证的方法，即将训练数据集分成k份相等的子集，每次将其中k-1份数据作为训练数据，而将另外一份作为测试数据，这样重复k次，根据k次迭代后得到的最小均方误差MSE平均值来估计期望泛化误差，最后选择出最优的参数γ。

方案二：

一种火车钩挡识别的方法，其特征在于，利用如上所构建的系统进行在线识别，识别的步骤包含如下，

读取实时流中的一帧图像；

直方图均衡； 

提取LBP纹理特征F_LBP；

提取Burns直线特征F_ling；

得到融合特征适量F；

SVM模型分类； 

识别是否是钩挡；

如果是，进行标记；

如果不是，返回继续读取实时流中的一帧图像。

采用如上技术方案的本发明，相对于现有技术有如下有益效果：本文用图像处理方法设计的火车钩挡识别系统，能自动识别出火车钩挡的开始和结束，从而控制喷洒系统，不仅能最大程度减少浪费，而且安装简单。

附图说明

为了进一步说明本发明，下面结合附图进一步进行说明：

图1为系统流程图；

图2为LBP算法邻域示例；

图3为在线钩挡识别流程；

图4为钩档识别率即文中表一。

具体实施方式

下面结合附图对本发明的实施例进行说明，实施例不构成对本发明的限制：

用计算机视觉的方法，只需要在站台一侧安装摄像头，就可以解决红外线装置遇到的困难，本文用图像处理方法设计的火车钩挡识别系统，能自动识别出火车钩挡的开始和结束，从而控制喷洒系统，不仅能最大程度减少浪费，而且安装简单。

系统概述

结合图1，基于计算机视觉的钩挡识别系统需要在站台的一侧近距离架设摄像头一个，对获取到的视频图像采用图像处理方法检测和识别钩挡，实际距离在2-3米，以火车车厢的上下沿占满图像为最好。具体思路是对摄像头获取到的当前图像提取特征，经过特征融合，在一定策略的支持下判断出是否存在钩挡，并反馈信息。

钩挡识别系统的流程如图1所示。主要包括两大模块：计算机视觉分析和钩挡识别。

计算机视觉分析包括图像增强、特征提取和特征融合(章毓晋.“图像工程(上册)”，清华大学出版社，2006.)。由于实际场景中的干扰因素很多，如刮风、下雨、昼夜更替，需要增强图像，提高图像质量。特征提取是识别的基础，优良的特征可以从很大程度上提高识别率。提取多种类型的底层特征，通过融合可以克服天气变化和光线变化带来的干扰。

钩挡识别模块主要对融合后的特征矢量进行分类匹配，从统计学的角度出发，对当前目标进行聚类，给出各类别的概率，然后用极大似然准则得到最后的钩挡识别结果。

计算机视觉分析

图像增强

在车站室外监控场景中，对钩挡识别影响最大的是昼夜更替和灯 光开关，都会引起图像的亮度变化，亮度的变化对某些特征的提取不利，例如颜色、直方图等。可以采用直方图均衡化的方法调整图像的全局对比度，拉伸图像的直方图，使亮度均匀的在直方图上分布(单勇，王润生.“彩色图像混合滤波算法”，数据采集与处理，S1：67-70，2006.)。

本文采用的直方图均衡方法基本思路是：对原始图像灰度直方图中第i级有灰度f_i，根据其左右两边和之比来确定其修正后的灰度g_i的位置j：

$\frac{j}{n-1-j}=\frac{\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{p}_k}{\underset{k=i+1}{\overset{n-1}{\mathrm{\Σ}}}{p}_k}---\left(15\right)$

经整理得： 

$j=(n-1)\frac{\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{p}_k}{\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{p}_k+\underset{k=i+1}{\overset{n-1}{\mathrm{\Σ}}}{p}_k}---\left(\text{16}\right)$

因为p_k＝q_k/Q，q_k为灰度级为k的像素数，Q为整幅图像的总像素数，所以(2)式可进一步变换为：

$j=(n-1)\frac{\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{q}_k}{Q-q_i}---\left(17\right)$

具体实现过程为：

第一步：得到原始图像的灰度级f_i，i＝0，1，2，L，n-1

第二步：统计各灰度级的像素数q_i，i＝0，1，2，L，n-1

第三步：作灰度映射表

$g_0=f_0,g_j=\mathrm{INT}\{(n-1)\left(\underset{k=0}{\overset{i-1}{\mathrm{\Σ}}}{q}_k\right)(Q-q_i)+0.5\},g_{n-1}=f_{\text{n-1}}$

第四步：由灰度映射表的对应关系，修正原始图像的灰度级。

特征提取

特征的选取应该针对需要识别的目标。现有常用的运煤车厢有三种类型：C64、C70和C80，其中C70和C80车厢比较相似，而C64车厢表面的纹理与其它两种车厢有区别。因此，需要分别提取相应的特征进行识别。

分析得出三种类型的车厢存在不同特点的特征，如C64车厢的颜色信息不明显，而C70车厢尾颜色(黄色)与车厢其它部分不同。因此，颜色特征对检测C64车厢尾部没有帮助，而对检测C70车厢尾部有帮助。颜色信息不能作为所有车厢的共同特征。

经过分析，发现所有车厢尾部的纹理特征要比车厢其他部分的纹理特征复杂。同时，车厢尾部的直线特征也比较丰富。因此，可以提取这两类特征来检测车厢尾部。

纹理特征提取 

最经典的纹理特征提取方法是计算图像的灰度共现阵，但灰度共现阵的计算量很大，无法应用于实时系统。本系统选择采用提取LBP(Local Binary Patterns)纹理特征(邹彬，潘志斌，胡森.“基于局部投影与块LBP特征的图像检索”，中国图象图形学报，17(6)：671-677，2012.)，该特征计算复杂度小，并且具有旋转不变性和多尺度特性。对LBP特征向量进行提取的步骤如下：

第一步，将检测窗口划分为16×16的小区域(cell)，对于每个cell中的一个像素，将其环形邻域内的8个点(也可以是环形邻域多个点，图2应用LBP算法的三个邻域示例所示)进行顺时针或逆时针的比较，如果中心像素值比该邻点大，则将邻点赋值为1，否则赋值为0，这样每个点都会获得一个8位二进制数(通常转换为十进制数)；

第二步，计算每个cell的直方图，即每个数字(假定是十进制数)出现的频率(也就是一个关于每一个像素点是否比邻域内点大的一个二进制序列进行统计)；

第三步，对该直方图进行归一化处理；

第四步，将得到的每个cell的统计直方图进行连接，就得到了整幅图的LBP纹理特征F_LBP，然后便可利用SVM或者其他机器学习算法进行分类。

直线特征提取 

直线是一种数学上简单的中层描述符号，利用它可以描述许多人造目标。运媒火车车厢尾部通常会安装梯子，方便人员对车厢进行维护，梯子的直线特征比较多，而车厢的其他部分的直线特征比较少。通过检测直线及线间的关系，可以辅助检测钩挡位置。

由于钩挡检测过程在室外实施，外界环境时常发生变化(昼夜交替、天气变化等)，所获得的原始图像亮度、对比度经常变化。为了适应环境的变化，算法的鲁棒性就很重要。本文采用了Burns等人提出的相位编组法提取直线(文贡坚，王润生.“一种稳健的直线提取 算法”，软件学报，11：1660-1666，2001.)，该方法克服了已有算法只依据图像梯度的幅度信息提取直线的缺点，因而在提取低对比度直线时有明显优势。该方法主要有四个步骤：

第一步：计算梯度，用Sobel算子或Robert算子得到梯度的幅值和方向角；

第二步：梯度方向图分割，通过得到的方向角，采用固定分组的方法进行梯度方向分割，即将360度平均分为8个区域，每个区域45度，分别标记为0，1，2，...，6，7形成标记图，将有相同标记的像素划分为一组；

第三步：连接直线支持区域，一条边缘可能会被分为若干个相距较近且编码相同的直线支持区，将同属于一条边缘的直线支持区进行连接，形成更长的直线支持区；

第四步：直线支持区拟合直线，采用最小二乘法确定最后的直线方程参数。

分别对以下部件进行提取，(a)车头，(b)车厢头，(c)车厢中间，(d)车厢尾；经过对比发现：钩档开始(车厢尾部)时的水平直线特征明显多于车头和车厢中间。

将提取到的直线特征形成特征矢量F_Line如下：

L_i＝{x_si，y_si，x_ei，y_eilen_i，org_i}，i∈[1，2，...，n]   (18)

F_Line＝{L₁，L₂，...，L_n}   (19) 

其中，(x_g，y_g)为直线的端点，len_i为直线的长度，org_i为直线的方向。将直线L_i按照从上到下，从左到右的顺序形成矢量F_Line。

特征融合

为了给分类匹配提供合适的数据，需要把上面提取出的特征进行融合。由于对于该应用来说，直线特征比较重要，因此，将纹理特征和直线特征通过线性加权的方式组合起来，形成当前视频帧的特征矢量：

F＝αF_Line+(1-α)F_LBP   (20) 

其中，α∈(0.5，1)为加权系数。

钩挡识别

钩挡识别的过程主要分两步：离线训练和在线识别。离线训练主要用已标识过的数据训练SVM分类器参数。在线识别用已训练好的SVM分类器识别新的数据。

离线训练

由于识别环境在室外，图像数据受外界光照变化影响比较大，因此，需要在各种光照条件下对SVM分类进行训练，主要包括：早晨、中午、傍晚、晚上、阴天、雨天、雪天、雾天等。

SVM训练的主要思路(程环环，王润生.“利用贝叶斯网络融合空间上下文的高分辨遥感图像分类”，计算机工程与科学，33(1)：70-76，2011)是：构建核函数，然后用测试集验证准确率，当达到满足需要的准确率后，就可以对新数据进行识别了。

本文中SVM的核函数选取为径向基内核RBF函数

K(x，x_i)＝exp(-γ||x-x_i||²)   (21) 

其中γ为核函数的宽度。RBF核函数可以将一个样本映射到一个更高 维的空间，但需要确定的参数要少，使得计算复杂度不高。

在进行γ参数选择时采用K交叉验证的方法，即将训练数据集分成k份相等的子集，每次将其中k-1份数据作为训练数据，而将另外一份作为测试数据。这样重复k次，根据k次迭代后得到的最小均方误差MSE平均值来估计期望泛化误差，最后选择出最优的参数γ。

在线识别

离线训练好的SVM模型可以对四类目标进行识别，分别是：车头、车厢、钩挡和车站(摄像头前无火车)。对于一次识别来说，SVM模型给出的结果是本次测试分别对应于这四类目标的概率值，综合上面的分析整个钩挡识别的流程如图3如示。

实验结果

本文的实验视频采用704X576的分辨率，分别对C64、C70两种运煤车进行了白天和夜晚钩档识别测试。首先对两种运煤车分别完成了3小时的钩档识别训练，采用人工标注的方法进行识别，然后用SVM模型对标注结果进行学习，最后再实现在线识别。

为了提高运算效率，测试时选取了100X250的识别框，算法只在该识别框中运算。从识别结果中看，该算法能较准确的识别到钩档的开始和结束，经过多次测试，识别率如表1(或者参考图4)所示。

表1 钩档识别率

从表1中可以看到，钩档识别算法在白天的识别率要高于晚上，这是由于晚上站台上开启了较强的照明灯，灯光使得某些特征变弱甚至消失。同时C70比C64的识别率高，这是因为C70的车皮比C64的要新、干净，因此C70的特征较丰富，准确率就会提高。

结论

本专利基于计算机视觉的方法提出了一个有效的火车钩挡识别系统，能自动识别出火车钩挡的开始和结束，从而控制喷洒系统，不仅能最大程度减少浪费，而且安装简单。该系统首先对视频图像做增强处理，然后从增强的结果中提取纹理、直线等特征，通过特征融合，用SVM模型对融合后的特征分类、识别。总之该系统的钩档识别率较高，具有一定的实用潜力。但该系统还需要做以下改进：1)调整模型，提高夜晚的识别率；2)由于是在室外，要实用必须适应全天候情况，因此要在复杂天气情况下测试。

需要说明的是，本专利提供的多个方案包含本身的基本方案，相互独立，并不相互制约，但是其也可以在不冲突的情况下相互组合，达到多个效果共同实现。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域的技术人员应该了解本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的范围内。

Claims (2)

1.一种火车识别系统的构建方法，在站台的一侧近距离架设摄像头获取图像，对获取的图形进行如下处理，处理系统包括两大模块：计算机视觉分析和钩挡识别；

计算机视觉分析包括如下步骤：

图像增强

采用直方图均衡化的方法调整图像的全局对比度，拉伸图像的直方图，使亮度均匀分布；直方图均衡方法是：对原始图像灰度直方图中第i级有灰度f_i，根据其左右两边和之比来确定其修正后的灰度g_i的位置j：

经整理得：

因为p_k＝q_k/Q，q_k为灰度级为k的像素数，Q为整幅图像的总像素数，所以(2)式可进一步变换为：

具体实现过程为：

第一步：得到原始图像的灰度级f_i，i＝0，1，2，L，n-1

第二步：统计各灰度级的像素数q_i，i＝0，1，2，L，n-1

第三步：生成灰度映射表

第四步：由灰度映射表的对应关系，修正原始图像的灰度级；

特征提取

针对车厢尾部的纹理和直线特性提取特征；

纹理特征提取的方式为，计算图像的灰度共现阵，提取LBP(Local Binary Patterns)纹理特征，对LBP特征向量进行提取的步骤如下：

第一步，将检测窗口划分为16×16的小区域(cell)，对于每个cell中的一个像素，将其环形邻域内的8个点或者是环形邻域多个点，进行顺时针或逆时针的比较，如果中心像素值比该邻点大，则将邻点赋值为1，否则赋值为0，这样每个点都会获得一个8位二进制数；

第二步，计算每个cell的直方图，即每个数字出现的频率；

第三步，对该直方图进行归一化处理；

第四步，将得到的每个cell的统计直方图进行连接，就得到了整幅图的LBP纹理特征F_LBP，然后便可利用SVM进行分类；

直线特征提取

采用相位编组法提取直线，有四个步骤：

第一步：计算梯度，用Sobel算子或Robert算子得到梯度的幅值和方向角；

第二步：梯度方向图分割，通过得到的方向角，采用固定分组的方法进行梯度方向分割，即将360度平均分为8个区域，每个区域45度，分别标记为0，1，2，...，6，7形成标记图，将有相同标记的像素划分为一组；

第三步：连接直线支持区域，一条边缘会被分为若干个相距较近且编码相同的直线支持区，将同属于一条边缘的直线支持区进行连接，形成更长的直线支持区；

第四步：直线支持区拟合直线，采用最小二乘法确定最后的直线方程参数；

将提取到的直线特征形成特征矢量F_Line如下：

L_i＝{x_si，y_si，x_ei，y_eilen_i，org_i}，i∈[1，2，...，n]   (4)

F_Line＝{L₁，L₂，...，L_n}   (5) 

其中，(x_g，y_g)为直线的端点，len_i为直线的长度，org_i为直线的方向，将直线L_i按照从上到下，从左到右的顺序形成矢量F_Line；

特征融合

将纹理特征和直线特征通过线性加权的方式组合起来，形成当前视频帧的特征矢量：

F＝αF_Line+(1-α)F_LBP   (6) 

其中，α∈(0.5，1)为加权系数；

钩挡识别

钩挡识别的过程主要分两步：离线训练和在线识别；离线训练用已标识过的数据训练SVM分类器参数，在线识别用已训练好的SVM 分类器识别新的数据；

离线训练

在多种光照条件下对SVM分类进行训练，构建核函数，然后用测试集验证准确率，当达到满足需要的准确率后，就能够对新数据进行识别了；

本文中SVM的核函数选取为径向基内核RBF函数

K(x，x_i)＝exp(-γ||x-x_i||²)   (7) 

其中γ为核函数的宽度；

在进行γ参数选择时采用K交叉验证的方法，即将训练数据集分成k份相等的子集，每次将其中k-1份数据作为训练数据，而将另外一份作为测试数据，这样重复k次，根据k次迭代后得到的最小均方误差MSE平均值来估计期望泛化误差，最后选择出最优的参数γ。

2.一种火车钩挡识别的方法，其特征在于，利用权利要求1所构建的系统进行在线识别，识别的步骤包含如下：

读取实时流中的一帧图像；

直方图均衡；

提取LBP纹理特征F_LBP；

提取Burns直线特征F_ling；

得到融合特征适量F；

SVM模型分类；

识别是否是钩挡；

如果是，进行标记；

如果不是，返回继续读取实时流中的一帧图像。