CN101761038B - 一种铁路临时限速标志识别系统及方法 - Google Patents

Abstract

本发明公开了一种铁路临时限速标志识别系统及方法。包括：视频采集模块、视频识别模块、控制模块、显示模块和语音提示模块。所述视频识别模块包括：图像预处理子模块、标志检测子模块、字符分割子模块、字符识别子模块。该系统通过对视频流中包含限速标志信息的的多帧图像进行逐帧识别处理，不依赖单张图片，实现了实时的限速标志识别，并且利用HSI空间对限速标志区域进行提取，提高了识别的准确度，进一步通过对黄色区域和绿色区域进行字符分割再进行识别，提高了识别的速度，最后根据识别结果输出控制指令，实施对车速的自动控制，同时使驾驶员实时了解铁路限速信息，将事故的发生概率降低到最小。

Description

一种铁路临时限速标志识别系统及方法

技术领域

本发明涉及铁路限速标识别技术领域，具体的涉及一种铁路临时限速标志识别系统及方法。

背景技术

铁路临时限速标志是铁路交通系统的重要组成部分，主要包括减速信号和减速防护地段终端信号。减速信号在昼间为黄色圆牌；夜间为柱上黄色灯光。减速信号牌为黄底黑字，黑字标明列车限制速度。同时，按不同速度等级列车的紧急制动距离，在原减速信号牌外方增设特殊减速信号牌，昼间与夜间均为黄底黑T字圆牌。而减速防护地段终端信号在昼间为绿色圆牌；夜间为柱上绿色灯光。现有基于视觉的交通标志识别方法都是针对公路上的应用，其通常包括以下步骤：首先通过摄像装置获得包含交通标志的图像，接着从图像中获取包含交通标志的区域，然后采用模板匹配或神经网络的方法对整个交通标志进行识别。

现有方法由于公路上的交通标志种类繁多、图形复杂，因此都采用对整个交通标志进行识别，但由于整个交通标志的图像面积比较大，在进行识别时的运算量将大很多，降低了系统的实时性。

同时，现有方法大部分都是采用黑白摄像头，得到的是灰度图像，由于铁路临时限速标通过不同的颜色传递不同的交通信息，如黄色表示进入限速区域，绿色表示限速终止，因此现有方法不适用于铁路交通系统。

发明内容

本发明的目的在于克服上述现有技术中的不足，提供一种铁路临时限速标志识别系统及其所实现的铁路临时限速标志识别方法，本发明的其中一个目的通过以下技术方案进行实现：

一种铁路临时限速标志识别系统，其特征在于，该系统包括：视频采集模块、视频识别模块、控制模块、显示模块和语音提示模块；其中，所述视频识别模块包括图像预处理子模块、标志检测子模块、字符分割子模块、字符识别子模块；

所述的显示模块与视频采集模块相连，所述的视频采集模块、图像预处理子模块、标志检测子模块、字符分割子模块、字符识别子模块、控制模块依次相连，所述的控制模块与语音提示模块相连；

所述视频采集模块包括高速彩色摄像头、分频器、采集卡，视频采集模块通过高速彩色摄像头获得视频流，经过分频器转变为两路视频流，其中一路作为显示模块的输入直接用于显示，另外一路经由采集卡进行定时采集，将视频流转换为多帧图像作为视频识别模块的输入；

所述的视频识别模块用于对视频采集模块输出的多帧图像进行识别，并输出识别结果作为控制模块的输入；

所述控制模块根据视频识别模块的输出对列车进行具体的控制；

所述语音提示模块根据控制模块的控制进行相应的语音提示。

所述的视频识别模块对多帧图像的识别具体为：

所述图像预处理子模块，先对多帧图像进行强化处理和去除噪声，再将多帧图像由RGB空间转换到HSI空间作为标志检测子模块的输入；

所述标志检测子模块，根据预先确定的限速标上黄色区域的H阀值和S阀值，在HSI空间对黄色区域进行提取，限速标上绿色区域的H阀值和S阀值，在HSI空间上对绿色区域进行提取，并对提取到的黄色区域和绿色区域进行圆形检测，进而进行分类处理，其中，所述分类处理是指根据标志图像的颜色进行处理，其中绿色为解除限速标志，直接输出到控制模块，而黄色为限速标志，输出到字符分割子模块；

所述字符分割子模块，将标志检测子模块输出的黄色限速标志的灰度图像分割成多个字符图像；

所述字符识别模块，利用预先设定的字符识别模型对字符分割子模块分割得到的多个字符图像进行识别，将识别所得的结果作为视频识别模块的输出。

所述的控制模块根据视频识别模块的输出对列车进行控制，具体控制为：当检测到解除限速标志，则解除列车限速；当检测到T字圆牌，则控制语音提示模块发出如下的语音信号“前方即将进入限速路段”，提醒司机前方将进入限速路段；当检查到临时限速标，则控制语音提示模块发出如下语音信号“前方为限速路段，限速为XX”(式中的XX为具体的限速值)，警告司机前方即将进入限速路段，并且在当列车越过限速标志而司机没采取相应措施时，强行将列车车速限制在限速范围内。

本发明的另一个目的通过以下技术方案进行实现：一种铁路临时限速标志识别系统实现的铁路临时限速标志识别方法，包括以下步骤：

1)通过高速彩色摄像头获得视频流，经过分频器转变为两路视频流，一路作为显示模块的输入直接用于显示，另一路经由采集卡进行定时采集，将视频流转换为多帧图像并作为视频识别模块的输入；

2)将采集到的多帧图像进行强化处理和去除噪声处理，再将图像由RGB空间转换到HSI空间；

3)根据预先确定的限速标上的黄色和绿色的H阀值和S阀值，在HSI空间对黄色区域和绿色区域进行提取，以获得标志图像，并对提取到的黄色区域和绿色区域进行圆形检测，进而进行分类处理，如是绿色的标志图像则直接输出到控制模块进而解除限速，如是黄色的限速标志图像，则进行下一步骤；

4)对黄色的临时限速标志的灰度图像进行字符分割；

5)利用预先设定的字符识别模型对分割得到的字符图像应用归一化转动惯量法进行模板匹配，若匹配成功则将结果传送到步骤6)并根据结果输出不同的控制命令，若匹配不成功且是字符模板库中的最后一个模板则返回步骤3)；

6)根据步骤5)得到结果输出不同的控制命令：

若识别结果是T字牌则输出控制命令，让语音提示模块通知司机前方将进入限速路段；

若识别结果是限速标志，且列车当前速度超过限速值，则输出控制命令，让语音提示模块通知司机前方即将进入限速路段，要求司机采取措施，并且当列车越过限速标而司机没采取相应措施时输出控制命令，让控制模块强制限速，将列车车速限定在限速范围内；

若识别结果是限速标志，且列车当前速度没有超过限速值，则返回步骤3)。

所述预先设定的字符识别模型，具体是指对预先采集的现有限速标志中的字符的图像模板，应用归一化转动惯量法行模板匹配，其中，归一化转动惯量法具体如下：

先定义灰度图像的质心及其围绕质心的转动惯量，进行归一化得到该灰度图像的归一化转动惯量，利用NMI具有缩放、旋转和平移不变特性，将其作为物体的识别特征；具体是，二维数字化灰度图像f(M，N)的M*N个像元可看作是XOY平面上的M*N个质点，像元的灰度值f(i，j)就是相应质点的质量，对二维灰度图像作如下定义：

定义1二维灰度图像所有的灰度值之和定义为该灰度图像的质量，记为m，则

$m=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}f(i,j)$

定义2二维灰度图像重心，记为

则：

$\begin{array}{cc}\stackrel{\‾}{i}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}i\×f(i,j)}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}f(i,j)}& \stackrel{\‾}{j}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}j\×f(i,j)}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}f(i,j)}\end{array}$

对于均匀灰度值的二维图像，图像的重心也即该图像所占平面图形的形心；

定义3若将二维灰度图像绕其中任一点(i₀，j₀)的转动惯量记为

可定义如下：

通过对二维灰度图像进行灰度级的门限化或边缘检测，将二维灰度图像的灰度值或检测算子值与给定门限进行比较，重新赋以0或1，就可以组成一个新的二值图像，并能成功地把目标或其边缘信息从背景中显露出来。

定义4根据二维灰度图像质量、重心、转动惯量的定义，给出二值图像绕重心的归一化转动惯量，简称归一化转动惯量：

$\mathrm{NMI}=\frac{\sqrt{J_{(\stackrel{\‾}{i},\stackrel{\‾}{j})}}}{m}=\frac{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}({(i-i_0)}^2+{(j-j_0)}^2)f(i,j)}}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}f(i,j)}$

$=\frac{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}({(i-i_0)}^2+{(j-j_0)}^2)}}{\mathrm{\Σ}\stackrel{\mathrm{\Π}}{\mathrm{\Σ}}f(i,j)}$

式中，∏为二值图像中值为″1″的区域。可以看出NMI为二值图像绕其重心的转动惯量开平方与其质量之比。

所述圆形检测具体是指对采集到的图像上的黄色区域或绿色区域进行Hough变换实现圆形检测，进一步，Hough变换方法如下，在平面坐标上，以(a，b)为圆心，r为半径的圆的方程为：

(x-a)²+(y-b)²＝r²

式中包含了a、b、r三个参数，通过变换建立一个以a、b、r为坐标的三维参数空间，则图像xoy平面坐标中过任意一点对应于参数空间中的一个三维锥面，图像xoy平面坐标中同一圆上的点对应于参数空间中的所有三维锥面必然交于一点，而参数空间的一个点则对应于平面坐标上的一个圆，这样通过检测参数空间的这一点可以得到圆的圆心与半径，从而求得相应的圆。

与现有技术相比，本发明具有以下优点：

第一、识别速度快，识别率高；

第二、能对不同颜色的交通标志进行识别，而且对于临时限速标志的变更或添加有较强的适应性；

第三、能明显降低交通标志识别的设备和管理成本，节约经济资源；

第四、能及时向司机提供限速信息，降低疲劳等人为因素造成的影响，减少限速区段内超速造成的事故。

附图说明

图1为本发明一具体实施例的系统结构图；

图2为本发明一具体实施例的系统工作流程图；

具体实施方式

为使本发明的目的、技术方案及优点叙述更加清楚，以下参照附图并举实施例，对本发明进一步详细说明，但应该明确的是本发明的实施方式不限于此。

如图1所示，一种铁路临时限速标志识别系统，该系统包括：视频采集模块、视频识别模块、控制模块、显示模块和语音提示模块；其中，所述视频识别模块包括：图像预处理子模块、标志检测子模块、字符分割子模块、字符识别子模块。

显示模块与视频采集模块相连，视频采集模块、图像预处理子模块、标志检测子模块、字符分割子模块、字符识别子模块、控制模块依次相连，控制模块还与语音提示模块相连。

视频采集模块包括高速彩色摄像头、分频器、采集卡，视频采集模块通过高速彩色摄像头获得视频流，经过分频器转变为两路视频流，其中一路作为显示模块的输入直接用于显示，另外一路经由采集卡进行定时采集，将视频流转换为多帧图像作为视频识别模块的输入。

视频识别模块用于对视频采集模块输出的多帧图像进行识别，并输出识别结果作为控制模块的输入，其对多帧图像的识别具体为：

图像预处理子模块，先对多帧图像进行强化处理和去除噪声，再将多帧图像由RGB空间转换到HSI空间作为标志检测子模块的输入；

标志检测子模块，根据预先确定限速标上黄色区域的H阀值和S阀值，在HSI空间上对黄色区域进行提取，限速标上绿色区域的H阀值和S阀值，在HSI空间上对绿色区域进行提取，并对提取到的黄色区域和绿色区域进行圆形检测，进而进行分类处理，其中，所述分类处理是指根据标志图像的颜色进行处理，其中绿色为解除限速标志，直接输出到控制模块，而黄色为限速标志，输出到字符分割子模块；

字符分割子模块，将标志检测子模块输出的黄色限速标志的灰度图像分割成多个字符图像；

字符识别模块，利用预先设定的字符识别模型对字符分割子模块分割得到的多个字符图像进行识别，将识别所得的结果作为视频识别模块的输出。

所述语音提示模块根据控制模块的控制进行相应的语音提示。

控制模块根据视频识别模块的输出对列车进行具体的控制，具体为：

当检测到解除限速标志，则解除列车限速；当检测到T字圆牌，则控制语音提示模块提示“前方即将进入限速路段”，提醒司机前方将进入限速路段；当检查到临时限速标，则控制语音提示模块提示“前方为限速路段，限速为XX”(式中的XX为具体的限速值)，警告司机前方即将进入限速路段，并且在当列车越过限速标志而司机没采取相应措施时，强行将列车车速限制在限速范围内。

本发明中铁路临时限速标志识别系统的识别过程的流程如图2所示，具体包括：

步骤201：通过高速彩色摄像头获得视频流，经过分频器转变为两路视频流，一路作为显示模块的输入，直接用于显示，另一路经由采集卡进行定时采集，将视频流转换为一帧一帧的图像并作为视频识别模块的输入；

步骤202：将采集到的图像进行强化处理和去除噪声等预处理，再将图像由RGB空间转换到HSI空间；

步骤203：根据预先确定限速标上的黄色区域和限速标上的绿色区域的H阀值和S阀值，在HSI空间对黄色区域和绿色区域进行提取，以获得标志图像，并进行分类处理。

其中绿色为解除限速标志，直接输出到控制模块，进而解除限速；而黄色为限速标志，输出到视频识别模块进行识别。

步骤204：对黄色临时限速标志的灰度图像进行字符分割。

步骤205：利用预先设定的字符识别模型对分割得到的字符图像应用归一化转动惯量法进行模板匹配。

若匹配成功则将结果传送到步骤206，根据结果输出不同的控制命令，若匹配不成功且是字符模板库中的最后一个模板则返回步骤203。

步骤206：根据步骤205得到结果输出不同的控制命令。

若识别结果是T字牌则输出控制命令，让语音提示模块通知司机前方将进入限速路段。

若识别结果是限速标志，且列车当前速度超过限速值，则输出控制命令，让让语音提示模块通知司机前方即将进入限速路段，要求司机采取措施，并且当列车越过限速标而司机没采取相应措施则输出控制命令，让车速控制模块强制限速，将车速限定在限速范围内。

本发明已以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动和修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (6)

1.一种铁路临时限速标志识别系统，其特征在于，该系统包括：视频采集模块、视频识别模块、控制模块、显示模块和语音提示模块；其中，所述视频识别模块包括图像预处理子模块、标志检测子模块、字符分割子模块、字符识别子模块，进一步：

所述的显示模块与视频采集模块相连，所述的视频采集模块、图像预处理子模块、标志检测子模块、字符分割子模块、字符识别子模块、控制模块依次相连，所述的控制模块与语音提示模块相连；

所述视频采集模块包括高速彩色摄像头、分频器、采集卡，视频采集模块通过高速彩色摄像头获得视频流，经过分频器转变为两路视频流，其中一路视频流作为显示模块的输入直接用于显示；另外一路视频流经由采集卡进行定时采集，将视频流转换为多帧图像作为视频识别模块的输入；

所述的视频识别模块用于对视频采集模块输出的多帧图像进行识别，并输出识别结果作为控制模块的输入；

所述控制模块根据视频识别模块的输出对列车进行具体的控制；

所述语音提示模块根据控制模块的控制进行相应的语音提示。

2.根据权利要求1所述的一种铁路临时限速标志识别系统，其特征在于，所述的视频识别模块对多帧图像的识别具体为：

所述图像预处理子模块，先对多帧图像进行强化处理和去除噪声，再将多帧图像由RGB空间转换到HSI空间作为标志检测子模块的输入；

所述标志检测子模块，根据预先确定限速标上黄色区域的H阀值和S阀值，在HSI空间对黄色区域进行提取，限速标上绿色区域的H阀值和S阀值，在HSI空间上对绿色区域进行提取，并对提取到的黄色区域和绿色区域进行圆形检测，进而进行分类处理，其中，所述分类处理是指根据标志图像的颜色进行处理，其中绿色为解除限速标志，直接输出 到控制模块，而黄色为限速标志，输出到字符分割子模块；

所述字符分割子模块，将标志检测子模块输出的黄色限速标志的灰度图像分割成多个字符图像；

所述字符识别模块，利用预先设定的字符识别模型对字符分割子模块分割得到的多个字符图像进行识别，将识别所得的结果作为视频识别模块的输出。

3.根据权利要求1所述的一种铁路临时限速标志识别系统，其特征在于所述的控制模块根据视频识别模块的输出对列车进行控制，具体控制为：当检测到解除限速标志，则解除列车限速；当检测到T字圆牌，则控制语音提示模块发出语音信号，提示前方即将进入限速路段；当检查到临时限速标，则控制语音提示模块发出语音信号，提示前方为限速路段，并且在当列车越过限速标志而司机没采取相应措施时，控制模块强行将列车车速限制在限速范围内。

4.采用权利要求1所述铁路临时限速标志识别系统实现的铁路临时限速标志识别方法，其特征在于包括以下步骤：

1)通过高速彩色摄像头获得视频流，经过分频器转变为两路视频流，一路作为显示模块的输入直接用于显示，另一路经由采集卡进行定时采集，将视频流转换为多帧图像并作为视频识别模块的输入；

2)将采集到的多帧图像进行强化处理和去除噪声处理，再将图像由RGB空间转换到HSI空间；

3)根据预先确定的限速标上的黄色和绿色的H阀值和S阀值，在HSI空间对黄色区域和绿色区域进行提取，以获得标志图像，并对提取到的黄色区域和绿色区域进行圆形检测，进而进行分类处理，如是绿色的标志图像则直接输出到控制模块进而解除限速，如是黄色的限速标志图像，则进行下一步骤； 

4)对黄色的临时限速标志的灰度图像进行字符分割；

5)利用预先设定的字符识别模型对分割得到的字符图像应用归一化转动惯量法进行模板匹配，若匹配成功则将结果传送到步骤6)并根据结果输出不同的控制命令，若匹配不成功且是字符模板库中的最后一个模板则返回步骤3)；

6)根据步骤5)得到结果输出不同的控制命令：

若识别结果是T字牌则输出控制命令，让语音提示模块通知司机前方将进入限速路段；

若识别结果是限速标志，且列车当前速度超过限速值，则输出控制命令，让语音提示模块通知司机前方即将进入限速路段，要求司机采取措施，并且当列车越过限速标而司机没采取相应措施时输出控制命令，让控制模块强制限速，将列车车速限定在限速范围内；

若识别结果是限速标志，且列车当前速度没有超过限速值，则返回步骤3)。

5.根据权利要求4所述的一种铁路临时限速标志识别方法，其特征在于，所述预先设定的字符识别模型，具体是指对预先采集的现有限速标志中的字符的图像模板，应用归一化转动惯量法行模板匹配，其中，归一化转动惯量法具体如下：

将二维数字化灰度图像f(M，N)的M*N个像元看作XOY平面上的M*N个质点，像元的灰度值f(i，j)就是相应质点的质量，对二维灰度图像作如下定义：

定义1二维灰度图像所有的灰度值之和定义为该灰度图像的质量，记为m，则

定义2二维灰度图像重心，记为 则： 

对于均匀灰度值的二维灰度图像，图像的重心也即该二维灰度图像所占平面图形的形心；

定义3将二维灰度图像绕其中任一点(i₀，i₀)的转动惯量记为 则定义如下：

其中，通过对二维灰度图像进行灰度级的门限化或边缘检测，将图像的灰度值或检测算子值与给定门限进行比较，重新赋以0或1，便组成了一个新的二值图像，并能把目标信息或目标边缘信息从背景中显露出来；

定义4根据二维灰度图像质量、重心、转动惯量的定义，给出二值图像绕重心的归一化转动惯量，简称归一化转动惯量：

式中，∏为二值图像中值为″1″的区域。

6.根据权利要求5所述的一种铁路临时限速标志识别方法，其特征在于，所述圆形检测具体是指对采集到的图像上的黄色区域或绿色区域 进行Hough变换实现圆形检测，进一步，Hough变换方法如下：

在平面坐标上，以(a，b)为圆心，r为半径的圆的方程为：

(x-a)²+(y-b)²＝r²

式中包含了a、b、r三个参数，通过变换建立一个以a、b、r为坐标的三维参数空间，则图像xoy平面坐标中过任意一点对应于参数空间中的一个三维锥面，图像xoy平面坐标中同一圆上的点对应于参数空间中的所有三维锥面必然交于一点，而参数空间的一个点则对应于平面坐标上的一个圆，这样通过检测参数空间的这一点可以得到圆的圆心与半径，从而求得相应的圆。 

Images