CN104008377A - 基于时空关联的地面交通标志实时检测识别方法 - Google Patents

Abstract

基于时空关联的地面交通标志实时检测识别方法属于交通信息检测领域。本发明以20-50帧/秒的帧率实时获取智能车辆前方道路的图像Src，结合空间关联信息，对获取的原始图像Src进行切割、灰度变换、高斯滤波、二值化处理、透视变换，得到透视图像Src_IP。通过面积过滤、长宽比过滤得到待检测的标志图案diff_j。同时，读入处理过的地面交通标志图像temp_i。通过图像匹配，计算diff_j与每一幅标准图像temp_i之间的相似度，找到一组最相似的图片。将temp_i与相对应diff_j的进行相减，统计新图像中的白色像素点个数Sum_i_r，Sum_i_r少于设定的阈值时，即认为存在对应的标准图像中的地面交通标志。结合时空关联信息，对于识别结果进行逻辑判断，提升准确率。本发明适用于复杂城市道路环境的智能驾驶。

Description

基于时空关联的地面交通标志实时检测识别方法

技术领域

本发明是一种基于智能驾驶的地面交通标志实时检测的方法，属于智能交通行业的交通信息检测领域。

背景技术

自第一辆汽车面世以来，汽车的研究始终处于一个高速、向上的状态；随着科技水平的提升，对于汽车的研究已经由简单的机械领域扩展到集图像、通信、自动化等众多学科的领域。随着社会经济的发展，汽车保有量逐年增加，各种问题随之而来，智能驾驶系统应运而生。无人驾驶机车的研制，是智能驾驶系统的新的关键点所在。对地面交通标志的识别，是智能驾驶中的一个重要领域。准确率和识别速率是该项研究的重点。通过判断车辆行驶的车道中，是否含有地面交通标志，以及地面交通标志的种类和类型，给予驾驶员和智能系统准确的指引信息，是地面交通标志识别的关键所在。通过对地面交通标志的准确识别，减少因失误造成的事故数量，提高道路交通的安全系数。

地面交通标志的识别，首先需要从摄像头采集的视频图像中，将地面与天空区分开；其次，要准确选择本车行驶的车道；第三，通过时空关联将地面交通标志存在的区域筛选出来。目前，对于地面交通标志识别的研究，集中于通过逆透视变换结合Hu不变矩，对地面交通标志进行检测识别。该方法有一定的准确率，但是通过提取Hu不变矩，来进行判断地面交通标志的种类会产生误差。尤其是在地面交通标志有一定的污损或者是在强光照射等条件下，不能得出准确的结果。所以，需要结合时空关联信息进行识别判断。

发明内容

本发明的目的在于无人驾驶机车行驶过程中，通过车载摄像头，采集地面图像，实时处理图像，判断其中是否含有地面交通标志，并判断其中的标志种类及其信息，从而给予正确的引导信息；克服现有方法存在抗干扰性弱、检测率低、检测速度慢、成本高以及耗能大等缺点，提出了一种基于时空关联的地面交通标志实时检测识别方法。

为了实现上述目的，本发明采取了如下技术方案：

一、摄像机安装。本发明中将摄像头安置在汽车中央后视镜处。

二、图像预处理。通过车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像Src。结合先验知识与空间关联信息，得出当前车道的地面交通标志出现的区域范围。对获取的原始图像Src进行剪切，得到感兴趣区域Src_roi；对感兴趣区域进行灰度变化，得到新的图像Src_gray，进行图像压缩，得到新的图像Src_gs；图像二值化处理，得到新的图像Src_bw；通过形态学处理、中值滤波和逆透视变换得到Src_IP。

三、设定地面交通标志模板。我国现阶段，城市公路、高速公路使用的地面交通标志主要包括如下六种：直行箭头、左转箭头、右转箭头、直行加左转箭头、直行加右转箭头、掉转箭头。本发明主要研究识别以上六种地面交通标志。根据《道路交通标志和标线》(GB_5768-1999)规定，行车速度≤40km/h、60km/h～80km/h和≥100km/h不同路段地面交通标志大小尺寸不一致，等比例缩放。本发明可用于检测识别不同行车速度的路段。通过摄像机采集地面图片，通过图像预处理，对含有完整地面交通标志的图片Src_IP进行剪切，从而获得地面交通标志图像templ_i。templ_i是一个templ_i_width×templ_i_height维图像矩阵。要求模板图像只含有地面交通标志，每一种地面交通标志对应一种模板，共得到六种地面交通标志模板。

四、图像匹配。通过边缘算子检测，对图像Src_IP进行边缘提取；在边缘提取的基础上，获得图像轮廓；对图像的轮廓，做外接矩形。通过面积过滤、长宽比过滤等方式，可以得到完整的地面交通标志的轮廓，进行轮廓填充。此时我们得到的是地面交通标志的图案，将该图案截取下来。与预先设定的模板进行匹配。通过计算图像之间的相似度，选取最相似的图像组。计算最相似的待检测图像和模板图像之间的相似度，若相似度数值在设定阈值范围以内，则认为此时图像中含有对应的地面交通标志，否则，认为不含有对应的地面交通标志。

五、时空关联增强识别准确率。本发明中，我们提出通过时空关联的信息来增强识别鲁棒性。智能车辆行驶过程中采集到的是完整的视频；对于同一个地面交通标志，多次检测结果，中间的某一次出现错误的时候，自动滤除错误的识别结果；车辆位于同一车道上，同一地面交通标志出现次数大于等于三次；多车道的情况下，调转箭头、左转、右转、左转直行箭头、右转直行箭头不会出现在中间车道。

与现有的检测方法相比，本发明具有如下优点：(1)该发明是应用于无人驾驶车之上，实时性较好，每帧的处理时间在40ms左右，有较强的实用价值。(2)本发明能够识别不同的地面交通标志。(3)本发明基于现有的图像匹配技术实现检测识别，提高了准确率，在实验场地的情况下，准确率能达到95％以上。

附图说明

图1 本发明的地面交通标志检测流程图；

图2 直行模板；

图3 右转模板；

图4 左转模板；

图5 右转加直行模板；

图6 左转加直行模板；

图7 掉转模板；

图8 本发明检测实例所用到的一幅原始图像；

图9 对图8进行压缩、剪切得到的感兴趣区域；

图10 对图9进行灰度变换得到的图像；

图11 对图10进行二值变换、形态学处理、滤波得到的图像；

图12 对图11进行逆透视变换得到图像；

图13 对图12进行边缘检测、轮廓提取；

图14 对图13中的轮廓做外接矩形；

图15 对图14进行面积过滤、宽高比过滤所得图像；

图16 将图15中剩余部分截取得到新的图像；

图17 图16与准备的模板进行图像匹配、图像相减进行判断；

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。

一、摄像机安装。本发明中将摄像头安置在汽车中央后视镜处，摄像机距离地面1-1.2米。

二、通过车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像Src。结合先验知识与空间关联信息，我们可以得出当前车道的地面交通标志出现的区域范围。对获取的原始图像Src进行剪切，将图像上部2/3裁剪，取余下的1/3，得到新的图像Src_height；继续对图像Src_height裁剪，从图像的左侧到右侧，图像左侧为0宽度，图像右侧为1宽度，从0.4宽度部分开始裁剪，到0.9宽度截止，得到感兴趣区域Src_roi；对感兴趣区域进行灰度变化，计算R,G,B通道值的平均值，作为灰度图像的灰度值Gray，B,G,R代表图像的三通道颜色值，得到新的图像Src_roi；

$\left\{\begin{array}{c}\mathrm{Gray}=1/3\×(B+G+R)\\ B=\mathrm{Gray}\\ G=\mathrm{Gray}\\ R=\mathrm{Gray}\end{array}\right.---\left(1\right)$

对于灰度图像Src_gray通过双线性插值的方法，进行图像压缩，得到新的图像Src_gs；对于一个目的像素，通过坐标反向变换得到的浮点坐标为(i+m，j+n)(其中i、j均为浮点坐标的整数部分，m、n为浮点坐标的小数部分，是取值[0，1)区间的浮点数，则这个像素的值f(i+m，j+n)可由原图像中坐标为(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)所对应的周围四个像素的值决定，即：其中f(i，j)表示源图像(i，j)处的像素值。

f(x+m,y+n)＝(1-m)(1-n)f(x,y)+(1-m)nf(x,y+1)(2)+m(1-n)f(x+1,y)+mnf(x+1,y+1)

对于图像Src_gs，进行自适应二值化处理，得到新的图像Src_bw。通过计算某个像素的一定邻域(n*n)范围内像素的灰度的均值c，通过减去预先设定的参数θ，θ＝26，得到该像素二值化的阈值T(x，y)。

$c=\frac{\underset{x-(n-1)/2}{\overset{x+(n-1)/2}{\text{\Σ}}}\·\underset{y-(n-1)/2}{\overset{y+(n-1)/2}{\mathrm{\Σ}}}s(i,j)-s(x,y)}{n^2-1}---\left(3\right)$

T(x,y)＝c-θ                   (4)

$\left\{\begin{array}{cc}s(x,y)=255,& s(x,y)>T(x,y)\\ s(x,y)=0,& s(x,y)<T(x,y)\end{array}\right.---\left(5\right)$

像素灰度在阈值T(x，y)之下，将像素灰度值设为0；像素灰度值在阈值之上，灰度值设为255。对二值化后的图像进行腐蚀、膨胀操作，然后采用中值滤波的方式，对膨胀腐蚀过后的图像进行滤波处理，得到图像Src_lb。对于滤波处理过后的图像Src_lb进行逆透视变换。逆透视变换实现两个坐标系W(世界坐标系)和I(图像坐标系)之间的转换。

W＝{(x,y,z)}∈E³               (6)

I＝{(u,v)}∈E²                (7)

E代表欧式空间，E³代表三维欧式空间，E²代表二位欧式空间。

将车载摄像头安置在汽车中央后视镜处，摄像机在水平面的投影为世界坐标系的原点。车载摄像机安装在车体中的位置，在世界坐标系下的坐标为(0,0,h)，摄像机标定的其他参数如下：

γ：摄像机光轴ο在z＝0平面的投影与y轴的夹角；

θ：摄像机光轴ο偏离z＝0平面的角度；

2α：摄像机的视角；

Rx：摄像机水平方向的分辨率；

Ry：摄像机垂直方向的分辨率。

发明中摄像机摆放位置固定。图像坐标系到世界坐标系的逆透视变换关系如下：

$x=h\&times;\mathrm{ctg}(\frac{2\mathrm{\&alpha;}}{R_y-1}u-\mathrm{\&alpha;}+\mathrm{\&theta;})\&times;\sin (\frac{2\mathrm{\&alpha;}}{R_x-1}v-\mathrm{\&alpha;}+\mathrm{\&gamma;})---\left(8\right)$

$y=h\&times;\mathrm{ctg}(\frac{2\mathrm{\&alpha;}}{R_y-1}u-\mathrm{\&alpha;}+\mathrm{\&theta;})\&times;\cos (\frac{2\mathrm{\&alpha;}}{R_x-1}v-\mathrm{\&alpha;}+\mathrm{\&gamma;})---\left(9\right)$

z＝0                  (10)

经过透视变换后，得到图像Src_IP。

在Src_IP图像中，选择污损程度较少，整体性完整的地面交通标志作为我们待匹配的图像，即模板图像。每一种地面交通标志选择一种待匹配的图像。手动截取各个地面交通标志平行于坐标轴的外接矩形内部区域，templ_i一共得到六种模板图像，直行箭头模板templ_1、左转箭头模板templ_2、右转箭头模板templ_3、直行加左转箭头模板templ_4、直行加右转箭头模板templ_5、掉转箭头模板templ_6。

在逆透视过后的图像中，进行边缘提取、轮廓提取。对每个轮廓进行平行于坐标轴的外接矩形求解。找出完整地面交通标志的轮廓外接矩形，从而将外接矩形内部区域截取出来。

此时我们可以得到轮廓的外接矩形的坐标。该过程需要我们将不完整的图案轮廓滤除。在求解外接矩形过程中，若外接矩形与待测区域图像边缘部分重合，将此图案滤除，保证获得完整的轮廓。将保留的轮廓进行填充，得到连通域。二值图中的连通域面积是一个连通域中白色像素点的个数和。通过面积过滤，可以将部分噪声进行过滤，提升鲁棒性和准确率。

area＝∑∑S(x,y)                   (11)

当二值化图像中像素点S(x,y)灰度值为255时，S(x,y)的值为1；当s(x,y)灰度值为0时，S(x,y)值为0。

遍历二值图中所有连通域，求取所有连通域的面积。由于地面交通标志种类不同，所以选取不同条件下最远距离获得的面积最小值和最近距离获得的面积最大值作为阈值，面积满足[min_area，max_area]阈值范围内的轮廓保留，对应的连通域进行保留。

$\left\{\begin{array}{cc}s(x,y)=255,& \min \_\mathrm{area}<=\mathrm{area}<=\max \_\mathrm{area}\\ s(x,y)=0,& \mathrm{area}>=\max \_\mathrm{area\; or\; area}<=\min \_\mathrm{area}\end{array}\right.---\left(12\right)$

面积阈值范围的确定，对于Src_IP中出现的地面交通标志，通过由远及近测量各个完整的地面交通标志的面积，max_area为面积最大值，此处为3000，min_area为面积最小值，此处为500。经过面积过滤之后，对图像继续进行宽高比过滤。选取不同条件下六种地面交通标志在最远距离与最近距离之间的所有图像，计算其外接矩形宽度与高度之比，求取比例系数的并集，得出宽高比范围[β_min,β_max]。β_min此处为2.5，β_max此处为8.5。外接矩形宽高比满足该范围的轮廓保留。

β＝w/h                (13)

[β_min,β_max]＝β₁∪β₂∪β₃∪…∪β_i∪…        (14)

$\left\{\begin{array}{cc}s(x,y)=255,& \mathrm{\&beta;}\_\min <={\mathrm{\&beta;}}_i<=\mathrm{\&beta;}\_\max \\ s(x,y)=0,& {\mathrm{\&beta;}}_i>=\mathrm{\&beta;}\_\max \mathrm{or}{\mathrm{\&beta;}}_i<=\mathrm{\&beta;}\_\min \end{array}\right.---\left(15\right)$

对于剩余的轮廓进行填，将填充的轮廓截取出来，得到新的图像diff_j。此时，将待图像templ_i和diff_j归一化为相同尺寸。计算待检测的地面交通标志图像diff_j与预先设定好的标准的地面交通标志图像之间的templ_i欧式距离D，来判断二者之间的相似度，相似度最高的一组，即认为二者之间匹配程度最高。

$D=\mathrm{\&Sigma;\&Sigma;}\sqrt{{(\mathrm{diff}\_j\_\left(x\right)-\mathrm{templ}\_i\left(x\right))}^2+{(\mathrm{diff}\_j\_\left(y\right)-\mathrm{templ}\_i\left(y\right))}^2}---\left(16\right)$

D取得最大时则认为该组标准图像与连通域之间的匹配程度最高，是最匹配的情况。在找到最匹配的连通域与标准图像之后，通过差值识别的方法，继续进行地面交通标志的识别。计算待标准图像temp_i_bw和其最相似的检测图像diff_j的像素差值Sum_i_r。

Sum_i_r＝|∑∑diff_j_(x,y)-templ_i_bw(x,y)|        (17)

车辆由远及近驶向地面交通标志的过程所采集的图像，进行透视变换，然后进行分割，将其中的地面交通标志人为剪切出来，做成新的图像。并与事先选定的相应标准图像，进行图像相减，通过大量实验，取得差值范围的并集，作为我们的差值识别过程中的阈值范围(T_i_min，T_i_max)。此处T_i_min为0，T_i_max为1300。每一个标准图像对应一组范围。将图像像素差值Sum_i_r与预先设定的阈值(T_i_min，T_i_max)相比较，若Sum_i_r在阈值(T_i_min，T_i_max)范围内，则图像Src_bw中含有相对应的标准图像templ_i所代表的交通标志，就可以输出此时待匹配图像所含有的指示信息；否则，不含有相对应的指示信息。

智能车辆行驶过程中采集到的是完整的视频。仅仅对图片进行检测，会产生实验误差，影响车辆的行驶。地面交通标志提供的导引信息，具有连贯性和可持续性；同时，车载GPS等定位装置，可以给予更多的辅助信息，减少实验误差，提升准确率。

结合时空关联性，对于同一个地面交通标志，多次检测结果，中间的某一次出现错误的时候，我们自动滤除错误的识别结果。对于同一个地面交通标志，我们通常会有N帧图像可以用来检测。

前n帧图像，检测为直行标志，第n+1帧检测为非直行标志，n+2帧检测为直行标志，N-n-2为直行标志，则认为第n+1帧为错误识别结果，此标志为直行标志；

前n帧图像，检测为左转标志，第n+1帧检测为非左转标志，n+2帧检测为左转标志，N-n-2为左转标志，则认为第n+1帧为错误识别结果，此标志为左转标志；

前n帧图像，检测为右转标志，第n+1帧检测为非右转标志，n+2帧检测为右转标志，N-n-2为右转标志，则认为第n+1帧为错误识别结果，此标志为右转标志；

前n帧图像，检测为左转直行标志，第n+1帧检测为非左转直行标志，n+2帧检测为左转直行标志，N-n-2为左转直行标志，则认为第n+1帧为错误识别结果，此标志为左转直行标志；

前n帧图像，检测为右转直行标志，第n+1帧检测为非右转直行标志，n+2帧检测为右转直行标志，N-n-2为右转直行标志，则认为第n+1帧为错误识别结果，此标志为右转直行标志；

前n帧图像，检测为掉转标志，第n+1帧检测为非掉转标志，n+2帧检测为掉转标志，N-n-2为掉转标志，则认为第n+1帧为错误识别结果，此标志为掉转标志。

车辆位于同一车道上，同一地面交通标志出现次数大于等于三次。

多车道的情况下，调转箭头、左转、右转、左转直行箭头、右转直行箭头不会出现在中间车道。

Claims (1)

1.一种基于时空关联的地面交通标志实时检测识别的方法，其特征在于，包括以下步骤：

1)将摄像机置于车内中央后视镜处，位置固定，距离地面1-1.2米。

2)通过车辆上固定的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像Src，结合先验知识与空间关联信息，得出当前车道的地面交通标志出现的区域范围。对获取的原始图像Src进行剪切，得到感兴趣区域Src_roi；对感兴趣区域进行灰度变化，得到新的图像Src_gray，进行图像压缩，得到新的图像Src_gs；图像二值化处理，得到新的图像Src_bw；通过形态学处理、中值滤波和逆透视变换得到Src_IP；

3)标准地面交通标志图案的选取；对于透视变换过后的含有完整地面交通标志的图像进行剪切，得到地面交通标志模板图像templ_i；templ_i是一个templ_i_width×templ_i_height维图像矩阵；每一种地面交通标志对应一种模板，共得到六种地面交通标志模板，分别为：直行箭头模板templ_1、左转箭头模板templ_2、右转箭头模板templ_3、直行加左转箭头模板templ_4、直行加右转箭头模板templ_5、掉转箭头模板templ_6；

4)地面交通标志识别；通过对逆透视变换过后的图像Src_IP进行边缘提取，轮廓提取，对每一个轮廓取外接矩形，通过面积过滤、长宽比过滤、尺寸归一化，得到尺寸一致的完整的地面交通标志图案diff_j；

对于Src_IP中出现的地面交通标志，max_area为面积最大值，此处为3000，min_area为面积最小值，此处为500；经过面积过滤之后，对图像继续进行宽高比过滤；宽高比范围[β_min,β_max]；β_min此处为2.5，β_max此处为8.5，外接矩形宽高比满足该范围的轮廓保留；

与预先设定的标准的地面交通标志模板图像temp_i进行计算，计算二者之间的欧氏距离；

$D=\mathrm{\&Sigma;\&Sigma;}\sqrt{{(\mathrm{diff}\_j\_\left(x\right)-\mathrm{templ}\_i\left(x\right))}^2+{(\mathrm{diff}\_j\_\left(y\right)-\mathrm{templ}\_i\left(y\right))}^2}---\left(1\right)$

欧式距离最小，则认为此时的待检测的图像中可能含有相对应的地面交通标志；完整的图案diff_i与相同尺寸的地面交通标志模板图像temp_i相减，计算白色像素点个数Sum_i_r；若白色像素点个数在阈值范围内，则认为此时的待检测的图像中含有相对应的地面交通标志；

dst_i(x,y)＝|diff_i(x,y)-templ_i_bw(x',y')|            (2)

dst_i(x,y)表示图像dst_i中每个像素点，在二值图像dst_i中每个像素点的值为0或者255，黑色像素点值为0，dst_i(x,y)用0表示；白色像素点的值为255，dst_i(x,y)用1表示；统计dst_i图像中白色像素点个数Sum_i_r；

$\mathrm{Sum}\_i\_r=\underset{x=0}{\overset{\mathrm{diff}\_i\_\mathrm{wid}}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{\mathrm{thdiff}\_i\_\mathrm{height}}{\mathrm{\&Sigma;}}}\mathrm{dst}\_i(x,y)---\left(3\right)$

将Sum_i_r与预先设定的阈值T相比较，若diff_i_sum小于或者等于阈值T，则图像Src_IP中含有相对应的模板temp_i所代表的交通标志，就可以输出该模板所含有的指示信息；若Sum_i_r大于阈值T，则说明图像Src_IP中不含有相对应的交通标志图像temp_i；阈值T的阈值范围(T_i_min，T_i_max)；此处T_i_min为0，T_i_max为1300；每一个标准图像对应一组范围；将图像像素差值Sum_i_r与预先设定的阈值(T_i_min，T_i_max)相比较，若Sum_i_r在阈值(T_i_min，T_i_max)范围内，则图像Src_bw中含有相对应的标准图像templ_i所代表的交通标志，就可以输出此时待匹配图像所含有的指示信息；否则，不含有相对应的指示信息；

5)智能车辆行驶过程中采集到的是完整的视频；对于同一个地面交通标志，多次检测结果，中间的某一次出现错误的时候，自动滤除错误的识别结果；车辆位于同一车道上，同一地面交通标志出现次数大于等于三次；多车道的情况下，调转箭头、左转、右转、左转直行箭头、右转直行箭头不会出现在中间车道。