CN103489324B - 一种基于无人驾驶的实时动态红绿灯检测识别方法 - Google Patents

Abstract

一种基于无人驾驶的实时动态路口红绿灯检测识别方法属于智能交通行业的交通信息检测领域。本发明首先对原始图像进行感兴趣区域切割，通过经验值过滤掉与红绿灯无关的区域。其次，设置小模板即红绿灯模板，并求取其HSV空间的二维直方图。再次。读入待处理图片，设置搜索块大小与小模板相同，反向块投影来搜索，计算出搜索的位置。最后，在得出的红绿灯位置基础上，转换到YCBCR空间进行颜色识别。之后分别求取红色、绿色区域的坐标位置并比较，依据红灯、绿灯位置信息及智能车所在的车道信息决定行驶与否。本发明能够实时动态地检测出红绿灯信息，运用于无人驾驶车当中。

Description

一种基于无人驾驶的实时动态红绿灯检测识别方法

技术领域

本发明是一种利用视频图像基于无人驾驶的实时动态红绿灯检测识别方法，属于智能交通行业的交通信息检测领域。

背景技术

随着社会和经济的快速发展，无人驾驶车辆越来越受到人们的关注。原因在于以下：无人驾驶车辆能够替代驾驶员减少交通事故的发生，并且可以替代驾驶员完成特殊的作业。对于车辆的行驶，在路口准确的实时的识别红绿灯颜色是必须的。因此，对于解决无人驾驶的实时动态红绿灯检测识别，还有提升与进步的空间。

要解决这个问题，首先必须要能够从复杂的背景图片中获得红绿灯的大概位置，然后再判断红绿灯的具体信息。目前，对无人驾驶车上的红绿灯识别方法主要有神经网络等方法。该方法检测有一定的准确率，但是受样本特性影响，只有样本足以表征问题的特性时，效果明显，并且样本的测试数量要合适，所以样本选择尤其重要。

发明内容

本发明的目的在于将本发明实时运行于无人驾驶车当中，准确识别路口红绿灯信息，提高其行驶的安全性，提出了一种基于视频图像处理的实时动态红绿灯检测识别方法。

为了实现上述目的，本发明采取了如下技术方案：

首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1.2米，摄像头广角大于120度，分辨率大于640*480。

一、设定红绿灯模板，同时求取模板的二维直方图。所设定的模板特点明显，便于提取直方图特征，进而在下一步利用该特征进行搜索。求二维直方图按如下步骤进行：首先对模板图像进行颜色空间变换，由RGB空间转换到HSV空间；然后求取模板图像的H分量和S分量；在这基础上，计算此二分量的二维直方图hist_src。

二、读取待处理图片dst_cut1，使用函数cvCalcBackProjectPatch()反向块投影求取红绿灯位置，该函数中参数CV_COMP_CORREL表示相关系数，相关系数值为1是最相关。该函数工作过程如下：第一次窗口从(0,0)起滑动，第二次(0,1)起滑动，以此类推，每次滑动移动一个像素，窗口大小与size相同。在dst_cut1上切割一块src大小的临时图像，生成临时图像的二维直方图，比较临时图像的二维直方图与src的二维直方图差异，依次得出取值范围为0-1的相关系数，同时定义与图片dst_cut1大小相同的图片result保存结果，将(0,0)起滑动生成的相关系数赋值给图片result(0,0)处的值，将(0,1)起滑动生成的相关系数赋值给图片result(0,1)处的值，窗口遍历到图片dst_cut1右下角之后，生成结果图result，该图上每点像素表示一次比较后的相关系数值。之后在结果图result上使用函数cvMinMaxLoc()计算出该最大值的位置，就找到了滑窗遍历后直方图与模板最相近位置。在图片dst_cut1上找到与结果图中相关系数最大处所对应的位置，再对此位置长度放大2倍，高度不变来包括红绿灯整体，长度放大2倍后，高度不变的位置即为红绿灯在待处理图片中的位置，将红绿灯在待处理图片中的位置切割出来得图片dst_cut2；

上述函数cvCalcBackProjectPatch()表示的思想是：滑窗与模版大小相同，从顶点坐标开始依次滑动，每次滑动移动一个像素，每次都把当前窗口处的图像存储为一幅临时图像，对图片dst_cut1不做变化，计算当前滑窗内临时图像像素的二维直方图，采用相关系数法与模版的二维直方图进行对比，每次得出一个相关系数，将每个相关系数保存到结果图片对应的点，直到滑窗遍历到图像的右下角终点坐标，取结果图片的相关系数的最大值的坐标位置，将该范围长度放大2倍，高度不变以包括红绿灯整体，将与结果图中相关系数最大处所对应的位置在图片dst_cut1中切割出来即为搜索到的红绿灯所在位置dst_cut2。该步骤通过搜索，在大范围的实时视频中得到了红绿灯精确地位置。

三、对定位的红绿灯位置dst_cut2进行颜色识别。上述两步已经得到了准确的红绿灯位置，接下来识别颜色即可。RGB空间也可以进行颜色识别，但是受光照等环境影响较大，转换到YCBCR空间时间短且识别准确。提取符合红绿灯颜色的cr通道值，并且将符合该条件的区域二值化，分别得到绿灯二值化图bw_green，红灯二值化bw_red。

其中，s_g.val[0]为绿灯二值化图bw_green的像素值，s.val[1]为dst_ycrcb的cr通道值，满足上述条件s.val[1]>95&&s.val[1]<110时，说明当前像素为绿色像素，将其二值化为白色，不满足s.val[1]>95&&s.val[1]<110时，将其二值化为黑色。

同理，为红灯二值化图bw_red的像素值，满足上述条件s.val[1]>145&&s.val[1]<470时，说明当前像素为红色像素，同上进行二值化操作。之后对绿灯二值化图bw_green、红灯二值化图bw_red这两幅图膨胀操作得到绿色和红色的膨胀二值图dst_dilate_green，

dst_dilate_red。该步骤得到了红色和绿色的区域，并且二值化为白色。

即dst_dilate_red图中白色区域就是原图中的红色区域，

dst_dilate_green图中白色区域就是原图中的绿色区域。

四、判别红绿灯状态，第三步已经提取出了红绿色区域，该步骤进一步判断。首先求解红灯、绿灯各自的像素信息。依据dst_dilate_green与dst_dilate_red中的像素是否符合条件阈值，输出判断信息为红灯还是绿灯，达到准确判断，辅助驾驶的目的。

${\mathrm{Sum}}_g=\left\{\begin{array}{cc}{\mathrm{Sum}}_g+1& s_g.\mathrm{val}\left[0\right]=255\\ {\mathrm{Sum}}_g& \mathrm{else}\end{array}\right.---\left(3\right)$

Sum_g为绿灯像素数，其中当s_g.val[0]为255时，说明该白色像素为绿灯像素，Sum_g累加，若不为255，则不是绿色像素，像素数不累加。

${\mathrm{Sum}}_r=\left\{\begin{array}{cc}{\mathrm{Sum}}_r+1& s_r.\mathrm{val}\left[0\right]=255\\ {\mathrm{Sum}}_r& \mathrm{else}\end{array}\right.---\left(4\right)$

Sum_r为红灯像素数，其中当s_r.val[0]为255时，说明该白色像素为红灯像素，Sum_r累加，若不为255，则不是红色像素，像素数不累加。该步骤是通过求取红绿色像素达到判断是否有红绿灯的目的。下一步则是判断具体情况，是红绿灯同时存在还是红灯、绿灯单独存在，并求出位置关系。

其次，求解红灯、绿灯各自的位置信息。在dst_dilate_green与dst_dilate_red图中，红绿灯为白色区域，cvFindContours为在二值图像中检索轮廓的函数，利用该函数检索出白色区域的轮廓，也就是检索出红灯及绿灯的轮廓，，

cvDrawContours在dst_dilate_green中将绿灯外轮廓标示为绿色，图为dst_g，在dst_dilate_red中将红灯外轮廓标示为红色,图为dst_r。

此后分别遍历外轮廓线上的像素点，将横坐标x累加分别得红、绿外轮廓线坐标和sum_r，sum_g，分别除以红、绿外轮廓线像素总数num_r、num_g，得红、绿区域位置avg_r，avg_g。即求取外部轮廓的横坐标均值，来代表各自坐标信息。判断上述二值avg_r、avg_g的大小，得到红绿灯同时存在时的位置关系。

$\mathrm{avg}\_r=\frac{\mathrm{Sum}\_r}{\mathrm{num}\_r}---\left(7\right)$

$\mathrm{avg}\_g=\frac{\mathrm{Sum}\_g}{\mathrm{num}\_g}---\left(8\right)$

其中rgbval[0]为图dst_g、dst_r的B通道值，rgb.val[1]为G通道值，rgb.val[2]为R通道值。

根据以下方法判断当前信号灯的状态；

其中Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r<30时，红色像素总数较少，说明不存在红灯，green为1表明前方只存在绿灯，智能车正常行驶；

其中Sum_g，Sum_r满足上述阈值范围Sum_r>80&&Sum_g<30时，红色像素总数较多，red为1表明前方只存在红灯，智能车应减速并准备停车。

Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r>80&&avg_g<avg_r时，红灯绿灯同时存在，avg_g<avg_r说明绿灯区域的横坐标小于红灯区域的，即绿灯在左，红灯在右。

Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r>80&&avg_r<avg_g时，红灯绿灯同时存在，并且红灯在左，绿灯在右。智能车依据其所在车道判断停车与否。例如路口红绿灯状态为左转灯绿色，直行灯为红色，本发明输出信号左边绿色，右边红色，如当前车位于左转车道则继续行驶，如位于直行车道则停车。

与现有的检测方法相比，本发明具有如下优点：(1)该发明是应用于无人驾驶车之上，速度较快，每帧的处理时间在100ms左右，有较强的实用价值。(2)本发明能够识别多种类型的红绿灯，包括不同材质，不同放置位置，不同红绿灯个数等等。(3)本发明不同于已有的利用机器学习方法识别红绿灯，是采用了搜索定位，能避免车尾灯等其他物体的干扰，提高了准确率和实施性。

附图说明

图1本发明的遍历检索红绿灯原理图；

图2本发明的红绿灯检测识别原理图；

图3红绿灯识别的原图；

图4感兴趣区域切割及红绿灯定位；

图5红灯区域二值化；

图6绿灯区域二值化；

图7红绿灯识别结果；

具体实施方式

下面结合附图3对本发明作进一步说明：

首先，首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1.2米，摄像头广角大于120度，分辨率大于640*480。通过智能车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像image，由于摄像头安装于智能车辆的正上方，所获得图片包含大量不相关信息，视频读入后，对获取的原始视频图像image进行剪切获得感兴趣区域，即以(0.45*image->width,0.47*image->height)为起点，切割宽为1/5image，高为1/10image得图片dst_cut1。该位置为统计红绿灯出现位置的经验值。缩小了处理范围，以下操作在图片dst_cut1上做处理；

其次，把图片src作为小模版，求其HSV空间的二维直方图，以便在后续的遍历搜索中与滑窗比较。本发明中模板大小为100*30；

第三，读取待处理图片dst_cut1，使用函数cvCalcBackProjectPatch()反向块投影来搜索，该函数中参数CV_COMP_CORREL表示相关系数，相关系数值为1是最相关，也就是采用了相关系数的反向块投影来搜索。该函数每次搜索结果都能得到对应的相关系数值，定义了图片result来保存结果，该图片每点的值都对应每次搜索的相关系数值，结果图result上用cvMinMaxLoc()计算出该最大值的位置，就找到了滑窗遍历后直方图与模板最相近位置。在图片dst_cut1上找到结果图中相关系数最大处所对应的位置，再对此位置长度放大2倍，高度不变来包括红绿灯整体，长度放大2倍后，高度不变的位置即为红绿灯在待处理图片中的位置，将该部分切割出来得图片dst_cut2；

上述函数cvCalcBackProjectPatch()表示的思想是：从图片dst_cut1的顶点坐标(0，0)开始，生成一个100*30的滑窗，滑窗的左上角顶点与dst_cut1的顶点坐标(0，0)重合，将滑窗内的图像生成临时图像，计算临时图像的二维直方图，与模版的二维直方图进行对比，得到一个相关系数，同时定义与图片dst_cut1大小相同的图片result来保存结果，将该滑动生成的相关系数赋值给图片result(0,0)处的值。下一次，滑窗的左上角顶点与dst_cut1的顶点坐标(0，1)重合，计算当前滑窗内临时图像的二维直方图，与模版的二维直方图进行对比，得到另一个相关系数，将该滑动生成的相关系数赋值给图片result(0,1)处的值。接下来就是滑窗的左上角顶点与dst_cut1的顶点坐标(0，2)重合，如此遍历直到滑窗遍历到图像的右下角终点坐标，图片result每个点都是对应的相关系数，取相关系数最大值处的位置，并把该坐标范围长度扩大2倍，高度不变以包括红绿灯整体，将该坐标范围在图片dst_cut1中标为红色矩形框并切割出来即为搜索到的红绿灯所在位置dst_cut2。

第四，对定位的红绿灯位置dst_cut2进行颜色识别。RGB空间也可以进行颜色识别，但是受光照等环境影响较大，转换到YCBCR空间时间短且识别准确。提取符合红绿灯颜色的cr通道值，[95，110]区间值为经验阈值，符合车载摄像头拍摄的绿灯图像的特点，并且将符合该条件的区域二值化，分别得到绿灯二值化图bw_green，红灯二值化bw_red。

其中，s_g.val[0]为绿灯二值化图bw_green的像素值，s.val[1]为dst_ycrcb的cr通道值，，当其满足上述条件s.val[1]>95&&s.val[1]<110时，说明当前像素为绿色像素，将其二值化为白色，不满足s.val[1]>95&&s.val[1]<110时，说明其不是绿色像素，将其二值化为黑色。

同理，为红灯二值化图bw_red的像素值，满足上述条件时，说明当前像素为红色像素，同上进行二值化操作。之后对绿灯二值化图bw_green、红灯二值化图bw_red这两幅图进行膨胀操作，在此之后得到两幅图片dst_dilate_green，dst_dilate_red。由于dst_cut2的位置一般比较准确，所以该两幅图带有干扰的颜色信息很少，利于颜色识别。如果路口是绿灯，则图片dst_dilate_green中会有一定的白色区域出现，而此时图片dst_dilate_red几乎全部为黑色。如果路口是红灯，则图片dst_dilate_red中会有一定的白色区域出现，而此时图片dst_dilate_green几乎全部为黑色。如果红灯、绿灯同时存在，两幅图中都有白色区域出现。据此进行第五步的判断，得到准确结果；

第五，判别红绿灯状态。首先求解红灯、绿灯各自的像素信息，依据dst_dilate_green与dst_dilate_red中的像素是否符合条件阈值，输出判断信息为红灯还是绿灯，达到准确判断，辅助驾驶的目的。

${\mathrm{Sum}}_g=\left\{\begin{array}{cc}{\mathrm{Sum}}_g+1& s_g.\mathrm{val}\left[0\right]=255\\ {\mathrm{Sum}}_g& \mathrm{else}\end{array}\right.---\left(3\right)$

Sum_g为绿灯像素数，其中当s_g.val[0]为255时，说明该白色像素为绿灯像素，Sum_g累加，若不为255，则不是绿色像素，像素数不累加。

${\mathrm{Sum}}_r=\left\{\begin{array}{cc}{\mathrm{Sum}}_r+1& s_r.\mathrm{val}\left[0\right]=255\\ {\mathrm{Sum}}_r& \mathrm{else}\end{array}\right.---\left(4\right)$

Sum_r为红灯像素数，其中当s_r.val[0]为255时，说明该白色像素为红灯像素，Sum_r累加，若不为255，则不是红色像素，像素数不累加。该步骤是通过求取红绿色像素达到判断是否有红绿灯的目的。下一步则是判断具体情况，是红绿灯同时存在还是红灯、绿灯单独存在，并求出位置关系。

其次，求解红灯、绿灯各自的位置信息。在dst_dilate_green与dst_dilate_red图中，红绿灯为白色区域，cvFindContours为在二值图像中检索轮廓的函数，利用该函数检索出白色区域的轮廓，也就是检索出红灯及绿灯的轮廓，

cvDrawContours在dst_dilate_green中将绿灯外轮廓标示为绿色，图为dst_g，在dst_dilate_red中将红灯外轮廓标示为红色,图为dst_r。

此后分别遍历外轮廓线上的像素点，将横坐标x累加分别得红、绿外轮廓线坐标和sum_r，sum_g，分别除以红、绿外轮廓线像素总数num_r、num_g，得红、绿区域位置avg_r，avg_g。即求取外部轮廓的横坐标均值，来代表各自坐标信息。判断上述二值avg_r、avg_g的大小，得到红绿灯同时存在时的位置关系。

$\mathrm{avg}\_r=\frac{\mathrm{Sum}\_r}{\mathrm{num}\_r}---\left(7\right)$

$\mathrm{avg}\_g=\frac{\mathrm{Sum}\_g}{\mathrm{num}\_g}---\left(8\right)$

其中rgbval[0]为图dst_g、dst_r的B通道值，rgb.val[1]为G通道值，rgb.val[2]为R通道值。

根据以下方法判断当前信号灯的状态；

其中Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r<30时，green为1表明前方只存在绿灯，智能车正常行驶；

其中Sum_g，Sum_r满足上述阈值范围Sum_r>80&&Sum_g<30时，red为1表明前方只存在红灯，智能车应减速并准备停车。

Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r>80&&avg_g<avg_r时，红灯绿灯同时存在，avg_g<avg_r说明绿灯区域的横坐标小于红灯区域的，即绿灯在左，红灯在右。

Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r>80&&avg_r<avg_g时，红灯绿灯同时存在，并且红灯在左，绿灯在右。智能车依据其所在车道判断停车与否。

Claims (1)

1.一种基于无人驾驶的实时动态红绿灯检测识别方法，其特征在于，包括以下步骤：

1)首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1.1-1.2米，摄像头要求广角大于120度，分辨率大于640*480；通过智能车辆上的摄像头，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像image，依据红绿灯在图像中的位置关系，对获取的原始图像image进行剪切获得感兴趣区域，具体为从原始图像image左上端点为(0，0)，横坐标为原始图像image宽的0.45，纵坐标为原始图像image高的0.47为起点，切割宽为1/5image，高为1/10image大小的图片得感兴趣区域图片dst_cut1；

2)设定红绿灯的小模板src，size为100*30，并转化为HSV空间，求取其H分量和S分量；在这基础上，计算此二分量的二维直方图hist_src；

3)读取待处理图片dst_cut1，反向块投影求取红绿灯位置，在dst_cut1上从左上角处开始切割一块src大小的临时图像，生成临时图像的二维直方图，比较临时图像的二维直方图与src的二维直方图差异，得出取值范围为0-1的相关系数，如此一直遍历到图片dst_cut1右下角处为止，生成结果图result，该结果图上每点像素表示一次比较后的相关系数值；之后在结果图result上计算出该相关系数最大值的位置，就找到了滑窗遍历后直方图与模板最相近位置；在图片dst_cut1上找到与结果图中相关系数最大处所对应的位置，再对此位置长度放大2倍，高度不变来包括红绿灯整体，长度放大2倍后，高度不变的位置即为红绿灯在待处理图片中的位置，将红绿灯在待处理图片中的位置切割出来得图片dst_cut2；

4)识别红绿灯颜色，将图片dst_cut2由RGB空间转换为YCBCR空间得图片dst_ycrcb，提取符合红绿灯颜色的cr通道值，并且将符合该条件的区域二值化，分别得到绿灯二值化图bw_green，红灯二值化bw_red；

其中，s_g.val[0]为绿灯二值化图bw_green的像素值，s.val[1]为dst_ycrcb的cr通道值，满足上述条件s.val[1]>95&&s.val[1]<110时，说明当前像素为绿色像素，将其二值化为白色，不满足s.val[1]>95&&s.val[1]<110时，将其二值化为黑色；

同理，s_r.val[0]为红灯二值化图bw_red的像素值，满足上述条件s.val[1]>145&&s.val[1]<470时，说明当前像素为红色像素，同上进行二值化操作；之后对绿灯二值化图bw_green、红灯二值化图bw_red这两幅图膨胀操作得到绿色和红色的膨胀二值图dst_dilate_green，dst_dilate_red；

5)判别红绿灯状态，首先求解红灯、绿灯各自的像素信息；依据dst_dilate_green与dst_dilate_red中的像素是否符合条件阈值，输出判断信息为红灯还是绿灯，达到准确判断，辅助驾驶的目的；

${\mathrm{Sum}}_g=\left\{\begin{array}{cc}{\mathrm{Sum}}_g+1& s_g\&CenterDot;\mathrm{val}\left[0\right]=255\\ {\mathrm{Sum}}_g& \mathrm{else}\end{array}\right.---\left(3\right)$

Sum_g为绿灯像素数，其中当s_g.val[0]为255时，说明该白色像素为绿灯像素，Sum_g累加，若不为255，则不是绿色像素，像素数不累加；

${\mathrm{Sum}}_r=\left\{\begin{array}{cc}{\mathrm{Sum}}_r+1& s_r\&CenterDot;\mathrm{val}\left[0\right]=255\\ {\mathrm{Sum}}_r& \mathrm{else}\end{array}\right.---\left(4\right)$

Sum_r为红灯像素数，其中当s_r.val[0]为255时，说明该白色像素为红灯像素，Sum_r累加，若不为255，则不是红色像素，像素数不累加；

其次，求解红灯、绿灯各自的位置信息；在dst_dilate_green与dst_dilate_red图中，红绿灯为白色区域，cvFindContours为在二值图像中检索轮廓的函数，利用该函数检索出白色区域的轮廓，也就是检索出红灯及绿灯的轮廓，cvDrawContours在dst_dilate_green中将绿灯外轮廓标示为绿色，图为dst_g，在dst_dilate_red中将红灯外轮廓标示为红色,图为dst_r；

此后分别遍历外轮廓线上的像素点，将横坐标x累加分别得红、绿外轮廓线坐标和sum_r，sum_g_，分别除以红、绿外轮廓线像素总数num_r、num_g，得红、绿区域位置avg_r，avg_g；判断上述二值avg_r、avg_g的大小，得到红绿灯同时存在时的位置关系；

${}_{\mathrm{avg}\_r}=\frac{\mathrm{Sum}\_r}{\mathrm{num}\_r}---\left(7\right)$

${}_{\mathrm{avg}\_g}=\frac{\mathrm{Sum}\_g}{\mathrm{num}\_g}---\left(8\right)$

其中rgb.val[0]为图dst_g、dst_r的B通道值，rgb.val[1]为G通道值，rgb.val[2]为R通道值；

根据以下方法判断当前信号灯的状态；

其中Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r<30时，green为1表明前方只存在绿灯，智能车正常行驶；

其中Sum_g，Sum_r满足上述阈值范围Sum_r>80&&Sum_g<30时，red为1表明前方只存在红灯，智能车应减速并准备停车；

Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r>80&&avg_g<avg_r时，红灯绿灯同时存在，并且绿灯在左，红灯在右；

Sum_g，Sum_r满足上述阈值范围Sum_g>80&&Sum_r>80&&avg_r<avg_g时，红灯绿灯同时存在，并且红灯在左，绿灯在右,智能车依据其所在车道判断停车与否。