CN107689157B

CN107689157B - 基于深度学习的交通路口可通行道路规划方法

Info

Publication number: CN107689157B
Application number: CN201710763154.XA
Authority: CN
Inventors: 李宏亮; 董蒙; 孙玲; 张文海; 翁爽
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2017-08-30
Filing date: 2017-08-30
Publication date: 2021-04-30
Anticipated expiration: 2037-08-30
Also published as: CN107689157A

Abstract

本发明提供一种基于深度学习的交通路口可通行道路规划方法，包括：特征提取步骤；目标检测步骤；信号灯颜色优化检测步骤：将置信度小于门限值的信号灯检测结果所在的预选框内的图像进行颜色采样，分别计算预选框图像中特征点颜色与红色、绿色的相似度，再计算预选框图像中红色特征点数量、绿色特征点数量占图像中所有特定点数量的比例，对比例大于预设比例值则判断该预选框图像中的信号灯为对应颜色；斑马线走向检测步骤：选择斑马线检测结果所在的预选框中长宽比例的大于3:1以及长度大于检测图片1/3长度的预选框进行中心点连线，中心线的斜率为斑马线的走向。本发明能实时有效地检测出当前拍摄的视频中包含的交通信号灯信息和斑马线位置信息。

Description

基于深度学习的交通路口可通行道路规划方法

技术领域

本发明提出视觉理解技术。

背景技术

目前，全世界视力受损人群基数巨大，对这些有视力缺陷的群体来说，平时出行通过交通路口危险性远远大于普通人，他们迫切需要一种可以极大提高通过路口安全系数的辅助通行设备。

随着计算机视觉技术与图像处理技术的不断发展，可以利用视觉理解技术来提供直观的路口通行帮助与预警提示，从而提高行人通过交通路口的安全性。在路口安全通行系统中，通过用户身上的摄像设备获取周边的交通环境信息，将获取的图像信息输入系统进行处理，通过采用目标检测和模式识别等方法解决目标识别问题，最终将系统处理的通行提示反馈给用户，从而达到辅助安全通过红路灯路口的作用。当前，市面上仅有的几款少数基于计算机视觉技术研发的辅助通行方案主要使用传统的机器学习算法。例如经典的方向梯度直方图HOG特征结合支持向量机SVM分类器检测当前环境下的行人、车辆信息；多通道组合ACF特征结合提升树ADBoost分类器检测当前环境下的道路信息；此类方法存在以下缺陷：由于各种路口场景复杂、目标类别过多，导致分类器的分类准确率较低，分类器训练难度大，方法的实时性差。

深度学习的出现引领AI人工智能时代的到来，深度神经网络不仅在准确率上远远超越了传统的机器学习算法，而且目前主流的神经网络如实时物体检测YOLO、多尺度目标检测SSD等在保持高精度的同时已经达到了很好的实时性。

发明内容

本发明所要解决的技术问题是，提供一种基于深度神经网络的识别当前路口下的红绿灯和斑马线信息的可通行道路规划。

本发明为解决上述技术问题所采用的技术方案是，基于深度学习的交通路口可通行道路规划方法，包括以下步骤：

特征提取步骤：将检测图片尺寸调整到统一大小到256x256像素大小，特征提取使用卷积模块并下采样4次，分别生成256x32x32、256x16x16、512x8x8、512x6x6的四个尺度的特征谱；之后，进入目标检测步骤；

目标检测步骤：利用信号灯与斑马线的特定比例设置预选框对从低到高的4个尺度的特征谱进行基于深度学习的目标检测；之后，进入信号灯目标的检测优化步骤与斑马线走向检测步骤；

信号灯目标的检测优化步骤：将置信度小于门限值的信号灯检测结果所在的预选框内的图像进行颜色采样，分别计算预选框图像中特征点颜色与RGB红色[255，0，0]、RGB绿色[0，255，0]的相似度，当有特征点颜色与红色或绿色的相似度满足最低要求，则判断该特征点为红色或绿色；之后计算预选框图像中红色特征点数量、绿色特征点数量占图像中所有特定点数量的比例，如有比例大于预设比例值则判断该预选框图像中的信号灯为对应颜色；将置信度大于等于门限值的信号灯检测结果不进行优化；

斑马线走向检测步骤：选择斑马线检测结果所在的预选框中长宽比例的大于3:1以及长度大于检测图片1/3长度的预选框进行中心点连线，得到的连线为斑马线区域的中心线，中心线的斜率为斑马线的走向；以中心线上的像素点向左右两边扩展检测图片设定长度的为可行走的安全区域。

规划步骤：根据检测出的信号灯颜色与斑马线走向检测结果规划出可行的通行路线并通报用户。

本发明的有益效果是，能实时有效地检测出当前拍摄的视频中包含的交通信号灯信息和斑马线位置信息，保证高度的检测精度、实时的检测效率。同时，用针对性的后处理方法计算斑马线安全区域。

附图说明

图1：实施例的路口可行道路规划方法流程示意图。

图2：实施例的深度学习网络结构示意图。

图3：实施例信号灯检测优化示意图。

图4：实施例斑马线中心区域规划示意图。

具体实施方式

本方案提出路口可行性道路规划方法，基于深度神经网络，能高精度、高效率识别当前路口下的红绿灯和斑马线信息。首先通过携带在用户身上的视频采集设备如手机、智能眼镜等，将用户当前的身边环境图片输入通过处理后输入到神经网络中，得到当前图片的目标信息后通过后处理得到是否可以通行(红、绿灯)，规划的道路(斑马线位置、走向)等相关信息，通过高效的离线语音交互系统实时反馈给用户，达到为用户正确规划当前可安全通行的道路。

实施例分为深度学习目标检测和道路规划相关的后处理两个阶段。具体步骤如下：

深度学习目标检测阶段：

步骤一：设计数据库。收集路口相关图片数据并标注。在城市各种交通路口或者网络上收集大量的包含各种交通路口的图片，然后对数据集中的每个样本将包含红绿灯、斑马线区域的沿着边界标注GroundTruth，标注斑马线时考虑到斑马线区域随着距离增加，区域的宽度不断缩减，导致若用一个矩形框标注会有大面积背景区域存在，本方法采用对斑马线的标注使用多尺度不同的框进行区域覆盖的标注方法。将标注好的样本集生成Caffe框架下可以使用的LMDB数据集。

考虑到视力受损人群通过交通路口的实际需求，将采集好的样本(数目在1万以上)调整尺寸到256x256像素大小，标注好交通信号灯和斑马线的特定区域，在网络结构部分，特征提取使用11个卷积模块并下采样4次，分别生成256x32x32、256x16x16、512x8x8、512x6x6的四个尺度的特征谱，而检测部分对应使用从低到高的4个尺度检测方法，对预选框的选择上充分考虑场景下交通信号灯总为小目标、斑马线区域一般狭长(长宽比明显)的特点设置特定比例的预选框。可选的，低层加入YOLO9000中的细微粒度特征Fine-GrainedFeatures操作，在前两个检测层加入浅层特征图以提高交通信号灯等小目标的检测效果。Fine-Grained Features操作参见YOLO9000:Better,Faster,Stronger，https:// arxiv.org/abs/1612.08242。

步骤二：设计深度学习网络结构。如图2所示，特征提取总共使用11个卷积模块，分别对应第一级的4个，第二级3个，第三级2个，第四级3个，每个卷积模块包括卷积操作、批归一化Batch-Normalize操作和带参数的单侧激活ReLU函数；滤波器大小设置为3*3，步长为1，并在设定卷积模块后分别加入最大池化操作，池化区域大小为2*2(单位：像素)，步长为1；利用设定卷积模块的特征对图像进行分类。如图2所示，多尺度检测模块分为4级，其中第一级的256x32x32的卷积谱检测时加入L2正则操作，将特征谱feature map的每一个位置的正则归一化norm scale到20，卷积核使用3*3大小的滤波器，预设框default boxes数目为3，分别为步骤一得到的基准框按比例1，1/2,，2生成的三个尺度的default boxes；第二级256*16*16的检测时，卷积核使用3*3大小的滤波器，default boxes按1/3，1/2，1，1，2，3进行六尺度设置，对于使用了Fine-Grained Features方法的情况，第二级会融合第一级的浅层特征，总的大小为256*32*32+256*16*16；第三级的512x8x8的卷积谱检测时卷积核使用3*3大小的滤波器，default boxes按1/3，2/3，1/2，1，3/2，2进行六尺度设置；第四级大小为512*6*6的卷积谱针对大目标全是斑马线并同时考虑斑马线的特点，检测时卷积核使用4*2大小的滤波器，default boxes按1/,4，1/3，1/2，2/3，1，3/2比例设置。

步骤三：网络的前向传播。首先，使用摄像设备采集当前路口的实时图片信息，将每一帧图像采样到大小256*256的RGB图像，输入到训练好的神经网络中；然后对检测得到的多个预测框采用置信度判别和非极大值抑制的方法得到最终检测结果，输入到下一阶段。

道路规划相关的后处理阶段：

步骤一：预测框筛选。首先对所有预测框进行置信度阈值判断，保留所有置信度大于0.5的预测框。然后，对保留下来的预测框用非极大值抑制方法进行去重。

步骤二：信号灯颜色优化检测。针对实际情况下，解决由于天气、光线、环境等因素造成的信号灯颜色错检，对于检测结果为信号灯的框，如图3所示，若其置信度小于0.7，则将该区域进行5*8的特征点颜色采样，计算特征点颜色与RGB红色[255，0，0]，RGB绿色[0，255，0]的相似度，实施例使用颜色距离表示相似度，距离越小相似度越高，若超过一定比例的特征点与目标颜色距离d小于56则判定为该颜色的信号灯，如式(1)、(2)所示，d(R,C)为红灯与特征点的相似度，d(G,C)为绿灯与特征点的相似度，C_i.r表示该点的R分量，C_i.g表示该点的G分量。

d(R,C)＝abs(C_i.r-255) (1)

d(G,C)＝abs(C_i.g-255) (2)

步骤三：斑马线走向检测。如图4所示，对经过步骤一得到的各种不同距离的斑马线的框，挑选长宽比(w:d)大于3:1或者长度(w)大于1/3图片长度的框，把选出的框的中心点连接在一起得到斑马线的中心线，以此中心向两边扩展w/4则为当前斑马线的中心安全区域。同时，中心线的斜率_k即为斑马线的走向，如式(3)所示，k的计算方法中C_0y为图像中检测到的所有斑马线预测框中最近的框(离图片左上角最远)，C_1y为图像中检测到的斑马线的下一个框，以k作为用户前进方向的判定基准，若斜率k＞0则当前的前进方向需要向右倾斜，若斜率k＜0则当前的前进方向需要向左倾斜。

规划结果语音交互阶段：

步骤一：规划结果语音交互。开辟一个异步线程将当前帧的规划信息合成为语音信号，以声音形式播报给用户。

步骤二：设置监听操作，对用户发出的语言信息进行识别，分析用户需求，及时修改规划线路。

通过以上前两个阶段便可以完成一幅输入图像或视频帧的信号灯、斑马线区域的检测并由检测结果规划出可行的通行路线。进一步地，通过第三阶段的语音交互系统，将规划结果信息与用户共享，当路口图片信息为绿灯时，用户按照语音提示的方向前进，即可安全顺利地通过复杂的红绿灯交通路口。

Claims

1.基于深度学习的交通路口可通行道路规划方法，其特征在于，包括以下步骤：

特征提取步骤：将检测图片尺寸调整到统一大小到256x256像素大小，特征提取使用卷积模块并下采样4次，分别生成四个尺度的特征谱；之后，进入目标检测步骤；

目标检测步骤：参考信号灯与斑马线的特定比例设置预选框长宽比例，使用预选框对从低到高的4个尺度的特征谱进行基于深度学习的目标检测；之后，进入信号灯目标的检测优化步骤与斑马线走向检测步骤；

信号灯目标的检测优化步骤：将置信度小于门限值的信号灯检测结果所在的预选框内的图像进行颜色采样，分别计算预选框图像中特征点颜色与RGB红色[255，0，0]、RGB绿色[0，255，0]的相似度，当有特征点颜色与红色或绿色的相似度满足最低要求，则判断该特征点为红色或绿色；之后计算预选框图像中红色特征点数量、绿色特征点数量占图像中所有特定点数量的比例，如有比例大于预设比例值则判断该预选框图像中的信号灯为对应颜色；置信度大于等于门限值的信号灯检测结果不进行优化；

斑马线走向检测步骤：选择斑马线检测结果所在的预选框中长宽比例的大于3:1以及长度大于检测图片1/3长度的预选框进行中心点连线，得到的连线为斑马线区域的中心线，中心线的斜率为斑马线的走向；以中心线上的像素点向左右两边扩展检测图片设定长度的为可行走的安全区域；

2.如权利要求1所述方法，其特征在于，生成四个特征谱的尺度为：256x32x32、256x16x16、512x8x8、512x6x6。

3.如权利要求2所述方法，其特征在于，目标检测步骤中预选框的具体长宽比例的设计方法为：

针对256x32x32的特征谱，采用长宽比例1，1/2，2三个尺度的预选框；

针对256x16x16的特征谱，采用长宽比例1/3，1/2，1，1，2，3六个尺度的预选框；

针对512x8x8的特征谱，采用长宽比例1/3，2/3，1/2，1，3/2，2六个尺度的预选框；

针对512*6*6的特征谱，采用长宽比例1/4，1/3，1/2，2/3，1，3/2六个尺度的预选框。

4.如权利要求1所述方法，其特征在于，信号灯目标的检测优化步骤中颜色相似度通过直接计算特征点颜色与RGB红色[255，0，0]、RGB绿色[0，255，0]的颜色距离来反映，距离越短与对应颜色的相似性越大。

5.如权利要求1所述方法，其特征在于，斑马线走向检测步骤中所述设定长度为检测图片1/4长度。