CN105608417B - 交通信号灯检测方法及装置 - Google Patents

Abstract

一种交通信号灯检测方法及装置，其中方法包括如下步骤，根据分布信息搜寻交通信号灯，得到交通信号灯的粗估计位置；以所述交通信号灯的粗估计位置为中心生成一个全局坐标系下的坐标网格，将坐标网格投影到摄像机图像平面，根据摄像机采集的实时图像信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布，根据所述位置概率分布划分精估计位置；对精估计位置中的每个坐标网格画面进行滤波，生成交通信号灯的颜色概率分布。本发明实现了对交通信号灯的智能检测与识别。

Description

交通信号灯检测方法及装置

技术领域

本发明涉及无人汽车涉及领域，尤其涉及一种交通信号灯的自动识别方法及装置。

背景技术

对于现实生活中的无人驾驶来说，能准确地判断出交通路口信号灯的状态(即当前交通信号灯为黄灯、绿灯、红灯中的哪一种)是极为重要的。即使在车辆有驾驶员时，车辆本身能做出对交通信号灯的判断也是十分有益的，譬如，它能提醒漫不经心的司机信号灯的变化或是为色盲驾驶员提供安全行驶的依据。

一个很直观的想法是车辆直接通过交通管制部门发送的交通信号灯控制信息的获取，来做出交通驾驶判断，这样的判断准确率和时效性均较好。实证中，通过主动式交通信号灯系统可以实现主动向过往车辆传送当前信号灯状态的准确信息。但可惜的是，这样的系统需要在交通信号灯和车辆上安装昂贵的硬件，因而尚未在市场上广泛推广开来。因而，在无人车驾驶领域来说，要依靠主动式交通信号灯系统来实现关于交通信号数据的获取尚无法得以实现。

退而求其次的想法是利用算法模拟人类对交通信号灯的视觉判断，即通过交通信号灯所特有的颜色和形状等基本要素做特征提取和识别。传统上，无人车驾驶是通过基于摄像机的方法来实现对交通信号灯的检测，但这样的算法要面对两方面的挑战：一个是交通信号灯在成像画面上的占比太小，导致定位不易，特别是从一定距离处开始的检测更加重了这一问题；第二是该算法主要数据来源为视频信息，对于极端气候如雨雪、雾霾则严重影响画面质量导致判断精度不高。但近年来，随着传感器的数据传输速率和精确度不断提升，已经能达到被动式交通信号灯状态检测的要求，同时，辅助传感器如GPS系统也提升到了使得这样的被动式交通信号灯状态检测系统已经可以可靠地运用到现实中了。该系统能否安全有效运行的关键在于其对通常失效情况的处理能力，譬如，假阳性信号、短暂的遮挡等问题，这些使得单纯基于摄像机的方法在实际运用中存在局限性。

为了解决单纯基于视频的检测方法所带来的局限性，我们

尽管如何解决交通信号灯的定位问题已经有了一些解决途径，但是定位的这一假设的前提条件，包括如何处理误差来源，均无人涉及。在本文中，我们通过原理分析和对我们进行交通信号灯检测的每个环节可能出现的误差来源进行建模分析，以及对摄像机和事先定位建立起了一个比对框架，从而一定程度上解决了这些问题。

发明内容

为此，需要提供一种可以充分利用一些时序信息，通过直方图过滤来追踪和更新对交通信号灯的位置和状态的估计方法。为了在某种程度上约束我们对交通信号灯的搜索范围，我们事先做好对交通信号灯的定位，运用从GPS系统中能够得到的位姿数据，从而使得在检测中我们能够预知交通信号灯的相对方位的方法。

为实现上述目的，发明人提供了一种交通信号灯检测方法，包括如下步骤，

根据分布信息搜寻交通信号灯，得到交通信号灯的粗估计位置；

以所述交通信号灯的粗估计位置为中心生成一个全局坐标系下的坐标网格，将坐标网格投影到摄像机图像平面，根据摄像机采集的实时图像信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布，根据所述位置概率分布划分精估计位置；

对精估计位置中的每个坐标网格画面进行滤波，生成交通信号灯的颜色概率分布。

具体地，所述分布信息还包括交通信号灯颜色饱和度信息，还包括步骤，

根据不同交通信号灯颜色饱和度信息设计对应的过滤模板，所述步骤“对精估计位置中的每个坐标网格画面进行滤波”包括步骤，对精估计位置中的每个坐标网格画面使用过滤模板进行滤波。

具体地，所述步骤“根据摄像机采集的实时画面信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布”包括步骤，根据分布信息与实时画面信息计算感知误差，将所述感知误差代入贝斯叶算法计算所述交通信号灯的位置概率分布。

优选地，还包括步骤，预采集交通信号灯地图：在预设线路预采集交通信号灯的分布信息。

一种交通信号灯检测装置，包括粗位置估计模块、精位置估计模块、颜色滤波模块，

所述粗位置估计模块用于根据分布信息搜寻交通信号灯，得到交通信号灯的粗估计位置；

所述精位置估计模块用于以所述交通信号灯的粗估计位置为中心生成一个全局坐标系下的坐标网格，将坐标网格投影到摄像机图像平面，根据摄像机采集的实时图像信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布，根据所述位置概率分布划分精估计位置；

所述颜色滤波模块用于对精估计位置中的每个坐标网格画面进行滤波，生成交通信号灯的颜色概率分布。

具体地，所述分布信息还包括交通信号灯颜色饱和度信息，

所述颜色滤波模块还用于根据不同交通信号灯颜色饱和度信息设计对应的过滤模板，对精估计位置中的每个坐标网格画面使用所述过滤模板进行滤波。

具体地，所述精位置估计模块还用于根据分布信息与实时画面信息计算感知误差，将所述感知误差代入贝斯叶算法计算所述交通信号灯的位置概率分布。

优选地，还包括预采集模块，所述预采集模块用于预采集交通信号灯地图：在预设线路预采集交通信号灯的分布信息。

区别于现有技术，上述技术方案通过预采集地图，结合预采集信息进行概率计算的方法，能够有效排除外部环境的干扰，提高交通信号灯检测的正确率和识别率。

附图说明

图1为本发明具体实施方式所述的交通信号灯侦测网格示意图；

图2为本发明具体实施方式所述的多交通信号灯侦测示意图；

图3为本发明具体实施方式所述的交通信号灯检测方法流程图；

图4为本发明具体实施方式所述的昏暗光线下信号灯状态图；

图5为本发明具体实施方式所述的光耀下信号灯状态图；

图6为本发明具体实施方式所述的复杂条件下信号灯状态图；

图7为本发明具体实施方式所述的各坐标系关系示意图；

图8为本发明具体实施方式所述的预采集色彩分布直方图；

图9为本发明具体实施方式所述的交通信号灯三通道过滤结果；

图10为本发明具体实施方式所述的中午时分的单个信号灯检测和路口驾驶判断的正确率对比图；

图11为本发明具体实施方式所述的黄昏时分的单个信号灯检测和路口驾驶判断的正确率对比图；

图12为本发明具体实施方式所述的夜晚时分的单个信号灯检测和路口驾驶判断的正确率对比图；

图13为本发明具体实施方式所述的三个时段综合的单个信号灯检测和路口驾驶判断的正确率对比图；

图14为本发明具体实施方式所述的复杂路况检测示例图；

图15为本发明具体实施方式所述的检测精度与置信度关系示意图；

图16为本发明具体实施方式所述的单个交通信号灯的检测精度结果表。

图17为本发明具体实施方式所述的多盏交通信号灯检测的交通路口驾驶判断结果精度表。

图18为本发明具体实施方式所述的交通信号灯检测装置模块图。

附图标记说明：

1800、粗位置估计模块；

1802、精位置估计模块；

1804、颜色滤波模块；

1806、预采集模块。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

一、总体思路

图1展示了带有侦测网格的连续两帧摄像机画面，这个侦测网格是从全局坐标系下得知了交通信号灯的所在方位区域后投射到摄像机画面上形成的。我们的总体思路是在运用侦测网格将交通信号灯在图像上的定位范围大大缩小并大致框定后，再通过交通信号本身的特性(形状、颜色等)进行状态检测。图上交通信号灯最有可能的所在即色彩明亮处，可以从两幅图上看出，信号灯的指示正好由红灯转向绿灯。而在图2表示的实施例中，展示了在一个交通路口，相隔一定的检测距离，车辆自动开始对三个交通信号灯开始检测。

二、交通信号灯地图

在图3所示的实施例中，包括一种交通信号灯检测方法流程图，本发明方法包括步骤S300，预采集交通信号灯地图，包括分布信息，具体地，为了在全局坐标系下获得交通信号灯的方位，我们事先先沿着线路驾驶一遍，同时记录下包含车辆GPS定位、姿态和摄像机方向、摄像数据的传感器的行驶日志。在检查日志之前，我们先人工从视频中选出与我们车辆运行轨道相关的交通信号灯，并用一些算法来跟踪他们。这个算法是用来尝试调整椭圆的外沿轨迹的，这样从椭圆内部采集到的颜色直方图就能与起初始选择匹配上。预采集步骤事前完成，主要为了将分布信息用于下文本方法中实际路试时候的数据处理，因此只要能事前获得交通信号灯地图，预采集步骤并非完全必要。

在交通信号灯被跟踪的每一帧图像中，数据集X：＝{(u，v)，C，R}都会被记录下来，其中，(u，v)是椭圆中心像素在图像上的坐标，C和R分别是估计出的全局坐标下摄像机的定位和方向。通常，我们在一定距离处即开始检测交通信号灯。为了减少将来计算中的相减式信号抵消，我们将车辆开始检测的第一帧画面中的坐标方位记录下来，作为检测过程中的初始方位C₀。这样，对于每一个X，我们运用反推公式(1)，都能找到从摄像机镜头发射出的朝向交通信号灯的射线d＝(a，b，c)，及其方位C-C₀＝(x,y,z)。在这里，K是摄像机本身的系数矩阵，λ是使d标准化成单位长度的系数。一旦对交通信号灯的定位完成了，每束射线的最优交叉点也随之确定。

d＝λR^-1K^-1(u,v,1)^T (1)

假设交通信号灯是从n帧画面上跟踪来的，令A，b分别由公式(2)，(3)决定，这样可以计算出交通信号灯在全局坐标系下的方位l_est＝A^-1b+C₀。这些计算出的交通信号灯的方位将被记录，以供后文中某些实施例所述的信号灯检测系统做读取。同时在追踪过程中，车辆每行驶五米，椭圆内部的位图也会被记录一次，以便我们在第三部分第四点中计算概率模版匹配算法中使用。

三、交通信号灯状态检测

(一)显著失败的情况

我们的系统必须对各种病态环境具有鲁棒性，例如系统设计中应包括如何过滤多余的灯光、如何回避短暂的光线遮挡，而且系统还必须能够在一天中任何时候、任何光照情况下稳定的运行。

假设我们已经有一个视觉算法，可以在白天实时区分出交通信号灯和汽车尾灯，但可惜的是这个任务到了夜间则对大多数摄像机来说是无法完成的。所有的区分特性，除了颜色以外，都消失了。如图4所示，在光线昏暗的情况下，很多信号灯在图像拍摄上都显得模糊，与周边环境对比不突出。而在图5所示的情况下，光耀或者反光会使得交通信号灯状态在成像就显得十分模糊。如果使用比较便宜的、消费级别的摄像机，就需要在系统中增加额外的噪音过滤和光耀模式检验。另一些实施例中，如图6所示，上图中的交通信号灯即属于复杂情况下的一种：其给出的信号是直行可通行，左转需等待。若无人驾驶车辆的编程中未给出该种交通路口模式的判断法则，则车辆易出现判断失误。图6的下图呈现了在隔着相当的检测距离的时候，车辆摄像机拍到的画面情况。在考虑了检测时间和车辆的驾驶反应时间后，车辆在远离交通信号灯处即开始了检测过程，距离导致了200毫米大小的绿色信号灯相对于周边其他灯源，显得遥远模糊。同时在大多数地方，对于交通信号灯的镜片材质和密度都没有做出法律上的限定和规范，故而，在我们系统认定的交通信号灯附近出现的汽车尾灯，在图像处理算法中可能会被误认为是交通信号灯。

在下面的章节中，我们要就概率技术做出说明。正是通过该技术，我们的系统可以适用于各种光照条件，相较于传统的单纯靠视觉判断的犯法，我们的系统在具有挑战性的环境中表现的更加可靠。

为了能够创建出具备鲁棒性的交通信号灯状态检测系统，需要解决两个主要的技术问题：(1)推断出交通信号灯所在的图像区域；(2)通过分析已获取的亮度模式来判断其状态。

理想状况下，为了解决这些问题，我们可以选择一个能够利用时域连续性优点的参考坐标系。我们选取检测网格作为坐标系，这是建立在几个结构性错误的假设上的(下文中会再讨论)，这样使得网格内的交通信号灯位置可以随时间缓慢变化。在这样的时域约束下，再加上视觉算法的帮助，我们可以随后与用一个直方图过滤来推断交通信号灯所处的图像区域并判定出其颜色状态。

(二)对交通信号灯的跟踪摄影

图7揭示了各坐标系间的相互关系。一般说来，无人车驾驶过程中，要相隔必要距离即开始检测交通信号灯状态，在我们的实验例中，该距离设定为70到80米，这样可以在适宜的驾驶速度下达到良好的检测结果。考虑到在这样的距离范围下进行检测，出于摄像机振动或是车辆引起的微小误差都可能导致交通信号灯在定位上的巨大偏差。在本实验例中，在运用高尖端的定位硬件和算法的情况下，这一误差大概在50像素左右的范围内，在空间上对应于5到10米左右的距离。

目前的计算机视觉算法还无法做到可靠、有效的从整张图像的全场景模式中，将交通信号灯(镜头还不到3到5像素宽)的小图片范围和周遭其他图像区分开来。亦即，想运用图像本身的信息来甄别信号灯存在的图像区域都很困难。

但是有了上述预采集的分布信息，本方法可以开始于步骤S302，根据分布信息搜寻交通信号灯，得到交通信号灯的粗估计位置；

再进行步骤S304，以所述交通信号灯的粗估计位置为中心生成一个全局坐标系下的坐标网格，将坐标网格投影到摄像机图像平面，根据摄像机采集的实时图像信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布，根据所述位置概率分布划分精估计位置；

在具体的一些实施例中，还可以据分布信息与实时画面信息计算感知误差，将所述感知误差代入贝斯叶算法计算所述交通信号灯的位置概率分布。我们引入一个随机的时间变量并将其定义为预期感知和实际感知间的误差(因而也在后文中统一叫做感知误差)。预期感知包含了通过绘图、定位和GPS组件预测出来的定位，而实际感知则是通过我们的图像处理算法计算返回的数据信息。我们通过贝叶斯过滤连续更新o^t，从而作为直方图过滤器使用。一个随之产生的关键问题在于究竟在哪一种坐标系中，感知失调才能得到最优表达，我们认为两个直接的选项都是次优的。首先，在图像的坐标系中跟踪位移会导致车辆每个运动中都会剧烈变动基点。这会引起不必要的估算误差，因为真实的位移影响只是缓慢变化的。第二，在完整的三维空间中跟踪失调，实际上，是需要将交通信号灯在空间中的位姿视作随机变量并随时更新的。由于我们的数据来源，也即是摄像机图像构成的性质，这点也难以做到。在不考虑平面约束的情况下，平面上由摄像机传感器射出的同一射线沿线的全部位置的权重都相同，因为他们在画面成像上都代表同一个像素点。

相较于这些选择，我们发现最适合用来对感知误差建模的空间是在以全局空间中的交通信号灯为中心和导向的一个有界平面。我们的坐标网格是用一种自然的方式去限制摄像机中反映出来的距离，同时我们事前描绘好的带有经纬度坐标的交通信号灯绘图也支持这种坐标网格。我们在这个有界平面上(例如经过标准化处理后的坐标网格)用直方图重新表示时间t上的失调，并根据贝叶斯法则通过递推算法更新这一数据(可展开)，公式如下：

P(o^t:z^t,o^t-1)＝v·P(z^t:o^t)·P(o^t:o^t-1) (4)

我们用P(o^t:o^t-1)来估算由于车辆运动和车辆位姿不确定性，以及映射的不确定性(由于摄像机感知调整未能正确捕捉到而导致的交通信号灯在侦测网格坐标系中的变化)所引起的感知失调的变化，并假设P(z^t:o^t)是相对尖峰的高斯运动模型。在这个高斯模型中，标准方差与ξ+k成比例，其中，k与车辆行驶速度成正比例关系。观测到的模型P(z^t:o^t)定义了摄像机对于交通信号灯的观测值z^t和其感知失调o^t之间的关系。

坐标网格上o^t的分布是一个以绘制的交通信号灯位置为中心的二维高斯分布，其标准差是根据绘制的交通信号灯的预期误差与预期的感知误差算出的。以我们的经验来看，通过使用已录得的交通信号灯观测值的训练过的序列，很容易优化上述变量。

当然，我们的方法只在满足以下假设条件时才成立：

(1)最大的感知失调(取决于车辆定位的准确性和摄像机振动)要比用于跟踪交通信号灯的坐标网格边长的一半要小；

(2)坐标网格的分辨率要足够高，从而能使得落到两个坐标网格边界上的交通信号灯的观测值并不代表他们是不同地点的两个分离的信号灯(因为信号灯位置都假设出于坐标网格的小格中心)；

(3)在跟踪交通信号灯的过程中，摄像机的图像平面始终保持近似平行于坐标网格平面。我们发现即便多达35度的方位不匹配也不会产生问题，而这已经超过了交通信号灯和他们的对应车道所能产生的方位不匹配的极限了；

(4)相邻的两个交通信号灯彼此间至少相距坐标网格边长的一半那么远。如果这点无法达到，那么这两个交通信号灯应该被一并分析处理。这种处理方式是通过直接建立含有多个颜色通道的传感器模型来实现的。本文中并不涉及这种处理方式。

在就当前的交通信号灯状态判断做出行驶策略时，车辆当前位姿的不确定性(即其位姿的当前后验分布)是必须要考虑的。这可以在考虑了两个坐标网格平面的几何转换的情况下，通过运用感知失调的直方图过滤器的当前状态来卷积车辆位姿直方图过滤器的当前状态来得以实现。

在得到坐标网格方块上的感知失调的后验估计(以直方图形式呈现)之后，我们选取出最有可能包含交通信号灯位置模态的坐标网格方格。随后，我们通过数据得分来判断该做坐标网格方块的最有可能的状态。

(三)关于不确定性的讨论

在我们系统里，输入数据的质量是有很大差异的。就地图部分的输入：纬度、经度、高度以及每个交通信号灯的方位，这四个输入数据而言，我们假设前两组数据的精确度要远高于后两组数据。如果不能精确地掌握车辆所处地图的经纬度，就无法判定车辆所属车道该采用哪一盏交通信号灯的判断结果。而我们的系统所采用的交通信号灯方位数据收集系统可以使得数据的精准度达到要求。

我们的交通信号灯绘图过程依赖于精准的GPS和摄像机定位。在我们的系统中，即使车辆是笔直驶向交通信号灯的，这个方法也通常会给出重复的误差，但是这个很容易用静态偏置来校正，这样的结果是，我们的系统能将信号灯的定位精确到两米宽、四米高的范围内。

另一类的不确定性源自从全局坐标系中的点投射回摄像机图像中的既定像素的过程中。为了将某个物体空间的三维坐标投射到摄像机图像的二维平面上，首先应转换坐标以使得其原点处于摄像机图像中心。为了实现这种从经度、纬度、高度三维坐标系开始的转换，我们首先将我们的坐标系转换为“通用横向墨卡托”(UTM)坐标，然后再通过我们运用GPS回测出的速度积分来平滑坐标。这个坐标系之所以被称之为“被平滑”是因为它不会受到原始的GPS数据的突然变化的影响，但是它会随时间出现漂移的现象。在这之后，我们将坐标转换入车辆本身的框架体系中，亦即使得原点随车辆移动而变动。再然后，我们将坐标转换入摄像机体系中。不确定性用因车辆运动或震动以及摄像机传感器噪声所引起的摄像机定标和和摄像机外部参数中的以静态误差模式出现的随即参数变量C来表示。

在实际中，我们将所使用的成像仪设置成了有着固定的增益、快门速度、和饱和度的设备。这样，在四十五米处亮灯的200毫米直径大小的LED绿色交通信号灯，在成像设备上获取到的中心像素的亮度和饱和度分别是99％和92％。而晴天中午天空的饱和度则将近66％。因为我们检测的是光线来源，使用固定的摄像机参数意味着这些光线来源的亮度和饱和度，在我们的成像设备的观测下，其观测值对比于周边光线的观测值是固定的。

即便摄像机参数固定下来了，交通信号灯的镜片形状和某一颜色特性仍然可能造成我们在第二部分中讨论过的假阳性的问题(即通过系统判断出交通信号灯为某种颜色，但这判断结果不符合实际情况)，因而这也是不确定性来源的重要构成。我们的图像处理算法是通过建造出在交通信号灯地图绘制过程中跟踪的交通信号灯镜头的颜色和饱和度的直方图来解决这些变量问题的。这些直方图随后被作为标准模版(也叫HALTS)，以备后面做模版匹配中使用。

(四)概率模板匹配

对交通信号灯状态检测问题的约束有利于用模板匹配从原始摄像机数据中提取高阶信息。交通信号灯的镜片颜色，从他向外发射光线开始，不管其外部光照环境如何，都会保持不变。交通信号灯本身由于其强烈的色彩饱和度，比较容易和其他光源区别开来。因而颜色类别特征是交通信号灯检测中的重要分类之一。不过由于交通信号灯镜片种类多样，以及外部光照仍会给检测带来小影响，所以我们还是运用颜色概率模型来解决这些问题。

因此本方法还包括步骤S306，对精估计位置中的每个坐标网格画面进行滤波，生成交通信号灯的颜色概率分布。该步骤通过一般的RGB及亮度分析就可以得出颜色信号分布，但是在实际应用中，交通信号灯的大小，色泽各不相同，而且信号灯在不亮的情况下可能由于外侧的有色玻璃而被误识别。因此为了进一步提高交通信号灯的检测正确率，还包括步骤，根据不同交通信号灯颜色饱和度信息设计对应的过滤模板，所述步骤“对精估计位置中的每个坐标网格画面进行滤波”包括步骤，对精估计位置中的每个坐标网格画面使用过滤模板进行滤波。

在某些实施例中，交通信号灯镜片的位图{B_k}_k＝1…n是通过事前的驾驶过程来捕获并人工定位出的。从这些位图上，可以提取出色彩和饱和度，分别是{h_k}_k＝1…n和{s_k}_k＝1…n。对于交通信号灯的每一种状态ω∈{红，黄，绿}，都可以通过公式(5)和(6)计算出标准模板HALTs中的代表镜头色彩的直方图H_ω和代表饱和度的直方图S_ω。查找模板V代表了在交通信号灯黑色框架上像素的预期亮度值分布，其计算公式见(7)。另外，我们将第k^th桢画面的高度和宽度分别定义为h_k和w_k。

如以美国加州为例，交通信号灯镜片的半径通常不是200毫米就是300毫米的。这样，一个交通信号灯镜片在在像素上的影响半径可以通过以下这些参数粗略估算出来：摄像机的内在参数放大率m和焦距f，以及摄像头镜片到交通信号灯光源镜片的距离D和交通信号灯镜片的物理半径R，公式详见(9)。

这样，经过调试得出的交通信号灯模板T(r)是经过用3*3的Gaussian kernelG(σ)(其中σ＝0.95)做线性卷积后(线性卷积算法定义为)，得出的在边长为l＝4r+(1-(4rmod 2))的黑色正方形框架内的直径为2r+1像素的圆(圆和正方形的中心重合)。

其中:i,j＝1…l

在图像处理过程中，我们只从检测网格中选取出我们感兴趣的区域(即交通信号灯的所处可能范围)来投射到图像平面中进一步加以分析。在后文中，我们将这样的区域定义为独立图像I。图像I的颜色、饱和度和亮度分值又可以分别得出颜色图像H，饱和度图像S和亮度图像V。对于每一个图像N，我们用h_N来代表其图像高度，用w_N来代表其图像宽度。在预处理阶段，我们通过转换公式N_S和N_V来加重图像S和V中高饱和度和高亮度的像素的权重。

N_S(x)＝x⁵/2³²,x∈{0…255} (12)

U_i,j＝N_S(S_i,j)N_V(V_i,j) (14)

图像G_ω可以通过下述公式算出：

F(V)＝V[V_u(k,l)]δ(T_k,l(r),0)，其中u(k,l)＝(i+k-h_T/2,j+l-w_T/2) (17)

为了消除高饱和度区域中的肥圆形区域，我们用圆形模板C对图像G_ω进行线性卷积：

由于我们将检测网格D投射到图像平面后，并不能保证正方形区域，我们使用一个凸函数多边形过滤算法进行方形过滤(可展开)。对于网格中的方块D_i,j，我们投射图像Q_ω中能落入D_i,j内部的区域。随后再选取该区域中的最大分值作为这个网格方块的分值E_ω,i,j。

图8显示了在无人驾驶的预采集步骤中，从不同的检测距离内，通过车辆采集到的单个交通信号灯的色彩直方图分布，从左至右三个峰值分别对应了红、黄、绿三色。图9所示的实施例中左边一列是交通信号灯图像分别通过红、绿、蓝三种颜色通道以后的过滤结果。中间一列是检测网格图像D，其中每个网格的颜色都代表了其预期状态，亮度为其预期状态分值。右列为经过误差调整前的结果。可以见到通过设计滤波模板进一步提升了交通信号灯识别的正确率。

(五)状态检测过程

1、对于单一交通信号灯状态的检测：

(1)将事先确定的交通信号灯在全局坐标系上的方位数据(以经度、纬度、高度来定位)输入模型；

(2)将区域中的交通信号灯的颜色和饱和度的直方图输入模型；

(3)在一定距离范围内开始搜寻交通信号灯，这个距离的确定通常取决于摄像机分辨率和车辆的刹车距离；

(4)以交通信号灯的预计地点为中心生成一个全局坐标系下的坐标网格；

(5)将坐标网格D投射到摄像机图像平面以决定我们所感兴趣的图像I，即以通过坐标系定位转换后在摄像机画面上确定出交通信号灯所处的大致范围；

(6)针对每个状态ω∈{红，黄，绿}，生成Q_ω；

(7)将Q_ω反向投射回坐标网格D，以得到分值E_ω；

(8)令

2、当一个交通路口有多盏交通信号灯时的驾驶判断：

假设在某个特定交通路口I，状态ω∈{红，黄，绿}，共有交通信号灯n盏，每盏交通信号灯l_k,k∈{1…n}的直方图过滤结果为P(l_k＝ω)，则整个交通路口的综合判断概率如下：

其中，因为每盏交通信号灯都会就其状态进行独立判定，因而最后的结果应由公式给定。

四、评估和结果

为了演示系统在不同的交通信号灯情景和不同光照条件下的稳定性，我们在一天中不同时间(中午、黄昏和夜晚)各沿路行驶了20分钟作为检验。所有参数在上述各时间段内均为固定不变的，说明了本文中的算法在上述光照条件下均能有效适用。这20分钟路线里面途经31个交通路口共包含82盏交通信号灯，有些路口的交通信号灯设置对于算法而言还极具挑战性(见图6，下部)。

图10-12描绘了在三种光照条件下，对交通信号灯和交通路口检测的正确率与交通信号灯检测距离之间的变化关系。图13则对上述三种情况做了汇总，并给出了总体上的检测结果。我们可以看出，检测精确度随着距离的增加而呈现下降趋势。主要是因为距离越远，交通信号灯在图像上占据的大小就越小，导致分析精度下降。

通过对单个交通信号的检测与路口驾驶决策的比较，可以发现，后者的系统更具优势，判定结果也更为可靠。特别是当同一路口有多盏交通信号灯的呈现相同颜色的情况下。事实上，即使在单个交通信号灯检测出现矛盾结果的时候，我们也可以用前面描述过的贝叶斯方法得到正确的判断。正如图14所示，图中显示了多个交通信号灯存在的情况，如果对每个交通信号灯单独进行定位检测(图中每个蓝色方框代表了一个单独的定位和检测范围)，可以提高系统鲁棒性。上图左方的蓝色检测区域中的检测结果是有38％的概率该交通信号灯为黄色，而该图右方的检测区域中的检测结果是有53％的概率该交通信号灯为红色。在考虑到了这两个交通信号灯的状态检测结果之后，系统给出的对该交通路口的驾驶判断为信号灯为红色的概率是53％(该结果与实际相符)。上图绿色椭圆区域内圈出的红色信号灯是我们的检测系统未能检测到的，从中也可以看出我们面对的实际驾驶情况之复杂。下方图中，左侧和右侧交通信号灯的单独检测结果为各有80％和48％的概率为红色，同时交通路口的驾驶判断结果为信号灯是红色，均与实际情况相符。即使在极端复杂的情况下，通过概率方法也能得出我们希望的判定结果。

从数学处理角度来说，只要误差来源不是完全独立的，用结合的方法去处理往往能得到更好的结果。图15说明了我们算法的置信度与其检测结果的精确度有很强的正相关关系。因此，在较低置信度下检测出的两个或多个交通信号灯出现矛盾判定结果时，若改为用较高的置信度检测往往能得出更为清晰的正确结果。

图16呈现了在全天三个时间段对单个交通信号灯的检验结果正确性的对比度。中间数字代表检测数目。每行/列末都有个精确度百分比。每行为系统给出的检测结果分类，每列为实际的情况。图中可以看出黄灯的检测精度最低，主要是因为其颜色值较接近红灯，另外在大量的训练数据中，相比于红灯和绿灯，黄灯出现的频率低。类似的，图17呈现了在同样条件下对每个路口总体交通信号灯判断结果正确性的对比度。我们可以看出，通过总体判断提升了整个系统的检测精确度。这些结果也显示，我们的系统对红灯的判断准确度最高，对绿灯的判断准确度次之，精确度最低的是黄灯。并且系统结果显示我们更有可能将一盏交通信号灯误判为红灯而非其他颜色，也提高了系统的安全性。

我们以含有一个正确的交通路口驾驶判断的画面帧数占所有三种时间段20分钟路线测试中全部含可见交通信号灯的摄像机总画面视频帧数之比，用于判断系统的精确度。在一天三个时间段中，对所有82盏交通信号灯做出的76310个独立的交通信号灯状态判断中，我们的系统正确率达到了91.7％。在同样时间段内，对31个交通路口做出的35710个交通路口驾驶判断中，我们系统的准确率达到了94％。

在连续摄像的模式下，一个简单实用的扩展是只在连续的检测到相同颜色的信号灯画面后，才向系统传输该交通路口信号灯状态的判断。虽然这种方法增加了反映延时，不过这个延时对整个系统处理时间不造成太大影响，同时在连续帧数方法下，系统的判断正确率会提高一定百分比。所以说在无人车驾驶中，这种延后判断还是受欢迎的。

除了以上这些量化结果以外，另一个显著成果就是我们研发的无人驾驶车辆现在能在交通信号灯的引导下自主行驶过马路了。当然，出于安全考虑，我们还是配备了一名驾驶员，以便确保车辆能够安全行驶，毕竟车辆对交通信号灯的检测判断还是无法和人类的交通判断比拟。另外，如果我们在复杂情况路口不用无人驾驶，并且用我们的定位系统来减少交通信号灯定位上的不确定性，我们系统的实际表现还要优于前述结果。

五、结论和改进的空间

上文中，我们已经介绍了交通信号灯状态检测的新算法。我们用原则法从我们的摄像机图像中获取了高阶信息，在模板创造和权重选取中运用了更强的约束。就交通信号灯状态检测问题中存在的误差的可能来源而言，我们特别分析了这些误差在我们处理过程中可能造成的不确定性。并且，我们首创了对一个交通路口多个信号灯的联合检测分析，从而比单一信号灯检测分析提高了总体判断的精确度。

当然，这个系统还有可以改进的地方。譬如，有着更高分辨率的摄像机系统可以使得车辆在更远的距离获取到更为清晰的交通信号灯画面。在更远的检测范围中，交通信号灯通常只占据1到2个像素。将摄像机视频系统与三维LIDAR数据相结合也是个有趣的扩展方向，它能更为明确地通过形状和颜色来检测信号灯。另一个方面，如果从成本的角度出发考虑，使用更为便宜的消费级别的摄像机，就需要用到额外的去处噪音的过滤器，以及系统要做出对光耀现象的检测和过滤。最后，如果我们的交通信号灯算法和计算机视觉算法(用于全景检测)相结合的话，总体判断效果还能得到进一步的提升。

在图18所示的实施例中，为一种交通信号灯检测装置模块图，包括粗位置估计模块1800、精位置估计模块1802、颜色滤波模块1804，

所述粗位置估计模块1800用于根据分布信息搜寻交通信号灯，得到交通信号灯的粗估计位置；

所述精位置估计模块1802用于以所述交通信号灯的粗估计位置为中心生成一个全局坐标系下的坐标网格，将坐标网格投影到摄像机图像平面，根据摄像机采集的实时图像信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布，根据所述位置概率分布划分精估计位置；

所述颜色滤波模块1804用于对精估计位置中的每个坐标网格画面进行滤波，生成交通信号灯的颜色概率分布。

具体地，所述分布信息还包括交通信号灯颜色饱和度信息，

所述颜色滤波模块1804还用于根据不同交通信号灯颜色饱和度信息设计对应的过滤模板，对精估计位置中的每个坐标网格画面使用所述过滤模板进行滤波。

具体地，所述精位置估计模块1802还用于根据分布信息与实时画面信息计算感知误差，将所述感知误差代入贝斯叶算法计算所述交通信号灯的位置概率分布。

优选地，还包括预采集模块1806，所述预采集模块用于预采集交通信号灯地图：在预设线路预采集交通信号灯的分布信息。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (6)

1.一种交通信号灯检测方法，其特征在于，包括如下步骤，

根据分布信息搜寻交通信号灯，得到交通信号灯的粗估计位置；

以所述交通信号灯的粗估计位置为中心生成一个全局坐标系下的坐标网格，将坐标网格投影到摄像机图像平面，根据摄像机采集的实时图像信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布，根据所述位置概率分布划分精估计位置；

对精估计位置中的每个坐标网格画面进行滤波，生成交通信号灯的颜色概率分布；

所述步骤“根据摄像机采集的实时图像信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布”包括步骤，根据分布信息与实时画面信息计算感知误差，将所述感知误差代入贝斯叶算法计算所述交通信号灯的位置概率分布，

具体为，定义随机的时间变量为预期感知和实际感知间的误差，

P(o^t：z^t，o^t-1)v·P(z^t：o^t)·P(o^t：o^t-1)

其中

P(o^t:o^t-¹)来估算由于车辆运动和车辆位姿不确定性，以及映射的不确定性所引起的感知失调的变化，P(z^t:o^t)是相对尖峰的高斯运动模型，z^t为摄像机对于交通信号灯的观测值；v是椭圆中心像素在图像上的坐标。

2.根据权利要求1所述的交通信号灯检测方法，其特征在于，所述分布信息还包括交通信号灯颜色饱和度信息，还包括步骤，

根据不同交通信号灯颜色饱和度信息设计对应的过滤模板，所述步骤“对精估计位置中的每个坐标网格画面进行滤波”包括步骤，对精估计位置中的每个坐标网格画面使用过滤模板进行滤波。

3.根据权利要求1所述的交通信号灯检测方法，其特征在于，还包括步骤，预采集交通信号灯地图：在预设线路预采集交通信号灯的分布信息。

4.一种交通信号灯检测装置，其特征在于，包括粗位置估计模块、精位置估计模块、颜色滤波模块，

所述粗位置估计模块用于根据分布信息搜寻交通信号灯，得到交通信号灯的粗估计位置；

所述精位置估计模块用于以所述交通信号灯的粗估计位置为中心生成一个全局坐标系下的坐标网格，将坐标网格投影到摄像机图像平面，根据摄像机采集的实时图像信息通过坐标系定位转换后在坐标网格中计算交通信号灯的位置概率分布，根据所述位置概率分布划分精估计位置；

所述颜色滤波模块用于对精估计位置中的每个坐标网格画面进行滤波，生成交通信号灯的颜色概率分布，

所述精位置估计模块还用于根据分布信息与实时图像信息计算感知误差，将所述感知误差代入贝斯叶算法计算所述交通信号灯的位置概率分布，

具体用于，定义随机的时间变量为预期感知和实际感知间的误差，

P(o^t：z^t，o^t-1)v·P(z^t：o^t)·P(o^t：o^t-1)

其中

P(o^t:o^t-1)来估算由于车辆运动和车辆位姿不确定性，以及映射的不确定性所引起的感知失调的变化，P(z^t:o^t)是相对尖峰的高斯运动模型，z^t为摄像机对于交通信号灯的观测值，v是椭圆中心像素在图像上的坐标。

5.根据权利要求4所述的交通信号灯检测装置，其特征在于，所述分布信息还包括交通信号灯颜色饱和度信息，

所述颜色滤波模块还用于根据不同交通信号灯颜色饱和度信息设计对应的过滤模板，对精估计位置中的每个坐标网格画面使用所述过滤模板进行滤波。

6.根据权利要求4所述的交通信号灯检测装置，其特征在于，还包括预采集模块，所述预采集模块用于预采集交通信号灯地图：在预设线路预采集交通信号灯的分布信息。