CN108804983A - 交通信号灯状态识别方法、装置、车载控制终端及机动车 - Google Patents

Abstract

本发明实施例提供一种交通信号灯状态识别方法、装置、车载控制终端及机动车，该方法包括：获取目标图像采集装置采集的待识别图像；识别所述待识别图像中的交通信号灯图像区域；提取所述交通信号灯图像区域的卷积神经网络CNN特征；根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。本发明实施例能够提升交通信号灯状态识别的准确率。

Description

交通信号灯状态识别方法、装置、车载控制终端及机动车

技术领域

本发明涉及数据处理技术领域，具体涉及一种交通信号灯状态识别方法、装置、车载控制终端及机动车。

背景技术

交通信号灯状态识别是指对交通信号灯的状态进行识别，如常规的红绿灯形式的交通信号灯，交通信号灯状态识别可以是识别红绿灯中的红灯、绿灯、黄灯的亮暗状态。交通信号灯状态识别可为判断路口通行状态，决策机动车驾驶方式提供依据，在自动驾驶、导航(行车提示)等方面具有较为深入的应用，尤其是对提升自动驾驶机动车在道路上的可靠驾驶具有重要意义。

目前交通信号灯状态识别主要依赖计算机视觉技术完成，然而由于环境复杂的光线变化影响(如逆光、背光、雾霾、夜晚、树叶遮挡等光线变化影响)，基于计算机视觉技术实现的交通信号灯状态识别，往往存在识别准确率较低的问题；因此如何提升交通信号灯状态识别的准确率，一直是本领域技术人员急切解决的问题。

发明内容

有鉴于此，本发明实施例提供一种交通信号灯状态识别方法、装置、车载控制终端及机动车，以提升交通信号灯状态识别的准确率。

为实现上述目的，本发明实施例提供如下技术方案：

一种交通信号灯状态识别方法，包括：

获取目标图像采集装置采集的待识别图像；

识别所述待识别图像中的交通信号灯图像区域；

提取所述交通信号灯图像区域的卷积神经网络CNN特征；

根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；

根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

本发明实施例还提供一种交通信号灯状态识别装置，包括：

图像获取模块，用于获取目标图像采集装置采集的待识别图像；

区域识别模块，用于识别所述待识别图像中的交通信号灯图像区域；

特征提取模块，用于提取所述交通信号灯图像区域的卷积神经网络CNN特征；

第一灯状态确定模块，用于根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；

识别结果确定模块，用于根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

本发明实施例还提供一种车载控制终端，包括：存储器和处理器；

所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于：

获取目标图像采集装置采集的待识别图像；

识别所述待识别图像中的交通信号灯图像区域；

提取所述交通信号灯图像区域的卷积神经网络CNN特征；

根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；

根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

本发明实施例还提供一种机动车，包括：至少一个图像采集装置，车载控制终端；

其中，所述至少一个图像采集装置用于采集车身前方的待识别图像；

所述车载控制终端，用于获取目标图像采集装置采集的待识别图像，所述目标图像采集装置包含于所述至少一个图像采集装置中；识别所述待识别图像中的交通信号灯图像区域；提取所述交通信号灯图像区域的卷积神经网络CNN特征；根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

基于上述技术方案，本发明实施例提供的交通信号灯状态识别方法中，车载控制终端可获取目标图像采集装置采集的待识别图像，识别所述待识别图像中的交通信号灯图像区域，从而提取出所述交通信号灯图像区域的CNN特征，根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态，并根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。由于CNN特征是基于海量丰富的样本训练提取得到，可抵抗尺度变换、颜色变换、光线变换等多种影响，因此使用CNN特征实现交通信号灯图像区域中的图像特征提取，并基于CNN特征确定交通信号灯图像区域表示的交通信号灯状态，可以降低环境复杂的光线变化对于交通信号灯状态识别的准确率的影响，提升交通信号灯状态识别的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的机动车的示意图；

图2为本发明实施例提供的交通信号灯状态识别方法的信令流程图；

图3为本发明实施例提供的交通信号灯状态识别方法的流程图；

图4为交通信号灯识别模型的训练示意图；

图5为Softmax分类器的训练示意图；

图6为确定交通信号灯状态识别结果的方法流程图；

图7为路口的交通信号灯的灯状态变换逻辑的设置示意图；

图8为灯状态变换逻辑的匹配示例图；

图9为确定交通信号灯状态识别结果的另一方法流程图；

图10为基于滑动时间窗进行灯状态匹配的示例图；

图11为确定交通信号灯状态识别结果的再一方法流程图；

图12为本发明实施例提供的前方路口通行状态的预测方法流程图；

图13为交通信号灯状态识别方法的应用示意图；

图14为本发明实施例提供的交通信号灯状态识别装置的结构框图；

图15为本发明实施例提供的交通信号灯状态识别装置的另一结构框图；

图16为本发明实施例提供的交通信号灯状态识别装置的再一结构框图；

图17为车载控制终端的硬件结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的交通信号灯状态识别方法可应用于机动车，机动车的车载控制终端可以通过装载相应程序，实现本发明实施例提供的交通信号灯状态识别方法，以使得机动车在道路上行驶时，能够准确的识别路口交通信号灯的状态；可选的，本发明实施例中，机动车的能源形式包括但不限于电动、汽动等。

如图1所示，机动车10可以包括：至少一个图像采集装置11，车载控制终端12；需要说明的是，图1所示图像采集装置的数量为3个，但在实际使用中，图像采集装置的数量可以是一个或多个，具体可视实际使用需求而定。

在本发明实施例中，图像采集装置11可以选用摄像头实现，当然也可采用其他具有图像采集功能的器件实现；

可选的，图像采集装置11可以设置于机动车的车身顶部，且采集视角对应车身前方(可选的，图像采集装置的采集视角可以正视车身前方)，以对车身前方的待识别图像进行采集，待识别图像可以认为是本发明实施例待进行交通信号灯状态识别的图像；这里，图像采集装置所采集的图像可能涵盖车身前方道路、可能包含前方车辆、交通信号灯等；

可选的，如果图像采集装置的数量为多个，则该多个图像采集装置可在车身顶部间隔预定间隔距离，水平排列，且各图像采集装置的采集视角对应车身前方(如正视车身前方)；

可选的，在使用多个图像采集装置时，本发明实施例可选用不同焦距的图像采集装置，即该多个图像采集装置的焦距各不相同；优选的，该多个图像采集装置的焦距可分属于不同的焦距等级，一个焦距等级可对应一个焦距范围，焦距等级越高，则焦距范围对应的焦距数值越大；进一步，本发明实施例使用的图像采集装置可以具有焦距调节能力，如一个图像采集装置的焦距，可在所属焦距等级对应的焦距范围内调节；

显然，上述的图像采集装置设置方式仅是可选的，本发明实施例并不排除图像采集装置的其他设置方式，只要能够使得图像采集装置在机动车行驶过程中，采集到涵盖交通信号灯的图像即可；如将图像采集装置设置于车身前挡风玻璃处(如前挡风玻璃顶部)，并使得图像采集装置具有一定的倾角，使得采集的待识别图像能够涵盖前方路口设置的交通信号灯；当然，图像采集装置也可能设置于前挡风玻璃与车顶的衔接处；上述描述的图像采集装置的设置方式可以适用于使用一个或多个图像采集装置的情况；

图像采集装置11所采集的待识别图像中可能具有交通信号灯也可能不具有交通信号灯，具体可由车载控制终端检测确定；如机动车距离路口较远，则图像采集装置可能无法采集到具有交通信号灯的图像。

车载控制终端12可以是机动车内置的具有数据处理能力的控制终端，如机动车内置的行车电脑，车载控制终端12与图像采集装置11可通过机动车通信总线(如bus总线)连接，也可以通过蓝牙、wifi(无线保真)等无线通信方式连接；

另一方面，车载控制终端12也可能是置于机动车内的用户设备(如用户手机)，该用户设备可不与机动车的外置通信接口(如外置USB接口)连接，而通过蓝牙、wifi(无线保真)等无线通信方式连接图像采集装置11；可选的，该用户设备也可连接机动车的外置USB接口，以便接入机动车通信总线，通过机动车通信总线与图像采集装置11相交互。

在本发明实施例中，车载控制终端12可与图像采集装置11相通信，获取图像采集装置11所采集的待识别图像，定位待识别图像中的交通信号灯图像区域，对该交通信号灯图像区域进行CNN(卷积神经网络)特征提取，识别所提取的CNN特征对应的第一交通信号灯状态，根据该第一交通信号灯状态，确定交通信号灯状态识别结果，实现前方道路的交通信号灯的状态识别。

以此思路，图2示出了本发明实施例提供的交通信号灯状态识别方法的信令流程图，该信令流程图可以基于采用多个图像采集装置(至少2个的图像采集装置)的情况，参照图2，该流程可以包括：

步骤S10、车载控制终端定位当前位置。

可选的，车载控制终端中可以设置定位器，以定位当前位置；定位当前位置可以使用RTK(Real time kinematic，载波相位差分技术)定位、卫星(GPS、北斗等)定位、基站定位等方式实现，当然，定位器的形式可以根据所使用的定位方式相应调整；

可选的，车载控制终端定位的当前位置可以视为是机动车的当前位置使用。

步骤S11、车载控制终端根据所述当前位置向地图服务器发送查询请求，所述查询请求用于请求查询当前位置距前方最近停止线的距离。

前方最近停止线是指机动车行驶方向上最近路口的停止线，停止线的作用是在前方路口的交通信号灯为红灯禁行时，指示机动车只能在停止线之后等待交通信号灯变为绿灯放行，交通信号灯为红灯期间不能越线；

车载控制终端在定位到当前位置后，可向地图服务器发送查询请求；地图服务器接收查询请求后，可根据当前位置查询地图数据中机动车行驶方向上最近路口的停止线位置，将该停止线位置与当前位置的距离，确定为机动车当前位置距前方最近停止线的距离。

可选的，车载控制终端可实时定位当前位置，并相应的实时发送查询请求，以便实时的确定当前位置距前方最近停止线的距离；可选的，车载控制终端也可定时定位当前位置，并相应的定时发送查询请求，如定位和查询请求发送频率可以为10Hz(赫兹)，显然此数值仅是可选的，具体可以根据定时定位和查询需求而设定。

步骤S12、地图服务器向车载控制终端反馈所查询到的距离。

可选的，步骤S11至步骤S12示出了车载控制终端确定当前位置距前方最近停止线的距离的可选形式，除通过步骤S11至步骤S12所示的向地图服务器查询外，车载控制终端也可预置地图数据，以定位的当前位置查询预置的地图数据中前方最近停止线的位置，根据停止线位置与当前位置的距离，确定当前位置距前方最近停止线的距离，即通过本地预置地图数据的形式，根据定位的当前位置，本地查询当前位置距前方最近停止线的距离。

可选的，车载控制终端也可根据所述当前位置向地图服务器查询前方最近停止线的位置，从而车载控制终端可根据当前位置与前方最近停止线的位置，确定出当前位置距前方最近停止线的距离。

步骤S13、车载控制终端根据所述距离，从预置的多个图像采集装置中选择目标图像采集装置。

可选的，预置的多个图像采集装置可以分别对应不同的焦距等级，即一个图像采集装置可以对应一个焦距等级，一个焦距等级可对应一个焦距范围，焦距等级越高，则焦距范围对应的焦距数值越大，对应的清晰可视距离范围越高；进一步，图像采集装置可以具有焦距调节能力，图像采集装置可在所对应的焦距等级的焦距范围内进行焦距调节；

优选的，连续的焦距等级的焦距范围可以相连续，如第一焦距等级的焦距范围，和第二焦距等级的焦距范围可以相连续；且连续的焦距等级的清晰可视距离范围也可以相连续，如第一焦距等级的清晰可视距离范围，和第二焦距等级的清晰可视距离范围可以相连续。

在确定当前位置距前方最近停止线的距离后，车载控制终端可以根据预置的各图像采集装置对应的距离范围，确定当前位置距前方最近停止线的距离，所处距离范围对应的图像采集装置，从而选择出目标图像采集装置。

可见，随着机动车的行驶，当前位置距前方最近停止线的距离将动态变化，同时也将调整从多个图像采集装置中选择的目标图像采集装置，以动态调整选择的目标图像采集装置，提升处理所使用的待识别图像的清晰度可能性。

可选的，本发明实施例也可以限制当前位置距前方最近停止线的距离，小于预定距离限值时，才执行步骤S13；如果当前位置距前方最近停止线的距离较大，则可能会超出该多个图像采集装置采集图像的清晰可视距离，致使此时采集的图像中交通信号灯图像较为模糊，导致后续的交通信号灯状态识别的准确性降低；因此较为优选的，本发明实施例可在当前位置距前方最近停止线的距离，小于预定距离限值时，执行“根据所述距离，从预置的多个图像采集装置中选择目标图像采集装置”的步骤(即步骤S13)；

可选的，预定距离限值可以根据该多个图像采集装置中最高的图像采集能力设定(如根据该多个图像采集装置中最大的清晰可视距离设定)，如选取150米(此处数值仅为可选示例)。

步骤S14、车载控制终端获取所述目标图像采集装置采集的待识别图像。

可选的，多个图像采集装置可实时处于采集图像的状态，车载控制终端可在选择目标图像采集装置后，获取目标图像采集装置当前所采集的待识别图像；

可选的，车载控制终端也可在当前位置距前方最近停止线的距离，小于预定距离限值时，控制该多个图像采集装置进行图像采集，从而在从多个图像采集装置中选择目标图像采集装置后，获取标图像采集装置当前所采集的待识别图像。

可选的，步骤S10至步骤S14仅是在采用多个图像采集装置的情况下，车载控制终端获取目标图像采集装置采集的待识别图像的一种可选方式，本发明实施例也可根据预置的图像采集装置选择顺序，从该多个图像采集装置中选择目标图像采集装置，并获取目标图像采集装置采集的待识别图像，而不一定按照步骤S10至步骤S14所示的，根据当前位置距前方最近停止线的距离，从该多个图像采集装置中选择目标图像采集装置；根据当前位置距前方最近停止线的距离，从该多个图像采集装置中选择目标图像采集装置，仅是一种可选实现。

步骤S15、车载控制终端识别所述待识别图像中的交通信号灯图像区域。

可选的，车载控制终端在获取所述待识别图像后，可定位所述待识别图像中交通信号灯的位置，根据所定位的位置，从所述待识别图像中识别出交通信号灯图像区域。

可选的，本发明实施例可预先训练交通信号灯识别模型，根据该交通信号灯识别模型从待识别图像中定位出交通信号灯图像区域；

可选的，该交通信号灯图像区域可以根据机器学习方法(如深度卷积神经网络方法等)训练正样本和负样本得到，正样本可以是从街景图像中标注的具有交通信号灯的图像(如从街景图像中标注的各种交通信号灯状态的交通信号灯图像，如分别为红、黄、绿三种亮灯状态的交通信号灯图像)，负样本可以是从街景图像中标注的街景背景图像(街景背景图像不具有交通信号灯)。

可选的，所述待识别图像中可能具有交通信号灯，也可能不具有交通信号灯(如通过交通信号灯识别模型可能从所述待识别图像中识别出交通信号灯图像区域，也可能识别不出交通信号灯图像区域)，步骤S15特指所述待识别图像中具有交通信号灯的情况。

步骤S16、车载控制终端提取所述交通信号灯图像区域的CNN特征。

CNN(Convolutional Neural Network,卷积神经网络)特征可以认为是图像特征的一种，本发明实施例使用CNN特征实现交通信号灯图像区域中的图像特征提取，可使得所提取的图像特征可抵抗图像由于尺度变换、颜色变换、光线变换等造成的影响；

需要说明的是，相比于使用HSV(HSV中H表示Hue色调，S表示Saturation饱和度，V表示Value明度)特征等表示图像特征，由于CNN特征是基于海量丰富的样本训练提取得到，可抵抗尺度变换、颜色变换、光线变换等多种影响，因此相对于主要依据图像的色度信息来表示图像特征的HSV特征等，CNN特征所表示的图像特征更不容易受光照、遮挡等环境影响；可使得后续的交通信号灯状态识别结果具有较高的准确性。

步骤S17、车载控制终端根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态。

交通信号灯图像区域表示的交通信号灯状态是指，交通信号灯图像区域中红灯、绿灯、黄灯各自的亮暗状态(一般而言，一个交通信号灯一次仅红灯、绿灯、黄灯中的一个信号灯处于亮状态，其他信号灯处于暗状态，而交通信号灯图像区域中可能存在由多个交通信号灯组成的灯组的情况)；

本发明实施例可预先分类出表示各交通信号灯状态的交通信号灯图像(一个交通信号灯状态对应有分类出的多个交通信号灯图像)，分别对各交通信号灯状态的交通信号灯图像进行CNN特征提取，以各交通信号灯状态的交通信号灯图像的CNN特征训练出，交通信号灯状态分类模型，该交通信号灯状态分类模型可以表示出各交通信号灯状态的交通信号灯图像所对应的CNN特征；

可选的，如果交通信号灯为集合了多个交通信号灯的交通信号灯组(如十字路口的交通信号灯一般由三路信号灯组成，分别指示了前行、左转、右转的情况)，则针对交通信号灯组中的交通信号灯的状态需进行分类(如灯组中具有3个交通信号灯，则3个交通信号灯结合后的每一不同的交通信号灯状态需独自归为一类)，并提前各类的CNN特征，以训练出交通信号灯状态分类模型；

以预先训练的交通信号灯状态分类模型，本发明实施例可识别所述交通信号灯图像区域的CNN特征所对应的交通信号灯状态，得到所述交通信号灯图像区域表示的交通信号灯状态。

可选的，交通信号灯状态分类模型可以使用Softmax分类器表示，Softmax可与CNN特征级联后，通过训练Softmax分类器将交通信号灯图像分类为各种交通信号灯状态相应的CNN特征。

步骤S18、车载控制终端根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

可选的，在本发明实施例中，第一交通信号灯状态特指当前根据CNN特征，所确定的交通信号灯图像区域表示的交通信号灯状态，第一交通信号灯状态可能是任一类型的交通信号灯状态(如绿灯亮、红灯亮、黄灯亮灯)；由于本发明实施例可通过不断采集的待识别图像，实时进行交通信号灯状态的确定，因此随着时间的推移，可不断的确定出第一交通信号灯状态，当前所指的第一交通信号灯状态，可以是指通过当前的待识别图像所确定的交通信号灯状态；

值得注意的是，针对单个信号灯的情况，第一交通信号灯状态可以是单个信号灯相应的状态；而对于由多个信号灯具有的信号灯组的情况(如十字路口的情况)，第一交通信号灯状态可以是信号灯组中各个信号灯的灯状态，信号灯组中各个信号灯的灯状态的确定也是基于CNN特征实现，原理相同。

可选的，本发明实施例可直接将步骤S17所确定的第一交通信号灯状态，作为交通信号灯状态识别结果；也可以是对步骤S17所确定的第一交通信号灯状态进行验证，并确定第一交通信号灯状态的验证结果为通过后，将步骤S17所确定的第一交通信号灯状态，作为交通信号灯状态识别结果；当然，如果第一交通信号灯状态的验证结果为不通过，则可确定第一交通信号灯状态，不为所确定的交通信号灯状态识别结果，交通信号灯状态识别结果可以为空或者识别失败；

可选的，验证方式可以是结合步骤S17连续确定的多个交通信号灯状态，判断交通信号灯状态的变化逻辑是否正确，判断步骤S17所确定的第一交通信号灯状态是否在设定时间内维持不跳转等。

可选的，图2所示流程是通过多个图像采集装置实现，本发明实施例也可以使用单个图像采集装置实现本发明实施例所提供的交通信号灯状态识别方法，当然由于图1所示流程能够随着机动车的行驶，调整从多个图像采集装置中选择的目标图像采集装置，保障当前从目标图像采集装置采集的图像具有较高的清晰度，因此选用多个图像采集装置的方案是较为优选的，但是并不排除本发明实施例基于CNN特征识别交通信号灯状态时，使用单个图像采集装置实现的可能性。

可选的，图3示出了本发明实施例提供的交通信号灯状态识别方法的流程图，该方法可应用于车载控制终端，参照图3，该方法可以包括：

步骤S20、获取目标图像采集装置采集的待识别图像。

该目标图像采集装置可以是本发明实施例单独设置的图像采集装置。

可选的，本发明实施例中目标图像采集装置可以实时处于图像采集状态，从而车载控制终端可获取目标图像采集装置实时采集的待识别图像；

可选的，车载控制终端也可在当前位置距前方最近停止线的距离小于预定距离限值时，执行步骤S20，从而获取目标图像采集装置采集的待识别图像；可选的，车载控制终端可在当前位置距前方最近停止线的距离小于预定距离限值时，触发目标图像采集装置开始采集图像，从而获取到目标图像采集装置采集的待识别图像；目标图像采集装置也可以实时处于图像采集状态，从而车载控制终端可在当前位置距前方最近停止线的距离小于预定距离限值时，获取目标图像采集装置当前采集的待识别图像。

可选的，当前位置距前方最近停止线的距离的确定可以如图2所示相应流程实现，即可以查询地图服务器实现，也可以查询本地预置地图数据实现。

步骤S21、识别所述待识别图像中的交通信号灯图像区域。

步骤S22、提取所述交通信号灯图像区域的CNN特征。

步骤S23、根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态。

步骤S24、根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

本发明实施例提供的交通信号灯状态识别方法中，车载控制终端可获取目标图像采集装置采集的待识别图像，识别所述待识别图像中的交通信号灯图像区域，从而提取出所述交通信号灯图像区域的CNN特征，根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态，并根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。由于CNN特征是基于海量丰富的样本训练提取得到，可抵抗尺度变换、颜色变换、光线变换等多种影响，因此使用CNN特征实现交通信号灯图像区域中的图像特征提取，并基于CNN特征确定交通信号灯图像区域表示的交通信号灯状态，可以降低环境复杂的光线变化对于交通信号灯状态识别的准确率的影响，提升交通信号灯状态识别的准确率。

在此基础上，本发明实施例优选使用图2所示的使用多个图像采集装置实现交通信号灯状态的识别，并且随着的机动车的行驶，根据当前位置距前方最近停止线的距离，从该多个图像采集装置中选择目标图像采集装置；

优选的，本发明实施例可设置各图像采集装置对应的距离范围，从而随着机动车的行驶，以根据预置的各图像采集装置对应的距离范围，不断调整根据当前位置距前方最近停止线的距离，所确定的目标图像采集装置；

可选的，各图像采集装置对应的距离范围可以根据各图像采集装置的焦距，清晰可视距离，以及各距离下(距停止线的各距离下)交通信号灯在各图像采集装置所采集的图像内的像素数确定；以保证在所设置的任一距离范围内，相应图像采集装置的图像质量最清晰，交通信号灯在图像内的像素数足够(通常短边大于30个像素，此处的30个像素数值仅是可选示例，具体可根据需要设置像素阈值)，保障后续交通信号灯状态识别的稳定性和准确性；

即多路图像采集装置的区别是由不同焦距不同视角范围的图像采集装置组成(即多路图像采集装置分属不同的焦距等级)，本发明实施例可根据镜头焦距，清晰可视距离，以及交通信号灯在图像内的像素数确定，各距离范围相应的图像采集装置，从而保证在所设置的各距离范围内，相应图像采集装置采集的图像质量最清晰，红绿灯组在图像内的像素数大于像素阈值(例如通常短边大于30个像素)，保障后续交通信号灯状态识别结果的准确稳定性。在使用相同识别算法处理的情况下，多图像采集装置方案可大幅度提高交通信号灯状态识别准确率，另外也弥补了单个焦距的图像采集装置的视角范围有限、清晰可视距离不足的缺陷。

可选的，为实现从待识别图像中识别出交通信号灯图像区域，本发明实施例可预先训练交通信号灯识别模型，图4示出了交通信号灯识别模型的训练示意图，参照图4，本发明实施例可收集海量的街景图像，并收录到街景图像数据库中，从街景图像数据库中确定出具有交通信号灯的图像，并标注为正样本，从街景图像数据库中确定街景背景图像，并标注为负样本；

即正样本可以是从街景图像数据库中标注的具有交通信号灯的图像，如分别为红、黄、绿三种亮灯状态的交通信号灯图像(对于交通信号灯组的情况，还可能是一个交通信号灯为绿灯亮，其他交通信号灯为红灯等，灯组中各交通信号灯的灯状态结合后，形成的各亮灯状态的交通信号灯图像)，负样本可以是从街景图像数据库中标注的街景背景图像(不具有交通信号灯)，从而以深度卷积神经网络等机器学习方法训练正样本和负样本，得到交通信号灯识别模型；

可选的，街景图像数据库可以记录有大量的街景图像，图像的数量级可以根据需要设定，如十万级等，街景图像数据可中的街景图像可以覆盖多个城市的街景图像。

进一步，在街景图像数据库中标注正、负样本可以通过人工标注实现，也可以在街景图像数据库建立之时，提前对录入街景图像数据库中的街景图像进行正、负样本的标注。

可选的，在从待识别图像中识别出交通信号灯图像区域，并提取CNN特征后，本发明实施例可以使用Softmax分类器，识别所提取的CNN特征所表示的交通信号灯状态；可选的，Softmax分类器的训练过程可以如图5所示，以具有红灯、黄灯、绿灯的交通信号灯为例，本发明实施例可分类出红灯亮、黄灯亮和绿灯亮的交通信号灯图像，其中，红灯亮的交通信号灯状态对应有多个交通信号灯图像，绿灯亮的交通信号灯状态对应有多个交通信号灯图像，黄灯亮的交通信号灯状态对应有多个交通信号灯图像；

从而可分别提取红灯亮的交通信号灯图像的CNN特征，绿灯亮的交通信号灯图像的CNN特征，黄灯亮的交通信号灯图像的CNN特征；显然，对于交通信号灯组的情况，各交通信号灯状态，需要灯组中的各交通信号灯相结合判断，灯组中各交通信号灯结合后形成的任一不同的灯状态，均可作为灯组的一个交通信号灯状态，从而分类出各交通信号灯状态的交通信号灯图像；

根据Softmax，与各交通信号灯状态的交通信号灯图像的CNN特征级联后，训练出Softmax分类器(交通信号灯状态分类模型的一种可选形式)。

上述所描述的根据CNN特征，所确定的交通信号灯状态已能够降低环境复杂的光线变化对于交通信号灯状态识别的准确率的影响，提升交通信号灯状态识别的准确率；在此基础上，本发明实施例可对基于CNN特征，所确定的第一交通信号灯状态进行验证，并在第一交通信号灯状态验证结果为通过时，才将基于CNN特征所确定的第一交通信号灯状态，作为交通信号灯状态识别结果，以进一步提升交通信号灯状态识别的准确率和稳定性。

可选的，对于每一交通信号灯，其灯状态变换逻辑一般是预置好的，如交通信号灯的灯状态变换逻辑(即红绿灯状态变换逻辑)一般按照红灯至绿灯至黄灯至红灯的循环顺序进行变换，且红灯、绿灯、黄灯在某一时刻的维持时间是设定的；基于此，本发明实施例可以根据前方路口交通信号灯的灯状态变换逻辑，验证本发明实施例连续确定的交通信号灯状态，以过滤由于天气、光线、视角，红绿灯误分类等影响所引起的交通信号灯状态的误确定，提升交通信号灯状态识别的准确率；

可选的，图6示出了本发明实施例提供的确定交通信号灯状态识别结果的方法流程图，该方法可应用于车载控制终端，参照图6，该方法可以包括：

步骤S30、获取前方路口的交通信号灯的灯状态变换逻辑。

可选的，本发明实施例可定位车载控制终端的当前位置，通过查询地图数据，确定机动车驾驶前方与当前位置最近的路口，从数据库(网络数据库或本地数据库)中记录的各路口的交通信号灯的灯状态变换逻辑中，获取所确定的路口相应的交通信号灯的灯状态变换逻辑；

可选的，本发明实施例可为各个路口设置路口标记，并将路口的路口标记与所在位置相关联，且对于每一个路口，定义各可能行驶方向相应设置的交通信号灯的灯标记；如图7所示，对于每一个路口，设置路口标记并关联上路口位置后，对于路口各可能行驶方向上设置的交通信号灯，本发明实施例可以均设定交通信号灯的灯标记，从而对于每一个路口，确定出路口的路口标记，与各可能行驶方向相应设置的交通信号灯的灯标记的对应关系，并关联到各灯标记相应的灯状态变换逻辑；

从而车载控制终端确定机动车驾驶前方与当前位置最近的路口后，可根据前方最近路口的路口位置确定出相应的路口标记，以所确定的路口标记和机动车的驾驶方向，确定出前方路口设置的交通信号灯的灯标记，以所确定的灯标记获取到所关联的灯状态变换逻辑。

显然，上述描述的灯状态变换逻辑获取方式仅是可选的，在仅考虑灯状态变换顺序的情况下，各交通信号灯的灯状态变换逻辑可以是统一的。

步骤S31、获取连续确定的交通信号灯状态，所述连续确定的交通信号灯状态包括所述第一交通信号灯状态。

可选的，本发明实施例可在距前方停止线的距离处于设定验证距离范围时(例如设定验证距离范围，为距前方停止线的距离150米以内，此处的数值仅是示例，具体可根据实际需要设定)，对处于设定验证距离范围内连续确定的交通信号灯状态进行收集，从而在确定出第一交通信号灯状态后，将处于设定验证距离范围内时，历史确定的交通信号灯状态与第一交通信号灯状态进行结合，获取到连续确定的交通信号灯状态；可选的，在该连续确定的交通信号灯状态中，第一交通信号灯状态可以处于末尾；

例如，本发明实施例可在距前方停止线的距离处于150米以内时，进行所确定的交通信号灯状态的收集，在确定当前的第一交通信号灯状态后(如当前距前方停止线的距离为50米)，则可将距前方停止线的距离处于150米以内时，历史确定的交通信号灯状态(当前距前方停止线的距离为150米至50米时，所确定的交通信号灯状态)，与当前确定的第一交通信号灯状态(当前距前方停止线的距离为50米时，所确定的交通信号灯状态)相结合，获取到连续确定的交通信号灯状态；值得注意的是，本段的数值内容仅是举例性说明，其不应成为本发明实施例保护范围的限制。

步骤S32、判断所述连续确定的交通信号灯状态的灯状态变换逻辑，是否与前方路口的交通信号灯的灯状态变换逻辑相匹配，若否，执行步骤S33，若是，执行步骤S34。

可选的，本发明实施例可以判断连续确定的交通信号灯状态的亮灯顺序，与前方路口的交通信号灯的亮灯顺序是否匹配；当然，除单纯的亮灯顺序的比对外，本发明实施例还可以加入亮灯维持时间，如在连续确定的交通信号灯状态中存在灯状态跳转时，判断跳转后的灯状态的维持时间，是否与前方路口的交通信号灯的该灯状态的维持时间相匹配等。

步骤S33、确定第一交通信号灯状态不为，所确定的交通信号灯状态识别结果。

结合第一交通信号灯状态后的连续确定的交通信号灯状态的灯状态变换逻辑，与前方路口的交通信号灯的灯状态变换逻辑不相匹配，说明由于天气、光线、视角、红绿灯误分类等影响，造成了交通信号灯识别结果的闪烁问题(闪烁指的是在短时间内，如2秒内(具体时间可视实际需求设定)，交通信号灯识别结果输出不稳定的情况)；

如图8所示，基于连续确定的交通信号灯状态的灯状态变换逻辑为绿灯至黄灯的顺序，而前方路口的交通信号灯的灯状态变换逻辑为红灯至绿灯至红灯至黄灯的循环顺序，两者不匹配，存在交通信号灯识别结果的闪烁问题。

步骤S34、确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果。

可选的，除利用交通信号灯的灯状态变换逻辑，进行第一交通信号灯状态的验证外，本发明实施例还可以具有其他的验证方式，如使用设定时间大小的滑动时间窗将所确定的第一交通信号灯状态进行延迟输出，如果在设定时间内，所确定的交通信号灯状态与第一交通信号灯状态相同，则可确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果；如果期间所确定的交通信号灯状态发生变化，则以变化后最新确定的交通信号灯状态(即最新确定的第一交通信号灯状态)，重新进行滑动时间窗的延迟输出处理；

可选的，图9示出了本发明实施例提供的确定交通信号灯状态识别结果的另一方法流程图，该方法可应用于车载控制终端，参照图9，该方法可以包括：

步骤S40、将所述第一交通信号灯状态加入预置的滑动时间窗，所述滑动时间窗对应时间长短为预设时间。

可选的，预设时间可以小于交通信号灯状态切换后，人体的反应时间，即本发明实施例可统计交通信号灯状态切换后(如红灯切换至绿灯时)，人体的反应时间，从而设置小于该人体反应时间的设定时间，作为滑动时间窗对应的时间长短；如交通信号灯状态切换后，人体的反应一般在500ms(毫秒)，本技术方案实施例可采用300ms等作为设定时间；显然，此处的数值仅是举例说明，人体的反应时间也可能根据统计方法的不同而调整。

步骤S41、判断所述预设时间内所确定的新的交通信号灯状态是否与第一交通信号灯状态相应，若否，执行步骤S42，若是，执行步骤S43。

滑动时间窗可以随着时间推移而滑动，并记录不断确定的最新的交通信号灯状态，如果在一个滑动时间窗对应时间长短内，发现新确定的交通信号灯状态与所述第一交通信号灯状态不相应，则可确定存在交通信号灯识别结果闪烁问题；如图10所示，在一个滑动时间窗内，如果确定的新的交通信号灯状态与第一交通信号灯状态不相应，则可能出现了交通信号灯识别结果闪烁问题；如果在一个滑动时间窗对应时间长短内，新确定的交通信号灯状态与所述第一交通信号灯状态相应，则可确定所确定的第一交通信号灯状态稳定，可以进行输出。

步骤S42、确定第一交通信号灯状态不为，所确定的交通信号灯状态识别结果。

步骤S43、确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果。

通过滑动时间窗控制对所确定的第一交通信号灯状态进行延迟过滤，如滑动时间窗的时间长短为300ms(数值仅为举例说明，可以根据实际需要设定滑动时间窗的时间长短，即根据实际需要对设定时间进行设置)，即状态发生变化300ms后相对稳定时再输出第一交通信号灯状态，来作为交通信号灯状态识别结果，避免300ms内状态反复跳跃，可以平滑由于雾霾、光线影响所造成的交通信号灯识别结果闪烁问题。

可选的，由于相邻两个路口的距离小于一定距离，则图像采集装置采集的图像中可能会涵盖相邻两个路口的交通信号灯图像，此时需要过滤下一路口的交通信号灯信号，以降低识别干扰；针对此，图11示出了本发明实施例提供的确定交通信号灯状态识别结果的再一方法流程图，该方法可应用于车载控制终端，参照图11，该方法可以包括：

步骤S50、获取前方最近路口的交通信号灯的属性信息。

可选的，交通信号灯的属性信息包括静态和动态两类属性，静态属性指灯组的形状、排列方式(横向还是竖向)，灯体的个数(常见的有1个或者3个，其中3个的情况可以认为是交通信号灯组的一种)；动态属性指每个灯体的颜色，如竖向三个排列的灯体分别对应的颜色是红、黄、绿，以及每个灯体当前状态(亮或者暗)等。

本发明实施例可以根据车载控制终端的当前位置，查询地图数据，获取前方最近路口的位置，并根据预置的路口位置与交通信号灯的属性信息的对应关系，获取与前方最近路口的位置相应的交通信号灯的属性信息，以获取到前方最近路口的交通信号灯的属性信息。

步骤S51、根据所述交通信号灯图像区域，确定所述交通信号灯图像区域所表示的交通信号灯的属性信息。

可选的，本发明实施例可以采用图形识别等技术，对所述交通信号灯图像区域进行处理，确定出交通信号灯图像区域所表示的交通信号灯的排列，个数等属性信息。

步骤S52、判断所确定的属性信息，与所述前方最近路口的交通信号灯的属性信息是否匹配，若否，执行步骤S53，若是，执行步骤S54。

所确定的属性信息，与前方最近路口的交通信号灯的属性信息不相匹配，说明所述交通信号灯图像区域所表示的交通信号灯，可能不是前方最近路口的交通信号灯，需要进行过滤，相应的，不能将相应确定的第一交通信号灯状态，作为交通信号灯状态识别结果。

步骤S53、确定第一交通信号灯状态不为，所确定的交通信号灯状态识别结果。

步骤S54、确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果。

可选的，在基于CNN特征确定出第一交通信号灯状态后，本发明实施例还可采用基于色度的颜色识别方法(如基于HSV特征识别等)，对所述交通信号灯图像区域进行二次处理，如果二次识别的结果与第一交通信号灯状态相应(一致)，则可确定所确定的第一交通信号灯状态的结果较为稳定，可以作为交通信号灯状态识别结果使用；可选的，基于色度的颜色识别处理对象是已经从待识别图像中提取出的交通信号灯图像区域，对所述交通信号灯图像区域进行色度的颜色识别处理，，得到所识别的交通信号灯状态，从而与第一交通信号灯状态进行匹配比对，判断所识别的交通信号灯状态与所述第一交通信号灯状态是否相应，若是，则验证通过，则确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果，若否，则验证不通过。

上述列出的多种对第一交通信号灯状态的验证方式可以是并行的，择一使用；也可以是其中的至少一种结合使用，并在所结合的各种验证方式的验证结果均为通过时，才将第一交通信号灯状态确定为交通信号灯状态识别结果。

可选的，基于本发明实施例所确定的交通信号灯状态识别结果，可以实现前方路口通行状态的预测，以提升机动车自动驾驶，导航等领域的效果；可选的，在确定交通信号灯状态识别结果后，本发明实施例可结合图像采集装置的标定参数，当前位置及前方路口的交通信号灯的三维位置坐标，确定前方路口各方向的通行状态(如对于十字路口，前方路口可能会给出直行、右转、左转的提示，每一个提示对应的交通信号灯均具有红绿黄的灯状态变化，此时需要确定出前方路口各方向对应的交通信号灯，并将所确定的交通信号灯状态识别结果，与前方路口各方向对应的交通信号灯匹配对应上)；

可选的，图12示出了本发明实施例提供的前方路口通行状态的预测方法流程图，该方法可应用于车载控制终端，参照图12，该方法可以包括：

步骤S60、获取当前位置，以及前方路口的交通信号灯组中指示各方向的交通信号灯的三维位置坐标。

可选的，当前位置可以是机动车的当前位置，由车载控制终端定位得出；本发明实施例可定义各个路口位置相应的交通信号灯的三维位置坐标，从而根据前方路口的路口位置匹配出相应的交通信号灯的三维位置坐标；该三维位置坐标可以包括前方路口的交通信号灯组中指示各方向的交通信号灯的三维位置；可选的，交通信号灯的三维位置坐标可涵盖在交通信号灯的属性信息中。

步骤S61、根据所述当前位置与所述三维位置坐标，确定机动车与指示各方向的交通信号灯的相对位置。

在确定机动车的当前位置，与前方路口指示各方向的交通信号灯的三维位置坐标后，可确定出机动车分别与指示各方向的交通信号灯的相对位置。

步骤S62、根据目标图像采集装置的标定参数，确定机动车与交通信号灯的相对位置，在待识别图像中位置的转换关系。

可选的，图像采集装置的标定参数指的是标定图像采集装置(如摄像机)的内外参数，根据此标定参数，可以换算出机动车与交通信号灯的相对位置，在待识别图像相应的坐标系中位置的转换关系。

步骤S63、根据所述转换关系，将机动车与指示各方向的交通信号灯的相对位置，转换为，指示各方向的交通信号灯在待识别图像中转换的位置。

根据步骤S62所确定的转换关系，可以根据实际世界坐标系中机动车与交通信号灯的相对位置，转换成在二维图像平面中对应的位置，得到在相应采集的待识别图像中的位置。

可选的，步骤S60至步骤S63可以认为是获取前方路口指示各方向的交通信号灯在待识别图像中转换的位置的可选实现方式，本发明实施例并不排除其他的将前方路口指示各方向的交通信号灯的三维位置坐标，转换为在待识别图像中的位置的方式。

步骤S64、根据前方路口指示各方向的交通信号灯在待识别图像中转换的位置，与交通信号灯状态识别结果中各个交通信号灯的灯状态，确定指示前方路口各方向的交通信号灯的灯状态。

可选的，在得到前方路口指示各方向的交通信号灯在待识别图像中转换的位置后，可从交通信号灯状态识别结果中匹配出各位置相应的灯状态，确定出指示前方路口各方向的交通信号灯的灯状态。

步骤S65、根据指示前方路口各方向的交通信号灯的灯状态，确定前方路口各方向的通行状态预测结果。

相应的，本发明实施例可通过指示前方路口各方向的交通信号灯的灯状态，预测出前方路口各方向的通行状态；此处，本发明实施例可以预置前方路口各方向的通行状态模板，根据所确定的指示前方路口各方向的交通信号灯的灯状态，在通行状态模板中填充前方路口各方向相应的通行状态，实现前方路口各方向的通行状态的预测；一般而言，前方路口一个方向的交通信号灯的灯状态为绿灯亮，则前方路口该方向的通行状态为允许通行，前方路口一个方向的交通信号灯的灯状态为红灯亮，则前方路口该方向的通行状态为禁止通行。

值得注意的是，图12所示是针对十字路口等前方路口是多方向行驶路口的情况，给出前方路口各方向的通行状态的预测方案，是从所确定的交通信号灯状态识别结果中，确定指示前方路口各个方向的交通信号灯的灯状态，从而根据前方路口各个方向的交通信号灯的灯状态，预测前方路口各个方向的通行状态的一种可选方式；

显然，针对单行方向的路口，前方路口仅有一个通行方向，此时可以直接根据所确定的交通信号灯状态识别结果，给出前方路口的通行状态的预测结果，而不需要确定所确定的交通信号灯状态识别结果中，前方路口各个方向的交通信号灯的灯状态的手段。

本发明实施例提供的交通信号灯状态识别方法的一种可选应用可以如图13所示，例如，本发明实施例可设置3个摄像头，且分属近焦，中焦，远焦等级，如摄像头1为近焦等级的摄像头，焦距在第一焦距范围(例如5mm至12.5mm(毫米))，清晰可视距离在第一距离范围(例如4m至30m(米)范围)内，摄像头2为中焦等级的摄像头，焦距在第二焦距范围(例如12.5mm至25mm)，清晰可视距离在第二距离范围(例如30m至80m范围)内，摄像头3为远焦等级的摄像头，焦距在第三焦距范围(例如25mm至50mm)，清晰可视距离在第三距离范围(例如80m至160m范围)内；值得注意的是，此处涉及的数值仅是可选示例，此处描述的近焦，中焦，远焦等级相应的焦距数值和清晰可视距离举例数值，仅是本发明实施例为预置的多个图像采集装置分别对应不同的焦距等级，且设置各焦距等级对应的焦距范围和清晰可视距离范围的一种可选方式；

从而在自动驾驶汽车距前方最近停止线的距离为第三距离范围的阶段时，启用摄像头3作为目标图像采集装置，获取其采集的待识别图像进行处理，在自动驾驶汽车距前方最近停止线的距离为第二距离范围的阶段时，启用摄像头2作为目标图像采集装置，获取其采集的待识别图像进行处理，在自动驾驶汽车距前方最近停止线的距离为第三距离范围的阶段时，启用摄像头1作为目标图像采集装置，获取其采集的待识别图像进行处理；

对于上文任一阶段获取到的各个待识别图像，本发明实施例可以采用预先训练的交通信号灯识别模型，识别待识别图像中的交通信号灯图像区域，并提取交通信号灯图像区域中的CNN特征，通过预训练的Softmax分类器识别出CNN特征表示的交通信号灯状态，得到当前确定的第一交通信号灯状态；此处的第一交通信号灯状态的可能形式是：单个交通信号灯情况下的灯状态，或者，多个交通信号灯组成的灯组情况下，各个交通信号灯的灯状态(此时还可确定各个交通信号灯在待识别图像中的位置)；

从而通过前方路口的交通信号灯的灯状态变换逻辑，和/或，预置的滑动时间窗，和/或，前方最近路口的交通信号灯的属性信息，和/或，基于色度的颜色识别对交通信号灯图像区域的二次处理，对第一交通信号灯状态进行验证，并在验证通过后，将第一交通信号灯状态确定为交通信号灯状态识别结果；

如果前方路口为单行路口，则可将交通信号灯状态识别结果表示的灯状态，作为前方路口通行状态的预测依据(如绿灯前行，或者红灯禁行)；

如果前方路口为十字路口等多方向行驶路口，则可从交通信号灯状态识别结果中，确定前方路口各方向的交通信号灯对应的灯状态，并给出前方路口各方向的通行状态预测；可选的，前方路口的路口类型是单行路口，还是多方向行驶路口可以预置，如设置路口的路口位置或路口标记，与路口类型的对应关系，根据前方路口的路口位置或路口标记，获取相应的路口类型。

本发明实施例提供的交通信号灯状态识别方法，可以降低环境复杂的光线变化对于交通信号灯状态识别的准确率的影响，提升交通信号灯状态识别的准确率；同时，可应用于机动车自动驾驶，导航等领域，实现前方路口通行状态的准确预测，提升机动车自动驾驶，导航的应用效果。

下面对本发明实施例提供的交通信号灯状态识别装置进行介绍，下文描述的交通信号灯状态识别装置可与，上文描述的交通信号灯状态识别方法相互对应参照。下文描述的交通信号灯状态识别装置可以认为是，车载控制终端为实现本发明实施例提供的交通信号灯状态识别方法，所需设置的程序模块，这些程序模块的功能可以通过车载控制终端装载的程序实现。

图14为本发明实施例提供的交通信号灯状态识别装置的结构框图，该装置可应用于车载控制终端，参照图14，该装置可以包括：

图像获取模块100，用于获取目标图像采集装置采集的待识别图像；

区域识别模块200，用于识别所述待识别图像中的交通信号灯图像区域；

特征提取模块300，用于提取所述交通信号灯图像区域的卷积神经网络CNN特征；

第一灯状态确定模块400，用于根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；

识别结果确定模块500，用于根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

可选的，区域识别模块200，用于识别所述待识别图像中的交通信号灯图像区域，具体包括：

根据预训练的交通信号灯识别模型，识别所述待识别图像中的交通信号灯图像区域；所述交通信号灯识别模型根据机器学习方法训练正样本和负样本得到，其中，正样本为从多个街景图像中标注具有交通信号灯的图像，负样本为从多个街景图像中标注的街景背景图像。

可选的，第一灯状态确定模块400，用于根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态，具体包括：

根据预训练的交通信号灯状态分类模型，确定所述CNN特征相应的交通信号灯状态，得到所述交通信号灯图像区域表示的第一交通信号灯状态；其中，交通信号灯状态分类模型根据各交通信号灯状态的交通信号灯图像的CNN特征训练得到。

可选的，图像获取模块100，用于获取目标图像采集装置采集的待识别图像，具体包括：

从预置的多个图像采集装置中选择目标图像采集装置，获取所述目标图像采集装置采集的待识别图像；其中，所述多个图像采集装置分别对应不同的焦距等级，一个焦距等级对应一个焦距范围，焦距等级越高，焦距范围对应的焦距数值越大，对应的清晰可视距离范围越高。

可选的，图像获取模块100，用于从预置的多个图像采集装置中选择目标图像采集装置，具体包括：

确定当前位置距前方最近停止线的距离；

根据预置的各图像采集装置对应的距离范围，确定当前位置距前方最近停止线的距离所处距离范围对应的图像采集装置，选择出目标图像采集装置。

可选的，图15示出了本发明实施例提供的交通信号灯状态识别装置的另一结构框图，结合图14和图15所示，该装置还可以包括：

距离范围设置模块600，用于根据各图像采集装置的焦距，各图像采集装置的清晰可视距离，以及距停止线的各距离下，交通信号灯在各图像采集装置所采集的图像内的像素数，确定各图像采集装置对应的距离范围。

可选的，图像获取模块100，用于确定当前位置距前方最近停止线的距离，具体包括：

定位当前位置；

根据所述当前位置向地图服务器发送查询请求，所述查询请求用于请求查询当前位置距前方最近停止线的距离；

接收所述地图服务器反馈的所查询到的距离。

可选的，图像获取模块100可以是在当前位置距前方最近停止线的距离，小于预定距离限值时，触发执行获取目标图像采集装置采集的待识别图像的步骤。

可选的，识别结果确定模块500，用于根据所述第一交通信号灯状态，确定交通信号灯状态识别结果，具体包括：

对所述第一交通信号灯状态进行验证，如果验证结果为通过，则将所述第一交通信号灯状态作为交通信号灯状态识别结果。

可选的，识别结果确定模块500所采用的验证方式和过程可以选用如下至少一种：

一、获取前方路口的交通信号灯的灯状态变换逻辑；获取连续确定的交通信号灯状态，所述连续确定的交通信号灯状态包括所述第一交通信号灯状态；判断所述连续确定的交通信号灯状态的灯状态变换逻辑，是否与前方路口的交通信号灯的灯状态变换逻辑相匹配；若是，确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果；

二、将所述第一交通信号灯状态加入预置的滑动时间窗，所述滑动时间窗对应时间长短为预设时间；判断所述预设时间内所确定的新的交通信号灯状态，是否与第一交通信号灯状态相应；若是，确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果；

三、获取前方最近路口的交通信号灯的；根据所述交通信号灯图像区域，确定所述交通信号灯图像区域所表示的交通信号灯的属性信息；判断所确定的属性信息，与所述前方最近路口的交通信号灯的属性信息是否匹配；若是，确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果；

四、对所述交通信号灯图像区域进行色度的颜色识别处理，得到所识别的交通信号灯状态；判断所识别的交通信号灯状态与所述第一交通信号灯状态是否相应；若是，确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果。

可选的，图16示出了本发明实施例提供的交通信号灯状态识别装置的再一结构框图，结合图14和图16所示，该装置还可以包括：

通行状态预测模块700，用于如果前方路口为多方向行驶路口，从所述交通信号灯状态识别结果中，确定指示前方路口各个方向的交通信号灯的灯状态；根据指示前方路口各方向的交通信号灯的灯状态，确定前方路口各方向的通行状态预测结果。

可选的，通行状态预测模块700，用于从所述交通信号灯状态识别结果中，确定指示前方路口各个方向的交通信号灯的灯状态，具体包括：

获取前方路口指示各方向的交通信号灯在待识别图像中转换的位置；

根据前方路口指示各方向的交通信号灯在待识别图像中转换的位置，与交通信号灯状态识别结果中各个交通信号灯的灯状态，确定指示前方路口各方向的交通信号灯的灯状态。

可选的，通行状态预测模块700，用于获取前方路口指示各方向的交通信号灯在待识别图像中转换的位置，具体包括：

获取当前位置，以及前方路口的交通信号灯组中指示各方向的交通信号灯的三维位置坐标；

根据所述当前位置与所述三维位置坐标，确定机动车与指示各方向的交通信号灯的相对位置；

根据目标图像采集装置的标定参数，确定机动车与交通信号灯的相对位置，在待识别图像中位置的转换关系；

根据所述转换关系，将机动车与指示各方向的交通信号灯的相对位置，转换为，指示各方向的交通信号灯在待识别图像中转换的位置。

上文描述的程序模块可以程序形式装载在车载控制终端中，可选的，图17示出了车载控制终端的硬件结构框图，参照图17，该车载控制终端至少可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；显然，车载控制终端还可以具有其他的硬件，如显示屏、蓝牙等通信模块、麦克风、摄像头等，具体可视车载控制终端的需求而扩展其硬件；

在本发明实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

可选的，通信接口2可以为通信模块的接口，如GSM模块的接口；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

其中，存储器3存储有程序，处理器1调用存储3所存储的程序，该程序具体用于：

获取目标图像采集装置采集的待识别图像；

识别所述待识别图像中的交通信号灯图像区域；

提取所述交通信号灯图像区域的卷积神经网络CNN特征；

根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；

根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

可选的，程序的功能实现细节，和扩展程序功能可参照上文相应内容。

本发明实施例还提供一种机动车，该机动车的结构可以参照图1，在本发明实施例中，该机动车可以包括至少一个图像采集装置，车载控制终端；

其中，所述至少一个图像采集装置用于采集车身前方的待识别图像；

所述车载控制终端，用于获取目标图像采集装置采集的待识别图像，所述目标图像采集装置包含于所述至少一个图像采集装置中；识别所述待识别图像中的交通信号灯图像区域；提取所述交通信号灯图像区域的卷积神经网络CNN特征；根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

其中，车载控制终端的功能细节和扩展功能，可参照上文相应部分描述。

本发明实施例提供的机动车能够提升交通信号灯状态识别的准确率，为提升自动驾驶性能提供可能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (22)

1.一种交通信号灯状态识别方法，其特征在于，包括：

获取目标图像采集装置采集的待识别图像；

识别所述待识别图像中的交通信号灯图像区域；

提取所述交通信号灯图像区域的卷积神经网络CNN特征；

根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；

根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

2.根据权利要求1所述的交通信号灯状态识别方法，其特征在于，所述识别所述待识别图像中的交通信号灯图像区域包括：

根据预训练的交通信号灯识别模型，识别所述待识别图像中的交通信号灯图像区域；所述交通信号灯识别模型根据机器学习方法训练正样本和负样本得到，其中，正样本为从多个街景图像中标注的具有交通信号灯的图像，负样本为从多个街景图像中标注的街景背景图像。

3.根据权利要求1所述的交通信号灯状态识别方法，其特征在于，所述根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态包括：

根据预训练的交通信号灯状态分类模型，确定所述CNN特征相应的交通信号灯状态，得到所述交通信号灯图像区域表示的第一交通信号灯状态；其中，交通信号灯状态分类模型根据各交通信号灯状态的交通信号灯图像的CNN特征训练得到。

4.根据权利要求1所述的交通信号灯状态识别方法，其特征在于，所述获取目标图像采集装置采集的待识别图像包括：

从预置的多个图像采集装置中选择目标图像采集装置，获取所述目标图像采集装置采集的待识别图像；其中，所述多个图像采集装置分别对应不同的焦距等级，一个焦距等级对应一个焦距范围，焦距等级越高，焦距范围对应的焦距数值越大，对应的清晰可视距离范围越高。

5.根据权利要求4所述的交通信号灯状态识别方法，其特征在于，所述从预置的多个图像采集装置中选择目标图像采集装置包括：

确定当前位置距前方最近停止线的距离；

根据预置的各图像采集装置对应的距离范围，确定当前位置距前方最近停止线的距离所处距离范围对应的图像采集装置，选择出目标图像采集装置。

6.根据权利要求5所述的交通信号灯状态识别方法，其特征在于，所述各图像采集装置对应的距离范围的预置过程包括：

根据各图像采集装置的焦距，各图像采集装置的清晰可视距离，以及距停止线的各距离下，交通信号灯在各图像采集装置所采集的图像内的像素数，确定各图像采集装置对应的距离范围。

7.根据权利要求5所述的交通信号灯状态识别方法，其特征在于，所述确定当前位置距前方最近停止线的距离包括：

定位当前位置；

根据所述当前位置向地图服务器发送查询请求，所述查询请求用于请求查询当前位置距前方最近停止线的距离；

接收所述地图服务器反馈的所查询到的距离。

8.根据权利要求1-7任一项所述的交通信号灯状态识别方法，其特征在于，所述方法还包括：

在当前位置距前方最近停止线的距离，小于预定距离限值时，触发执行获取目标图像采集装置采集的待识别图像的步骤。

9.根据权利要求1所述的交通信号灯状态识别方法，其特征在于，所述根据所述第一交通信号灯状态，确定交通信号灯状态识别结果包括：

对所述第一交通信号灯状态进行验证，如果验证结果为通过，则将所述第一交通信号灯状态作为交通信号灯状态识别结果。

10.根据权利要求9所述的交通信号灯状态识别方法，其特征在于，所述对所述第一交通信号灯状态进行验证包括：

获取前方路口的交通信号灯的灯状态变换逻辑；

获取连续确定的交通信号灯状态，所述连续确定的交通信号灯状态包括所述第一交通信号灯状态；

判断所述连续确定的交通信号灯状态的灯状态变换逻辑，是否与前方路口的交通信号灯的灯状态变换逻辑相匹配；

所述如果验证结果为通过，则将所述第一交通信号灯状态作为交通信号灯状态识别结果包括：

如果所述连续确定的交通信号灯状态的灯状态变换逻辑，与前方路口的交通信号灯的灯状态变换逻辑相匹配，确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果。

11.根据权利要求9所述的交通信号灯状态识别方法，其特征在于，所述对所述第一交通信号灯状态进行验证包括：

将所述第一交通信号灯状态加入预置的滑动时间窗，所述滑动时间窗对应时间长短为预设时间；

判断所述预设时间内所确定的新的交通信号灯状态，是否与第一交通信号灯状态相应；

所述如果验证结果为通过，则将所述第一交通信号灯状态作为交通信号灯状态识别结果包括：

如果所述预设时间内所确定的新的交通信号灯状态，与所述第一交通信号灯状态相应，确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果。

12.根据权利要求9所述的交通信号灯状态识别方法，其特征在于，所述对所述第一交通信号灯状态进行验证包括：

获取前方最近路口的交通信号灯的属性信息；

根据所述交通信号灯图像区域，确定所述交通信号灯图像区域所表示的交通信号灯的属性信息；

判断所确定的属性信息，与所述前方最近路口的交通信号灯的属性信息是否匹配；

所述如果验证结果为通过，则将所述第一交通信号灯状态作为交通信号灯状态识别结果包括：

如果所确定的属性信息，与所述前方最近路口的交通信号灯的属性信息相匹配，确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果。

13.根据权利要求9所述的交通信号灯状态识别方法，其特征在于，所述对所述第一交通信号灯状态进行验证包括：

对所述交通信号灯图像区域进行色度的颜色识别处理，得到所识别的交通信号灯状态；

判断所识别的交通信号灯状态与所述第一交通信号灯状态是否相应；

所述如果验证结果为通过，则将所述第一交通信号灯状态作为交通信号灯状态识别结果包括：

如果所识别的交通信号灯状态与所述第一交通信号灯状态相应，确定第一交通信号灯状态为，所确定的交通信号灯状态识别结果。

14.根据权利要求1所述的交通信号灯状态识别方法，其特征在于，还包括：

如果前方路口为多方向行驶路口，从所述交通信号灯状态识别结果中，确定指示前方路口各个方向的交通信号灯的灯状态；

根据指示前方路口各方向的交通信号灯的灯状态，确定前方路口各方向的通行状态预测结果。

15.根据权利要求14所述的交通信号灯状态识别方法，其特征在于，所述从所述交通信号灯状态识别结果中，确定指示前方路口各个方向的交通信号灯的灯状态包括：

获取前方路口指示各方向的交通信号灯在待识别图像中转换的位置；

根据前方路口指示各方向的交通信号灯在待识别图像中转换的位置，与交通信号灯状态识别结果中各个交通信号灯的灯状态，确定指示前方路口各方向的交通信号灯的灯状态。

16.根据权利要求15所述的交通信号灯状态识别方法，其特征在于，所述获取前方路口指示各方向的交通信号灯在待识别图像中转换的位置包括：

获取当前位置，以及前方路口的交通信号灯组中指示各方向的交通信号灯的三维位置坐标；

根据所述当前位置与所述三维位置坐标，确定机动车与指示各方向的交通信号灯的相对位置；

根据目标图像采集装置的标定参数，确定机动车与交通信号灯的相对位置，在待识别图像中位置的转换关系；

根据所述转换关系，将机动车与指示各方向的交通信号灯的相对位置，转换为，指示各方向的交通信号灯在待识别图像中转换的位置。

17.一种交通信号灯状态识别装置，其特征在于，包括：

图像获取模块，用于获取目标图像采集装置采集的待识别图像；

区域识别模块，用于识别所述待识别图像中的交通信号灯图像区域；

特征提取模块，用于提取所述交通信号灯图像区域的卷积神经网络CNN特征；

第一灯状态确定模块，用于根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；

识别结果确定模块，用于根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

18.根据权利要求17所述的交通信号灯状态识别装置，其特征在于，所述图像获取模块，用于获取目标图像采集装置采集的待识别图像，具体包括：

从预置的多个图像采集装置中选择目标图像采集装置，获取所述目标图像采集装置采集的待识别图像；其中，所述多个图像采集装置分别对应不同的焦距等级，一个焦距等级对应一个焦距范围，焦距等级越高，焦距范围对应的焦距数值越大，对应的清晰可视距离范围越高。

19.根据权利要求17所述的交通信号灯状态识别装置，其特征在于，所述识别结果确定模块，用于根据所述第一交通信号灯状态，确定交通信号灯状态识别结果，具体包括：

对所述第一交通信号灯状态进行验证，如果验证结果为通过，则将所述第一交通信号灯状态作为交通信号灯状态识别结果。

20.根据权利要求17所述的交通信号灯状态识别装置，其特征在于，还包括：

通行状态预测模块，用于如果前方路口为多方向行驶路口，从所述交通信号灯状态识别结果中，确定指示前方路口各个方向的交通信号灯的灯状态；根据指示前方路口各方向的交通信号灯的灯状态，确定前方路口各方向的通行状态预测结果。

21.一种车载控制终端，其特征在于，包括：存储器和处理器；

所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于：

获取目标图像采集装置采集的待识别图像；

识别所述待识别图像中的交通信号灯图像区域；

提取所述交通信号灯图像区域的卷积神经网络CNN特征；

根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；

根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。

22.一种机动车，其特征在于，包括：至少一个图像采集装置，车载控制终端；

其中，所述至少一个图像采集装置用于采集车身前方的待识别图像；

所述车载控制终端，用于获取目标图像采集装置采集的待识别图像，所述目标图像采集装置包含于所述至少一个图像采集装置中；识别所述待识别图像中的交通信号灯图像区域；提取所述交通信号灯图像区域的卷积神经网络CNN特征；根据所述CNN特征确定所述交通信号灯图像区域表示的第一交通信号灯状态；根据所述第一交通信号灯状态，确定交通信号灯状态识别结果。