CN110619307A - 交通灯状态确定方法、装置、设备和存储介质 - Google Patents

Abstract

本申请涉及一种交通灯状态确定方法、装置、设备和存储介质，电子设备获取当前道路环境中的交通灯图像；然后，获取交通灯的参考信息；其中，参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；最后，根据交通灯图像与参考信息，确定交通灯的当前实际状态。采用上述方法，可以避免交通灯图像被干扰时造成的交通灯状态确定不准确的问题，保障车辆行驶安全。

Description

交通灯状态确定方法、装置、设备和存储介质

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种交通灯状态确定方法、装置、设备和存储介质。

背景技术

交通灯状态确定方法是指车辆基于上游的交通灯信息，判断当前交通灯的具体状态的方法，可广泛应用于自动车辆驾驶和行车安全提示等领域中。

传统技术中，车辆可以通过车辆上的摄像头获取的交通灯图像信息，或者，通过接收交通灯的控制信号，来识别当前交通灯的状态。

但是，采用上述方法，车辆获得的交通灯信息容易受到环境因素的影响，导致识别到的交通灯状态准确率低。

发明内容

基于此，有必要针对上述技术问题，提供一种交通灯状态确定方法、装置、设备和存储介质。

一种交通灯状态确定方法，上述方法包括：

获取当前道路环境中的交通灯图像；

获取交通灯的参考信息；参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；

根据交通灯图像与参考信息，确定交通灯的当前实际状态。

在其中一个实施例中，上述根据交通灯图像与参考信息，确定交通灯的当前实际状态，包括：

根据参考信息，确定与交通灯图像同步的目标参考信息；

基于交通灯图像，获得交通灯的当前预估状态；

根据目标参考信息以及当前预估状态，确定交通灯的当前实际状态。

在其中一个实施例中，上述参考信息包括控制信号；根据目标参考信息以及当前预估状态，确定交通灯的当前实际状态，包括：

根据接收到的交通灯异常报告或者控制信号，确定交通灯是否异常；

若否，则获取当前预估状态的第一置信度以及控制状态的第二置信度；控制状态为根据目标参考信息中的控制信号获得的交通灯的状态；

根据第一置信度和第二置信度，确定交通灯的当前实际状态。

在其中一个实施例中，上述第一置信度由预设时长内的当前预估状态的变化情况确定；第二置信度由控制信号的发送时刻与交通灯图像的时间戳之间的时间差值，以及交通灯的工作状态确定。

在其中一个实施例中，上述根据第一置信度和第二置信度，确定交通灯的当前实际状态，包括：

获取当前预估状态中各个域的第一初始置信度，以及控制状态中各个域的第二初始置信度；各个域包括交通灯的方向、交通灯的显示颜色以及交通灯的倒计时长；

在其中一个域的第一初始置信度与第一置信度的和，大于或等于其中一个域的第二初始置信度与第二置信度的和时，将当前预估状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值；

在其中一个域的第一初始置信度与第一置信度的和，小于其中一个域的第二初始置信度与第二置信度的和时，将控制状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值。

在其中一个实施例中，上述根据接收到的交通灯异常报告或者控制信号，确定交通灯是否异常，包括：

若交通灯异常报告的数量大于预设阈值时，确定交通灯异常；和/或，

若目标参考信息中的控制信号中携带预设的交通灯错误码，确定交通灯异常。

在其中一个实施例中，上述参考信息包括其它车辆得到的交通灯的状态识别结果，根据目标参考信息以及当前预估状态，确定交通灯的当前实际状态，包括：

获取车辆与其它车辆的权重值；权重值由车辆与交通灯的角度、车辆与交通灯的距离、以及车辆对交通灯的成像质量确定；

根据权重值，对目标参考信息中的状态识别结果与当前预估状态进行量化；

将目标参考信息中的状态识别结果与当前预估状态中，量化值最大的状态确定为当前实际状态。

在其中一个实施例中，根据所述目标参考信息以及当前预估状态，确定所述交通灯的当前实际状态，包括：

根据目标参考信息中的控制信号与当前预估状态，确定所述交通灯的第一状态；

根据目标参考信息中的状态识别结果对所述第一状态进行校正，确定交通灯的当前实际状态。

在其中一个实施例中，上述根据参考信息，确定与交通灯图像同步的目标参考信息，包括：

获取各参考信息的发送时刻与交通灯图像的时间戳之间的时间差值；

若时间差值中的最小时间差值小于预设差值阈值，则将最小时间差值对应的参考信息，确定为与交通灯图像同步的目标参考信息。

在其中一个实施例中，上述参考信息包括交通灯下一状态的控制信号以及当前状态的持续时长，获取各参考信息的发送时刻与交通灯图像的时间戳之间的时间差值之后，还包括：

若最小时间差值大于预设差值阈值，且交通灯图像的时间戳小于控制信号的发送时刻与持续时长的和，则确定参考信息为下一状态的交通灯图像同步的目标参考信息。

在其中一个实施例中，上述基于交通灯图像，获得交通灯的当前预估状态，包括：

对多个摄像头采集的交通灯图像进行处理，获取各交通灯图像的状态检测结果；

确定各状态检测结果中重复次数最多的状态检测结果；

对重复次数最多的状态检测结果进行卷积平滑处理，获得当前预估状态。

一种交通灯状态确定装置，上述装置包括：

第一获取模块，用于获取当前道路环境中的交通灯图像；

第二获取模块，用于获取交通灯的参考信息；参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；

确定模块，用于根据交通灯图像与参考信息，确定交通灯的当前实际状态。

一种设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述交通灯状态确定方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述交通灯状态确定方法的步骤。

上述交通灯状态确定方法、装置、设备和存储介质，电子设备获取当前道路环境中的交通灯图像；然后，获取交通灯的参考信息；其中，参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；最后，根据交通灯图像与参考信息，确定交通灯的当前实际状态。由于电子设备获取了交通灯图像以及参考信息，从而可以根据交通灯图像以及参考信息共同确定交通灯的实际状态，避免交通灯图像被干扰时造成的交通灯状态确定不准确的问题，保障车辆行驶安全。

附图说明

图1为一个实施例中交通灯状态确定方法的应用环境图；

图2为一个实施例中交通灯状态确定方法的流程示意图；

图3为另一个实施例中交通灯状态确定方法的流程示意图；

图4为另一个实施例中交通灯状态确定方法的流程示意图；

图5为另一个实施例中交通灯状态确定方法的流程示意图；

图6为另一个实施例中交通灯状态确定方法的流程示意图；

图7为一个实施例中交通灯状态确定装置的结构框图；

图8为另一个实施例中交通灯状态确定装置的结构框图；

图9为另一个实施例中交通灯状态确定装置的结构框图；

图10为另一个实施例中交通灯状态确定装置的结构框图；

图11为另一个实施例中交通灯状态确定装置的结构框图；

图12为一个实施例中设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的交通灯状态确定方法，可以应用于如图1所示的应用环境中。其中，设置于车辆中的电子设备100，确定道路环境中的交通灯200的状态；上述车辆可以是自动驾驶车辆，也可以是一般车辆，在此不做限定。

在一个实施例中，如图2所示，提供了一种交通灯状态确定方法，以该方法应用于图1中的电子设备为例进行说明，包括：

S101、获取当前道路环境中的交通灯图像。

其中，上述交通灯图像信息可以是二维图像，例如RGB图像，也可以是深度图像，对于上述交通灯图像的类型在此不做限定。

具体地，电子设备获取交通灯图像时，可以通过车辆上设置的摄像头采集交通灯的图像信息，也可以通过车辆上设置的激光雷达采集交通灯的点云数据，然后根据点云数据获得深度图像，对于上述交通灯图像的获取方式在此不做限定。

另外，电子设备获取当前道路环境中的交通灯图像时，可以通过一个采集设备，例如摄像头或激光雷达，采集交通灯图像，也可以通过设置在车辆不同位置的多个采集设备同时采集交通灯图像，在此不做限定。

S102、获取交通灯的参考信息；参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种。

其中，上述交通灯的控制信号是指控制交通灯的颜色切换、状态持续时长调整以及方向切换等状态变化的信号，可以是逻辑电平信号，也可以是控制指令，对于上述控制信号的类型在此不做限定。上述交通灯的控制信号可以包括交通灯的当前控制信号，还可以包括历史控制信号以及下一状态控制信号等，在此不做限定。

具体地，电子设备可以通过接收交通灯上的信号发射器发射的信号，来获取上述控制信号，也可以通过与交通灯连接的云服务平台来获取上述控制信号；例如电子设备向云服务平台发送当前交通灯的标识，然后云服务平台可以将发送给该交通灯的控制信号同时发送给车辆上的电子设备；或者，云服务平台还可以接收交通灯的信号发射器发送的控制信号，然后将该控制信号转发给车辆的电子设备；对于上述控制信号的获取方式在此不做限定。

上述交通灯的状态识别结果可以是其它车辆获得的上述交通灯的状态，例如其他车辆可以通过摄像头采集交通灯图像，然后对交通灯图像进行处理，识别交通灯的状态。上述状态识别结果中可以包括交通灯的颜色、方向，还可以包括当前状态的持续时长、交通灯处于颜色切换状态等；另外，上述状态识别结果还可以包括获取该状态识别结果的其它车辆的标识、其它车辆的位置以及交通灯的标识等信息。

上述交通灯的状态识别结果可以是对交通灯的当前状态的状态识别结果，也可以是预设时长内的，例如前3分钟内，其它车辆获得的交通灯历史状态的状态识别结果。

上述其他车辆可以是车辆周围的车辆，也可以是获得了当前交通灯的状态的车辆，在此不做限定。

具体地，电子设备可以通过云服务平台接收上述状态识别结果，也可以接收其它车辆发送的信息来获取上述状态识别结果，在此不做限定。例如，其它车辆可以将获得的状态识别结果反馈给云服务平台，然后在接收到电子设备发送的请求之后，将电子设备请求信息中携带的交通灯的标识对应的状态识别结果发送给该电子设备。

S103、根据交通灯图像与参考信息，确定交通灯的当前实际状态。

电子设备在获取交通灯图像和上述参考信息之后，可以综合交通灯图像与参考信息，共同确定交通灯的当前实际状态，使得获得的交通灯的状态更准确。

其中，上述交通灯的当前实际状态可以与其它车辆获取的状态识别结果类似，包括交通灯的颜色、方向，还可以包括当前状态的持续时长、交通灯处于颜色切换状态等。

具体地，电子设备可以根据交通灯图像与控制信号，确定交通灯的当前实际状态；也可以根据交通灯图像与状态识别结果，确定交通灯的当前实际状态；另外，电子设备还可以根据交通灯图像与控制信号，确定交通灯状态，然后根据状态识别结果对上述交通灯状态进行修正，最终确定交通灯的当前实际状态；对于上述确定方式在此不做限定。

进一步地，电子设备确定了交通灯的当前实际状态之后，可以将该当前实际状态发送给云服务中心，使得云服务中心可以将该状态作为状态识别结果，发送给其它车辆。

上述交通灯状态确定方法，电子设备获取当前道路环境中的交通灯图像；然后，获取交通灯的参考信息；其中，参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；最后，根据交通灯图像与参考信息，确定交通灯的当前实际状态。由于电子设备获取了交通灯图像以及参考信息，从而可以根据交通灯图像以及参考信息共同确定交通灯的实际状态，避免交通灯图像被干扰时造成的交通灯状态确定不准确的问题，保障车辆行驶安全。

图3为另一个实施例中交通灯状态确定方法的流程示意图，本实施例涉及电子设备根据交通灯图像与参考信息，确定交通灯的当前实际状态的具体方式，在上述实施例的基础上，如图3所示，上述S103包括：

S201、根据参考信息，确定与交通灯图像同步的目标参考信息。

由于交通灯图像为车辆上的采集设备获取的，电子设备在确定交通灯的当前实际状态时，可以以交通灯图像确定的状态为基准。首先，电子设备可以对上述交通灯图像以及参考信息进行同步处理，以获得与交通灯图像同步的参考信息，使得获得的交通灯状态更准确。电子设备可以将接收到的参考信息进行缓存，然后在获得交通灯图像之后，根据交通灯图像的时间戳，在缓存的参考信息中提取与该时间戳同步的目标参考信息。

具体地，电子设备可以获取各参考信息的发送时刻与交通灯图像的时间戳之间的时间差值；若时间差值中的最小时间差值小于预设差值阈值，则将最小时间差值对应的参考信息，确定为与交通灯图像同步的目标参考信息。

例如，交通灯图像在时刻t拍摄，电子设备从历史缓存中查找距离时间戳t最近的参考信息D，假设参考信息的发送时刻为t1，且t1小于t；进一步计算发送时刻与时间戳的差值小于预设的差值阈值，那么电子设备认为该参考信息D与该交通灯图像同步。若上述差值大于预设的差值阈值，电子设备认为该参考信息D与该交通灯图像不同步，可以将该参考信息D丢弃。

进一步地，若参考信息包括交通灯下一状态的控制信号以及当前状态的持续时长，那么电子设备在判断出最小时间差值大于预设差值阈值，且交通灯图像的时间戳小于控制信号的发送时刻与持续时长的和之后，可以确定参考信息为下一状态的交通灯图像同步的目标参考信息。

继续以上述交通灯图像为例，交通灯图像在时刻t拍摄，同时参考信息中包含控制信号，显示当前状态为红灯的持续时长为10秒，而下一状态的交通灯颜色为绿灯；在参考信息D的发送时刻t1与时间戳t的差值5秒大于预设的差值阈值3秒时，可以得到时间戳t与t1的差值小于当前状态的持续时长10秒，可以将该参考信息确定为下一状态的交通灯图像的同步信息，而不是将该参考信息丢弃。

S202、基于交通灯图像，获得交通灯的当前预估状态。

电子设备可以以交通灯图像为基准，识别交通灯图像中的交通灯的状态，将其确定为交通灯的当前预估状态。电子设备可以通过图像识别算法来获得当前预估状态，也可以将交通灯图像输入深度学习模型，根据深度学习模型输出的交通灯识别结果来确定交通灯的当前预估状态，在此不做限定。

可选地，电子设备在获得交通灯图像之后，还可以对交通灯图像进行处理，例如进行降噪处理，或者在获取的图像中扣取包含交通灯的部分图像等。

当车辆上通过多个摄像头同时采集多个交通灯图像时，电子设备可以对多个摄像头采集的交通灯图像进行处理，获取各交通灯图像的状态检测结果；然后确定各状态检测结果中重复次数最多的状态检测结果；并对重复次数最多的状态检测结果进行卷积平滑处理，获得当前预估状态。

具体地，由于每个摄像头获得交通灯图像，可能得到不同的状态检测结果，例如10个状态检测结果中，同一个交通灯的颜色可以是2个红色、7个绿色以及1个黄色，那么电子设备可以认为该交通灯的颜色为绿色。另外，由于图像处理的准确性以及环境因素的影响，可能存在对其中一个颜色的判断更准确的情况，因此电子设备还可以设定不同颜色的交通灯的权重，例如电子设备认为红色的判断更准确，可以设定红色的权重值较高，在各交通灯图像中同一交通灯的颜色为5个红色和5个绿色时，可以认为该交通灯的颜色为红色。

进一步地，电子设备还可以对重复次数最多的状态检测结果进行卷积平滑处理，防止因为噪声影响导致获得的交通灯状态不准确。例如，可以根据历史状态检测结果，在预设时长内的检测状态中交通灯颜色为红色，如果红色之后黑色，然后转为绿色，那么电子设备可以认为黑色为红色至黑色之间的切换状态，可以删除黑色结果，认为交通灯是从红色变为绿色。另外，如果由于光线不足或者摄像头的动态范围不足等原因，黑色的交通灯无法在图像中观察到，可以对黑色的交通灯等进行处理，例如进行记忆保留等操作。

S203、根据目标参考信息以及当前预估状态，确定交通灯的当前实际状态。

进一步地，电子设备可以根据与交通灯图像同步的目标参考信息，以及根据交通灯图像获得的当前预估状态，来确定交通灯的当前实际状态。

具体地，电子设备可以根据目标参考信息中的控制信号与当前预估状态，确定交通灯的当前实际状态；也可以根据目标参考信息中的状态识别结果与当前预估状态，确定交通灯的当前实际状态。可选地，电子设备还可以根据目标参考信息中的控制信号与当前预估状态，确定交通灯的第一状态；然后根据目标参考信息中的状态识别结果与第一状态，确定所述交通灯的当前实际状态。

上述交通灯状态确定方法，电子设备通过获得与交通灯图像同步的参考信息，可以使电子设备获得的交通灯状态更准确；进一步地，电子设备以交通灯图像获得的当前预估状态为基准，来确定交通灯的当前实际状态，进一步地提升了交通灯状态的准确度。

图4为另一个实施例中交通灯状态确定方法的流程示意图，本实施例涉及电子设备根据同步的参考信息以及当前预估状态，确定交通灯的当前实际状态的具体方式，在上述实施例的基础上，参考信息包括控制信号，如图4所示，上述S203包括：

S301、根据接收到的交通灯异常报告或者控制信号，确定交通灯是否异常。

电子设备在根据控制信号与当前预估状态，确定交通灯的当前实际状态时，可以先确定该交通灯是否工作异常，其中上述交通灯工作异常可以是指交通灯显示异常，也可以是指交通灯的信号发射器工作异常，从而导致交通灯发射的控制信号异常。

具体地，电子设备可以根据交通灯异常报告或控制信号，确定交通灯是否异常。例如，若交通灯异常报告的数量大于预设阈值时，确定交通灯异常；和/或，若控制信号中携带预设的交通灯错误码，确定交通灯异常。

其中，上述交通灯异常报告可以是其它车辆发送给云服务平台，然后云服务平台将接收到的该交通灯的所有的异常报告转发给该车辆，另外，该交通灯异常报告也可以是云服务平台根据对交通灯的工作状态进行监控获得的。

S302、若否，则获取当前预估状态的第一置信度以及控制状态的第二置信度；控制状态为根据目标参考信息中的控制信号获得的交通灯的状态。

若电子设备没有判断出交通灯工作异常，那么可以根据目标参考信息中的控制信号获得交通灯的控制状态，然后获取当前预估状态的第一置信度以及控制状态的第二置信度。

其中上述第一置信度用于表征当前预估状态的可信程度，第一置信度由预设时长内的当前预估状态的变化情况确定。电子设备可以为当前预估状态设置一个初始值，然后根据预设时长内的当前预估状态的变化进行调整；例如，当预设时长内当前预估状态中交通灯的颜色由绿色转为黄色时，可以在初始置信度的基础上增加预设值；当预设时长内当前预估状态中交通灯的颜色由红色转为黄色时，可以减小预设值；根据以上方法可以获得第一置信度的值。

上述第二置信度用于表征控制状态的可信程度，第二置信度由控制信号的发送时刻与交通灯图像的时间戳之间的时间差值，以及交通灯的工作状态确定。电子设备可以为当前预估状态设置一个初始值，然后根据上述时间差值以及交通灯的工作状态，对其进行调整。例如，当上述时间差值比较小时，可以在初始置信度上增加预设值，当接收到交通灯异常报告时，可以在初始置信度的基础上减小预设值；根据以上方法可以获得第二置信度的值。另外，电子设备设置的第二置信度的初始值可以小于第一置信度的初始值。

S303、根据第一置信度和第二置信度，确定交通灯的当前实际状态。

在获得第一置信度以及第二置信度之后，电子设备可以根据第一置信度和第二置信度确定交通灯的当前工作状态。例如，可以在第一置信度大于第二置信度时，将交通灯的当前预估状态确定为交通灯的当前实际状态；在第一置信度小于第二置信度时，将交通灯的控制状态确定为交通灯的当前实际状态。

可选地，电子设备还可以根据交通灯状态中的各个域的置信度，分别确定当前实际状态中各个域的取值。上述各个域可以包括交通灯的方向、交通灯的显示颜色以及交通灯的倒计时长。

电子设备可以获取当前预估状态中各个域的第一初始置信度，以及控制状态中各个域的第二初始置信度；各个域在其中一个域的第一初始置信度与第一置信度的和，大于或等于其中一个域的第二初始置信度与第二置信度的和时，将当前预估状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值；在其中一个域的第一初始置信度与第一置信度的和，小于其中一个域的第二初始置信度与第二置信度的和时，将控制状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值。

例如，电子设备可以设置当前预估状态中，交通灯的方向、交通灯的显示颜色以及交通灯的倒计时长分别为方向1、红色、20秒，对应的初始置信度可以预设为a1、b1、c1，并获取当前预估状态的第一置信度为d1；在控制状态中，上述三个域的取值分别为方向1、黄色、22秒，对应的初始置信度设置为a2、b2、c2，并获取控制状态的第二置信度为d2。若b1+d1大于或等于b2+d2，那么确定交通灯的当前实际状态中交通灯颜色为红色，若c1+d1小于c2+d2，那么可以确定交通灯的当前实际状态中交通灯的倒计时长为22秒。

上述交通灯状态确定方法，电子设备在交通灯工作状态正常的情况下，根据第一置信度和第二置信度确定交通灯的当前实际状态，可以将根据交通灯图像和控制信号获得交通灯状态中，可信度比较高的状态确定为当前实际状态，提升了交通灯状态的准确度。

图5为另一个实施例中交通灯状态确定方法的流程示意图，本实施例涉及电子设备根据同步的参考信息以及当前预估状态，确定交通灯的当前实际状态的另一种方式，在上述实施例的基础上，参考信息包括其它车辆得到的交通灯的状态识别结果，如图5所示，上述S203包括：

S401、获取车辆与其它车辆的权重值；权重值由车辆与交通灯的角度、车辆与交通灯的距离、以及车辆对交通灯的成像质量确定。

电子设备获取当前预估状态之后，可以根据其他车辆得到的交通灯的状态识别结果，对上述状态进行验证，以确保交通灯状态的准确。

具体地，电子设备可以获取车辆和其它车辆的权重值，例如当车辆离交通灯比较远时可以设置低权重值，当车辆与交通灯不是正对方向，而是与交通灯之间存在一定角度时，可以设置较低权重值，另外若该车辆的交通灯图像成像效果较差，也可设置较低权重值。

S402、根据权重值，对目标参考信息中的状态识别结果与当前预估状态进行量化。

在获得车辆和其它车辆的权重值之后，可以对目标参考信息中的状态识别结果与当前预估状态进行量化。例如，对于交通灯的颜色，若各状态识别结果以及当前预估状态中，颜色分为北红色、黄色、绿色、绿色、红色，根据各个结果对应的车辆的权重值，对上述状态中的颜色量化结果为红色n1、黄色n2、绿色n3、绿色n4、红色n5，也就是说各个颜色对应的量化值为红色n1+n5，黄色n2、绿色n3+n4。

S403、将状态识别结果与当前预估状态中，量化值最大的状态确定为当前实际状态。

进一步地，在上述是实施例的基础上，若n1+n5大于n3+n4，那么可以将红色确定当前实际状态中交通灯颜色为红色。

上述交通灯状态确定方法中，电子设备利用其它车辆获得的状态识别结果，对交通灯的当前预估状态进行验证，可以充分利用车辆之间的协同，提升交通灯状态的准确性。

图6为另一个实施例中交通灯状态确定装置的结构框图；本实施例涉及电子设备根据同步的参考信息以及当前预估状态，确定交通灯的当前实际状态的另一种方式，在上述实施例的基础上，如图6所示，上述S203包括：

S501、根据目标参考信息中的控制信号与当前预估状态，确定交通灯的第一状态。

上述目标参考信息中包含控制信号以及其它车辆得到的交通灯的状态识别结果。首先，电子设备可以根据目标参考信息中的控制信号，与当前预估状态，确定交通灯的第一状态。其中，上述第一状态可以与上述实施例中当前实际状态类似，包括交通灯的颜色、方向，还可以包括当前状态的持续时长、交通灯处于颜色切换状态等，是指根据控制信号与当前预估状态确定得到的交通灯状态，例如交通灯当前为红灯，且红灯的持续时长为10秒，或者交通灯处于红灯和黄灯的交替阶段灯。

具体地，电子设备在确定交通灯的第一状态时，可以根据图4对应实施例中的方法获得，首先可以根据接收到的交通灯异常报告或者控制信号，确定交通灯是否异常；若电子设备没有判断出交通灯工作异常，那么可以根据目标参考信息中的控制信号获得交通灯的控制状态，然后获取当前预估状态的第一置信度以及控制状态的第二置信度；进一步地，电子设备可以在第一置信度大于第二置信度时，将交通灯的当前预估状态确定为交通灯的第一状态；在第一置信度小于第二置信度时，将交通灯的控制状态确定为交通灯的第一状态。

S502、根据目标参考信息中的状态识别结果对第一状态进行校正，确定交通灯的当前实际状态。

在上述步骤的基础上，电子设备还可以根据目标参考信息中的状态识别结果对第一状态进行校正。

具体地，电子设备可以根据图5实施例中的方法对第一状态进行校正。例如，电子设备可以根据车辆与交通灯的角度、车辆与交通灯的距离、以及车辆对交通灯的成像质量确定车辆的权重，然后根据本车辆以及其它车辆的权重值对目标参考信息中的状态识别结果与上述第一状态进行量化，并将量化值最大的状态确定为当前实际状态。

上述交通灯状态确定方法，电子设备依次根据控制信号以及其他车辆获得的状态识别结果对交通灯的当前预估状态进行校正，可以使获得的交通灯的当前实际状态更准确，避免交通灯图像被干扰时造成的交通灯状态确定不准确的问题，保障车辆行驶安全。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种交通灯状态确定装置，包括：第一获取模块10、第二获取模块20和确定模块30，其中：

第一获取模块10，用于获取当前道路环境中的交通灯图像；

第二获取模块20，用于获取交通灯的参考信息；参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；

确定模块30，用于根据交通灯图像与参考信息，确定交通灯的当前实际状态。

本申请实施例提供的交通灯状态确定装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，如图8所示，在上述实施例的基础上，上述确定模块30包括：

同步单元301，用于根据参考信息，确定与交通灯图像同步的目标参考信息；

获得单元302，用于基于交通灯图像，获得交通灯的当前预估状态；

确定单元303，用于根据目标参考信息以及当前预估状态，确定交通灯的当前实际状态。

在一个实施例中，参考信息包括控制信号，在上述实施例的基础上，如图9所示，上述确定单元303包括：

第一确定子单元3031，用于根据接收到的交通灯异常报告或者控制信号，确定交通灯是否异常；

第一获取子单元3032，用于在交通灯未发生异常时，获取当前预估状态的第一置信度以及控制状态的第二置信度；控制状态为根据目标参考信息中的控制信号获得的交通灯的状态；

第二确定子单元3033，用于根据第一置信度和第二置信度，确定交通灯的当前实际状态。

在一个实施例中，在上述实施例的基础上，第一置信度由预设时长内的当前预估状态的变化情况确定；第二置信度由控制信号的发送时刻与交通灯图像的时间戳之间的时间差值，以及交通灯的工作状态确定。

在一个实施例中，在上述实施例的基础上，上述第三确定子单元3033，具体用于：获取当前预估状态中各个域的第一初始置信度，以及控制状态中各个域的第二初始置信度；各个域包括交通灯的方向、交通灯的显示颜色以及交通灯的倒计时长；在其中一个域的第一初始置信度与第一置信度的和，大于或等于其中一个域的第二初始置信度与第二置信度的和时，将当前预估状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值；在其中一个域的第一初始置信度与第一置信度的和，小于其中一个域的第二初始置信度与第二置信度的和时，将控制状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值。

在一个实施例中，在上述实施例的基础上，上述第一确定子单元3031具体用于：若交通灯异常报告的数量大于预设阈值时，确定交通灯异常；和/或，若目标参考信息控制信号中携带预设的交通灯错误码，确定交通灯异常。

在一个实施例中，参考信息包括其它车辆得到的交通灯的状态识别结果，在上述实施例的基础上，如图10所示，上述确定单元303包括：

第二获取子单元3034，用于获取车辆与其它车辆的权重值；权重值由车辆与交通灯的角度、车辆与交通灯的距离、以及车辆对交通灯的成像质量确定；

量化子单元3035，用于根据权重值，对目标参考信息中的状态识别结果与当前预估状态进行量化；

第三确定子单元3036，用于将目标参考信息中的状态识别结果与当前预估状态中，量化值最大的状态确定为当前实际状态。

在一个实施例中，在上述实施例的基础上，上述确定单元303具体用于：根据目标参考信息中的控制信号与当前预估状态，确定交通灯的第一状态；根据目标参考信息中的状态识别结果对第一状态进行校正，确定交通灯的当前实际状态。

在一个实施例中，在上述实施例的基础上，上述同步单元301具体用于：获取各参考信息的发送时刻与交通灯图像的时间戳之间的时间差值；若时间差值中的最小时间差值小于预设差值阈值，则将最小时间差值对应的参考信息，确定为与交通灯图像同步的目标参考信息。

在一个实施例中，参考信息包括交通灯下一状态的控制信号以及当前状态的持续时长，上述实施例的基础上，上述同步单元301还用于：若最小时间差值大于预设差值阈值，且交通灯图像的时间戳小于控制信号的发送时刻与持续时长的和，则确定参考信息为下一状态的交通灯图像同步的目标参考信息。

在一个实施例中，在上述实施例的基础上，上述获得单元30210具体用于：对多个摄像头采集的交通灯图像进行处理，获取各交通灯图像的状态检测结果；确定各状态检测结果中重复次数最多的状态检测结果；对重复次数最多的状态检测结果进行卷积平滑处理，获得当前预估状态。

在一个实施例中，在上述实施例的基础上，如图11所示，上述装置还包括发送模块40，用于将当前实际状态发送给云服务中心。

本申请实施例提供的交通灯状态确定装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

关于交通灯状态确定装置的具体限定可以参见上文中对于交通灯状态确定方法的限定，在此不再赘述。上述交通灯状态确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种设备，其内部结构图可以如图12所示。该设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该设备的处理器用于提供计算和控制能力。该设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该设备的数据库用于存储交通灯状态确定数据。该设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种交通灯状态确定方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取当前道路环境中的交通灯图像；

获取交通灯的参考信息；参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；

根据交通灯图像与参考信息，确定交通灯的当前实际状态。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据参考信息，确定与交通灯图像同步的目标参考信息；基于交通灯图像，获得交通灯的当前预估状态；根据目标参考信息以及当前预估状态，确定交通灯的当前实际状态。

在一个实施例中，参考信息包括控制信号；处理器执行计算机程序时还实现以下步骤：根据接收到的交通灯异常报告或者控制信号，确定交通灯是否异常；若否，则获取当前预估状态的第一置信度以及控制状态的第二置信度；控制状态为根据目标参考信息中的控制信号获得的交通灯的状态；根据第一置信度和第二置信度，确定交通灯的当前实际状态。

在一个实施例中，第一置信度由预设时长内的当前预估状态的变化情况确定；第二置信度由控制信号的发送时刻与交通灯图像的时间戳之间的时间差值，以及交通灯的工作状态确定。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取当前预估状态中各个域的第一初始置信度，以及控制状态中各个域的第二初始置信度；各个域包括交通灯的方向、交通灯的显示颜色以及交通灯的倒计时长；在其中一个域的第一初始置信度与第一置信度的和，大于或等于其中一个域的第二初始置信度与第二置信度的和时，将当前预估状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值；在其中一个域的第一初始置信度与第一置信度的和，小于其中一个域的第二初始置信度与第二置信度的和时，将控制状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：若交通灯异常报告的数量大于预设阈值时，确定交通灯异常；和/或，若目标参考信息中的控制信号中携带预设的交通灯错误码，确定交通灯异常。

在一个实施例中，参考信息包括其它车辆得到的交通灯的状态识别结果，处理器执行计算机程序时还实现以下步骤：获取车辆与其它车辆的权重值；权重值由车辆与交通灯的角度、车辆与交通灯的距离、以及车辆对交通灯的成像质量确定；根据权重值，对目标参考信息中的状态识别结果与当前预估状态进行量化；将目标参考信息中的状态识别结果与当前预估状态中，量化值最大的状态确定为当前实际状态。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据目标参考信息中的控制信号与当前预估状态，确定交通灯的第一状态；根据目标参考信息中的状态识别结果对第一状态进行校正，确定交通灯的当前实际状态。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取各参考信息的发送时刻与交通灯图像的时间戳之间的时间差值；若时间差值中的最小时间差值小于预设差值阈值，则将最小时间差值对应的参考信息，确定为与交通灯图像同步的目标参考信息。

在一个实施例中，参考信息包括交通灯下一状态的控制信号以及当前状态的持续时长，处理器执行计算机程序时还实现以下步骤：若最小时间差值大于预设差值阈值，且交通灯图像的时间戳小于控制信号的发送时刻与持续时长的和，则确定参考信息为下一状态的交通灯图像的目标参考信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对多个摄像头采集的交通灯图像进行处理，获取各交通灯图像的状态检测结果；确定各状态检测结果中重复次数最多的状态检测结果；对重复次数最多的状态检测结果进行卷积平滑处理，获得当前预估状态。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将当前实际状态发送给云服务中心。

本实施例提供的设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取当前道路环境中的交通灯图像；

获取交通灯的参考信息；参考信息包括交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；

根据交通灯图像与参考信息，确定交通灯的当前实际状态。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据参考信息，确定与交通灯图像同步的目标参考信息；基于交通灯图像，获得交通灯的当前预估状态；根据目标参考信息以及当前预估状态，确定交通灯的当前实际状态。

在一个实施例中，参考信息包括控制信号；计算机程序被处理器执行时还实现以下步骤：根据接收到的交通灯异常报告或者控制信号，确定交通灯是否异常；若否，则获取当前预估状态的第一置信度以及控制状态的第二置信度；控制状态为根据目标参考信息中的控制信号获得的交通灯的状态；根据第一置信度和第二置信度，确定交通灯的当前实际状态。

在一个实施例中，第一置信度由预设时长内的当前预估状态的变化情况确定；第二置信度由控制信号的发送时刻与交通灯图像的时间戳之间的时间差值，以及交通灯的工作状态确定。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取当前预估状态中各个域的第一初始置信度，以及控制状态中各个域的第二初始置信度；各个域包括交通灯的方向、交通灯的显示颜色以及交通灯的倒计时长；在其中一个域的第一初始置信度与第一置信度的和，大于或等于其中一个域的第二初始置信度与第二置信度的和时，将当前预估状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值；在其中一个域的第一初始置信度与第一置信度的和，小于其中一个域的第二初始置信度与第二置信度的和时，将控制状态中其中一个域的取值，确定为当前实际状态中其中一个域的取值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若交通灯异常报告的数量大于预设阈值时，确定交通灯异常；和/或，若目标参考信息中的控制信号中携带预设的交通灯错误码，确定交通灯异常。

在一个实施例中，参考信息包括其它车辆得到的交通灯的状态识别结果，计算机程序被处理器执行时还实现以下步骤：获取车辆与其它车辆的权重值；权重值由车辆与交通灯的角度、车辆与交通灯的距离、以及车辆对交通灯的成像质量确定；根据权重值，对目标参考信息中的状态识别结果与当前预估状态进行量化；将目标参考信息中的状态识别结果与当前预估状态中，量化值最大的状态确定为当前实际状态。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据目标参考信息中的控制信号与当前预估状态，确定交通灯的第一状态；根据目标参考信息中的状态识别结果对第一状态进行校正，确定交通灯的当前实际状态。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取各参考信息的发送时刻与交通灯图像的时间戳之间的时间差值；若时间差值中的最小时间差值小于预设差值阈值，则将最小时间差值对应的参考信息，确定为与交通灯图像同步的目标参考信息。

在一个实施例中，参考信息包括交通灯下一状态的控制信号以及当前状态的持续时长，计算机程序被处理器执行时还实现以下步骤：若最小时间差值大于预设差值阈值，且交通灯图像的时间戳小于控制信号的发送时刻与持续时长的和，则确定参考信息为下一状态的交通灯图像的目标参考信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对多个摄像头采集的交通灯图像进行处理，获取各交通灯图像的状态检测结果；确定各状态检测结果中重复次数最多的状态检测结果；对重复次数最多的状态检测结果进行卷积平滑处理，获得当前预估状态。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将当前实际状态发送给云服务中心。

本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种交通灯状态确定方法，其特征在于，所述方法包括：

获取当前道路环境中的交通灯图像；

获取所述交通灯的参考信息；所述参考信息包括所述交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；

根据所述交通灯图像与所述参考信息，确定所述交通灯的当前实际状态。

2.根据权利要求1所述的方法，其特征在于，所述根据所述交通灯图像与所述参考信息，确定所述交通灯的当前实际状态，包括：

根据所述参考信息，确定与所述交通灯图像同步的目标参考信息；

基于所述交通灯图像，获得所述交通灯的当前预估状态；

根据所述目标参考信息以及所述当前预估状态，确定所述交通灯的当前实际状态。

3.根据权利要求2所述的方法，其特征在于，所述参考信息包括所述控制信号；所述根据所述目标参考信息以及所述当前预估状态，确定所述交通灯的当前实际状态，包括：

根据接收到的交通灯异常报告或者所述控制信号，确定所述交通灯是否异常；

若否，则获取所述当前预估状态的第一置信度以及控制状态的第二置信度；所述控制状态为根据所述目标参考信息中的控制信号获得的所述交通灯的状态；

根据所述第一置信度和所述第二置信度，确定所述交通灯的当前实际状态。

4.根据权利要求3所述的方法，其特征在于，所述第一置信度由预设时长内的所述当前预估状态的变化情况确定；所述第二置信度由所述控制信号的发送时刻与所述交通灯图像的时间戳之间的时间差值，以及所述交通灯的工作状态确定。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一置信度和所述第二置信度，确定所述交通灯的当前实际状态，包括：

获取所述当前预估状态中各个域的第一初始置信度，以及所述控制状态中各个域的第二初始置信度；所述各个域包括交通灯的方向、交通灯的显示颜色以及所述交通灯的倒计时长；

在其中一个域的第一初始置信度与所述第一置信度的和，大于或等于所述其中一个域的第二初始置信度与所述第二置信度的和时，将所述当前预估状态中所述其中一个域的取值，确定为所述当前实际状态中所述其中一个域的取值；

在其中一个域的第一初始置信度与所述第一置信度的和，小于所述其中一个域的第二初始置信度与所述第二置信度的和时，将所述控制状态中所述其中一个域的取值，确定为所述当前实际状态中所述其中一个域的取值。

6.根据权利要求3所述的方法，其特征在于，所述根据接收到的交通灯异常报告或者所述控制信号，确定所述交通灯是否异常，包括：

若所述交通灯异常报告的数量大于预设阈值时，确定所述交通灯异常；和/或，

若所述目标参考信息中的控制信号中携带预设的交通灯错误码，确定所述交通灯异常。

7.根据权利要求2所述的方法，其特征在于，所述参考信息包括所述其它车辆得到的交通灯的状态识别结果，所述根据所述目标参考信息以及所述当前预估状态，确定所述交通灯的当前实际状态，包括：

获取所述车辆与所述其它车辆的权重值；所述权重值由车辆与交通灯的角度、车辆与交通灯的距离、以及车辆对交通灯的成像质量确定；

根据所述权重值，对所述目标参考信息中的状态识别结果与所述当前预估状态进行量化；

将所述目标参考信息中的状态识别结果与所述当前预估状态中，量化值最大的状态确定为所述当前实际状态。

8.根据权利要求2所述的方法，其特征在于，所述根据所述目标参考信息以及所述当前预估状态，确定所述交通灯的当前实际状态，包括：

根据所述目标参考信息中的控制信号与所述当前预估状态，确定所述交通灯的第一状态；

根据所述目标参考信息中的状态识别结果对所述第一状态进行校正，确定所述交通灯的当前实际状态。

9.根据权利要求2-6任一项所述的方法，其特征在于，所述根据所述参考信息，确定与所述交通灯图像同步的目标参考信息，包括：

获取各所述参考信息的发送时刻与所述交通灯图像的时间戳之间的时间差值；

若所述时间差值中的最小时间差值小于预设差值阈值，则将所述最小时间差值对应的参考信息，确定为与所述交通灯图像同步的目标参考信息。

10.根据权利要求9所述的方法，其特征在于，所述参考信息包括所述交通灯下一状态的控制信号以及当前状态的持续时长，所述获取各所述参考信息的发送时刻与所述交通灯图像的时间戳之间的时间差值之后，还包括：

若所述最小时间差值大于预设差值阈值，且所述交通灯图像的时间戳小于所述控制信号的发送时刻与所述持续时长的和，则确定所述参考信息为下一状态的交通灯图像同步的目标参考信息。

11.根据权利要求2-6任一项所述的方法，其特征在于，所述基于所述交通灯图像，获得所述交通灯的当前预估状态，包括：

对多个摄像头采集的交通灯图像进行处理，获取各所述交通灯图像的状态检测结果；

确定各所述状态检测结果中重复次数最多的状态检测结果；

对所述重复次数最多的状态检测结果进行卷积平滑处理，获得所述当前预估状态。

12.一种交通灯状态确定装置，其特征在于，所述装置包括：

第一获取模块，用于获取当前道路环境中的交通灯图像；

第二获取模块，用于获取所述交通灯的参考信息；所述参考信息包括所述交通灯的控制信号以及其它车辆得到的交通灯的状态识别结果中的至少一种；

确定模块，用于根据所述交通灯图像与所述参考信息，确定所述交通灯的当前实际状态。

13.一种设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。