CN112633137A - 信号灯状态修正方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种信号灯状态修正方法、装置及计算机可读存储介质。该方法包括：根据多帧图像中每帧图像包含的信号灯组的位置，将多帧图像中位置相同的信号灯组进行关联；获取多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在多帧图像中的不同帧图像之间相互关联的信号灯组中的信号灯的状态是否存在冲突；在存在冲突的情况下，对冲突的信号灯的状态进行修正。通过本发明，解决了如何提高信号灯状态判断的准确性的问题，该方案按灯组输出状态，融合多帧图像中的信号灯状态，利用多帧图像中的信号灯状态纠正部分错误识别，从而提高信号灯状态判断的准确性。

Description

信号灯状态修正方法、装置及计算机可读存储介质

技术领域

本发明实施例涉及视频监控领域，具体而言，涉及一种信号灯状态修正方法、装置及计算机可读存储介质。

背景技术

随着视频监控技术的发展，对城市交通状况的监控变得越来越智能化，视频监控结果被应用在各个领域，例如，基于视频监控进行违章抓拍，基于视频监控识别交通路口的信号灯和人流车流情况从而进行智能导航等等。

视频监控的广泛实现，依赖于准确的识别技术，如果识别的结果不准确，势必会造成违章抓拍误判或导航错误。无论是在违章抓拍、智能导航还是在其他涉及道路上车辆、行人的监控场景中，信号灯状态的准确识别都是至关重要的，基于监控图像虽然能够进行信号灯状态的识别，然而，如何提高信号灯状态判断的准确性是目前亟待解决的问题。

发明内容

本发明实施例提供了一种信号灯状态修正方法、装置及计算机可读存储介质，以至少解决如何提高信号灯状态判断的准确性的问题。

根据本发明的一个实施例，提供了一种信号灯状态修正方法，包括：根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联；获取所述多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突；在存在冲突的情况下，对冲突的所述信号灯的状态进行修正。

根据至少一个示例性实施例，在获取所述多帧图像中相互关联的信号灯组中的信号灯的状态之前，所述方法还包括：识别所述每帧图像包含的信号灯组的位置和信号灯的位置；根据所述每帧图像包含的信号灯组的位置和信号灯的位置，确定所述每帧图像包含的每个信号灯所归属的信号灯组。

根据至少一个示例性实施例，所述信号灯组的位置由所述信号灯组对应的第一目标框的坐标信息表示，所述信号灯的位置由所述信号灯对应的第二目标框的坐标信息表示，根据所述每帧图像包含的信号灯组的位置和信号灯的位置，确定所述每帧图像包含的每个信号灯所归属的信号灯组包括：基于所述第一目标框的坐标信息和所述第二目标框的坐标信息，确定所述第一目标框和所述第二目标框之间的第一交并比；在所述第一交并比大于第一阈值的情况下，确定所述第二目标框对应的所述信号灯归属于所述第一目标框对应的所述信号灯组。

根据至少一个示例性实施例，所述信号灯组的位置由所述信号灯组对应的第一目标框的坐标信息表示，根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联包括：基于所述第一目标框的坐标信息，确定所述多帧图像中每两帧图像中的所述信号灯组对应的所述第一目标框之间的第二交并比；在所述第二交并比大于第二阈值的情况下，确定两帧图像中的所述信号灯组的位置相同，并将确定的位置相同的信号灯组进行关联。

根据至少一个示例性实施例，判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突包括：确定所述相互关联的信号灯组的灯组类型，其中，所述灯组类型包括：混合灯组或普通灯组，在一帧图像中点亮的信号灯的数量大于或等于2的信号灯组为所述混合灯组，在一帧图像中点亮的信号灯的数量小于2的信号灯组为所述普通灯组；在所述相互关联的信号灯组的所述灯组类型为所述普通灯组的情况下，判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突。

根据至少一个示例性实施例，判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突包括以下至少之一：冲突情形1：在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中不同位置的信号灯的颜色相同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突；冲突情形2：在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中相同位置的信号灯的方向不同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突；冲突情形3：在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中相同位置的信号灯的颜色不同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突；冲突情形4：在所述多帧图像的连续X帧图像中，第一帧图像和最后一帧图像的所述相互关联的信号灯组中的相同位置的信号灯点亮且状态一致，但所述第一帧图像和所述最后一帧图像之间的一帧或多帧图像中对应位置的信号灯未点亮的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突，其中，X为自然数且3≤X≤第三阈值。

根据至少一个示例性实施例，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正包括以下至少之一：对于冲突情形1，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正；对于冲突情形2，确定冲突的所述信号灯归属的信号灯组的预定区域范围内是否存在不冲突的圆饼状的信号灯，若不存在，则将冲突的所述信号灯修正为圆饼状的信号灯，若存在，则在预定判定范围内对冲突的所述信号灯的形状进行判定，其中，所述预定判定范围包括除圆饼状之外的其他信号灯方向；对于冲突情形3，在所述相互关联的信号灯组属于竖直灯组或横形灯组的情况下，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正；对于冲突情形3，在所述相互关联的信号灯组属于单灯灯组的情况下，确定冲突的所述信号灯归属的信号灯组的预定区域范围内是否存在不冲突的信号灯，若存在，则基于不冲突的所述信号灯的颜色和位置对冲突的所述信号灯的颜色进行修正，若不存在，则对冲突的所述信号灯的颜色进行判定；对于冲突情形4，基于所述第一帧图像和所述最后一帧图像的所述相互关联的信号灯组中的所述信号灯的状态，对所述第一帧图像和所述最后一帧图像之间的一帧或多帧图像中所述未点亮的信号灯的状态进行修正。

根据至少一个示例性实施例，在所述冲突情形1和所述冲突情形3中，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正包括：基于冲突的所述信号灯的位置，确定所述冲突的信号灯在归属的信号灯组中的位置；基于所述信号灯组的排布方向和所述冲突的信号灯在所述信号灯组中的位置，推导所述冲突的信号灯的正确颜色；基于推导出的所述正确颜色对冲突的所述信号灯的颜色进行修正。

根据至少一个示例性实施例，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正之后，所述方法还包括：输出所述多帧图像中每帧图像包含的信号灯组的位置和信号灯的位置和修正后的状态。

根据本发明的另一个实施例，提供了一种信号灯状态修正装置，包括：关联模块，设置为根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联；冲突判断模块，设置为获取所述多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突；状态修正模块，设置为在存在冲突的情况下，对冲突的所述信号灯的状态进行修正。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于该方案中将多帧图像中位置相同的信号灯组进行关联，并判断在所述多帧图像中的不同帧图像之间相互关联的信号灯组中的信号灯的状态是否存在冲突，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正，因此，可以解决如何提高信号灯状态判断的准确性的问题，该方案按灯组输出状态，融合多帧图像中的信号灯状态，利用多帧图像中的信号灯状态纠正部分错误识别，从而提高信号灯状态判断的准确性。

附图说明

图1是本发明实施例的一种信号灯的识别方法的监控服务器的硬件结构框图；

图2是根据本发明实施例的信号灯状态修正方法的流程图；

图3是根据本发明实施例的信号灯状态修正装置的结构框图；

图4是根据本发明实施例的信号灯状态修正装置的示例性结构框图一；

图5是根据本发明实施例的信号灯状态修正装置的示例性结构框图二；

图6是根据本发明实施例的信号灯状态修正方法的详细流程图；

图7是根据本发明实施例的信号灯与灯组的示意图；

图8是根据本发明实施例的普通灯组和混合灯组的示意图；

图9是根据本发明实施例的冲突情形1的示意图；

图10是根据本发明实施例的冲突情形2的示意图；

图11是根据本发明实施例的冲突情形3的示意图；

图12是根据本发明实施例的冲突处理的详细流程图；

图13是根据本发明实施例的单灯灯组的示意图。

具体实施方式

为了实现交通判罚或智能导航等应用，需要对监控图像中的信号灯进行检测与识别，然而检测和识别过程中难免会出现错误，如何提高信号灯状态判断的准确性是目前亟待解决的问题。

针对于此，本发明实施例提供了一种信号灯状态修正方法、装置及计算机可读存储介质。该方案在获取单帧图像的信号灯的状态的基础上，按信号灯组(为简便起见以下实施例中也称为灯组)的输出状态，融合多帧图像中的信号灯的状态，利用多帧图像中的信号灯的状态纠正部分错误识别，最后得到不同灯组在多帧图像中的多个状态。

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在诸如监控服务器、监控平台、监控设备等具有运算功能的装置或装置集合中执行。以运行在监控服务器上为例，图1是本发明实施例的一种信号灯的识别方法的监控服务器的硬件结构框图。如图1所示，监控服务器可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于中央处理器CPU、微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述监控服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述监控服务器的结构造成限定。例如，监控服务器还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的信号灯的识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至监控服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括监控服务器的通信供应商提供的无线网络或有线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网中的其他设备进行通讯，也可以为收发端口，其用于通过有线方式与互联网中的其他设备进行通讯。

在本实施例中提供了一种运行于上述诸如监控服务器、监控平台、监控设备等运算装置的信号灯状态修正方法，图2是根据本发明实施例的信号灯状态修正方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联。

由于交通视频监控的场景中，监控设备的位置和角度往往是相对固定的，而信号灯、信号灯组本身则是绝对固定的，因此，从各帧图像中识别出的信号灯组、信号灯的位置也是相对固定的，可以基于各帧图像中信号灯组和信号灯的位置来对信号灯组和其中包含的信号灯实现绑定。根据至少一个示例性实施例，在步骤S202之前，所述方法还可以包括：

识别所述每帧图像包含的信号灯组的位置和信号灯的位置；

根据所述每帧图像包含的信号灯组的位置和信号灯的位置，确定所述每帧图像包含的每个信号灯所归属的信号灯组。

通过该方案，可以实现信号灯组和其中所包含的信号灯的绑定，也就是将信号灯划分其所属的信号灯组内，后续操作都可以以信号灯组为单位操作。

根据至少一个示例性实施例，所述信号灯组的位置由所述信号灯组对应的第一目标框的坐标信息表示，例如box1(xmin1,ymin1,xmax1,ymax1)，由第一目标框的左上和右下点的坐标构成，所述信号灯的位置由所述信号灯对应的第二目标框的坐标信息表示，例如box2(xmin2,ymin2,xmax2,ymax2)，由第二目标框的左上和右下点的坐标构成。在具体实施中，根据所述每帧图像包含的信号灯组的位置和信号灯的位置，确定所述每帧图像包含的每个信号灯所归属的信号灯组可以包括：

基于所述第一目标框的坐标信息和所述第二目标框的坐标信息，确定所述第一目标框和所述第二目标框之间的第一交并比；

在所述第一交并比大于第一阈值的情况下，确定所述第二目标框对应的所述信号灯归属于所述第一目标框对应的所述信号灯组。

通过该方案，可以快速判断某个信号灯所归属的信号灯组，从而快速实现信号灯组和其中所包含的信号灯的绑定。

由于交通视频监控的场景中，监控设备的位置和角度往往是相对固定的，而信号灯、信号灯组本身则是绝对固定的，因此，同一信号灯、信号灯组在每帧监控图像中的位置是相对固定的，所以，可以基于各帧图像中信号灯组的位置来对不同帧图像中的信号灯组进行关联。根据至少一个示例性实施例，所述信号灯组的位置由所述信号灯组对应的第一目标框的坐标信息表示，例如box1(xmin1,ymin1,xmax1,ymax1)，由第一目标框的左上和右下点的坐标构成。相应地，在具体实施中，步骤S202根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联的过程可以包括：

基于所述第一目标框的坐标信息，确定所述多帧图像中每两帧图像中的所述信号灯组对应的所述第一目标框之间的第二交并比；

在所述第二交并比大于第二阈值的情况下，确定两帧图像中的所述信号灯组的位置相同，并将确定的位置相同的信号灯组进行关联。

通过该方案，可以快速确定不同帧图像中的信号灯组的位置是否相同，从而快速实现不同帧图像之间相同位置的信号灯组之间的关联，后续操作中对于信号灯是否冲突的判定是基于不同帧图像中互相关联的信号灯组而进行的。

步骤S204，获取所述多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突。

信号灯在真实场景中都是以灯组为单位出现的，按照灯组内的同一个信号灯颜色是否发生变化可以分为混合灯组与普通灯组，本实施例中的方案能够实现对普通灯组之间的冲突的识别。根据至少一个示例性实施例，步骤S204中判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突可以包括：

确定所述相互关联的信号灯组的灯组类型，其中，所述灯组类型包括：混合灯组或普通灯组，在一帧图像中点亮的信号灯的数量大于或等于2的信号灯组为所述混合灯组，在一帧图像中点亮的信号灯的数量小于2的信号灯组为所述普通灯组；

在所述相互关联的信号灯组的所述灯组类型为所述普通灯组的情况下，判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突。

根据至少一个示例性实施例，步骤S204中判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突可以包括以下至少之一：

冲突情形1：在真实场景中，相互关联的信号灯组中不同位置的信号灯的颜色一般是不同的，例如普通灯组中的三个信号灯分别是红黄绿三种颜色的，而一旦发现同一灯组中相同位置的信号灯在不同帧图像中的颜色出现了不同，则表明不同帧图像中信号灯的识别结果存在冲突。也就是说，在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中不同位置的信号灯的颜色相同的情况下，可以确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突。

冲突情形2：在真实场景中，相互关联的信号灯组中相同位置的信号灯的方向一般是相同的，即使在不同帧图像中一般也不应改变，如果不同帧图像中相同位置的信号灯的方向存在差异，例如一帧识别为圆饼灯，另一帧识别为左转向等，则表明不同帧图像中信号灯的识别结果存在冲突。也就是说，在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中相同位置的信号灯的方向不同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突。

冲突情形3：在真实场景中，相互关联的信号灯组中相同位置的信号灯的颜色一般是相同的，即使在不同帧图像中一般也不应改变，如果不同帧图像中相同位置的信号灯的颜色存在差异，例如一帧识别为红色，另一帧识别为黄色等(红黄灯之间容易识别错误)，则表明不同帧图像中信号灯的识别结果存在冲突。也就是说，在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中相同位置的信号灯的颜色不同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突。

冲突情形4：在真实场景中，信号灯所在图像的抓拍时间间隔比较短，不可能出现在少数帧时间内实现一个颜色的循环转变，因此，如果在较短时间内的多帧图像中，前帧和后帧图像中的信号灯状态一致，而中间帧图像中的信号灯未点亮，则表明中间帧图像中的信号灯状态发生了漏检，这表明不同帧图像中信号灯的识别结果存在冲突。也就是说，在所述多帧图像的连续X帧图像中，第一帧图像和最后一帧图像的所述相互关联的信号灯组中的相同位置的信号灯点亮且状态一致，但所述第一帧图像和所述最后一帧图像之间的一帧或多帧图像中对应位置的信号灯未点亮的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突，其中，X为自然数且3≤X≤第三阈值。

步骤S206，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正。

针对于步骤S204中判断出的几种冲突情形，本实施例提供了修正的方案。根据至少一个示例性实施例，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正可以包括以下至少之一：

对于冲突情形1，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正。

根据至少一个示例性实施例，在所述冲突情形1中，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正可以包括：

基于冲突的所述信号灯的位置，确定所述冲突的信号灯在归属的信号灯组中的位置；

基于所述信号灯组的排布方向和所述冲突的信号灯在所述信号灯组中的位置，推导所述冲突的信号灯的正确颜色；

基于推导出的所述正确颜色对冲突的所述信号灯的颜色进行修正。

对于冲突情形1的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

对于冲突情形2，确定冲突的所述信号灯归属的信号灯组的预定区域范围内是否存在不冲突的圆饼状的信号灯，若不存在，则将冲突的所述信号灯修正为圆饼状的信号灯，若存在，则在预定判定范围内对冲突的所述信号灯的形状进行判定，其中，所述预定判定范围包括除圆饼状之外的其他信号灯方向。

对于冲突情形2的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

对于冲突情形3，在所述相互关联的信号灯组属于竖直灯组或横形灯组的情况下，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正。

根据至少一个示例性实施例，在所述冲突情形3中，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正可以包括：

基于冲突的所述信号灯的位置，确定所述冲突的信号灯在归属的信号灯组中的位置；

基于所述信号灯组的排布方向和所述冲突的信号灯在所述信号灯组中的位置，推导所述冲突的信号灯的正确颜色；

基于推导出的所述正确颜色对冲突的所述信号灯的颜色进行修正。

对于冲突情形3的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

对于冲突情形3，在所述相互关联的信号灯组属于单灯灯组的情况下，确定冲突的所述信号灯归属的信号灯组的预定区域范围内是否存在不冲突的信号灯，若存在，则基于不冲突的所述信号灯的颜色和位置对冲突的所述信号灯的颜色进行修正，若不存在，则对冲突的所述信号灯的颜色进行判定。

对于冲突情形3的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

对于冲突情形4，基于所述第一帧图像和所述最后一帧图像的所述相互关联的信号灯组中的所述信号灯的状态，对所述第一帧图像和所述最后一帧图像之间的一帧或多帧图像中所述未点亮的信号灯的状态进行修正。

对于冲突情形4的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

根据至少一个示例性实施例，在步骤S206之后，所述方法还可以包括：输出所述多帧图像中每帧图像包含的信号灯组的位置和信号灯的位置和修正后的状态。例如一共有N帧图像，灯组关联后得知有M个灯组，最后获取的信息就是M个灯组，每个灯组有N个状态，判断车是否闯红灯，需要判断所有灯组N个状态的变化。

通过本发明实施例的方案，由于将多帧图像中位置相同的信号灯组进行关联，并判断在所述多帧图像中的不同帧图像之间相互关联的信号灯组中的信号灯的状态是否存在冲突，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正，因此，可以解决如何提高信号灯状态判断的准确性的问题，该方案按灯组输出状态，融合多帧图像中的信号灯状态，利用多帧图像中的信号灯状态纠正部分错误识别，从而提高信号灯状态判断的准确性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种信号灯状态修正装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的信号灯状态修正装置的结构框图，如图3所示，该信号灯状态修正装置包括：关联模块32、冲突判断模块34、状态修正模块36，以下分别进行详细说明。

(1)关联模块32设置为根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联。

由于交通视频监控的场景中，监控设备的位置和角度往往是相对固定的，而信号灯、信号灯组本身则是绝对固定的，因此，同一信号灯、信号灯组在每帧监控图像中的位置是相对固定的，所以，可以基于各帧图像中信号灯组的位置来对不同帧图像中的信号灯组进行关联。根据至少一个示例性实施例，所述信号灯组的位置由所述信号灯组对应的第一目标框的坐标信息表示，例如box1(xmin1,ymin1,xmax1,ymax1)，由第一目标框的左上和右下点的坐标构成。相应地，在具体实施中，关联模块32可以设置为：

基于所述第一目标框的坐标信息，确定所述多帧图像中每两帧图像中的所述信号灯组对应的所述第一目标框之间的第二交并比；

在所述第二交并比大于第二阈值的情况下，确定两帧图像中的所述信号灯组的位置相同，并将确定的位置相同的信号灯组进行关联。

通过该方案，可以快速确定不同帧图像中的信号灯组的位置是否相同，从而快速实现不同帧图像之间相同位置的信号灯组之间的关联，后续操作中对于信号灯是否冲突的判定是基于不同帧图像中互相关联的信号灯组而进行的。

(2)冲突判断模块34设置为获取所述多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突。

信号灯在真实场景中都是以灯组为单位出现的，按照灯组内的同一个信号灯颜色是否发生变化可以分为混合灯组与普通灯组，本实施例中的方案能够实现对普通灯组之间的冲突的识别。根据至少一个示例性实施例，冲突判断模块34可以设置为：

确定所述相互关联的信号灯组的灯组类型，其中，所述灯组类型包括：混合灯组或普通灯组，在一帧图像中点亮的信号灯的数量大于或等于2的信号灯组为所述混合灯组，在一帧图像中点亮的信号灯的数量小于2的信号灯组为所述普通灯组；

在所述相互关联的信号灯组的所述灯组类型为所述普通灯组的情况下，判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突。

根据至少一个示例性实施例，冲突判断模块34可以设置为确定以下冲突情形至少之一。

冲突情形1：在真实场景中，相互关联的信号灯组中不同位置的信号灯的颜色一般是不同的，例如普通灯组中的三个信号灯分别是红黄绿三种颜色的，而一旦发现同一灯组中相同位置的信号灯在不同帧图像中的颜色出现了不同，则表明不同帧图像中信号灯的识别结果存在冲突。也就是说，在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中不同位置的信号灯的颜色相同的情况下，可以确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突。

冲突情形2：在真实场景中，相互关联的信号灯组中相同位置的信号灯的方向一般是相同的，即使在不同帧图像中一般也不应改变，如果不同帧图像中相同位置的信号灯的方向存在差异，例如一帧识别为圆饼灯，另一帧识别为左转向等，则表明不同帧图像中信号灯的识别结果存在冲突。也就是说，在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中相同位置的信号灯的方向不同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突。

冲突情形3：在真实场景中，相互关联的信号灯组中相同位置的信号灯的颜色一般是相同的，即使在不同帧图像中一般也不应改变，如果不同帧图像中相同位置的信号灯的颜色存在差异，例如一帧识别为红色，另一帧识别为黄色等(红黄灯之间容易识别错误)，则表明不同帧图像中信号灯的识别结果存在冲突。也就是说，在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中相同位置的信号灯的颜色不同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突。

冲突情形4：在真实场景中，信号灯所在图像的抓拍时间间隔比较短，不可能出现在少数帧时间内实现一个颜色的循环转变，因此，如果在较短时间内的多帧图像中，前帧和后帧图像中的信号灯状态一致，而中间帧图像中的信号灯未点亮，则表明中间帧图像中的信号灯状态发生了漏检，这表明不同帧图像中信号灯的识别结果存在冲突。也就是说，在所述多帧图像的连续X帧图像中，第一帧图像和最后一帧图像的所述相互关联的信号灯组中的相同位置的信号灯点亮且状态一致，但所述第一帧图像和所述最后一帧图像之间的一帧或多帧图像中对应位置的信号灯未点亮的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突，其中，X为自然数且3≤X≤第三阈值。

(3)状态修正模块36设置为在存在冲突的情况下，对冲突的所述信号灯的状态进行修正。

针对于冲突判断模块34判断出的几种冲突情形，本实施例提供了修正的方案。根据至少一个示例性实施例，状态修正模块36可以设置为执行以下至少之一的修正操作。

对于冲突情形1，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正。

根据至少一个示例性实施例，在所述冲突情形1中，状态修正模块36可以设置为：

基于冲突的所述信号灯的位置，确定所述冲突的信号灯在归属的信号灯组中的位置；

基于所述信号灯组的排布方向和所述冲突的信号灯在所述信号灯组中的位置，推导所述冲突的信号灯的正确颜色；

基于推导出的所述正确颜色对冲突的所述信号灯的颜色进行修正。

对于冲突情形1的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

对于冲突情形2，确定冲突的所述信号灯归属的信号灯组的预定区域范围内是否存在不冲突的圆饼状的信号灯，若不存在，则将冲突的所述信号灯修正为圆饼状的信号灯，若存在，则在预定判定范围内对冲突的所述信号灯的形状进行判定，其中，所述预定判定范围包括除圆饼状之外的其他信号灯方向。

对于冲突情形2的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

对于冲突情形3，在所述相互关联的信号灯组属于竖直灯组或横形灯组的情况下，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正。

根据至少一个示例性实施例，在所述冲突情形3中，状态修正模块36可以设置为：

基于冲突的所述信号灯的位置，确定所述冲突的信号灯在归属的信号灯组中的位置；

基于所述信号灯组的排布方向和所述冲突的信号灯在所述信号灯组中的位置，推导所述冲突的信号灯的正确颜色；

基于推导出的所述正确颜色对冲突的所述信号灯的颜色进行修正。

对于冲突情形3的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

对于冲突情形3，在所述相互关联的信号灯组属于单灯灯组的情况下，确定冲突的所述信号灯归属的信号灯组的预定区域范围内是否存在不冲突的信号灯，若存在，则基于不冲突的所述信号灯的颜色和位置对冲突的所述信号灯的颜色进行修正，若不存在，则对冲突的所述信号灯的颜色进行判定。

对于冲突情形3的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

对于冲突情形4，基于所述第一帧图像和所述最后一帧图像的所述相互关联的信号灯组中的所述信号灯的状态，对所述第一帧图像和所述最后一帧图像之间的一帧或多帧图像中所述未点亮的信号灯的状态进行修正。

对于冲突情形4的具体的修正举例可以见下文中给出的基于实际信号灯识别场景的处理实例。

由于交通视频监控的场景中，监控设备的位置和角度往往是相对固定的，而信号灯、信号灯组本身则是绝对固定的，因此，从各帧图像中识别出的信号灯组、信号灯的位置也是相对固定的，可以基于各帧图像中信号灯组和信号灯的位置来对信号灯组和其中包含的信号灯实现绑定。图4是根据本发明实施例的信号灯状态修正装置的示例性结构框图一，如图4所示，该装置除包括图3所示的所有模块外，还可以包括：

识别模块42，设置为识别所述每帧图像包含的信号灯组的位置和信号灯的位置；

绑定模块44，设置为根据所述每帧图像包含的信号灯组的位置和信号灯的位置，确定所述每帧图像包含的每个信号灯所归属的信号灯组。

通过该方案，可以实现信号灯组和其中所包含的信号灯的绑定，也就是将信号灯划分其所属的信号灯组内，后续操作都可以以信号灯组为单位操作。

根据至少一个示例性实施例，所述信号灯组的位置由所述信号灯组对应的第一目标框的坐标信息表示，例如box1(xmin1,ymin1,xmax1,ymax1)，由第一目标框的左上和右下点的坐标构成，所述信号灯的位置由所述信号灯对应的第二目标框的坐标信息表示，例如box2(xmin2,ymin2,xmax2,ymax2)，由第二目标框的左上和右下点的坐标构成。在具体实施中，绑定模块44可以设置为：

基于所述第一目标框的坐标信息和所述第二目标框的坐标信息，确定所述第一目标框和所述第二目标框之间的第一交并比；

在所述第一交并比大于第一阈值的情况下，确定所述第二目标框对应的所述信号灯归属于所述第一目标框对应的所述信号灯组。

通过该方案，可以快速判断某个信号灯所归属的信号灯组，从而快速实现信号灯组和其中所包含的信号灯的绑定。

图5是根据本发明实施例的信号灯状态修正装置的示例性结构框图二，如图5所示，该装置除包括图3所示的所有模块外，还可以包括：输出模块52，设置为输出所述多帧图像中每帧图像包含的信号灯组的位置和信号灯的位置和修正后的状态。例如一共有N帧图像，灯组关联后得知有M个灯组，最后获取的信息就是M个灯组，每个灯组有N个状态，判断车是否闯红灯，需要判断所有灯组N个状态的变化。

通过本发明实施例的方案，由于将多帧图像中位置相同的信号灯组进行关联，并判断在所述多帧图像中的不同帧图像之间相互关联的信号灯组中的信号灯的状态是否存在冲突，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正，因此，可以解决如何提高信号灯状态判断的准确性的问题，该方案按灯组输出状态，融合多帧图像中的信号灯状态，利用多帧图像中的信号灯状态纠正部分错误识别，从而提高信号灯状态判断的准确性。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联；

S2，获取所述多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突；

S3，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联；

S2，获取所述多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突；

S3，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

以下将基于实际信号灯识别场景详细描述本发明实施例的信号灯状态修正方案的处理实例。本实施例的信号灯状态修正方案基于从多帧图像中识别出的上述信息来实现。图6是根据本发明实施例的信号灯状态修正方法的详细流程图。如图6所示，该方案包括以下操作：

步骤S601，基于监控设备采集的多帧图像识别出每帧图像中信号灯的颜色、方向、位置信息以及灯组框的位置信息。在该过程中，获取单帧图像中的信号灯与灯组信息。信号灯信息包括颜色，方向，在图像中的位置信息；灯组信息包括位置信息。

步骤S602，按位置信息将信号灯划分给所属灯组，后续操作都是以灯组为单位操作。图7是根据本发明实施例的信号灯与灯组的示意图。具体的划分过程如下：

灯组坐标信息box1(xmin1,ymin1,xmax1,ymax1)

信号灯坐标信息box2(xmin2,ymin2,xmax2,ymax2)

满足以下条件则信号灯属于灯组：

表示灯组与信号灯目标框的交并比，thred表示设置的阈值。

步骤S603，利用位置信息关联各帧同一灯组。多帧图像是在相同位置短时间内拍摄的图像，因而同一灯组在不同帧图像中的位置基本相同，利用与步骤S602中相同方法可以判定不同帧中灯组是否是同一灯组。

将不同帧图像中的各个灯组关联上后，图像帧数为M，则每个灯组会拥有M个状态，且M个状态下含有不同帧的信号灯信息。

步骤S604，判定灯组是否属于混合灯组。信号灯在真实场景中都是以灯组为单位出现的，按照灯组内的同一个信号灯颜色是否发生变化可以分为混合灯组与普通灯组。

图8是根据本发明实施例的普通灯组和混合灯组的示意图，如图8所示，普通灯组一般是由三个信号灯组成，三个信号灯的方向一致，颜色为红、黄、绿，不同时刻会亮不同信号灯，混合灯组中每个信号灯都会在红、黄、绿之间变化，每个信号灯单独表示一个方向。如果一个灯组在同一帧中亮灯数大于2，则该灯组属于混合灯组。

步骤S605，处理单个灯组不同帧之间的冲突。在本实施例中，处理普通灯组之间的冲突。依靠计算机视觉技术检测、识别信号灯过程会发生漏检以及错误识别，依靠多帧之间的冲突信息可以纠正部分错误。

主要处理的冲突有四类：

(1)冲突情形1：在不同帧中存在同一灯组不同位置信号灯颜色相同，图9是根据本发明实施例的冲突情形1的示意图。如图9中所示，左转黄色被错误识别为左转红色。

(2)冲突情形2：同一灯组内出现不同方向的信号灯，图10是根据本发明实施例的冲突情形2的示意图，如图10所示，左转红灯错误识别为圆饼红灯。

(3)冲突情形3：同一灯组同一位置信号灯颜色不同，图11是根据本发明实施例的冲突情形3的示意图，如图11所示，圆饼黄灯错误识别为圆饼红灯。

(4)冲突情形4：同一灯组同一位置信号灯在前后帧状态一致，中间帧漏检。信号灯所在图像的抓拍时间比较短，不可能出现在少数帧时间内实现一个颜色的循环转变，可以认定漏掉的图像中相应位置的信号灯与前后帧信号灯状态(颜色，方向)一致。

图12是根据本发明实施例的冲突处理的详细流程图，如图12所示，处理冲突步骤如下：

(1)冲突情形1解决办法：依据灯位置信息改变错误灯组颜色与状态

非混合灯组的排序是按照红、黄、绿的固定顺序排列，由于灯组框检测并非准确，无法达到理想状态信号灯宽度占灯组1/3以下，考虑实际中红、黄信号灯更易分辨错误，此处仅仅纠正为红、黄色。

首先判定灯组是竖形灯组还是横形灯组，若为竖直灯组，不同帧同一灯组中不同位置的灯都为黄色，则修正信号灯位置靠上的信号灯为红色；不同帧同一灯组中不同位置的灯都为红色，则修正信号灯位置靠下的信号灯为黄色。横形灯组同理处理。

(2)冲突情形2解决办法：周围无圆饼灯则判断为圆饼灯

在实际场景中，单独的普通箭头灯组一般不会单独出现。

若灯组在多帧中存在该情况，首先以该灯组为中心，在左右一定范围内查看是否存在没有形状冲突的圆饼的灯组，若不存在，则将有冲突的灯组全部纠正为圆饼灯。若存在，则利用投票规则判定其方向(除去圆饼，周围已经有圆饼)，若投票失败，则不处理。

(3)冲突情形3解决办法：参考自身灯组以周围灯组为参考以及投票

若自身是竖直灯组或横形灯组，按照处理第一种方法处理。

若该灯组是单灯灯组，首先查看周边是否存在没有颜色冲突的灯组，若存在，则参考正确灯组中的灯颜色与位置进行纠正，若不存在，则投票，纠正为出现次数最多的颜色，若出现最多与次多的颜色次数一样，则无法处理。图13是根据本发明实施例的单灯灯组的示意图，如图13所示，左转红灯识别为左转黄灯。

(4)冲突情形4解决办法：漏检信号灯人为补上，状态与前后帧保持一致(颜色、方向)。

步骤S606，冲突解决后可以得到每个灯组其内信号灯在各帧中的状态。

例如有N帧图像，灯组关联后得知有M个灯组，最后获取的信息就是M个灯组，每个灯组有N个状态，判断车是否闯红灯，需要判断所有灯组N个状态的变化。

通过本发明实施例中的方案，单帧中信号灯填充进相应灯组，不同帧中灯组信息关联融合，获取每个灯组不同帧的变化，在合并过程中可以利用多帧信息纠正部分错检，漏检。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种信号灯状态修正方法，其特征在于，包括：

根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联；

获取所述多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突；

在存在冲突的情况下，对冲突的所述信号灯的状态进行修正。

2.根据权利要求1所述的方法，其特征在于，在获取所述多帧图像中相互关联的信号灯组中的信号灯的状态之前，还包括：

识别所述每帧图像包含的信号灯组的位置和信号灯的位置；

根据所述每帧图像包含的信号灯组的位置和信号灯的位置，确定所述每帧图像包含的每个信号灯所归属的信号灯组。

3.根据权利要求2所述的方法，其特征在于，所述信号灯组的位置由所述信号灯组对应的第一目标框的坐标信息表示，所述信号灯的位置由所述信号灯对应的第二目标框的坐标信息表示，根据所述每帧图像包含的信号灯组的位置和信号灯的位置，确定所述每帧图像包含的每个信号灯所归属的信号灯组包括：

基于所述第一目标框的坐标信息和所述第二目标框的坐标信息，确定所述第一目标框和所述第二目标框之间的第一交并比；

在所述第一交并比大于第一阈值的情况下，确定所述第二目标框对应的所述信号灯归属于所述第一目标框对应的所述信号灯组。

4.根据权利要求1所述的方法，其特征在于，所述信号灯组的位置由所述信号灯组对应的第一目标框的坐标信息表示，根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联包括：

基于所述第一目标框的坐标信息，确定所述多帧图像中每两帧图像中的所述信号灯组对应的所述第一目标框之间的第二交并比；

在所述第二交并比大于第二阈值的情况下，确定两帧图像中的所述信号灯组的位置相同，并将确定的位置相同的信号灯组进行关联。

5.根据权利要求1所述的方法，其特征在于，判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突包括：

确定所述相互关联的信号灯组的灯组类型，其中，所述灯组类型包括：混合灯组或普通灯组，在一帧图像中点亮的信号灯的数量大于或等于2的信号灯组为所述混合灯组，在一帧图像中点亮的信号灯的数量小于2的信号灯组为所述普通灯组；

在所述相互关联的信号灯组的所述灯组类型为所述普通灯组的情况下，判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突。

6.根据权利要求1或5所述的方法，其特征在于，判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突包括以下至少之一：

冲突情形1：在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中不同位置的信号灯的颜色相同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突；

冲突情形2：在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中相同位置的信号灯的方向不同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突；

冲突情形3：在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中相同位置的信号灯的颜色不同的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突；

冲突情形4：在所述多帧图像的连续X帧图像中，第一帧图像和最后一帧图像的所述相互关联的信号灯组中的相同位置的信号灯点亮且状态一致，但所述第一帧图像和所述最后一帧图像之间的一帧或多帧图像中对应位置的信号灯未点亮的情况下，确定所述相互关联的信号灯组中的所述信号灯的状态存在冲突，其中，X为自然数且3≤X≤第三阈值。

7.根据权利要求6所述的方法，其特征在于，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正包括以下至少之一：

对于冲突情形1，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正；

对于冲突情形2，确定冲突的所述信号灯归属的信号灯组的预定区域范围内是否存在不冲突的圆饼状的信号灯，若不存在，则将冲突的所述信号灯修正为圆饼状的信号灯，若存在，则在预定判定范围内对冲突的所述信号灯的形状进行判定，其中，所述预定判定范围包括除圆饼状之外的其他信号灯方向；

对于冲突情形3，在所述相互关联的信号灯组属于竖直灯组或横形灯组的情况下，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正；

对于冲突情形3，在所述相互关联的信号灯组属于单灯灯组的情况下，确定冲突的所述信号灯归属的信号灯组的预定区域范围内是否存在不冲突的信号灯，若存在，则基于不冲突的所述信号灯的颜色和位置对冲突的所述信号灯的颜色进行修正，若不存在，则对冲突的所述信号灯的颜色进行判定；

对于冲突情形4，基于所述第一帧图像和所述最后一帧图像的所述相互关联的信号灯组中的所述信号灯的状态，对所述第一帧图像和所述最后一帧图像之间的一帧或多帧图像中所述未点亮的信号灯的状态进行修正。

8.根据权利要求7所述的方法，其特征在于，在所述冲突情形1和所述冲突情形3中，基于所述相互关联的信号灯组的排布方向和冲突的所述信号灯的位置，对冲突的所述信号灯的颜色进行修正包括：

基于冲突的所述信号灯的位置，确定所述冲突的信号灯在归属的信号灯组中的位置；

基于所述信号灯组的排布方向和所述冲突的信号灯在所述信号灯组中的位置，推导所述冲突的信号灯的正确颜色；

基于推导出的所述正确颜色对冲突的所述信号灯的颜色进行修正。

9.根据权利要求1所述的方法，其特征在于，在存在冲突的情况下，对冲突的所述信号灯的状态进行修正之后，还包括：

输出所述多帧图像中每帧图像包含的信号灯组的位置和信号灯的位置和修正后的状态。

10.一种信号灯状态修正装置，其特征在于，包括：

关联模块，设置为根据多帧图像中每帧图像包含的信号灯组的位置，将所述多帧图像中位置相同的信号灯组进行关联；

冲突判断模块，设置为获取所述多帧图像中相互关联的信号灯组中的信号灯的状态，并判断在所述多帧图像中的不同帧图像之间所述相互关联的信号灯组中的所述信号灯的状态是否存在冲突；

状态修正模块，设置为在存在冲突的情况下，对冲突的所述信号灯的状态进行修正。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。

Images