CN112528794A - 信号灯的故障识别方法、装置及路侧设备 - Google Patents

Abstract

本申请提供的信号灯的故障识别方法、装置及路侧设备，涉及智能交通领域。方案包括：通过图像采集装置采集包括信号灯的图像；确定连续多帧图像中每帧图像的运动前景，其中，运动前景用于表征图像相对于图像的背景图像的变化；根据各运动前景，确定信号灯故障情况。本申请提供的信号灯的故障识别方法、装置及路侧设备，可以通过在图像中识别前景的方式，将信号灯故障识别问题转换为前景识别问题，从而不需要改造信号灯，也不需要采集大量的数据进行模型训练，就能够识别出信号灯的故障情况。

Description

信号灯的故障识别方法、装置及路侧设备

技术领域

本申请涉及图像处理领域中的智能交通技术，尤其涉及一种信号灯的故障识别方法、装置及路侧设备。

背景技术

信号灯在生活中随处可见，比如为了提高车辆出行安全，需要在路口设置红绿灯，使得车辆能够更加规范的行驶。

但是，信号灯存在故障情况，一旦信号灯发生故障，则缺失了对人或设备的引导作用。比如路口的红绿灯故障，极易发生交通堵塞，甚至发生导致交通事故。因此，需要及时识别信号灯的故障情况。

目前，进行信号灯故障识别的方式包括基于信号机识别的方法以及基于神经网络识别的方法。但是，基于信号机识别的方法需要对信号灯本身进行改造，较为不便。而基于神经网络识别的方法需要大量的数据对神经网络进行训练，同时神经网络推理过程需要处理器的算力大且耗时长。

发明内容

本申请提供了一种信号灯的故障识别方法、装置及路侧设备，用于提供一种简便易实现的信号灯故障识别方案。

根据本申请的一方面，提供了一种信号灯的故障识别方法，包括：

通过图像采集装置采集包括信号灯的图像；

确定连续多帧图像中每帧图像的运动前景，其中，所述运动前景用于表征所述图像相对于所述图像的背景图像的变化；

根据各所述运动前景，确定信号灯故障情况。

根据本申请的另一方面，提供了一种信号灯的故障识别装置，包括：

采集单元，用于通过图像采集装置采集包括信号灯的图像；

识别单元，用于确定连续多帧图像中每帧图像的运动前景，其中，所述运动前景用于表征所述图像相对于所述图像的背景图像的变化；

故障确定单元，用于根据各所述运动前景，确定信号灯故障情况。

根据本申请的又一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的信号灯的故障识别方法。

根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如第一方面所述的信号灯的故障识别方法。

根据本申请的又一方面，提供了一种路侧设备，包括如上所述的电子设备。

本申请提供的信号灯的故障识别方法、装置及路侧设备，包括：通过图像采集装置采集包括信号灯的图像；确定连续多帧图像中每帧图像的运动前景，其中，运动前景表征图像相对于预设背景图像的变化；根据各运动前景，确定信号灯故障情况。本申请提供的信号灯的故障识别方法、装置及路侧设备，可以通过在图像中识别前景的方式，将信号灯故障识别问题转换为前景识别问题，从而不需要改造信号灯，也不需要采集大量的数据进行模型训练，就能够识别出信号灯的的故障情况。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1A为一示例性实施例示出的信号灯；

图1B为另一示例性实施例示出的信号灯；

图2为本申请一示例性实施例示出的信号灯的故障识别方法的流程图；

图3A为本申请一示例性实施例示出的应用场景图；

图3B为本申请一示例性实施例示出的通过图像采集装置采集的图像示意图；

图3C为本申请另一示例性实施例示出的通过图像采集装置采集的图像示意图；

图4为本申请一示例性实施例示出的信号灯的故障识别方法的流程图；

图5A为本申请一示例性实施例示出的待处理图像示意图；

图5B为本申请一示例性实施例示出的预设标注信息的示意图；

图5C为本申请一示例性实施例示出的在待处理图像中裁剪出包括信号灯的图像的示意图；

图5D为本申请一示例性实施例示出的图像处理流程图；

图5E为本申请一示例性实施例示出的前景识别结果的示意图；

图5F为本申请一示例性实施例示出的匹配区域的示意图；

图5G为本申请一示例性实施例示出的灯头标注信息的示意图；

图6为本申请一示例性实施例示出的信号灯的故障识别装置的结构图；

图7为本申请另一示例性实施例示出的信号灯的故障识别装置的结构图；

图8为本申请一示例性实施例示出的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在很多应用场景中都设置有信号灯，通过信号灯能够起到引导的作用。通过识别信号灯的灯色，可以更便于实现引导功能。比如，可以在路口设置交通信号灯，从而引导车辆顺利通行。

图1A为一示例性实施例示出的信号灯。如图1A所示，这种信号灯包括红灯11、黄灯12和绿灯13。图1B为另一示例性实施例示出的信号灯。如图1B所示，这种信号灯包括第一颜色的指示灯14、第二颜色的指示灯15、以及第三颜色的指示灯16。

但是，信号灯经常会发生故障。尤其是交通信号灯发生故障时，极易发生交通堵塞，甚至发生交通事故。

进行信号灯故障检测的方式包括基于信号机识别的方法以及基于神经网络识别的方法。

但是，基于信号机识别的方式需要在信号机中添加辅助硬件，对信号机的高低电平进行检测，达到信号灯灯色识别的目的。因此，这种方式需要对信号灯本身进行改造，较为不便。

而基于神经网络识别的方法需要采集大量的训练数据，再训练模型，最后再通过训练的模型进行灯色识别。因此，这种方式需要采集大量的数据，较为不便，而通过模型识别灯色所需算力大且耗时长。

为了解决上述技术问题，本申请提供的方法可以对连续多帧包括信号灯的图像进行处理，确定出这些图像中包括的运动前景，再根据各帧图像中的运动前景确定信号灯故障情况。

图2为本申请一示例性实施例示出的信号灯的故障识别方法的流程图。

如图2所示，本申请提供的信号灯的故障识别方法，包括：

步骤201，通过图像采集装置采集包括信号灯的图像。

其中，本申请提供的方法可以由具备计算能力的电子设备来执行，比如可以是计算机、智能手机、路侧设备等。路侧设备可以设置在路边，比如安装在设置有红绿灯的道路附近。本申请中的各个实施例的执行主体也可以是与路侧计算设备连接的服务器设备，或是与路侧感知设备直接相连的服务器设备等；其中，本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。

具体的，还可以在信号灯附近设置图像采集装置，从而使用图像采集装置拍摄信号灯的图像，图像采集装置可以是摄像机，可以通过摄像机采集连续的包括信号灯的图像。

进一步的，图像采集装置可以将拍摄的图像发送给用于执行本实施例提供的方法的电子设备，由电子设备根据接收的图像进行信号灯的障碍识别处理。

图3A为本申请一示例性实施例示出的应用场景图。

如图3A所示，可以在道路旁设置路侧设备31，路侧设备31与图像采集装置32连接，图像采集装置32可以拍摄到信号灯33的图像。

一种实施方式中，可以调节图像采集装置32的拍摄参数和拍摄角度，使其能够拍摄到仅包括信号灯33的图像。

图3B为本申请一示例性实施例示出的通过图像采集装置采集的图像示意图。

图像采集装置32可以采集如图3B所示的图像，并将图像发送给路侧设备31。路侧设备31可以直接对接收的图像进行信号灯的故障识别的处理。

图3C为本申请另一示例性实施例示出的通过图像采集装置采集的图像示意图。

图像采集装置32可以采集如图3C中34所示的图像，并将图像34发送给路侧设备31。

可以预先标注信号灯所在区域，路侧设备31可以根据预先标注信息对接收的图像34进行裁剪处理，得到如35所示出的与信号灯范围一致的图像，并对该图像进行处理，从而对包括信号灯的图像进行故障识别处理时，能够避免图像中信号灯以外的部分对灯色识别结果产生干扰。

在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线；本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。

步骤202，确定连续多帧图像中每帧图像的运动前景，其中，运动前景用于表征图像相对于图像的背景图像的变化。

其中，可以确定连续多帧图像中，每帧图像的运动前景。比如，电子设备可以根据多帧图像进行背景建模，确定出背景图像。可以根据该背景图像再在采集的图像中确定运动前景。当电子设备采集了新的图像后，可以根据该新的图像更新背景图像。

实际应用时，电子设备可以根据采集的连续多帧图像进行背景建模，确定背景图像。比如电子设备可以根据N帧图像进行背景建模，从而根据这些图像得到图像背景。

其中，可以根据N帧图像中各个像素点的像素信息，确定背景图像。比如，在N帧图像中同一个像素点的像素值都相同，则该像素点可以被识别为属于背景图像的像素点。

具体的，属于背景图像的像素点组合形成背景图像。比如，信号灯处于关闭状态时，各个灯头的灯色都不会发生变化，这种情况下，整个信号灯所在的区域都会被确定为背景图像。若图像中仅包括信号灯，则整幅图像都会被识别为背景。

进一步的，可以比对当前处理的图像与背景图像，将像素值与背景图像不一致的像素点作为属于运动前景的像素点。这些属于运动前景的像素点组成运动前景。

还可以通过识别背景的算法确定运动前景。比如，可以根据vibe算法确定背景图像，还可以基于vibe算法确定当前处理的图像中的运动前景。

步骤203，根据各运动前景，确定信号灯故障情况。

其中，通过运动前景能够确定信号灯中发生灯色变化的灯头，因此，可以根据运动前景确定信号灯中的灯头是否正常切换灯色。

具体的，本申请提供的方案中，将信号灯故障识别转换为运动前景的识别，从而降低识别信号灯故障过程中的数据处理量。

进一步的，若信号灯的灯色发生变化，则可以将发生灯色变化的灯头区域识别为运动前景。比如，灯头由亮变灭，或者由灭变亮，则可以将该灯头识别为运动前景。可以根据确定的运动前景确定灯头的灯色切换情况，进而根据这一情况确定信号灯是否存在故障情况。比如，可以根据信号灯的灯色是否正常切换，确定信号灯是否故障。

例如，若在图像中识别出与一个灯头区域对应的运动前景，则可以直接认为图像中该灯头的灯色发生了变化。

具体的，若在采集的图像中，一灯头所属区域长时间没有被确定为运动前景，则可以认为该灯头长时间没有切换灯色，则可以认为该灯头存在故障情况。

进一步的，还可以根据运动前景确定灯色切换信息，再根据灯色切换信息确定灯色变化流程，还可以对该灯色变化流程进行判断，确定该变化流程是否正常，进而确定信号灯是否存在故障情况。例如，初始状态下，第一灯头处于灭掉状态，若基于运动前景确定第一灯头发生了灯色切换，则可以认为第一灯头处于亮起状态，还可以记录灯头保持一个状态的时间，进而能够记录信号灯中的灯色变化流程。

本申请提供的方案，通过确定多帧图像的运动前景，能够确定信号灯故障情况。本申请提供的方案不需要改造信号灯，也不需要采集数据进行模型训练，就能够识别信号灯的故障情况，从而解决现有技术的问题。

本申请提供的方法用于识别信号灯的故障情况，该方法由设置有本实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。

本申请提供的信号灯的故障识别方法，包括：通过图像采集装置采集包括信号灯的图像；确定连续多帧图像中每帧图像的运动前景，其中，运动前景用于表征图像相对于图像的背景图像的变化；根据各运动前景，确定信号灯故障情况。本申请提供的信号灯的故障识别方法，可以通过在图像中识别前景的方式，将信号灯故障识别问题转换为前景识别问题，从而不需要改造信号灯，也不需要采集大量的数据进行模型训练，就能够识别出信号灯的的故障情况。

图4为本申请一示例性实施例示出的信号灯的故障识别方法的流程图。

如图4所示，本申请提供的信号灯的故障识别方法，包括：

步骤401，通过图像采集装置采集待处理图像，其中，待处理图像中包括信号灯。

其中，本申请提供的方法可以由具备计算功能的电子设备来执行，该电子设备可以与图像采集装置连接。图像采集装置例如可以是摄像机。

具体的，图像采集装置可以拍摄待处理图像，并将待处理图像发送给电子设备。可以调整图像采集装置的拍摄角度，进而使图像采集装置拍摄的待处理图像中包括信号灯。

图5A为本申请一示例性实施例示出的待处理图像示意图。

如图5A所示，图像采集装置可以拍摄待处理图像，并将拍摄的待处理图像发送给电子设备。

步骤402，根据预设标注信息在待处理图像中裁剪出包括信号灯的图像。

进一步的，若图像采集装置的位置不变，信号灯位置不变，那么图像采集装置采集的待处理图像中，信号灯的位置也不会变。因此，可以预先设置标注信息，用于标注待处理图像中信号灯所在区域。

图5B为本申请一示例性实施例示出的预设标注信息的示意图。

如图5B所示，可以通过图像采集装置采集一待处理图像，再在其中框选出信号灯所在的区域，从而得到预设标注信息51。

实际应用时，电子设备接收到图像采集装置发送的待处理图像后，可以根据该预设标注信息在接收的待处理图像中进行裁剪，从而得到包括信号灯的目标区域，可以将该目标区域的图像作为包括信号灯的图像。

图5C为本申请一示例性实施例示出的在待处理图像中裁剪出包括信号灯的图像的示意图。

如图5C所示，可以根据预设标注信息51在待处理图像52中裁剪出如53所示的图像。

电子设备可以根据剪裁出的图像进行数据处理。这种实施方式中，可以使电子设备对仅包括信号灯的图像进行处理，从而避免图像尺寸过大，导致电子设备进行识别时的数据处理量过大。

步骤403，根据每帧图像的前N帧图像，确定背景图像，其中，N为大于等于1的正整数。

其中，可以先确定图像的背景图像，具体可以根据一帧图像的前N帧图像，确定该图像的背景图像。比如，电子设备可以根据N帧图像进行背景建模，确定与第N+1帧图像对应的背景图像。

具体的，可以基于混合高斯模型的或vibe算法对上述N帧图像进行处理，得到背景图像。这种基于多帧图像进行建模确定背景图像的实施方式可以参考历史图像数据，使得识别结果更加准确。

进一步的，连续的N帧图像可以是连续的图像，也可以是间隔预设数量帧的图像。比如对第1、2、3、4…N帧图像进行建模处理，也可以对第1、1+m、1+2m…1+(N-1)*m帧图像进行建模处理。

步骤404，根据背景图像对每帧图像进行前景识别，得到运动前景，其中，运动前景表征每一图像相对于背景图像的变化。

背景与前景是相对的概念，以信号灯为例，比如红灯灯头亮起时间较长时，红灯灯头所在的区域会被识别为背景图像的一部分。当红灯灯头从亮转为灭的时候，该红灯灯头会被识别为前景部分。

进一步的，可以利用确定的背景图像对图像进行前景识别。比如，可以根据连续采集的N帧图像确定背景图像，再利用该背景图像对第N+1帧图像进行前景识别。

实际应用时，当电子设备采集到一帧图像后，可以基于最新采集的N帧图像确定背景图像，再根据确定的背景图像对采集的下一帧图像进行前景识别。

其中，通过连续的N帧图像确定背景图像，再根据背景图像在这N帧图像之后的图像中识别运动前景，这种方式充分考虑了历史数据，使得识别结果更加稳定。

图5D为本申请一示例性实施例示出的图像处理流程图。

如图5D所示，当路侧设备采集到N帧图像后，可以根据这N帧图像确定背景图像，再根据该背景图像对第N+1帧图像进行前景识别。此后，路侧设备基于最新采集的N帧图像(第2-N+1帧图像)确定背景图像，此后，再根据该背景图像对新接收的第N+2帧图像进行前景识别。

图5E为本申请一示例性实施例示出的前景识别结果的示意图。

如图5E中54所示，在t1-t2这段时间内信号灯中第一灯头一直亮起，其他灯头处于灭的状态，这种情况下，图像中的每个像素点都被识别为属于背景图像的像素点，背景图像的识别结果如55(黑色像素点代表属于背景图像的像素点)。

此后，信号灯灯色切换，由第一灯头亮转换为第二灯头亮，第一灯头由亮变灭，第二灯头由灭变亮，两个灯头所属区域的像素信息会发生变化，此时，第一灯头所在区域以及第二灯头所在区域会被识别为前景。而第三灯头没有发生变化，因此，第三灯头仍然会被识别为背景。

可选的，根据背景图像对每帧图像进行前景识别，得到运动前景，包括：

在每帧图像中确定与背景图像相对应的匹配区域；

比对背景图像与匹配区域，根据比对结果在每帧图像中确定运动前景。

可以比对当前处理的图像与背景图像。具体可以在当前处理的图像中确定与背景图像的匹配区域，再进行比对。

图5F为本申请一示例性实施例示出的匹配区域的示意图。

如图5F所示，背景图像的识别结果如56(黑色像素点代表属于背景图像的像素点)。可以根据该背景图像在当前处理的图像中确定匹配区域57。

可以比对背景图像与匹配区域，具体可以逐个像素的进行比对，若匹配区域中的像素点与背景图像中的像素点的像素信息不一致，则可以确定该像素点为前景像素点。

例如，可以提取背景图像像素点(x,y)周围的像素值及以前的像素值建立像素点的样本集，然后再将当前处理的图像中(x，y)处的像素值与样本集中的像素值进行比较，如果其与样本集中的像素值的距离大于某阈值的话，则认为该像素点为前景像素点，否则为背景像素点。

这种实施方式中，只需要检测当前处理的图像相对于背景图像是否发生变化，就能够确定出运动前景，进而确定灯色是否切换。因此，通过连续多帧图像中各帧图像的运动前景，就能够确定出信号灯的灯色是否正常切换，进而确定信号灯是否存在故障。

步骤405，根据运动前景在图像中确定运动前景对应的灯头位置。

具体的，若在图像中确定出运动前景，则可以根据信号灯的灯头位置信息，确定该运动前景对应的灯头位置。

进一步的，可以预先设置灯头标注信息，进而可以根据灯头标注信息确定图像中各个灯头所在的位置。

若图像采集装置的位置不变，信号灯位置不变，那么图像采集装置采集的待处理图像中，信号灯的灯头位置也不会变。因此，可以预先设置灯头标注信息，用于标注待处理图像中信号灯各灯头所在区域。

图5G为本申请一示例性实施例示出的灯头标注信息的示意图。

如图5G所示，可以通过图像采集装置采集一待处理图像，再在其中框选出信号灯灯头所在的区域，从而得到灯头标注信息58。

实际应用时，电子设备确定出运动前景后，可以根据灯头标注信息，确定运动前景所对应的灯头位置。比如，若运动前景覆盖了一灯头位置，或运动前景覆盖区域属于灯头位置覆盖的范围，则可以认为该运动前景与该灯头位置对应。

其中，若运动前景与一灯头位置对应，则可以认为该位置的灯头发生了灯色切换的情况。进而可以基于这一变换情况确定信号灯的灯色发生了变化。

这种实施方式中，通过预先标注灯头位置，可以通过背景建模的方式确定哪个灯头发生了灯色切换情况，进而确定信号灯的灯色是否正常切换。

步骤406，根据连续多帧图像中运动前景所在的灯头位置，确定信号灯故障情况。

具体的，可以根据每帧图像中运动前景所在的灯头位置，确定各个帧图像中的灯色切换信息。例如，第m帧图像中检测到的运动前景对应第一灯头的位置，则可以认为在第m帧图像中，第一灯头发生了灯色切换情况；第n帧图像中检测到的运动前景对应第二灯头的位置，则可以认为在第n帧图像中，第二灯头发生了灯色切换情况。

进一步的，可以根据运动前景确定信号灯中的灯色切换情况，进而可以根据灯色切换情况确定信号灯故障情况。这种实施方式中，可以不对信号灯进行改造，又不需要采集大量的数据进行训练，就能够快速的识别出信号灯的故障情况。

一种实施方式中，若连续多帧的图像中，运动前景所在的灯头位置均不包括第一灯头的位置，则确定第一灯头故障。若连续多帧图像中，运动前景所在的灯头位置均不包括第一灯头的位置，那么就可以认为在连续多帧图像中，第一灯头都没有发生灯色切换情况。

若第一灯头长时间没有发生灯色切换的情况，则可以认为第一灯头的灯色一直没有变色，因此，确定该第一灯头发生了故障情况。可以根据需求设置这些连续多帧图像的帧数，比如若连续M帧图像中，第一灯头都没有被检测出前景，则可以认为第一灯头故障。M的具体值可以根据需求进行设置。

在这种实施方式中，不需要对信号灯进行改造，也不需要采集数据训练模型，就可以根据识别的运动前景确定灯头长时间未发生灯色切换的情况，从而快速识别出灯头长时间未发生灯色切换的故障情况。

一种实施方式中，若连续多帧图像中，运动前景所在的灯头位置均不包括第一灯头的位置，则确定第一灯头疑似故障；若第一灯头疑似故障的图像帧数达到阈值，则确定第一灯头故障。

比如在连续的第1到M帧图像中，第一灯头都没有被检测出对应的前景图像，则可以在第M帧图像中标记第一灯头疑似故障。再比如，在第M+1帧图像中还没有检测出第一灯头对应的前景图像，也就是在连续的第2到M+1帧图像中第一灯头都没有被检测出对应的前景图像，此时，可以在第M+1帧图像中标记第一灯头疑似故障。

若第一灯头疑似故障的图像帧数达到阈值，则确定第一灯头故障。可以预先设置阈值的数值，若第一灯头被标记为疑似故障的图像帧数达到阈值，则可以确定该第一灯头确实发生了故障。

在这种实施方式中，不需要对信号灯进行改造，也不需要采集数据训练模型，就可以根据识别的运动前景确定灯头长时间未发生灯色切换的情况，而且可以对长时间未发生灯色切换的灯头进行标记，当第一灯头被连续标记的帧数达到阈值后，才确定该第一灯头故障，从而使识别结果更加准确。

其中，若确定第一灯头故障，则可以获取第一预设数量帧的目标图像；根据目标图像确定第一灯头的状态。例如，若确定第一灯头故障，则可以获取已采集的第一预设数量帧的目标图像，比如根据连续获取的M帧图像确定第一灯头故障，则可以根据这M帧图像中的最后第一预设数量帧的目标图像确定第一灯头的状态。

这种实施方式中，不仅可以识别出信号灯中的灯头故障，还可以识别出故障灯头的具体状态。

具体的，获取目标图像中第一灯头所在区域的亮度信息；根据亮度信息确定第一灯头的平均亮度，并根据平均亮度确定第一灯头的状态。

进一步的，可以获取每帧目标图像中第一灯头所在区域的亮度信息，再根据这些亮度信息计算第一灯头的平均亮度。例如，可以获取每帧目标图像中，第一灯头所在区域的各个像素点的亮度值，再确定这些亮度值的平均值，从而得到第一灯头的平均亮度。

实际应用时，可以根据第一灯头的平均亮度确定第一灯头的状态。这种方式，可以通过图像中灯头的亮度信息识别出故障灯头的具体状态。

例如，若平均亮度大于亮度阈值，则确定第一灯头为长亮状态；若平均亮度小于亮度阈值，则确定第一灯头为长灭状态。可以根据需求设置亮度阈值。这种实施方式中，可以识别出故障灯头的具体状态，比如灯头故障原因是长亮，还是长灭。

另一种实施方式中，还可以根据连续多帧图像中运动前景所在的灯头位置，确定实际灯色变化流程；根据预设灯色变化流程、实际灯色变化流程，确定信号灯故障情况。

其中，可以根据连续多帧图像中运动前景所在的灯头位置，确定发生灯色变化的灯头，进而确定实际灯色变化流程。

比如，第一灯头被识别为运动前景，则可以标注第一灯头当前为第一状态，在连续多帧图像中，第一灯头都被识别为背景，则可以认为第一灯头在这些图像中维持第一状态，当第一灯头再次被识别为运动前景后，可以标注第一灯头为第二状态。通过这种方式，能够记录各个灯头的状态切换过程。可以根据各个灯头的状态切换过程，还能够确定出信号灯的实际灯色变化流程。比如，第一灯头为第一状态，持续了30秒中，第二灯头为第一状态，持续了30秒中。第一状态例如可以是亮起的状态。

具体的，可以根据切换灯色的灯头所在位置，确定该灯头灯色。比如，在横向红绿灯中，中间的灯头为黄色。当黄色灯头由第一状态切换为第二状态，绿色灯头由第二状态切换为第一状态，则可以确定出第一状态为亮起状态，第二状态为灭掉的状态。

进一步的，还可以根据预设灯色变化流程、实际灯色变化流程，确定信号灯故障情况。还可以设置预设灯色变化流程，可以比对实际灯色变化流程与该预设灯色变化流程，若两个流程一致，则可以认为信号灯是正常运行的，否则，认为信号灯是故障的。

这种实施方式中，不需要对信号灯进行改造，也不需要采集数据训练模型，就可以根据识别的运动前景确定信号灯灯色变化流程，从而快速识别出信号灯灯色变化异常的故障情况。

图6为本申请一示例性实施例示出的信号灯的故障识别装置的结构图。

如图6所示，本实施例提供的信号灯的故障识别装置，包括：

采集单元61，用于通过图像采集装置采集包括信号灯的图像；

识别单元62，用于确定连续多帧图像中每帧图像的运动前景，其中，所述运动前景用于表征所述图像相对于所述图像的背景图像的变化；

故障确定单元63，用于根据各所述运动前景，确定信号灯故障情况。

本申请提供的信号灯的故障识别装置，包括采集单元，用于通过图像采集装置采集包括信号灯的图像；识别单元，用于确定连续多帧图像中每帧图像的运动前景，其中，运动前景表征图像相对于预设背景图像的变化；故障确定单元，用于根据各运动前景，确定信号灯故障情况。本申请提供的信号灯的故障识别装置，可以通过在图像中识别前景的方式，将信号灯故障识别问题转换为前景识别问题，从而不需要改造信号灯，也不需要采集大量的数据进行模型训练，就能够识别出信号灯的的故障情况。

图7为本申请另一示例性实施例示出的信号灯的故障识别装置的结构图。

如图7所示，本实施例提供的信号灯的故障识别装置，在上述实施例的基础上，所述故障确定单元63包括：

位置确定模块631，用于根据所述运动前景在所述图像中确定所述运动前景对应的灯头位置；

故障确定模块632，用于根据连续多帧所述图像中所述运动前景所在的灯头位置，确定信号灯故障情况。

其中，所述故障确定模块632，包括：

第一子模块6321，用于若连续多帧的所述图像中，所述运动前景所在的灯头位置均不包括第一灯头的位置，则确定所述第一灯头故障。

其中，所述故障确定模块632包括第二子模块6322，用于：

若连续多帧所述图像中，所述运动前景所在的灯头位置均不包括第一灯头的位置，则确定所述第一灯头疑似故障；

若所述第一灯头疑似故障的图像帧数达到阈值，则确定所述第一灯头故障。

其中，若确定所述第一灯头故障，则所述第二子模块6322还用于：

获取第一预设数量帧的目标图像；

根据所述目标图像确定所述第一灯头的状态。

其中，所述第二子模块6322具体用于：

获取所述目标图像中所述第一灯头所在区域的亮度信息；

根据所述亮度信息确定所述第一灯头的平均亮度，并根据所述平均亮度确定所述第一灯头的状态。

其中，所述第二子模块6322具体用于：

若所述平均亮度大于亮度阈值，则确定所述第一灯头为长亮状态；

若所述平均亮度小于所述亮度阈值，则确定所述第一灯头为长灭状态。

其中，所述故障确定模块632包括第三子模块6323，用于：

根据连续多帧所述图像中所述运动前景所在的灯头位置，确定实际灯色变化流程；

根据预设灯色变化流程、所述实际灯色变化流程，确定所述信号灯故障情况。

其中，所述识别单元62，包括：

背景确定模块621，用于根据所述每帧图像的前N帧图像，确定背景图像，其中，N为大于等于1的正整数；

前景识别模块622，用于根据背景图像对所述每帧图像进行前景识别，得到运动前景，其中，所述运动前景表征所述每一图像相对于所述背景图像的变化。

其中，所述背景确定模块621用于：

根据所述前N帧图像进行背景建模，确定所述背景图像。

其中，所述前景识别模块622具体用于：

在所述每帧图像中确定与所述背景图像相对应的匹配区域；

比对所述背景图像与所述匹配区域，根据比对结果在所述每帧图像中确定所述运动前景。

其中，所述采集单元61包括：

采集模块611，用于通过图像采集装置采集待处理图像，其中，所述待处理图像中包括信号灯；

剪裁模块612，用于根据预设标注信息在所述待处理图像中裁剪出包括所述信号灯的图像。

根据本申请的实施例，本申请还提供了一种路侧设备，该路侧设备中包括有图8提供的电子设备。

路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备。

智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线；本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图8所示，是根据本申请实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的信号灯的故障识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的信号灯的故障识别方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的信号灯的故障识别方法对应的程序指令/模块(例如，附图6所示的采集单元61、识别单元62和故障确定单元63)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的信号灯的故障识别方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与XXX的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (27)

1.一种信号灯的故障识别方法，包括：

通过图像采集装置采集包括信号灯的图像；

确定连续多帧图像中每帧图像的运动前景，其中，所述运动前景用于表征所述图像相对于所述图像的背景图像的变化；

根据各所述运动前景，确定信号灯故障情况。

2.根据权利要求1所述的方法，其中，所述根据各所述运动前景，确定信号灯故障情况，包括：

根据所述运动前景在所述图像中确定所述运动前景对应的灯头位置；

根据连续多帧所述图像中所述运动前景所在的灯头位置，确定信号灯故障情况。

3.根据权利要求2所述的方法，其中，所述根据连续多帧所述图像中所述运动前景所在的灯头位置，确定信号灯故障情况，包括：

若连续多帧的所述图像中，所述运动前景所在的灯头位置均不包括第一灯头的位置，则确定所述第一灯头故障。

4.根据权利要求2所述的方法，其中，所述根据连续多帧所述图像中所述运动前景所在的灯头位置，确定信号灯故障情况，包括：

若连续多帧所述图像中，所述运动前景所在的灯头位置均不包括第一灯头的位置，则确定所述第一灯头疑似故障；

若所述第一灯头疑似故障的图像帧数达到阈值，则确定所述第一灯头故障。

5.根据权利要求3或4所述的方法，其中，若确定所述第一灯头故障，则所述方法还包括：

获取第一预设数量帧的目标图像；

根据所述目标图像确定所述第一灯头的状态。

6.根据权利要求5所述的方法，其中，所述根据所述目标待处理图像确定所述第一灯头的状态，包括：

获取所述目标图像中所述第一灯头所在区域的亮度信息；

根据所述亮度信息确定所述第一灯头的平均亮度，并根据所述平均亮度确定所述第一灯头的状态。

7.根据权利要求6所述的方法，其中，所述根据所述平均亮度确定所述第一灯头的状态，包括：

若所述平均亮度大于亮度阈值，则确定所述第一灯头为长亮状态；

若所述平均亮度小于所述亮度阈值，则确定所述第一灯头为长灭状态。

8.根据权利要求2所述的方法，其中，所述根据连续多帧所述图像中所述运动前景所在的灯头位置，确定信号灯故障情况，包括：

根据连续多帧所述图像中所述运动前景所在的灯头位置，确定实际灯色变化流程；

根据预设灯色变化流程、所述实际灯色变化流程，确定所述信号灯故障情况。

9.根据权利要求1-4任一项所述的方法，其中，确定连续多帧图像中每帧图像的运动前景，包括：

根据所述每帧图像的前N帧图像，确定背景图像，其中，N为大于等于1的正整数；

根据背景图像对所述每帧图像进行前景识别，得到运动前景，其中，所述运动前景表征所述每一图像相对于所述背景图像的变化。

10.根据权利要求9所述的方法，其中，所述根据所述每帧图像的前N帧图像，确定背景图像，包括：

根据所述前N帧图像进行背景建模，确定所述背景图像。

11.根据权利要求9所述的方法，其中，所述根据背景图像对所述每帧图像进行前景识别，得到运动前景，包括：

在所述每帧图像中确定与所述背景图像相对应的匹配区域；

比对所述背景图像与所述匹配区域，根据比对结果在所述每帧图像中确定所述运动前景。

12.根据权利要求1-4任一项所述的方法，其中，所述通过图像采集装置采集包括信号灯的图像包括：

通过图像采集装置采集待处理图像，其中，所述待处理图像中包括信号灯；

根据预设标注信息在所述待处理图像中裁剪出包括所述信号灯的图像。

13.一种信号灯的故障识别装置，包括：

采集单元，用于通过图像采集装置采集包括信号灯的图像；

识别单元，用于确定连续多帧图像中每帧图像的运动前景，其中，所述运动前景用于表征所述图像相对于所述图像的背景图像的变化；

故障确定单元，用于根据各所述运动前景，确定信号灯故障情况。

14.根据权利要求13所述的装置，其中，所述故障确定单元包括：

位置确定模块，用于根据所述运动前景在所述图像中确定所述运动前景对应的灯头位置；

故障确定模块，用于根据连续多帧所述图像中所述运动前景所在的灯头位置，确定信号灯故障情况。

15.根据权利要求14所述的装置，其中，所述故障确定模块，包括：

第一子模块，用于若连续多帧的所述图像中，所述运动前景所在的灯头位置均不包括第一灯头的位置，则确定所述第一灯头故障。

16.根据权利要求14所述的装置，其中，所述故障确定模块包括第二子模块，用于：

若连续多帧所述图像中，所述运动前景所在的灯头位置均不包括第一灯头的位置，则确定所述第一灯头疑似故障；

若所述第一灯头疑似故障的图像帧数达到阈值，则确定所述第一灯头故障。

17.根据权利要求15或16所述的装置，其中，若确定所述第一灯头故障，则所述第二子模块还用于：

获取第一预设数量帧的目标图像；

根据所述目标图像确定所述第一灯头的状态。

18.根据权利要求17所述的装置，其中，所述第二子模块具体用于：

获取所述目标图像中所述第一灯头所在区域的亮度信息；

根据所述亮度信息确定所述第一灯头的平均亮度，并根据所述平均亮度确定所述第一灯头的状态。

19.根据权利要求18所述的装置，其中，所述第二子模块具体用于：

若所述平均亮度大于亮度阈值，则确定所述第一灯头为长亮状态；

若所述平均亮度小于所述亮度阈值，则确定所述第一灯头为长灭状态。

20.根据权利要求14所述的装置，其中，所述故障确定模块包括第三子模块，用于：

根据连续多帧所述图像中所述运动前景所在的灯头位置，确定实际灯色变化流程；

根据预设灯色变化流程、所述实际灯色变化流程，确定所述信号灯故障情况。

21.根据权利要求13-16任一项所述的装置，其中，所述识别单元，包括：

背景确定模块，用于根据所述每帧图像的前N帧图像，确定背景图像，其中，N为大于等于1的正整数；

前景识别模块，用于根据背景图像对所述每帧图像进行前景识别，得到运动前景，其中，所述运动前景表征所述每一图像相对于所述背景图像的变化。

22.根据权利要求21所述的装置，其中，所述背景确定模块用于：

根据所述前N帧图像进行背景建模，确定所述背景图像。

23.根据权利要求21所述的装置，其中，所述前景识别模块具体用于：

在所述每帧图像中确定与所述背景图像相对应的匹配区域；

比对所述背景图像与所述匹配区域，根据比对结果在所述每帧图像中确定所述运动前景。

24.根据权利要求13-16任一项所述的装置，其中，所述采集单元包括：

采集模块，用于通过图像采集装置采集待处理图像，其中，所述待处理图像中包括信号灯；

剪裁模块，用于根据预设标注信息在所述待处理图像中裁剪出包括所述信号灯的图像。

25.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。

27.一种路侧设备，包括：如权利要求25所述的电子设备。

Images