CN111931724A - 信号灯的异常识别方法、装置、电子设备和路侧设备 - Google Patents

信号灯的异常识别方法、装置、电子设备和路侧设备 Download PDF

Info

Publication number
CN111931724A
CN111931724A CN202011006939.0A CN202011006939A CN111931724A CN 111931724 A CN111931724 A CN 111931724A CN 202011006939 A CN202011006939 A CN 202011006939A CN 111931724 A CN111931724 A CN 111931724A
Authority
CN
China
Prior art keywords
pixel
image
lamp
determining
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011006939.0A
Other languages
English (en)
Other versions
CN111931724B (zh
Inventor
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011006939.0A priority Critical patent/CN111931724B/zh
Publication of CN111931724A publication Critical patent/CN111931724A/zh
Application granted granted Critical
Publication of CN111931724B publication Critical patent/CN111931724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种信号灯的异常识别方法、装置、电子设备和路侧设备，涉及智能交通和计算机视觉。具体实现方案为：获取待检测视频流中的相邻两帧图像，并确定信号灯的每一灯头在相邻两帧图像上的第一像素差分信息；根据每一灯头的第一像素差分信息，确定相邻两帧图像中后一帧图像中新点亮的灯头；若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息符合第一预设条件时，确定后一帧图像为异常图像。异常图像(两个以上的灯头同时亮起的图像)的识别方法的处理速度快速，可以很快的得到异常图像数据，处理效率高。

Description

信号灯的异常识别方法、装置、电子设备和路侧设备
技术领域
本申请涉及图像处理中的智能交通、计算机视觉，尤其涉及一种信号灯的异常识别方法、装置、电子设备和路侧设备。
背景技术
信号灯在生活中随处可见，在信号灯中包括多个灯头。其中，以信号灯为红绿灯为例，红绿灯中具有三个灯头、分别为红色灯头、绿色灯头和黄色灯头。在对信号灯的视频流中的图像进行处理的时候，由于信号灯会出现两种以上的灯头同时点亮的情况，所以需要提取出视频流中的两种以上的灯头同时点亮的异常图像。
现有技术中，可以采用人工的对视频流进行标注的方式，得到异常图像(两种以上的灯头同时点亮的图像)。
但是上述方式中，人工标注的方式效率低下，使得提取异常图像的效率非常低，并且成本较高。
发明内容
本申请提供了一种用于快速提取信号灯的视频流中的异常图像的信号灯的异常识别方法、装置、电子设备和路侧设备。
根据本申请的第一方面，提供了一种信号灯的异常识别方法，包括：
获取待检测视频流中的相邻两帧图像，并确定所述信号灯的每一灯头在所述相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异；
根据所述每一灯头的第一像素差分信息，确定所述相邻两帧图像中后一帧图像中新点亮的灯头；
若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息符合第一预设条件时，确定所述后一帧图像为异常图像。
根据本申请的第二方面，提供了一种信号灯的异常识别装置，包括：
第一获取单元，用于获取待检测视频流中的相邻两帧图像；
第一确定单元，用于确定所述信号灯的每一灯头在所述相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异；
第二确定单元，用于根据所述每一灯头的第一像素差分信息，确定所述相邻两帧图像中后一帧图像中新点亮的灯头；
第三确定单元，用于若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息符合第一预设条件时，确定所述后一帧图像为异常图像。
根据本申请的第三方面，提供了一种信号灯的异常识别方法，包括：
确定所述信号灯的每一灯头在待检测视频流中相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异；
根据所述每一灯头的第一像素差分信息，确定所述相邻两帧图像中后一帧图像中新点亮的灯头；
若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则根据所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息，确定所述后一帧图像是否为异常图像。
根据本申请的第四方面，提供了一种电子设备，包括：处理器和存储器；存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如第一方面中任一项所述的信号灯的异常识别方法，或者执行如第三方面所述的信号灯的异常识别方法。
根据本申请的第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令被处理器执行时实现第一方面中任一项所述的信号灯的异常识别方法，或者执行如第三方面所述的信号灯的异常识别方法。
根据本申请的第六方面，提供了一种程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，服务器的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得服务器执行第一方面中任一所述的信号灯的异常识别方法，或者执行如第三方面所述的信号灯的异常识别方法。
根据本申请的第七方面，提供了一种路侧设备，包括第四方面提供的电子设备。
根据本申请的技术方案，根据每一灯头在相邻两帧图像上的差分信息，确定出后一帧图像中的新点亮的灯头；然后依据后一帧图像的每一个灯头的图像信息，确定出异常图像(两个以上的灯头同时亮起的图像)；从而对灯头进行差分运算，得到两种以上的灯色同时亮起的异常图像数据；本实施例提供的异常图像(两个以上的灯头同时亮起的图像)的识别方法的处理速度快速，可以很快的得到异常图像数据，处理效率高。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提供的一种应用场景；
图2为本申请实施例提供的另一种应用场景；
图3是根据本申请第一实施例的示意图；
图4是根据本申请第二实施例的示意图；
图5是根据本申请第三实施例的示意图；
图6为本申请实施例提供的异常图像的示意图；
图7是根据本申请第四实施例的示意图；
图8是根据本申请第五实施例的示意图；
图9是根据本申请第六实施例的示意图；
图10是根据本申请第七实施例的示意图；
图11是根据本申请第八实施例的示意；
图12是根据本申请第九实施例的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
信号灯在生活中随处可见，在信号灯中包括多个灯头。其中，以信号灯为红绿灯为例，红绿灯中具有三个灯头、分别为红色灯头、绿色灯头和黄色灯头。在对信号灯的视频流中的图像进行处理的时候，由于信号灯会出现两种以上的灯头同时点亮的情况，所以需要提取出视频流中的两种以上的灯头同时点亮的异常图像。
举例来说，在使用视觉红绿灯算法进行灯色识别的时候，首先采集信号灯的图像数据，使用信号灯的图像数据训练灯色识别模型，去进行灯色识别。由于会存在两种以上的灯色同时亮起的情况，需要获取到这样的异常图像数据。
一个示例中，在从视频流中提取两种以上的灯色同时亮起的异常图像的时候，可以采用人工标注的方式，得到异常图像数据(两种以上的灯头同时点亮的图像)。或者，可以通过随机采样的方式，从视频流中提取多帧图像，然后人工的确定所得到的多帧图像中的异常图像数据。
但是上述方式中，人工标注的方式效率低下，使得提取异常图像的效率非常低，并且成本较高。
另一个示例中，根据信号灯的变换周期，每间隔一段时间去人工的对视频流进行标注，得到异常图像数据。
但是上述方式中，需要人工的统计信号灯的各灯头的变色时间，当数据量很大的时候，图像数据之间无法连续；并且，也会消耗大量人力成本。同时，由于信号灯的变换周期是动态调整的，尤其是在上班的早晚高峰期间，信号灯的变换周期是动态的，进而每间隔一段时间去人工的对视频流进行标注，会遗漏掉大量的图像数据。
本申请提供一种信号灯的异常识别方法、装置、电子设备和路侧设备，应用于图像处理中的智能交通、计算机视觉，以达到快速识别信号灯的视频流中的异常图像(两种以上的灯头同时点亮的图像)的目的，可以降低提取异常图像的成本。
图1为本申请实施例提供的一种应用场景，如图1所示，本实施例提供的方案可以用于识别图1的信号灯的视频流中的异常图像(两种以上的灯头同时点亮的图像)；图1的信号灯中具有红灯、黄灯和绿灯。
图2为本申请实施例提供的另一种应用场景，如图2所示，本实施例提供的方案可以用于识别图2的信号灯的视频流中的异常图像(两种以上的灯头同时点亮的图像)；图2的信号灯中具有第一颜色的指示灯、第二颜色的指示灯、以及第三颜色的指示灯。
图3是根据本申请第一实施例的示意图，如图3所示，本实施例提供的信号灯的异常识别方法，包括：
101、获取待检测视频流中的相邻两帧图像，并确定信号灯的每一灯头在相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异。
示例性地，本实施例以执行主体可以是路侧设备、或者电子设备、或者终端设备、或者服务器、或者信号灯的异常识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。
本申请中的各个实施例的执行主体可以是各种路侧设备，其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备。本申请中的各个实施例的执行主体也可以是与路侧计算设备连接的服务器设备，或是与路侧感知设备直接相连的服务器设备等；其中，本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。
本实施例以执行主体为电子设备进行说明。电子设备例如是路侧设备、或者是服务器设备。
在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线；本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。
可以通过摄像头对信号灯的工作情况进行视频采集，进而得到待检测视频流；然后，对待检测视频中的图像进行分析。或者，可以实时的通过摄像头采集信号灯的工作情况，然后实时的对得到的待检测视频的图像进行分析。
信号灯中包括多个灯头，例如，红绿灯中包括红色灯头、绿色灯头和黄色灯头。针对待检测视频流中的相邻两帧图像，可以先针对信号灯的每一个灯头，计算灯头在相邻两帧图像上的差分图像。即，计算每一个灯头在相邻两帧图像上的第一像素差分信息。
一个示例中，针对信号灯的每一个灯头，根据灯头在相邻两帧图像中前一帧图像上的图像信息、灯头在相邻两帧图像中后一帧图像上的图像信号进行差分计算，得到灯头的差分图像，该差分图像中包括灯头的第一像素差分信息。可知，第一像素差分信息表征灯头在相邻两帧图像上的差异。
举例来说，信号灯中包括红色灯头、绿色灯头和黄色灯头。针对每相邻的两帧图像(前一帧图像和后一帧图像)，计算红色灯头在相邻两帧图像上的第一像素差分信息，计算绿色灯头在相邻两帧图像上的第一像素差分信息，并计算黄色灯头在相邻两帧图像上的第一像素差分信息。
102、根据每一灯头的第一像素差分信息，确定相邻两帧图像中后一帧图像中新点亮的灯头。
示例性地，由于每一个灯头的第一像素差分信息表征了灯头在相邻两帧图像上的差异，进而可以对各灯头的第一像素差分信息进行分析，确定出后一帧图像(相邻两帧图像中后一帧图像)中新点亮的灯头。
一个示例中，第一像素差分信息大于预设阈值的灯头，为后一帧图像(相邻两帧图像中后一帧图像)中新点亮的灯头。
举例来说，信号灯中包括红色灯头、绿色灯头和黄色灯头。对各灯头的第一像素差分信息进行分析，确定出相邻两帧图像中后一帧图像中新点亮的灯头，为绿色灯头。
103、若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息符合第一预设条件时，确定后一帧图像为异常图像。
示例性地，由于已经获知上一次点亮的灯头是哪一个，判断新点亮的灯头的颜色与上一次点亮的灯头的颜色是否相同，若新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则可以分析相邻两帧图像中的后一帧图像是否为异常图像(两种以上的灯头同时点亮的图像)。
一个示例中，对新点亮的灯头在后一帧图像上的图像信息、以及其他灯头(除去新点亮的灯头之外的灯头)在后一帧图像上的图像信息进行图像分析，若新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息符合第一预设条件，则确定后一帧图像为异常图像。例如，若确定新点亮的灯头在后一帧图像上的图像信息、其他灯头在后一帧图像上的图像信息，两者的差异大于预设阈值(即，第一预设条件为图像差异大于预设阈值)，则确定后一帧图像为异常图像。
本实施例，通过获取待检测视频流中的相邻两帧图像，并确定信号灯的每一灯头在相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异；根据每一灯头的第一像素差分信息，确定相邻两帧图像中后一帧图像中新点亮的灯头；若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息符合第一预设条件时，确定后一帧图像为异常图像。根据每一灯头在相邻两帧图像上的差分信息，确定出后一帧图像中的新点亮的灯头；然后依据后一帧图像的每一个灯头的图像信息，确定出异常图像(两个以上的灯头同时亮起的图像)；从而对灯头进行差分运算，得到两种以上的灯色同时亮起的异常图像数据；本实施例提供的异常图像(两个以上的灯头同时亮起的图像)的识别方法的处理速度快速，可以很快的得到异常图像数据，处理效率高。
图4是根据本申请第二实施例的示意图，如图4所示，本实施例提供的信号灯的异常识别方法，包括：
201、获取待检测视频流中的相邻两帧图像。
示例性地，本实施例以执行主体可以是路侧设备、或者电子设备、或者终端设备、或者服务器、或者信号灯的异常识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
可以通过摄像头对信号灯的工作情况进行视频采集，进而得到待检测视频流；然后，对待检测视频中的图像进行分析。或者，可以实时的通过摄像头采集信号灯的工作情况，然后实时的对得到的待检测视频的图像进行分析。
202、根据每一灯头在相邻两帧图像中前一帧图像上的图像信息、每一灯头在相邻两帧图像中后一帧图像上的图像信息，确定每一个灯头的第一差分图像。
示例性地，信号灯中包括多个灯头，例如，红绿灯中包括红色灯头、绿色灯头和黄色灯头。针对待检测视频流中的相邻两帧图像，可以先针对信号灯的每一个灯头，计算灯头在相邻两帧图像上的差分图像。即，计算每一个灯头在相邻两帧图像上的第一像素差分信息。
一个示例中，相邻两帧图像中包括前一帧图像和后一帧图像。由于采用固定了位置的摄像机去拍摄信号灯，所以是可以获知每一个灯头在每一帧图像上位置；进而，针对每一个灯头的图像信息进行分析。针对信号灯的每一个灯头，将与灯头对应的前一帧图像的灰度图、与灯头对应的后一帧图像的灰度图两者进行差分运算，得到与灯头对应第一差分图像。
另一个示例中，相邻两帧图像中包括前一帧图像和后一帧图像。针对信号灯的每一个灯头，将与灯头对应的前一帧图像的彩色图、与灯头对应的后一帧图像的彩色图两者进行差分运算，得到与灯头对应第一差分图像。其中，彩色图例如是基于红绿蓝(Red GreenBlue，简称RGB)的彩色图，或者是基于HSV(Hue Saturation Value，简称HSV)的彩色图。
203、针对每一灯头，若第一差分图像的像素点的像素值大于等于第一预设阈值，则确定该像素点的像素值为第一数值；若第一差分图像的像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值。
示例性地，针对信号灯的每一个灯头，对与灯头对应第一差分图像中的每一个像素点进行分析；若像素点的像素值大于等于第一预设阈值，则确该像素点的像素值为第一数值；若像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值。
举例来说，针对每一个灯头，若第一差分图像中的像素点的像素值，大于等于第一预设阈值，则确定该像素点的像素值为255；若第一差分图像中的像素点的像素值，小于第一预设阈值，则确定该像素点的像素值为0。
204、根据每一灯头的第一差分图像的像素点的像素值，确定每一灯头的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异。
一个示例中，步骤204具体包括：针对每一灯头，确定第一差分图像的像素点的像素值之和，得到第一像素总数值；针对每一灯头，根据灯头的第一像素总数值和灯头的图像像素点总个数，确定灯头的第一像素差分信息。
示例性地，针对信号灯的每一个灯头，对与灯头的第一差分图像的像素点的像素值进行统计，得到与灯头对应的第一像素差分信息。进而，得到每一个灯头在相邻两帧图像上的差异，便于确定出相邻两帧图像中后一帧图像中新点亮的灯头。
一个示例中，针对每一个灯头，计算第一差分图像的各像素点的像素值之和，得到灯头的像素总数值(即，第一像素总数值)；将灯头的像素总数值除以灯头的图像像素点总个数，得到差分和(即，与灯头对应第一像素差分信息)。其中，由于是采用固定的摄像机对信号灯进行视频采集，所得到视频流中的每一帧图像的像素点总个数是固定的；并且，每一帧图像中必定包括信号灯的各灯头，每一个灯头在不同帧图像上的像素点总个数(即，灯头的图像像素点总个数)是固定的。可知，灯头的图像像素点总个数，是可以从视频流的图像中读取出来的。上述过程，可以便捷、准确的分析出每一个灯头在相邻两帧图像上的差异。
205、确定信号灯的各灯头的第一像素差分信息表征的数值中的最大的第一像素差分信息，为最大像素差分。
示例性地，在得到每一个灯头的差分和(即，与灯头对应第一像素差分信息)之后，将各灯头中的最大的第一像素差分信息，作为最大像素差分。在图像分析过程中，可以得到最大像素差分所对应的灯头的颜色。
206、若最大像素差分大于第二预设条件所表征的数值，则确定与最大像素差分对应的灯头，为新点亮的灯头。
一个示例中，第二预设条件所表征的数值，包括以下的至少一种：与最大像素差分对应的灯头的最大差分和的预设倍数、每一其他灯头的最大差分和的预设倍数。
示例性地，对步骤205所得到最大像素差分进行大小分析，以确定相邻两帧图像中的后一帧图像中的新点亮的灯头。
一个示例中，在确定最大像素差分大于第二预设条件所表征的数值的时候，确定与最大像素差分对应的灯头，为邻两帧图像中的后一帧图像中的新点亮的灯头。由于第一像素差分信息表征了灯头在相邻两帧图像上的差异，进而最大的第一像素差分信息所对应的灯头，最有可能是新点亮的灯头；从而，对最大的第一像素差分信息所对应的灯头进行分析，才可以准确的得到相邻两帧图像中后一帧图像中的新点亮的灯头。
一个示例中，已经为每一个灯头设置有最大差分和(是一个固定值)，不同的灯头的最大差分和是不同的。若最大像素差分，大于与最大像素差分对应的灯头的最大差分和的预设倍数；并且，最大像素差分，大于每一个其他灯头的最大差分和的预设倍数；符合以上两个条件，则确定与最大像素差分对应的灯头，为邻两帧图像中的后一帧图像中的新点亮的灯头；若不符合以上两个条件，则处理下一帧图像，即跳转到步骤201。通过以上过程，由于第一像素差分信息表征了灯头在相邻两帧图像上的差异，进而最大的第一像素差分信息所对应的灯头，最有可能是新点亮的灯头；然后，将最大的第一像素差分信息，与其他灯头的最大差分和进行比较，若最大的第一像素差分信息依然较大，则准确的确定最大的第一像素差分信息所对应的灯头，为相邻两帧图像中后一帧图像中的新点亮的灯头。
举例来说，若最大像素差分大于阈值1，其中，阈值1与最大像素差分对应的灯头的最大差分和的80％；并且，最大像素差分大于阈值2，其中，阈值2为另一个灯头的最大差分和的2倍；并且，最大像素差分大于阈值2，其中，阈值3为又一个灯头的最大差分和的2倍；则确定与最大像素差分对应的灯头，为新点亮灯头。
举例来说，信号灯中包括红灯、绿灯、黄灯。相邻两帧图像中包括前一帧图像和后一帧图像。由于采用固定了位置的摄像机去拍摄信号灯，所以是可以获知每一个灯头在每一帧图像上位置。
针对红灯，根据红灯在前一帧图像上的位置，可以获知红灯在前一帧图像上的图像信息；根据红灯在后一帧图像上的位置，可以获知红灯在前一帧图像上的图像信息；然后，根据红灯在前一帧图像上的图像信息、红灯在后一帧图像上的图像信息进行差分计算，得到红灯的第一差分图像；若第一差分图像中的像素点的像素值，大于等于第一预设阈值，则确定该像素点的像素值为255；若差分图像中的像素点的像素值，小于第一预设阈值，则确定该像素点的像素值为0。然后，将第一差分图像的像素点的像素值进行求和，在将所得到的第一像素总数值除以红灯的图像像素点总个数，得到红灯的第一像素差分信息。
同理，得到绿灯的第一像素差分信息、以及黄灯的第一像素差分信息。
然后，比较红灯的第一像素差分信息、绿灯的第一像素差分信息、以及黄灯的第一像素差分信息，得到最大的第一像素差分信息(即，最大像素差分)。并确定最大的第一像素差分信息对应的灯头，为红灯。
然后，若确定红灯的第一像素差分信息(即，最大像素差分)大于绿灯的最大差分和的80％，并且，红灯的第一像素差分信息(即，最大像素差分)大于绿灯的最大差分和的2倍，并且，红灯的第一像素差分信息(即，最大像素差分)大于黄灯的大差分和的2倍，则确定红灯为后一帧图像中的新点亮的灯头。
207、若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息符合第一预设条件时，确定后一帧图像为异常图像。
示例性地，本步骤可以参见图3所示的步骤103，不再赘述。
本实施例，在上述实施例的基础上，针对信号灯的每一个灯头，对与灯头的第一差分图像的像素点的像素值进行统计，得到与灯头对应的第一像素差分信息。进而，得到每一个灯头在相邻两帧图像上的差异，便于确定出相邻两帧图像中后一帧图像中新点亮的灯头。由于第一像素差分信息表征了灯头在相邻两帧图像上的差异，进而最大的第一像素差分信息所对应的灯头，最有可能是新点亮的灯头；然后，将最大的第一像素差分信息，与其他灯头的最大差分和进行比较，若最大的第一像素差分信息依然较大，则准确的确定最大的第一像素差分信息所对应的灯头，为相邻两帧图像中后一帧图像中的新点亮的灯头。通过本实施例的过程，可以准确的得到相邻两帧图像中后一帧图像中新点亮的灯头，然后，将新点亮的灯头与其他灯头的图像信息进行比较分析，准确的分析出后一帧图像是否为异常图像(两个以上的灯头同时亮起的图像)。
图5是根据本申请第三实施例的示意图，如图5所示，本实施例提供的信号灯的异常识别方法，包括：
301、获取待检测视频流中的相邻两帧图像，并确定信号灯的每一灯头在相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异。
示例性地，本实施例以执行主体可以是路侧设备、或者电子设备、或者终端设备、或者服务器、或者信号灯的异常识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
本步骤可以参见上述实施例的介绍，不再赘述。
302、根据每一灯头的第一像素差分信息，确定相邻两帧图像中后一帧图像中新点亮的灯头。
示例性地，本步骤可以参见上述实施例的介绍，不再赘述。
303、若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则根据新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息，确定新点亮的灯头与其他灯头之间的第二像素差分信息；其中，第二像素差分信息表征新点亮的灯头的图像信息与其他灯头的图像信息之间的差异。
一个示例中，步骤303具体包括以下步骤：
第一步骤、根据新点亮的灯头在后一帧图像上的图像信息、以及剩余灯头在后一帧图像上的图像信息，确定新点亮的灯头与剩余灯头之间的第二差分图像；其中，剩余灯头为除去新点亮的灯头和上一次点亮的灯头之外的灯头。
第二步骤、根据上一次点亮的灯头在后一帧图像上的图像信息、以及剩余灯头在后一帧图像上的图像信息，确定上一次点亮的灯头与剩余灯头之间的第三差分图像。
第三步骤、根据第二差分图像，确定新点亮的灯头与剩余灯头之间的第二像素差分信息，并根据第三差分图像，确定上一次点亮的灯头与剩余灯头之间的第二像素差分信息。
示例性地，由于已经获知上一次点亮的灯头是哪一个，判断新点亮的灯头的颜色与上一次点亮的灯头的颜色是否相同，若新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则可以分析相邻两帧图像中的后一帧图像是否为异常图像(两种以上的灯头同时点亮的图像)。
根据前面实施例的介绍可知，由于采用固定了位置的摄像机去拍摄信号灯，所以是可以获知每一个灯头在每一帧图像上位置。从而使可以好获知每一个灯头在每一帧图像上的图像信息。
需要将新点亮的灯头与其他灯头的图像信息进行分析，此时，将新点亮的灯头在后一帧图像上的图像信息、其他灯头在后一帧图像上的图像信息，两者进行比较分析，进而确定出第二像素差分信息；第二像素差分信息表征新点亮的灯头的图像信息与其他灯头的图像信息之间的差异。
信号灯中包括了多个灯头，需要将新点亮的灯头与其他的每一个灯头进行比较分析；例如，信号灯中包括红灯、黄灯和绿灯，若确定后一帧图像中新点亮的灯头为红灯，则需要将红灯在后一帧图像上的图像信息、黄灯在后一帧图像上的图像信息进行比较，并且需要将红灯在后一帧图像上的图像信息、绿灯在后一帧图像上的图像信息进行比较。
一个示例中，信号灯中包括三个灯头。由于采用固定了位置的摄像机去拍摄信号灯，所以是可以获知每一个灯头在每一帧图像上位置。从而使可以好获知每一个灯头在每一帧图像上的图像信息。在确定了相邻两帧图像中的后一帧图像中的新点亮的灯头之后，可以将新点亮的灯头与剩余灯头的图像信息进行分析，并且将上一次点亮的灯头与剩余灯头的图像信息进行分析；其中，剩余灯头为除去新点亮的灯头和上一次点亮的灯头之外的灯头。
可以将新点亮的灯头在后一帧图像上的图像信息、以及剩余灯头在后一帧图像上的图像信息两者进行差分计算，得到第二差分图像，此时的第二差分图像为新点亮的灯头与剩余灯头之间的差分图像，第二差分图像表征的是后一帧图像中新点亮的灯头、以及后一帧图像中剩余灯头两者之间差异。
可以将上一次点亮的灯头在后一帧图像上的图像信息、以及剩余灯头在后一帧图像上的图像信息两者进行差分计算，得到第三差分图像，此时的第三差分图像为上一次点亮的灯头与剩余灯头之间的差分图像，第三差分图像表征的是后一帧图像中上一次点亮的灯头、以及后一帧图像中剩余灯头两者之间差异。
对第二差分图像进行像素值的分析，确定出新点亮的灯头与剩余灯头之间的第二像素差分信息，该第二像素差分信息表征的是新点亮的灯头与剩余灯头之间像素值差异。
并且，对第三差分图像进行像素值的分析，确定出上一次点亮的灯头与剩余灯头之间的第二像素差分信息，该第二像素差分信息表征的是上一次点亮的灯头与剩余灯头之间像素值差异。
从而，得到新点亮的灯头与剩余灯头之间的第二像素差分信息、上一次点亮的灯头与剩余灯头之间的第二像素差分信息，便于后续步骤对灯头之间的像素差分信息进行分析。
一个示例中，本实施例的上述“第三步骤”包括以下过程：
若第二差分图像的像素点的像素值大于等于第三预设阈值，则确定该像素点的像素值为第一数值；若第二差分图像的像素点的像素值小于第三预设阈值，则确定该像素点的像素值为第二数值；根据第二差分图像的像素点的像素值之和，得到第二像素总数值；根据第二像素总数值与新点亮的灯头的图像像素点总个数，确定新点亮的灯头与剩余灯头之间的第二像素差分信息。其中，第三预设阈值为新点亮的灯头的最大差分和。
若第三差分图像的像素点的像素值大于等于第四预设阈值，则确定该像素点的像素值为第一数值；若第三差分图像的像素点的像素值小于第四预设阈值，则确定该像素点的像素值为第二数值；根据第三差分图像的像素点的像素值之和，得到第三像素总数值；根据第三像素总数值与上一次点亮的灯头的图像像素点总个数，确定上一次点亮的灯头与剩余灯头之间的第二像素差分信息。其中，第四预设阈值为上一次点亮的灯头的最大差分和。
一个示例中，得到新点亮的灯头与剩余灯头之间的第二像素差分信息、上一次点亮的灯头与剩余灯头之间的第二像素差分信息，具体过程参见以下介绍：
对新点亮的灯头与剩余灯头之间的第二差分图像中的每一个像素点进行分析，若像素点的像素值大于等于第三预设阈值，则将像素点的像素值修改为第一数值；若像素值小于第三预设阈值，则将像素点的像素值修改为第二数值。其中，像素点的像素值可以是灰度值、或者是基于RGB的数值、或者是基于HSV的数值。举例来说，若第二差分图像中的像素点的像素值，大于等于第三预设阈值，则确定该像素点的像素值为255；若第二差分图像中的像素点的像素值，小于第三预设阈值，则确定该像素点的像素值为0。
其中，第三预设阈值为新点亮的灯头的最大差分和；或者，第三预设阈值为其他的预设数值。
然后，将修改了像素值的第二差分图像的像素点的像素值，进行求和，得到第二像素总数值。
由于是采用固定的摄像机对信号灯进行视频采集，所得到视频流中的每一帧图像的像素点总个数是固定的；并且，每一帧图像中必定包括信号灯的各灯头，每一个灯头在不同帧图像上的像素点总个数(即，灯头的图像像素点总个数)是固定的。从而，将第二像素总数值除以新点亮的灯头的图像像素点总个数，可以得到新点亮的灯头与剩余灯头之间的第二像素差分信息。通过上述分析过程，可以准确的得到新点亮的灯头与剩余灯头之间的像素差异。
对上一次点亮的灯头与剩余灯头之间的第三差分图像中的每一个像素点进行分析，若像素点的像素值大于等于第四预设阈值，则将像素点的像素值修改为第一数值；若像素值小于第四预设阈值，则将像素点的像素值修改为第二数值。其中，像素点的像素值可以是灰度值、或者是基于RGB的数值、或者是基于HSV的数值。举例来说，若第三差分图像中的像素点的像素值，大于等于第四预设阈值，则确定该像素点的像素值为255；若第三差分图像中的像素点的像素值，小于第四预设阈值，则确定该像素点的像素值为0。
其中，第四预设阈值为上一次点亮的灯头的最大差分和；或者，第四预设阈值为其他的预设数值。
然后，将修改了像素值的第三差分图像的像素点的像素值，进行求和，得到第三像素总数值。
由于是采用固定的摄像机对信号灯进行视频采集，所得到视频流中的每一帧图像的像素点总个数是固定的；并且，每一帧图像中必定包括信号灯的各灯头，每一个灯头在不同帧图像上的像素点总个数(即，灯头的图像像素点总个数)是固定的。从而，将第三像素总数值除以上一次点亮的灯头的图像像素点总个数，可以得到上一次点亮的灯头与剩余灯头之间的第二像素差分信息。通过上述分析过程，可以准确的得到上一次点亮的灯头与剩余灯头之间的像素差异。
上述过程中，“剩余灯头”可以是除去新点亮的灯头和上一次点亮的灯头之外的灯头。或者，“剩余灯头”可以是预设灯头；预设灯头为一直不亮的灯头。可知，剩余灯头的图像，指的是：提取出连续多帧不亮的灯色的图像，求取这些图像的平均值作为不亮的灯色图像，即得到剩余灯头的图像(因为信号灯在不亮的时候颜色几乎相同)。
举例来说，上一次点亮的灯头是红灯，新点亮的灯头是绿灯；则剩余灯头为黄灯。需要将红灯在后一帧图像上的图像信息，减去黄灯在后一帧图像上的图像信息，得到红灯与黄灯之间的第二差分图像；对第二差分图像进行分析，得到红灯与黄灯之间的第二像素差分信息。将绿灯在后一帧图像上的图像信息，减去黄灯在后一帧图像上的图像信息，得到绿灯与黄灯之间的第三差分图像；对第三差分图像进行分析，得到绿灯与黄灯之间的第二像素差分信息。
304、若第二像素差分信息表征的数值大于第二预设阈值，则确定后一帧图像为异常图像。
一个示例中，步骤304具体包括：若新点亮的灯头与剩余灯头之间的第二像素差分信息所表征数值大于第二预设阈值，并且上一次点亮的灯头与剩余灯头之间的第二像素差分信息所表征数值大于第二预设阈值，则确定后一帧图像为异常图像，其中，异常图像中同时亮起至少两个灯头。
示例性地，将新点亮的灯头与其他的每一个灯头进行比较分析；若确定步骤303所得到新点亮的灯头与其他灯头之间的第二像素差分信息，大于第二预设阈值，则直接可以确定后一图像为异常图像，将新点亮的灯头与其他的每一个灯头进行比较分析，准确的分析出灯头是否异常点亮(两种以上的灯头同时点亮)，进而得到异常图像。
一个示例中，将新点亮的灯头与剩余灯头之间的第二像素差分信息、第二预设阈值两者进行比较分析，并将一次点亮的灯头与剩余灯头之间的第二像素差分信息、第二预设阈值两者进行比较分析。其中，第二预设阈值为经验值。
若确定新点亮的灯头与剩余灯头之间的第二像素差分信息，大于第二预设阈值，并且，上一次点亮的灯头与剩余灯头之间的第二像素差分信息，大于第二预设阈值，则确定相邻两帧图像中的后一帧图像中同时亮起多个灯头(即，同时亮起至少两个灯头)。进而，得到信号灯的视频流中的异常图像。进而完成对信号灯的视频流的分析，快速、准确的得到信号灯的视频流中的异常图像。
若确定新点亮的灯头与剩余灯头之间的第二像素差分信息大于第二预设阈值，和/或，上一次点亮的灯头与剩余灯头之间的第二像素差分信息大第二预设阈值，则确定相邻两帧图像中的后一帧图像不是异常图像，则重新执行步骤301。
举例来说，图6为本申请实施例提供的异常图像的示意图，如图6所示，上一次点亮的灯头是红灯，新点亮的灯头是绿灯；则剩余灯头为黄灯。红灯与黄灯之间的第二像素差分信息，绿灯与黄灯之间的第二像素差分信息，两者均大于第二预设阈值，则确定后一帧图像中红灯、绿灯同时亮起，进而确定后一帧图像为异常图像。
在本实施例中，可以实时的对信号灯的视频流进行分析，也是在得到视频流之后在进行分析。
本实施例，在上述实施例的基础上，将新点亮的灯头与其他的每一个灯头进行比较分析，一个示例中，对新点亮的灯头在相邻两帧图像的后一帧图像上的图像信息、剩余灯头在相邻两帧图像的后一帧图像上的图像信息两者进行比较分析，并且对上一次点亮的灯头在相邻两帧图像的后一帧图像上的图像信息、剩余灯头在相邻两帧图像的后一帧图像上的图像信息两者进行比较分析，进而准确的分析出灯头是否异常点亮(两种以上的灯头同时点亮)，进而得到异常图像。
图7是根据本申请第四实施例的示意图，如图7所示，本实施例提供的信号灯的异常识别方法，包括：
401、获取信号灯的每一灯头的最大差分和。
示例性地，本实施例以执行主体可以是路侧设备、或者电子设备、或者终端设备、或者服务器、或者信号灯的异常识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
一个示例中，步骤401具体包括：
第一步骤、重复执行以下各步骤，直至遍历完视频流中的每一帧图像。
第二步骤、根据每一灯头在视频流的相邻两帧图像中前一帧图像上的图像信息、每一灯头在相邻两帧图像中后一帧图像上的图像信息，确定每一个灯头的第一差分图像。
第三步骤、针对每一灯头，若第一差分图像的像素点的像素值大于等于第一预设阈值，则确定该像素点的像素值为第一数值；若第一差分图像的像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值。
第四步骤、根据每一灯头的第一差分图像的像素点的像素值，确定每一灯头的第一像素差分信息。
第五步骤、根据每一个灯头的第一像素差分信息，确定每一灯头的最大差分和。
一个示例中，第五步骤包括以下几种实现方式：
第一种实现方式、若确定每一灯头的第一像素差分信息大于每一灯头的历史最大差分和，则确定每一灯头的第一像素差分信息为该灯头的最大差分和。
第二种实现方式、确定各灯头的第一像素差分信息所表征的数值中的最大值，为中间值；若确定中间值大于每一灯头的历史最大差分和，则确定中间值为该灯头的最大差分和。
示例性地，本实施例以执行主体可以是路侧设备、或者电子设备、或者终端设备、或者服务器、或者信号灯的异常识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
在上述实施例的过程中，需要使用到每一个灯头的最大差分和。其中，每一个灯头的最大差分和，可以是预设的经验值，或者可以通过本实施例的方法得到。
在采用摄像头采集信号灯的视频流之后，遍历视频流中的每一帧图像，去计算每一个灯头的最大差分和。
针对每一个灯头，预先设置一个与灯头对应的历史最大差分和，历史最大差分和的初始值可以为零。
重复执行以下步骤：
首先，针对每一个灯头，对视频流中的第一帧图像和第二帧图像(第一帧图像和第二帧图像为相邻两帧图像)，由于采用固定了位置的摄像机去拍摄信号灯，所以是可以获知每一个灯头在每一帧图像上位置，进而是可以获取到灯头在第一帧图像上的图像信息、以及灯头在第二帧图像上的图像信息。然后，针对每一个灯头，对灯头在第一帧图像上的图像信息、以及灯头在第二帧图像上的图像信息进行差分计算，得到灯头的第一差分图像。其中，第一差分图像可以是灰度图、或者彩色图。
然后，针对每一个灯头，对灯头的第一差分图像中的每一个像素点进行分析，若像素点的像素值大于等于第一预设阈值，则将像素点的像素值修改为第一数值；若像素值小于第一预设阈值，则将像素点的像素值修改为第二数值。其中，像素点的像素值可以是灰度值、或者是基于RGB的数值、或者是基于HSV的数值。其中第一预设阈值可以是一个经验值。
举例来说，若第一差分图像中的像素点的像素值，大于等于第一预设阈值，则确定该像素点的像素值为255；若第一差分图像中的像素点的像素值，小于第一预设阈值，则确定该像素点的像素值为0。
然后，将修改了像素值的第一差分图像的像素点的像素值，进行求和，得到第一像素总数值。根据前面的实施例可知，每一个灯头在不同帧图像上的像素点总个数(即，灯头的图像像素点总个数)是固定的。从而，可以将第一像素总数值除以灯头的图像像素点总个数，得到灯头的第一像素差分信息。第一像素差分信息表征的是灯头在第一帧图像和第二帧图像上的差异。
然后，针对每一个灯头，依据灯头的第一像素差分信息，确定灯头的最大差分和。
一种实现方式为：针对每一个灯头，若灯头的第一像素差分信息所表征的数值，大于与灯头对应的历史最大差分和，则确定灯头的第一像素差分信息所表征的数值为该灯头的最大差分和，此时所得到的最大差分和，成为了下一次计算的历史最大差分和；若灯头的第一像素差分信息所表征的数值，小于与灯头对应的历史最大差分和，则确定与灯头对应的历史最大差分和，为该灯头的最大差分和，即，历史最大差分和是不变的。这种方式中，对每一个灯头单独分析，可以每一个灯头的最大差分和。
例如，信号灯包括红灯、绿灯和黄灯；针对红灯，若红灯的第一像素差分信息A，大于与红灯对应的历史最大差分和R，则确定红灯的第一像素差分信息A为该红灯的最大差分和，此时所得到的最大差分和，成为了下一次计算的红灯的历史最大差分和。针对绿灯，若绿灯的第一像素差分信息A，大于与绿灯对应的历史最大差分和R，则确定绿灯的第一像素差分信息A为该绿灯的最大差分和，此时所得到的最大差分和，成为了下一次计算的绿灯的历史最大差分和。以此类推。
另一种实现方式为：已经得到了每一个灯头的第一像素差分信息；比较各灯头的第一像素差分信息的大小，得到各灯头的第一像素差分信息中的最大值，将该最大值作为一个中间值；针对每一个灯头，若中间值大于与灯头对应的历史最大差分和，则将中间值作为灯头的最大差分和；此时所得到的最大差分和，成为了下一次计算的灯头的历史最大差分和。这种方式中，将信号灯的各灯头进行综合分析，可以更加准确的确定出每一个灯头的最大差分和。
例如，将红灯的第一像素差分信息、黄灯的第一像素差分信息、绿灯的第一像素差分信息进行比较，确定黄灯的第一像素差分信息所表征数值是最大的；然后，将黄灯的第一像素差分信息(即，中间值)与红灯的第一像素差分信息进行比较，若黄灯的第一像素差分信息(即，中间值)大于红灯的第一像素差分信息，则确定黄灯的第一像素差分信息(即，中间值)为红灯的最大差分和，否则确定红灯的历史最大差分和作为红灯的最大差分和(即，红灯的历史最大差分和是不变的)。若黄灯的第一像素差分信息(即，中间值)大于绿灯的第一像素差分信息，则确定黄灯的第一像素差分信息(即，中间值)为绿灯的最大差分和，否则确定绿灯的历史最大差分和作为绿灯的最大差分和(即，绿灯的历史最大差分和是不变的)。并且，黄灯的第一像素差分信息，作为了红灯的最大差分和。
然后，针对每一个灯头，对视频流中的第二帧图像和第三帧图像(第二帧图像和第三帧图像为相邻两帧图像)，重复执行上述过程，直至遍历完视频流的每一帧图像。
通过上述过程，得到每一个灯头的最大差分和。在分析信号灯的视频流的时候，首先，根据上述过程，得到每一个灯头的最大差分和，在根据每一个灯头的最大差分和，对视频流的图像进行分析，确定视频流中的异常图像(两种以上的灯头都亮起的图像)；可以基于视频流的预先的图像分析，得到每一个灯头的最大差分和，便于对图像中的灯头的图像信息进行分析。
举例来说，信号灯包括红灯、绿灯和黄灯。对信号灯进行视频采集，得到视频流。由于采用固定了位置的摄像机去拍摄信号灯，所以是可以获知每一个灯头在每一帧图像上位置，进而可以得到每一个灯头在每一帧图像上的单独的图像。并且，预先设置每一个灯头的历史最大差分和的初始值为0。然后，针对每一个灯头，执行以下过程。
步骤a、针对视频流中的当前图像，将当前图像添加到图像队列img_list的最后，若图像队列img_list的长度为2，则进行步骤b；否则进入下一帧图像的处理过程(即，跳转到步骤a)。步骤a的过程可以保证图像队列img_list中只有两帧图像，进而每一过程只对相邻两帧图像进行分析。
步骤b、图像队列img_list中包括图像img_list[0]和图像img_list[1]；计算图像img_list[0]和图像img_list[1]之间差分信息，例如，img_list[1]-img_list[0]，进而得到灯头的差分图像。
步骤c、对灯头的差分图像进行阈值化操作，若差分图像的像素点的像素值大于等于第一预设阈值，则将像素点的像素值修改为255；若差分图像的像素点的像素值小于第一预设阈值，则将像素点的像素值修改为0。
步骤d、计算灯头的差分图像的各个像素点的像素值之和，得到第一像素总数值；将第一像素总数值除以灯头的图像像素点总个数，得到灯头的第一像素差分信息。
步骤e、针对每一个灯头，若灯头的当前的第一像素差分信息，大于该灯头的历史最大差分和，则将当前的第一像素差分信息，作为该灯头的最大差分和(即，将当前的第一像素差分信息，作为了下一次计算的最大差分和)。否则，确定灯头的历史最大差分和，为灯头的最大差分和。
或者，针对3个灯头，确定各灯头的第一像素差分信息中的最大值；然后，针对每一个灯头，若该最大值，大于灯头的历史最大差分和，则将该最大值，作为该灯头的最大差分和(即，将最大值，作为了下一次计算的最大差分和)。否则，确定灯头的历史最大差分和，为灯头的最大差分和。
通过以上步骤a-e可以得到每一个灯头的最大差分和。例如，红灯最大差分和red_max_diff_sum，绿灯最大差分和green_max_diff_sum，黄灯最大差分和yellow_max_diff_sum。
402、获取待检测视频流中的相邻两帧图像，并确定信号灯的每一灯头在相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异。
示例性地，本步骤可以参见上述实施例的介绍，不再赘述。
403、根据每一灯头的第一像素差分信息，确定相邻两帧图像中后一帧图像中新点亮的灯头。
示例性地，本步骤可以参见上述实施例的介绍，不再赘述。
404、若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息符合第一预设条件时，确定后一帧图像为异常图像。
示例性地，本步骤可以参见上述实施例的介绍，不再赘述。
本实施例，在上述实施例的基础上，根据上述过程，得到每一个灯头的最大差分和，在根据每一个灯头的最大差分和，对视频流的图像进行分析，确定视频流中的异常图像(两种以上的灯头都亮起的图像)；可以基于视频流的预先的图像分析，得到每一个灯头的最大差分和，便于对图像中的灯头的图像信息进行分析。
图8是根据本申请第五实施例的示意图，如图8所示，本实施例提供的信号灯的异常识别方法，包括：
501、确定信号灯的每一灯头在待检测视频流中相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异。
示例性地，本实施例以执行主体可以是路侧设备、或者电子设备、或者终端设备、或者服务器、或者信号灯的异常识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
已经对信号灯的工作情况进行视频采集，进而得到待检测视频流；或者实施的对待检测视频流进行分析。针对待检测视频流中的相邻两帧图像，可以先针对信号灯的每一个灯头，计算灯头在相邻两帧图像上的差分图像。即，计算每一个灯头在相邻两帧图像上的第一像素差分信息。
502、根据每一灯头的第一像素差分信息，确定相邻两帧图像中后一帧图像中新点亮的灯头。
示例性地，本步骤可以参见上述实施例，不再赘述。
503、若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则根据新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息，确定后一帧图像是否为异常图像。
示例性地，由于已经获知上一次点亮的灯头是哪一个，判断新点亮的灯头的颜色与上一次点亮的灯头的颜色是否相同，若新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则可以分析相邻两帧图像中的后一帧图像是否为异常图像(两种以上的灯头同时点亮的图像)。
一个示例中，对新点亮的灯头在后一帧图像上的图像信息、以及其他灯头(除去新点亮的灯头之外的灯头)在后一帧图像上的图像信息进行图像分析，以确定后一帧图像是否为异常图像(两种以上的灯头同时点亮的图像)。一个示例中，若确定新点亮的灯头在后一帧图像上的图像信息、其他灯头在后一帧图像上的图像信息，两者的差异大于预设阈值(即，第一预设条件为图像差异大于预设阈值)，则确定后一帧图像为异常图像；否则，后一帧图像为正常图像。
本实施例，通过根据每一灯头在相邻两帧图像上的差分信息，确定出后一帧图像中的新点亮的灯头；然后依据后一帧图像的每一个灯头的图像信息，确定出异常图像(两个以上的灯头同时亮起的图像)；从而对灯头进行差分运算，得到两种以上的灯色同时亮起的异常图像数据；本实施例提供的异常图像(两个以上的灯头同时亮起的图像)的识别方法的处理速度快速，可以很快的得到异常图像数据，处理效率高。
图9是根据本申请第六实施例的示意图，如图9所示，本实施例提供的信号灯的异常识别装置，包括：
第一获取单元31，用于获取待检测视频流中的相邻两帧图像。
第一确定单元32，用于确定信号灯的每一灯头在相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异。
第二确定单元33，用于根据每一灯头的第一像素差分信息，确定相邻两帧图像中后一帧图像中新点亮的灯头。
第三确定单元34，用于若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息符合第一预设条件时，确定后一帧图像为异常图像。
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图10是根据本申请第七实施例的示意图，如图10所示，在图9所提供的实施例的基础上，本实施例提供的信号灯的异常识别装置，第二确定单元33，包括：
第一确定模块331，用于确定信号灯的各灯头的第一像素差分信息表征的数值中的最大的第一像素差分信息，为最大像素差分。
第二确定模块332，用于若最大像素差分大于第二预设条件所表征的数值，则确定与最大像素差分对应的灯头，为新点亮的灯头。
一个示例中，第二预设条件所表征的数值，包括以下的至少一种：与最大像素差分对应的灯头的最大差分和的预设倍数、每一其他灯头的最大差分和的预设倍数。
一个示例中，第三确定单元34，包括：
第三确定模块341，用于根据新点亮的灯头在后一帧图像上的图像信息、以及信号灯的其他灯头在后一帧图像上的图像信息，确定新点亮的灯头与其他灯头之间的第二像素差分信息；其中，第二像素差分信息表征新点亮的灯头的图像信息与其他灯头的图像信息之间的差异。
第四确定模块342，用于若第二像素差分信息表征的数值大于第二预设阈值，则确定后一帧图像为异常图像。
一个示例中，第三确定模块341，包括：
第一确定子模块3411，用于根据新点亮的灯头在后一帧图像上的图像信息、以及剩余灯头在后一帧图像上的图像信息，确定新点亮的灯头与剩余灯头之间的第二差分图像；其中，剩余灯头为除去新点亮的灯头和上一次点亮的灯头之外的灯头。
第二确定子模块3412，用于根据上一次点亮的灯头在后一帧图像上的图像信息、以及剩余灯头在后一帧图像上的图像信息，确定上一次点亮的灯头与剩余灯头之间的第三差分图像。
第三确定子模块3413，用于根据第二差分图像，确定新点亮的灯头与剩余灯头之间的第二像素差分信息。
第四确定子模块3414，用于根据第三差分图像，确定上一次点亮的灯头与剩余灯头之间的第二像素差分信息。
一个示例中，第三确定子模块3413，具体用于：
若第二差分图像的像素点的像素值大于等于第三预设阈值，则确定该像素点的像素值为第一数值；若第二差分图像的像素点的像素值小于第三预设阈值，则确定该像素点的像素值为第二数值；根据第二差分图像的像素点的像素值之和，得到第二像素总数值；根据第二像素总数值与新点亮的灯头的图像像素点总个数，确定新点亮的灯头与剩余灯头之间的第二像素差分信息。
一个示例中，第三预设阈值为新点亮的灯头的最大差分和。
一个示例中，第四确定子模块3414，具体用于：
若第三差分图像的像素点的像素值大于等于第四预设阈值，则确定该像素点的像素值为第一数值；若第三差分图像的像素点的像素值小于第四预设阈值，则确定该像素点的像素值为第二数值；根据第三差分图像的像素点的像素值之和，得到第三像素总数值；根据第三像素总数值与上一次点亮的灯头的图像像素点总个数，确定上一次点亮的灯头与剩余灯头之间的第二像素差分信息。
一个示例中，第四预设阈值为上一次点亮的灯头的最大差分和。
一个示例中，第四确定模块342，具体用于：
若新点亮的灯头与剩余灯头之间的第二像素差分信息所表征数值大于第二预设阈值，并且上一次点亮的灯头与剩余灯头之间的第二像素差分信息所表征数值大于第二预设阈值，则确定后一帧图像为异常图像，其中，异常图像中同时亮起至少两个灯头。
一个示例中，第一确定单元32，包括：
第五确定模块321，用于根据每一灯头在相邻两帧图像中前一帧图像上的图像信息、每一灯头在相邻两帧图像中后一帧图像上的图像信息，确定每一个灯头的第一差分图像。
第六确定模块322，用于针对每一灯头，若第一差分图像的像素点的像素值大于等于第一预设阈值，则确定该像素点的像素值为第一数值；若第一差分图像的像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值。
第七确定模块323，用于根据每一灯头的第一差分图像的像素点的像素值，确定每一灯头的第一像素差分信息。
一个示例中，第七确定模块323，具体用于：
针对每一灯头，确定第一差分图像的像素点的像素值之和，得到第一像素总数值；针对每一灯头，根据灯头的第一像素总数值和灯头的图像像素点总个数，确定灯头的第一像素差分信息。
一个示例中，本实施例提供的装置，还包括：
第二获取单元41，用于获取信号灯的每一灯头的最大差分和。
一个示例中，第二获取单元41，包括：
执行模块411，用于重复执行以下各步骤，直至遍历完视频流中的每一帧图像。
第八确定模块412，用于根据每一灯头在视频流的相邻两帧图像中前一帧图像上的图像信息、每一灯头在相邻两帧图像中后一帧图像上的图像信息，确定每一个灯头的第一差分图像。
第九确定模块413，用于针对每一灯头，若第一差分图像的像素点的像素值大于等于第一预设阈值，则确定该像素点的像素值为第一数值；若第一差分图像的像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值。
第十确定模块414，用于根据每一灯头的第一差分图像的像素点的像素值，确定每一灯头的第一像素差分信息。
第十一确定模块415，用于根据每一个灯头的第一像素差分信息，确定每一灯头的最大差分和。
一个示例中，第十一确定模块415，具体用于：若确定每一灯头的第一像素差分信息大于每一灯头的历史最大差分和，则确定每一灯头的第一像素差分信息为该灯头的最大差分和。
一个示例中，第十一确定模块415，具体用于：确定各灯头的第一像素差分信息所表征的数值中的最大值，为中间值；若确定中间值大于每一灯头的历史最大差分和，则确定中间值为该灯头的最大差分和。
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图11是根据本申请第八实施例的示意图，如图11所示，本实施例中的电子设备70可以包括：处理器71和存储器72。
存储器72，用于存储程序；存储器72，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器72用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器72中。并且上述的计算机程序、计算机指令、数据等可以被处理器71调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器72中。并且上述的计算机程序、计算机指据等可以被处理器71调用。
处理器71，用于执行存储器72存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器71和存储器72可以是独立结构，也可以是集成在一起的集成结构。当处理器71和存储器72是独立结构时，存储器72、处理器71可以通过总线73耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
图12是根据本申请第九实施例的示意图，如图12所示，图12是用来实现本申请实施例的用于实现信号灯的异常识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图12所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的信号灯的异常识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的信号灯的异常识别方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的信号灯的异常识别方法对应的程序指令/模块(例如，附图9所示的第一获取单元31、第一确定单元32、第二确定单元33和第三确定单元34)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的信号灯的异常识别方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于实现信号灯的异常识别方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至用于实现信号灯的异常识别方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于实现信号灯的异常识别方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与用于实现信号灯的异常识别方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
上述电子设备可以是路侧设备、或者服务器设备。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请的实施例(即，提供了第十实施例)，本申请还提供了一种路侧设备，该路侧设备中包括有图11或图12提供的电子设备。
路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备。
智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线；本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。
其中，路侧设备中包括了器件可以参见电子设备的结构，如图11或图12的结构。
举例来说，路侧设备中包括处理器和存储器。存储器，用于存储程序；存储器，可以包括易失性存储器，例如随机存取存储器，如静态随机存取存储器，双倍数据率同步动态随机存取存储器等；存储器也可以包括非易失性存储器，例如快闪存储器。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指据等可以被处理器调用。
在路侧设备中，处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
在路侧设备中，处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
本实施例的路侧设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (35)

1.一种信号灯的异常识别方法，包括：
获取待检测视频流中的相邻两帧图像，并确定所述信号灯的每一灯头在所述相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异；
根据所述每一灯头的第一像素差分信息，确定所述相邻两帧图像中后一帧图像中新点亮的灯头；
若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息符合第一预设条件时，确定所述后一帧图像为异常图像。
2.根据权利要求1所述的方法，其中，根据所述每一灯头的第一像素差分信息，确定所述相邻两帧图像中后一帧图像中新点亮的灯头，包括：
确定所述信号灯的各灯头的第一像素差分信息表征的数值中的最大的第一像素差分信息，为最大像素差分；
若所述最大像素差分大于第二预设条件所表征的数值，则确定与所述最大像素差分对应的灯头，为所述新点亮的灯头。
3.根据权利要求2所述的方法，其中，所述第二预设条件所表征的数值，包括以下的至少一种：
与所述最大像素差分对应的灯头的最大差分和的预设倍数、每一所述其他灯头的最大差分和的预设倍数。
4.根据权利要求1所述的方法，其中，在确定所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息符合第一预设条件时，确定所述后一帧图像为异常图像，包括：
根据所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息，确定所述新点亮的灯头与所述其他灯头之间的第二像素差分信息；其中，所述第二像素差分信息表征新点亮的灯头的图像信息与其他灯头的图像信息之间的差异；
若所述第二像素差分信息表征的数值大于第二预设阈值，则确定所述后一帧图像为异常图像。
5.根据权利要求4所述的方法，其中，根据所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息，确定所述新点亮的灯头与所述其他灯头之间的第二像素差分信息，包括：
根据所述新点亮的灯头在所述后一帧图像上的图像信息、以及剩余灯头在所述后一帧图像上的图像信息，确定所述新点亮的灯头与所述剩余灯头之间的第二差分图像；其中，所述剩余灯头为除去所述新点亮的灯头和所述上一次点亮的灯头之外的灯头；
根据所述上一次点亮的灯头在所述后一帧图像上的图像信息、以及剩余灯头在所述后一帧图像上的图像信息，确定所述上一次点亮的灯头与所述剩余灯头之间的第三差分图像；
根据所述第二差分图像，确定所述新点亮的灯头与所述剩余灯头之间的第二像素差分信息，并根据所述第三差分图像，确定所述上一次点亮的灯头与所述剩余灯头之间的第二像素差分信息。
6.根据权利要求5所述的方法，其中，根据所述第二差分图像，确定所述新点亮的灯头与所述剩余灯头之间的第二像素差分信息，包括：
若所述第二差分图像的像素点的像素值大于等于第三预设阈值，则确定该像素点的像素值为第一数值；若所述第二差分图像的像素点的像素值小于第三预设阈值，则确定该像素点的像素值为第二数值；
根据所述第二差分图像的像素点的像素值之和，得到第二像素总数值；
根据所述第二像素总数值与新点亮的灯头的图像像素点总个数，确定所述新点亮的灯头与所述剩余灯头之间的第二像素差分信息。
7.根据权利要求6所述的方法，其中，所述第三预设阈值为所述新点亮的灯头的最大差分和。
8.根据权利要求5所述的方法，其中，根据所述第三差分图像，确定所述上一次点亮的灯头与所述剩余灯头之间的第二像素差分信息，包括：
若所述第三差分图像的像素点的像素值大于等于第四预设阈值，则确定该像素点的像素值为第一数值；若所述第三差分图像的像素点的像素值小于第四预设阈值，则确定该像素点的像素值为第二数值；
根据所述第三差分图像的像素点的像素值之和，得到第三像素总数值；
根据所述第三像素总数值与上一次点亮的灯头的图像像素点总个数，确定所述上一次点亮的灯头与所述剩余灯头之间的第二像素差分信息。
9.根据权利要求8所述的方法，其中，所述第四预设阈值为所述上一次点亮的灯头的最大差分和。
10.根据权利要求5所述的方法，其中，若所述第二像素差分信息表征的数值大于第二预设阈值，则确定所述后一帧图像为异常图像，包括：
若所述新点亮的灯头与所述剩余灯头之间的第二像素差分信息所表征数值大于所述第二预设阈值，并且所述上一次点亮的灯头与所述剩余灯头之间的第二像素差分信息所表征数值大于所述第二预设阈值，则确定所述后一帧图像为异常图像，其中，所述异常图像中同时亮起至少两个灯头。
11.根据权利要求1-10任一项所述的方法，其中，确定所述信号灯的每一灯头在所述相邻两帧图像上的第一像素差分信息，包括：
根据所述每一灯头在所述相邻两帧图像中前一帧图像上的图像信息、所述每一灯头在所述相邻两帧图像中后一帧图像上的图像信息，确定所述每一个灯头的第一差分图像；
针对所述每一灯头，若第一差分图像的像素点的像素值大于等于第一预设阈值，则确定该像素点的像素值为第一数值；若第一差分图像的像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值；
根据所述每一灯头的第一差分图像的像素点的像素值，确定每一灯头的第一像素差分信息。
12.根据权利要求11所述的方法，其中，根据所述每一灯头的第一差分图像的像素点的像素值，确定每一灯头的第一像素差分信息，包括：
针对每一灯头，确定第一差分图像的像素点的像素值之和，得到第一像素总数值；
针对每一灯头，根据灯头的第一像素总数值和灯头的图像像素点总个数，确定灯头的第一像素差分信息。
13.根据权利要求1-10任一项所述的方法，所述方法还包括：
获取所述信号灯的每一灯头的最大差分和。
14.根据权利要求13所述的方法，其中，获取所述信号灯的每一灯头的最大差分和，包括：
重复执行以下各步骤，直至遍历完所述视频流中的每一帧图像：
根据所述每一灯头在所述视频流的相邻两帧图像中前一帧图像上的图像信息、所述每一灯头在所述相邻两帧图像中后一帧图像上的图像信息，确定所述每一个灯头的第一差分图像；
针对所述每一灯头，若第一差分图像的像素点的像素值大于等于第一预设阈值，则确定该像素点的像素值为第一数值；若第一差分图像的像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值；
根据所述每一灯头的第一差分图像的像素点的像素值，确定所述每一灯头的第一像素差分信息；
根据所述每一个灯头的第一像素差分信息，确定所述每一灯头的最大差分和。
15.根据权利要求14所述的方法，其中，根据所述每一个灯头的第一像素差分信息，确定所述每一灯头的最大差分和，包括：
若确定所述每一灯头的第一像素差分信息大于所述每一灯头的历史最大差分和，则确定所述每一灯头的第一像素差分信息为该灯头的最大差分和。
16.根据权利要求14所述的方法，其中，根据所述每一个灯头的第一像素差分信息，确定所述每一灯头的最大差分和，包括：
确定各所述灯头的第一像素差分信息所表征的数值中的最大值，为中间值；
若确定所述中间值大于所述每一灯头的历史最大差分和，则确定所述中间值为该灯头的最大差分和。
17.一种信号灯的异常识别装置，包括：
第一获取单元，用于获取待检测视频流中的相邻两帧图像；
第一确定单元，用于确定所述信号灯的每一灯头在所述相邻两帧图像上的第一像素差分信息，其中，第一像素差分信息表征灯头在相邻两帧图像上的差异；
第二确定单元，用于根据所述每一灯头的第一像素差分信息，确定所述相邻两帧图像中后一帧图像中新点亮的灯头；
第三确定单元，用于若确定新点亮的灯头的颜色与上一次点亮的灯头的颜色不同，则在确定所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息符合第一预设条件时，确定所述后一帧图像为异常图像。
18.根据权利要求17所述的装置，其中，所述第二确定单元，包括：
第一确定模块，用于确定所述信号灯的各灯头的第一像素差分信息表征的数值中的最大的第一像素差分信息，为最大像素差分；
第二确定模块，用于若所述最大像素差分大于第二预设条件所表征的数值，则确定与所述最大像素差分对应的灯头，为所述新点亮的灯头。
19.根据权利要求18所述的装置，其中，所述第二预设条件所表征的数值，包括以下的至少一种：
与所述最大像素差分对应的灯头的最大差分和的预设倍数、每一所述其他灯头的最大差分和的预设倍数。
20.根据权利要求17所述的装置，其中，所述第三确定单元，包括：
第三确定模块，用于根据所述新点亮的灯头在所述后一帧图像上的图像信息、以及所述信号灯的其他灯头在所述后一帧图像上的图像信息，确定所述新点亮的灯头与所述其他灯头之间的第二像素差分信息；其中，所述第二像素差分信息表征新点亮的灯头的图像信息与其他灯头的图像信息之间的差异；
第四确定模块，用于若所述第二像素差分信息表征的数值大于第二预设阈值，则确定所述后一帧图像为异常图像。
21.根据权利要求20所述的装置，其中，所述第三确定模块，包括：
第一确定子模块，用于根据所述新点亮的灯头在所述后一帧图像上的图像信息、以及剩余灯头在所述后一帧图像上的图像信息，确定所述新点亮的灯头与所述剩余灯头之间的第二差分图像；其中，所述剩余灯头为除去所述新点亮的灯头和所述上一次点亮的灯头之外的灯头；
第二确定子模块，用于根据所述上一次点亮的灯头在所述后一帧图像上的图像信息、以及剩余灯头在所述后一帧图像上的图像信息，确定所述上一次点亮的灯头与所述剩余灯头之间的第三差分图像；
第三确定子模块，用于根据所述第二差分图像，确定所述新点亮的灯头与所述剩余灯头之间的第二像素差分信息；
第四确定子模块，用于根据所述第三差分图像，确定所述上一次点亮的灯头与所述剩余灯头之间的第二像素差分信息。
22.根据权利要求21所述的装置，其中，所述第三确定子模块，具体用于：
若所述第二差分图像的像素点的像素值大于等于第三预设阈值，则确定该像素点的像素值为第一数值；若所述第二差分图像的像素点的像素值小于第三预设阈值，则确定该像素点的像素值为第二数值；
根据所述第二差分图像的像素点的像素值之和，得到第二像素总数值；
根据所述第二像素总数值与新点亮的灯头的图像像素点总个数，确定所述新点亮的灯头与所述剩余灯头之间的第二像素差分信息。
23.根据权利要求22所述的装置，其中，所述第三预设阈值为所述新点亮的灯头的最大差分和。
24.根据权利要求21所述的装置，其中，所述第四确定子模块，具体用于：
若所述第三差分图像的像素点的像素值大于等于第四预设阈值，则确定该像素点的像素值为第一数值；若所述第三差分图像的像素点的像素值小于第四预设阈值，则确定该像素点的像素值为第二数值；
根据所述第三差分图像的像素点的像素值之和，得到第三像素总数值；
根据所述第三像素总数值与上一次点亮的灯头的图像像素点总个数，确定所述上一次点亮的灯头与所述剩余灯头之间的第二像素差分信息。
25.根据权利要求24所述的装置，其中，所述第四预设阈值为所述上一次点亮的灯头的最大差分和。
26.根据权利要求21所述的装置，其中，所述第四确定模块，具体用于：
若所述新点亮的灯头与所述剩余灯头之间的第二像素差分信息所表征数值大于所述第二预设阈值，并且所述上一次点亮的灯头与所述剩余灯头之间的第二像素差分信息所表征数值大于所述第二预设阈值，则确定所述后一帧图像为异常图像，其中，所述异常图像中同时亮起至少两个灯头。
27.根据权利要求17-26任一项所述的装置，其中，所述第一确定单元，包括：
第五确定模块，用于根据所述每一灯头在所述相邻两帧图像中前一帧图像上的图像信息、所述每一灯头在所述相邻两帧图像中后一帧图像上的图像信息，确定所述每一个灯头的第一差分图像；
第六确定模块，用于针对所述每一灯头，若第一差分图像的像素点的像素值大于等于第一预设阈值，则确定该像素点的像素值为第一数值；若第一差分图像的像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值；
第七确定模块，用于根据所述每一灯头的第一差分图像的像素点的像素值，确定每一灯头的第一像素差分信息。
28.根据权利要求27所述的装置，其中，所述第七确定模块，具体用于：
针对每一灯头，确定第一差分图像的像素点的像素值之和，得到第一像素总数值；
针对每一灯头，根据灯头的第一像素总数值和灯头的图像像素点总个数，确定灯头的第一像素差分信息。
29.根据权利要求17-26任一项所述的装置，所述装置还包括：
第二获取单元，用于获取所述信号灯的每一灯头的最大差分和。
30.根据权利要求29所述的装置，其中，所述第二获取单元，包括：
执行模块，用于重复执行以下各步骤，直至遍历完所述视频流中的每一帧图像：
第八确定模块，用于根据所述每一灯头在所述视频流的相邻两帧图像中前一帧图像上的图像信息、所述每一灯头在所述相邻两帧图像中后一帧图像上的图像信息，确定所述每一个灯头的第一差分图像；
第九确定模块，用于针对所述每一灯头，若第一差分图像的像素点的像素值大于等于第一预设阈值，则确定该像素点的像素值为第一数值；若第一差分图像的像素点的像素值小于第一预设阈值，则确定该像素点的像素值为第二数值；
第十确定模块，用于根据所述每一灯头的第一差分图像的像素点的像素值，确定所述每一灯头的第一像素差分信息；
第十一确定模块，用于根据所述每一个灯头的第一像素差分信息，确定所述每一灯头的最大差分和。
31.根据权利要求30所述的装置，其中，所述第十一确定模块，具体用于：
若确定所述每一灯头的第一像素差分信息大于所述每一灯头的历史最大差分和，则确定所述每一灯头的第一像素差分信息为该灯头的最大差分和。
32.根据权利要求30所述的装置，其中，所述第十一确定模块，具体用于：
确定各所述灯头的第一像素差分信息所表征的数值中的最大值，为中间值；
若确定所述中间值大于所述每一灯头的历史最大差分和，则确定所述中间值为该灯头的最大差分和。
33.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-16中任一项所述的方法。
34.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-16中任一项所述的方法。
35.一种路侧设备，包括：如权利要求33所述的电子设备。
CN202011006939.0A 2020-09-23 2020-09-23 信号灯的异常识别方法、装置、电子设备和路侧设备 Active CN111931724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011006939.0A CN111931724B (zh) 2020-09-23 2020-09-23 信号灯的异常识别方法、装置、电子设备和路侧设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011006939.0A CN111931724B (zh) 2020-09-23 2020-09-23 信号灯的异常识别方法、装置、电子设备和路侧设备

Publications (2)

Publication Number Publication Date
CN111931724A true CN111931724A (zh) 2020-11-13
CN111931724B CN111931724B (zh) 2024-06-21

Family

ID=73334048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011006939.0A Active CN111931724B (zh) 2020-09-23 2020-09-23 信号灯的异常识别方法、装置、电子设备和路侧设备

Country Status (1)

Country Link
CN (1) CN111931724B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396668A (zh) * 2020-12-03 2021-02-23 北京百度网讯科技有限公司 识别信号灯中异常灯色的方法、装置、路侧设备
CN112597840A (zh) * 2020-12-14 2021-04-02 深圳集智数字科技有限公司 一种图像识别方法、装置及设备
CN112634621A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 交通灯数据质量检测方法、装置、电子设备和介质
CN114419579A (zh) * 2021-12-27 2022-04-29 阿波罗智联(北京)科技有限公司 标注交通信号灯的方法、装置、设备、边缘计算设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6463945A (en) * 1987-09-03 1989-03-09 Konishiroku Photo Ind Copying device of backlight sequentially lighting and switching type
CN101097657A (zh) * 2006-06-26 2008-01-02 上海宝信软件股份有限公司 基于视频图像处理的交通信号灯状态判定方法
CN101179713A (zh) * 2007-11-02 2008-05-14 北京工业大学 复杂背景下单个运动目标的检测方法
CN101419663A (zh) * 2008-06-05 2009-04-29 华中科技大学 电力设备故障指示器指示灯状态实时监测识别方法
CN103345766A (zh) * 2013-06-21 2013-10-09 东软集团股份有限公司 一种信号灯识别方法及装置
WO2014115239A1 (ja) * 2013-01-22 2014-07-31 パイオニア株式会社 信号機認識装置、制御方法、プログラム及び記憶媒体
CN104574960A (zh) * 2014-12-25 2015-04-29 宁波中国科学院信息技术应用研究院 一种交通灯识别方法
JP2015207035A (ja) * 2014-04-17 2015-11-19 アルパイン株式会社 交通信号機認識装置及びコンピュータプログラム
CN107730481A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种交通信号灯图像处理方法及交通信号灯图像处理装置
WO2019124287A1 (en) * 2017-12-22 2019-06-27 Japan Agency For Marine-Earth Science And Technology Image recording method, image recording program, data processing apparatus, and image recording apparatus
CN110532903A (zh) * 2019-08-12 2019-12-03 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN110782692A (zh) * 2019-10-31 2020-02-11 青岛海信网络科技股份有限公司 一种信号灯故障检测方法及系统
CN111260695A (zh) * 2020-01-17 2020-06-09 桂林理工大学 一种扔杂物识别算法、系统、服务器及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6463945A (en) * 1987-09-03 1989-03-09 Konishiroku Photo Ind Copying device of backlight sequentially lighting and switching type
CN101097657A (zh) * 2006-06-26 2008-01-02 上海宝信软件股份有限公司 基于视频图像处理的交通信号灯状态判定方法
CN101179713A (zh) * 2007-11-02 2008-05-14 北京工业大学 复杂背景下单个运动目标的检测方法
CN101419663A (zh) * 2008-06-05 2009-04-29 华中科技大学 电力设备故障指示器指示灯状态实时监测识别方法
WO2014115239A1 (ja) * 2013-01-22 2014-07-31 パイオニア株式会社 信号機認識装置、制御方法、プログラム及び記憶媒体
CN103345766A (zh) * 2013-06-21 2013-10-09 东软集团股份有限公司 一种信号灯识别方法及装置
JP2015207035A (ja) * 2014-04-17 2015-11-19 アルパイン株式会社 交通信号機認識装置及びコンピュータプログラム
CN104574960A (zh) * 2014-12-25 2015-04-29 宁波中国科学院信息技术应用研究院 一种交通灯识别方法
CN107730481A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种交通信号灯图像处理方法及交通信号灯图像处理装置
WO2019124287A1 (en) * 2017-12-22 2019-06-27 Japan Agency For Marine-Earth Science And Technology Image recording method, image recording program, data processing apparatus, and image recording apparatus
CN110532903A (zh) * 2019-08-12 2019-12-03 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN110782692A (zh) * 2019-10-31 2020-02-11 青岛海信网络科技股份有限公司 一种信号灯故障检测方法及系统
CN111260695A (zh) * 2020-01-17 2020-06-09 桂林理工大学 一种扔杂物识别算法、系统、服务器及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DO KY SON ET.AL: "Simultaneous transmission of audio and video signals using visible light communications", EURASIP JOURNAL ON WIRELESS COMMUNICATIONS AND NETWORKING, 28 October 2013 (2013-10-28), pages 1 - 8, XP093097515, DOI: 10.1186/1687-1499-2013-250 *
余泽东: "基于otsu算法和Hu不变矩的交通信号灯识别", 武汉大学学报(工学版), 25 March 2020 (2020-03-25), pages 92 - 97 *
叶茂胜;李必军;莫柠锴;孔格菲;: "基于色域差分与伽马校正的交通灯识别", 软件导刊, vol. 15, no. 9, pages 157 - 160 *
吴则平;: "基于数字图像处理的智能交通管理控制系统", 通讯世界, no. 8, pages 310 - 311 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396668A (zh) * 2020-12-03 2021-02-23 北京百度网讯科技有限公司 识别信号灯中异常灯色的方法、装置、路侧设备
CN112396668B (zh) * 2020-12-03 2024-05-07 阿波罗智联(北京)科技有限公司 识别信号灯中异常灯色的方法、装置、路侧设备
CN112597840A (zh) * 2020-12-14 2021-04-02 深圳集智数字科技有限公司 一种图像识别方法、装置及设备
CN112634621A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 交通灯数据质量检测方法、装置、电子设备和介质
CN112634621B (zh) * 2020-12-25 2023-02-28 北京百度网讯科技有限公司 交通灯数据质量检测方法、装置、电子设备和介质
CN114419579A (zh) * 2021-12-27 2022-04-29 阿波罗智联(北京)科技有限公司 标注交通信号灯的方法、装置、设备、边缘计算设备

Also Published As

Publication number Publication date
CN111931724B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN111931724B (zh) 信号灯的异常识别方法、装置、电子设备和路侧设备
CN111709328A (zh) 车辆跟踪方法、装置及电子设备
CN111833340A (zh) 图像检测方法、装置、电子设备及存储介质
JP2021119462A (ja) 信号機画像の処理方法、装置、コンピュータシステム及び路側デバイス
CN112528926B (zh) 检测信号灯图像异常的方法、装置、设备及存储介质
CN113469109B (zh) 交通灯识别结果处理方法、装置、路侧设备及云控平台
CN112131414A (zh) 信号灯的图像的标注方法、装置、电子设备以及路侧设备
CN110738164B (zh) 零件异常检测方法、模型训练方法及装置
CN112528795A (zh) 信号灯的灯色识别方法、装置及路侧设备
CN112699754B (zh) 信号灯识别方法、装置、设备以及存储介质
CN113947571A (zh) 车辆损伤检测模型的训练方法及车辆损伤识别方法
CN112180285B (zh) 识别交通信号灯故障的方法、装置、导航系统和路侧设备
US20220309763A1 (en) Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system
CN113591580A (zh) 图像标注方法、装置、电子设备和存储介质
CN112634631A (zh) 交通信号灯的控制方法、装置、系统以及电子设备
CN112257604A (zh) 图像检测方法、装置、电子设备和存储介质
CN112115224A (zh) 地图数据的辅助质检方法、装置、电子设备及存储介质
CN113096060A (zh) 一种颜色异常灯珠的定位方法、装置及存储介质
CN114005095A (zh) 车辆属性识别方法、装置、电子设备和介质
CN112307970B (zh) 训练数据获取方法、装置、电子设备及存储介质
CN112396668B (zh) 识别信号灯中异常灯色的方法、装置、路侧设备
CN103514596A (zh) 一种图像处理的方法和装置
CN112311952A (zh) 图像处理方法、系统和装置
JP7090251B2 (ja) 一連の画像フレーム内においてｌｅｄ光源を検出する方法、少なくとも１つのｌｅｄ光源を備える交通信号灯を検出する方法、及び車両
CN102842025B (zh) 视频图像的检测场景判断方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211021

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant