CN113468911B - 一种车载闯红灯检测方法、装置、电子设备及存储介质 - Google Patents

一种车载闯红灯检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113468911B
CN113468911B CN202010237014.0A CN202010237014A CN113468911B CN 113468911 B CN113468911 B CN 113468911B CN 202010237014 A CN202010237014 A CN 202010237014A CN 113468911 B CN113468911 B CN 113468911B
Authority
CN
China
Prior art keywords
vehicle
road condition
zebra crossing
red light
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010237014.0A
Other languages
English (en)
Other versions
CN113468911A (zh
Inventor
刘楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Goldway Intelligent Transportation System Co Ltd
Original Assignee
Shanghai Goldway Intelligent Transportation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Goldway Intelligent Transportation System Co Ltd filed Critical Shanghai Goldway Intelligent Transportation System Co Ltd
Priority to CN202010237014.0A priority Critical patent/CN113468911B/zh
Publication of CN113468911A publication Critical patent/CN113468911A/zh
Application granted granted Critical
Publication of CN113468911B publication Critical patent/CN113468911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种车载闯红灯检测方法、装置、电子设备及存储介质，该方法包括：行驶过程中实时拍摄前方的路况图像；根据路况图像，获取信号灯的类别信息及每种类别信号灯的光晕位置信息，确定斑马线的标识及坐标信息；根据任意相邻两帧路况图像中的光流匹配点的坐标信息，确定车辆的运动方向；根据信号灯的类别信息、每种类别信号灯的光晕位置信息、斑马线标识、斑马线坐标信息及运动方向，确定是否出现闯红灯行为。本申请仅依赖图像处理即可判断车辆行驶方向。综合考虑斑马线、信号灯及车辆的运动方向，判断是否闯红灯，不依赖传感器或物联网，成本低，受天气或外物遮挡等因素影响小，检测的准确性高。

Description

一种车载闯红灯检测方法、装置、电子设备及存储介质
技术领域
本申请涉及智能交通技术领域，具体涉及一种车载闯红灯检测方法、装置、电子设备及存储介质。
背景技术
随着城市化进程的不断推进，人口和汽车越来越多，为了保证道路交通顺畅、有序运行，车辆的行驶管理变得越发重要。其中，对车辆的闯红灯行为的监控管理尤为重要。
目前，相关技术中通常在路口设置用于检测闯红灯行为的检测装置，在该检测装置感应到车辆通过车道时拍摄第一照片；检测车道在第一照片中是否有红灯信号；如果有红灯信号，在感应到车辆消失时拍摄第二照片，检测车道在第二照片中是否有红灯信号；如果有红灯信号，根据车辆在车道的行驶时间和预设车长计算车速，拍摄第三照片；如果第三照片中有红灯信号，则判断该车辆出现了闯红灯行为。
但相关技术中检测装置是架设在路口的固定装置，易受天气等因素影响，在雨、雪、雾等天气情况，或有物体遮挡等情况下，很难检测出闯红灯的车辆，闯红灯检测的准确性低，且设备的维护成本高。
发明内容
为解决以上问题，本申请提供一种车载闯红灯检测方法、装置、电子设备及存储介质，综合考虑斑马线、信号灯及车辆的运动方向，来判断车辆是否出现闯红灯行为，通过车载设备进行检测，不依赖传感器或物联网信息，仅通过路况图像的分析即可检测出闯红灯事件，成本低，受天气或外物遮挡等因素影响小，闯红灯检测的准确性高。本申请通过以下几个方面来解决以上问题。
第一方面，本申请实施例提供了一种车载闯红灯检测方法，包括：
在车辆行驶过程中实时拍摄所述车辆前方的路况图像；
根据所述路况图像，获取所述车辆前方的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息；
根据所述路况图像，确定所述车辆前方的斑马线对应的斑马线标识及斑马线坐标信息；
根据任意相邻两帧所述路况图像中的光流匹配点的坐标信息，确定所述车辆的运动方向；
根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆是否出现闯红灯行为。
在本申请的一些实施例中，所述根据所述路况图像，获取所述车辆前方的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息，包括：
通过预先训练的目标检测网络从所述路况图像中获取信号灯的灯盘位置信息；
根据所述灯盘位置信息，从所述路况图像中截取信号灯的灯盘图像；
通过所述目标检测网络从所述灯盘图像中，识别信号灯的类别信息及每种类别的信号灯对应的光晕位置信息。
在本申请的一些实施例中，所述根据所述路况图像，确定所述车辆前方的斑马线对应的斑马线标识及斑马线坐标信息，包括：
通过预先训练的语义分割网络对当前帧路况图像进行像素分类，获得所述当前帧路况图像对应的斑马线掩膜；
在所述当前帧路况图像中，拟合包含所述斑马线掩膜的最小矩形框；
将所述当前帧路况图像对应的最小矩形框的坐标确定为所述当前帧路况图像中包含的斑马线对应的斑马线坐标信息；
根据包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中每帧路况图像对应的最小矩形框，确定所述当前帧路况图像中包含的斑马线对应的斑马线标识。
在本申请的一些实施例中，所述根据包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中每帧路况图像对应的最小矩形框，确定所述当前帧路况图像中包含的斑马线对应的斑马线标识，包括：
计算包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中任意相邻的两帧路况图像对应的最小矩形框之间的重叠面积；
若所述任意相邻的两帧路况图像对应的所述重叠面积均大于预设面积阈值，则确定所述第一预设帧数的路况图像中包含的斑马线为同一斑马线；
为所述同一斑马线分配相同的斑马线标识。
在本申请的一些实施例中，所述根据任意相邻两帧所述路况图像中的光流匹配点的坐标信息，确定所述车辆的运动方向，包括：
根据连续第二预设帧数的路况图像中任意相邻的两帧路况图像中光流匹配点的坐标信息，分别计算所述任意相邻的两帧路况图像对应的车辆偏转角；
若计算的每个所述车辆偏转角均满足预设方向偏转条件，则确定所述车辆的运动方向为所述预设方向偏转条件对应的偏转方向；
若计算的所述车辆偏转角中存在不满足所述预设方向偏转条件的车辆偏转角，则根据所述第二预设帧数的路况图像中信号灯光晕的偏移方向和偏移距离，确定所述车辆的运动方向。
在本申请的一些实施例中，所述根据连续第二预设帧数的路况图像中任意相邻的两帧路况图像中光流匹配点的坐标信息，分别计算所述任意相邻的两帧路况图像对应的车辆偏转角，包括：
从连续第二预设帧数的路况图像包括的任意相邻的两帧路况图像中，获取预设数目对光流匹配点的坐标信息；
根据所述预设数目对光流匹配点中任意一对光流匹配点的坐标信息，计算所述任意一对光流匹配点对应的车辆偏转角；
对所述预设数目对光流匹配点中每一对光流匹配点对应的车辆偏转角进行聚类，得到所述相邻的两帧路况图像对应的车辆偏转角。
在本申请的一些实施例中，所述根据所述第二预设帧数的路况图像中信号灯光晕的偏移方向和偏移距离，确定所述车辆的运动方向，包括：
在所述第二预设帧数的路况图像包括的任意相邻的两帧路况图像中，检测每个信号灯光晕的偏移方向及偏移距离；
若在所述任意相邻的两帧路况图像中同一信号灯光晕的偏移距离均大于预设距离，则将所述同一信号灯光晕的偏移方向对应的方向计数加1；
若所述方向计数大于预设阈值，则将所述方向计数对应的偏转方向确定为所述车辆的运动方向。
在本申请的一些实施例中，所述根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆是否出现闯红灯行为，包括：
根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识和所述斑马线坐标信息，确定所述车辆与当前路口的第一斑马线之间的距离小于预设距离阈值时是否满足第一闯红灯条件；
若满足所述第一闯红灯条件，则根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识和所述斑马线坐标信息，确定所述车辆位于当前路口的所述第一斑马线和第二斑马线之间时是否满足第二闯红灯条件；
若满足所述第二闯红灯条件，根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆与所述第二斑马线之间的距离小于所述预设距离阈值时是否满足第三闯红灯条件；
若满足所述第三闯红灯条件，则确定所述车辆出现闯红灯行为。
在本申请的一些实施例中，所述根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识和所述斑马线坐标信息，确定所述车辆与当前路口的第一斑马线之间的距离小于预设距离阈值时是否满足第一闯红灯条件，包括：
根据当前帧路况图像对应的所述斑马线标识和所述斑马线坐标信息，计算当前所述车辆与当前路口的第一斑马线之间的距离；
若所述距离小于预设距离阈值，则根据所述当前帧路况图像对应的所述信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的第一红灯数量；
若所述第一红灯数量大于零，则确定所述车辆满足第一闯红灯条件。
在本申请的一些实施例中，所述根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识和所述斑马线坐标信息，确定所述车辆位于当前路口的所述第一斑马线和第二斑马线之间时是否满足第二闯红灯条件，包括：
检测不包含所述第一斑马线的路况图像；
根据检测到的所述路况图像对应的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的第二红灯数量；
若所述第二红灯数量大于零，且当前时刻与确定所述车辆满足所述第一闯红灯条件的时刻之间的时间差大于预设时间阈值，则确定所述车辆满足第二闯红灯条件。
在本申请的一些实施例中，所述根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆与所述第二斑马线之间的距离小于所述预设距离阈值时是否满足第三闯红灯条件，包括：
根据所述运动方向指示所述车辆的行驶方向为直行，计算所述车辆与所述第二斑马线之间的距离；若所述距离小于预设距离阈值，则根据所述信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的直行红灯数量；若所述直行红灯数量大于零，则确定所述车辆满足第三闯红灯条件；
根据所述运动方向指示所述车辆的行驶方向为左转，则根据所述信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的信号灯数量、左转红灯数量和直行红灯数量；若所述左转红灯数量大于零，或者，若所述信号灯数量为1且所述直行红灯数量大于零，则确定所述车辆满足第三闯红灯条件。
在本申请的一些实施例中，所述确定所述车辆出现闯红灯行为之后，还包括：
分别获取所述车辆满足所述第一闯红灯条件、所述第二闯红灯条件和所述第三闯红灯条件时的路况图像；
发送报警信息给监管终端，所述报警信息包括所述车辆对应的设备标识和获取的三个所述路况图像。
第二方面，本申请实施例提供了一种车载闯红灯检测装置，包括：
图像拍摄模块，用于在车辆行驶过程中实时拍摄所述车辆前方的路况图像；
获取模块，用于根据所述路况图像，获取所述车辆前方的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息；根据所述路况图像，确定所述车辆前方的斑马线对应的斑马线标识及斑马线坐标信息；
方向确定模块，用于根据任意相邻两帧所述路况图像中的光流匹配点的坐标信息，确定所述车辆的运动方向；
闯红灯判定模块，用于根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆是否出现闯红灯行为。
第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现上述第一方面所述的方法。
在本申请的一些实施例中，所述电子设备为车辆终端或设置于所述车辆终端上的行车记录仪。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述第一方面所述的方法。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请中根据路况图像估计车辆的运动方向，仅依赖图像处理即可准确判断车辆的行驶方向。综合考虑斑马线、信号灯及车辆的运动方向，来判断车辆是否出现闯红灯行为，不依赖传感器或物联网信息，仅通过路况图像的分析即可检测出闯红灯事件，成本低，受天气或外物遮挡等因素影响小，闯红灯检测的准确性高。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例所提供的一种车载闯红灯检测方法的流程示意图；
图2示出了本申请实施例所提供的检测信号灯的流程示意图；
图3示出了本申请实施例所提供的检测斑马线的流程示意图；
图4示出了本申请实施例所提供的确定车辆的运动方向的流程示意图；
图5示出了本申请实施例所提供的依据车辆圆周运动确定光流匹配点坐标的示意图；
图6示出了本申请实施例所提供的车辆分别满足第一闯红灯条件、第二闯红灯条件和第三闯红灯条件时的三个路况图像的示意图；
图7示出了本申请实施例所提供的一种车载闯红灯检测装置的结构示意图；
图8示出了本申请实施例所提供的一种电子设备的结构示意图；
图9示出了本申请实施例所提供的一种计算机可读存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例提供一种车载闯红灯检测方法、装置、电子设备及存储介质，下面结合附图进行说明。
本申请实施例提供了一种车载闯红灯检测方法，该方法结合信号灯、斑马线及车辆自身的行驶方向来判断车辆是否出现闯红灯行为，在进行闯红灯检测时考虑的因素更加全面，对于直行闯红灯和左转闯红灯都能够进行准确地监控。且该方法的执行主体为安装在车辆上用于闯红灯检测的装置，该装置可以为车辆上的行车记录仪或其他能够进行路况拍摄的智能终端，通过车载装置进行闯红灯检测，能够减少天气因素或外物遮挡等原因影响闯红灯检测的情况。
参见图1，该方法具体包括以下步骤：
步骤101：在车辆行驶过程中实时拍摄车辆前方的路况图像。
本申请实施例的执行主体为行车记录仪等车载终端，该车载终端配置有摄像装置。在车辆行驶过程中，通过摄像装置实时拍摄该车辆正在行驶的当前车道中车辆前方的路况图像。当车辆行驶靠近某个路口时，能够拍摄到该路口的斑马线和信号灯。
步骤102：根据路况图像，获取车辆前方的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息。
其中，信号灯的类别可以包括左转红灯、左转绿灯、左转黄灯、直行红灯、直行绿灯、直行黄灯、右转红灯、右转绿灯、右转黄灯等。信号灯的类别信息可以为上述信号灯的类别对应的标识信息，该标识信息可以为每种类别的名称或编号等，如左转红灯对应的类别信息为00，直行红灯对应的类别信息为01，右转红灯对应的类别信息为02等。
信号灯光晕为路况图像中信号灯的图像，如对于直行红灯，其光晕即为路况图像中直行信号灯的红色的圆圈图形或红色的箭头图形等。信号灯的光晕位置信息即为信号灯光晕在路况图像中的坐标。
本申请实施例具体通过如下方式来获取信号灯的类别信息及每种类别的信号灯对应的光晕位置信息，包括：
通过预先训练的目标检测网络从路况图像中获取信号灯的灯盘位置信息；根据灯盘位置信息，从路况图像中截取信号灯的灯盘图像；通过上述目标检测网络从灯盘图像中，识别信号灯的类别信息及每种类别的信号灯对应的光晕位置信息。
上述目标检测网络可以为YOLO(You Only Look Once)网络。本申请实施例在应用该目标检测网络之前，获取大量包含信号灯的灯盘的路况图像，在这些路况图像中标记出灯盘及每种类别的信号灯，然后利用这些标记后的路况图像来训练YOLO网络，使得YOLO网络能够从路况图像中截取灯盘图像，进而从灯盘图像中检测出信号灯的类别及每种类别的信号灯的光晕位置，训练后的YOLO网络即为上述目标检测网络。将拍摄的路况图像输入该目标检测网络，能够最终获得该路况图像中信号灯的类别信息及每种类别的信号灯的光晕位置信息。
在本申请实施例中，还可以利用两个不同的目标检测网络相互配合来获得信号灯的类别和每种类别的信号灯对应的光晕位置信息，本申请实施例中将这两个目标检测网络分别称为第一目标检测网络和第二目标检测网络。第一目标检测网络和第二目标检测网络均可以为YOLO网络。本申请实施例在应用第一目标检测网络之前，获取大量包含信号灯的灯盘的路况图像，在这些路况图像中标记出灯盘，然后利用这些标记后的路况图像来训练YOLO网络，得到上述第一目标检测网络。相似地，在应用第二目标检测网络之前，获取大量信号灯的灯盘图像，在这些灯盘图像中标记出每个类别的信号灯，然后利用这些标记后的灯盘图像来训练YOLO网络，得到上述第二目标检测网络。
通过上述方式训练得到第一目标检测网络和第二目标检测网络后，即可将路况图像依次输入第一目标检测网络和第二目标检测网络来获得该路况图像中信号灯的类别信息及每种类别的信号灯的光晕位置信息。
上述先从路况图像中截取灯盘图像，再从灯盘图像中获取信号灯的类别信息及每种类别的信号灯的光晕位置信息，缩小了检测范围，提高了信号灯检测的准确率。
由于信号灯位于路面上方的空中，因此在路况图像中，信号灯通常位于路况图像的上半部分。基于此，为了减少获取信号灯的类别信息及每种类别的信号灯的光晕位置信息时的运算量，降低运算耗时，本申请实施例还可以从拍摄的路况图像中消隐线以上的部分截取第一预设尺寸的图像区域，该图像区域中包含信号灯的图像。其中，消隐线可以理解为路况图像中地面和天空的分界线。拍摄的路况图像的尺寸可以为1920*1080，上述第一预设尺寸可以为1280*324或1280*400等。本申请实施例，不限定从路况图像的消隐线以上截取的图像区域的尺寸，实际应用中可根据拍摄的路况图像的实际情况来设定。
从路况图像的消隐线以上截取出上述图像区域后，将该图像区域输入到目标检测网络中检测信号灯盘。由于信号灯通常设置在路口，当车辆没有行驶至路口附近时拍摄的路况图像中可能不包含信号灯，因此对于通过目标检测网络未检测到信号灯盘的路况图像，直接丢弃。在本申请实施例中，将该图像区域输入目标检测网络，输出检测到的信号灯盘位置信息及该信号灯盘位置信息对应的置信度。为了提高检测的准确性，本申请实施例将输出的置信度与预设置信阈值进行比较，若该置信度小于预设置信阈值，则丢弃当前输出的信号灯盘位置信息。若该置信度大于或等于预设置信度阈值，则保存该信号灯盘位置信息，以便于后续处理。上述预设置信度阈值可以为0.4或0.5等。
假设通过上述方式最终获取到的信号灯盘位置信息为(x，y，w，h)。其中，(x，y)可以为信号灯盘左上点、右上点、左下点、右下点等位置处的坐标，w为信号灯盘的宽度，h为信号灯盘的高度。根据信号灯盘位置信息(x，y，w，h)，以(x+w/2，y+h/2)为中心，从上述图像区域中截取边长为max(w，h)的正方形区域，该区域即为信号灯盘的图像。其中，(x+w/2，y+h/2)为信号灯盘的中心点坐标。为了减小后续运算的数据量，截取出信号灯盘的图像之后，将信号灯盘的图像缩放至第二预设尺寸，第二预设尺寸可以为96*96或100*100等。将缩放后的信号灯盘的图像输入到第二目标检测网络中检测信号灯光晕，识别出信号灯的类别，并确定出每种类别的信号灯的光晕位置信息。
通过上述方式获取到当前帧路况图像中的信号灯的类别信息及光晕位置信息后，为当前帧路况图像分配一个图像标识，存储该图像标识、上述获取到的类别信息及每种类别的信号灯的光晕位置信息的对应关系。本申请实施例可以存储包含当前帧在内的过去连续一定帧数的路况图像对应的信号灯的类别信息及每种类别的信号灯的光晕位置信息，如存储连续20帧或30帧等数目的路况图像的信号灯的类别信息及每种类别的信号灯的光晕位置信息，以便建立信号灯光晕的跟踪轨迹。在存储当前帧的信号灯的类别信息及每种类别的信号灯的光晕位置信息时，若已存储的信号灯的类别信息及每种类别的信号灯的光晕位置信息的条数超过了上述设定的帧数，则删除离当前时间最远的一帧路况图像对应的信号灯的类别信息及每种类别的信号灯的光晕位置信息，然后再存储当前帧对应的信号灯的类别信息及每种类别的信号灯的光晕位置信息。
如图2所示，概括来说获取信号灯的类别信息及每种类别的信号灯的光晕位置信息的流程包括，A1：检测信号灯盘。A2：提取信号灯盘图像，缩放信号灯盘图像。A3：检测信号灯的细分类情况及每种类别的信号灯的光晕位置信息。A4：建立信号灯光晕的跟踪轨迹。
对于车辆行驶过程中拍摄的每一帧图像都按照上述方式进行信号灯检测，并获取包含信号灯的路况图像对应的信号灯的类别信息及每种类别的信号灯的光晕位置信息。
步骤103：根据路况图像，确定车辆前方的斑马线对应的斑马线标识及斑马线坐标信息。
通过预先训练的语义分割网络对当前帧路况图像进行像素分类，获得当前帧路况图像对应的斑马线掩膜；在当前帧路况图像中，拟合包含斑马线掩膜的最小矩形框；将当前帧路况图像对应的最小矩形框的坐标确定为当前帧路况图像中包含的斑马线对应的斑马线坐标信息，根据包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中每帧路况图像对应的最小矩形框，确定当前帧路况图像中包含的斑马线对应的斑马线标识。
在应用上述语义分割网络之前，获取大量包含斑马线的路况图像，在这些路况图像中对斑马线、车道线、路面标志及路面背景等进行分类标记，然后利用标记后的路况图像进行网络训练，得到上述语义分割网络。
上述第一预设帧数可以为3帧或5帧等。斑马线掩膜为语义分割网络确定出的属于斑马线的像素点组成的图像区域。
由于斑马线位于路面上，因此在路况图像中，斑马线通常位于路况图像的下半部分。基于此，为了减少获取斑马线识及斑马线坐标信息时的运算量，降低运算耗时，本申请实施例从当前帧路况图像中消隐线以下的部分截取第三预设尺寸的图像区域，该图像区域中包含斑马线的图像。拍摄的路况图像的尺寸可以为1920*1080，上述第三预设尺寸可以为1920*512或1920*600等。本申请实施例，不限定从路况图像的消隐线以下截取的图像区域的尺寸，实际应用中可根据拍摄的路况图像的实际情况来设定。
为了减少后续运算的数据量，从路况图像的消隐线以下截取出上述图像区域后，将该图像区域缩小预设倍数，该预设倍数可以为3倍或4倍等。将缩小后的图像输入到预先训练的语义分割网络，语义分割网络对图像中的每个像素点进行分类，从而确定出属于斑马线的每个像素点，得到当前帧路况图像对应的上述斑马线掩膜。然后在当前帧路况图像中，拟合包含该斑马线掩膜的最小矩形框，存储该最小矩形框的位置坐标，该矩形框的位置坐标即为当前帧路况图像对应的斑马线坐标信息。
对于当前帧之前的每一帧路况图像，在拍摄到每一帧路况图像时也都按照上述方式，分别拟合了每一帧路况图像对应的最小矩形框，并存储了每一帧路况图像对应的最小矩形框的位置坐标。
本申请实施例具体通过如下方式来确定当前帧路况图像中包含的斑马线对应的斑马线标识，包括：
计算包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中任意相邻的两帧路况图像对应的最小矩形框之间的重叠面积；若任意相邻的两帧路况图像对应的重叠面积均大于预设面积阈值，则确定第一预设帧数的路况图像中包含的斑马线为同一斑马线；为同一斑马线分配相同的斑马线标识。
拟合出当前帧路况图像对应的最小矩形框之后，获取包含当前帧在内的过去连续第一预设帧数的路况图像对应的最小矩形框的位置坐标。对于第一帧数的路况图像中任意相邻的两帧路况图像，根据这两帧路况图像对应的最小矩形框的位置坐标，计算这两帧路况图像对应的最小矩形框之间的重叠面积，将计算的重叠面积与预设面积阈值进行比较，若该重叠面积大于预设面积阈值，则将这两帧路况图像对应的最小矩形框内的斑马线确定为同一个斑马线。按照这种方式，若连续第一预设帧数的路况图像对应的最小矩形框中的斑马线均为同一个斑马线，则为连续第一预设帧数的路况图像中每帧路况图像包括的斑马线分配相同的斑马线标识。
同一帧路况图像中可能包含不止一个斑马线，对于路况图像包含的每个斑马线，均通过上述方式确定出每个斑马线对应的斑马线标识和斑马线坐标信息。
通过上述方式确定出当前帧路况图像包括的斑马线对应的斑马线标识和斑马线坐标信息后，还为当前帧路况图像分配一个图像标识，存储该图像标识、上述确定出的斑马线标识及斑马线坐标信息的映射关系。
本申请实施例中，在确定当前帧图像对应的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息时为当前帧图像分配的图像标识，与上述获取斑马线标识及斑马线坐标信息时为当前帧图像分配的图像标识，这两个图像标识可以为同一个图像标识。
其中，斑马线坐标信息可以取第一预设帧数的路况图像中任意一个路况图像对应的最小矩形框的位置坐标。还可以分别计算每个路况图像对应的最小矩形框与其他每个路况图像对应的最小矩形框的重叠面积的平均值，将平均值最大的路况图像对应的最小矩形框的位置坐标作为上述斑马线坐标信息。
通过上述方式，连续检测第一预设帧数的路况图像中的斑马线，能够过滤掉不准确的最小矩形框，提高斑马线检测的准确性。
如图3所示，概括来说获取斑马线标识及斑马线坐标信息的流程包括，B1：对路况图像进行语义分割，获得斑马线掩膜。B2：拟合包含斑马线掩膜的最小矩形框。B3：存储斑马线标识及对应的斑马线坐标信息，对斑马线进行跟踪。
步骤104：根据任意相邻两帧路况图像中的光流匹配点的坐标信息，确定车辆的运动方向。
其中，车辆的运动方向包括直行、左转和右转。
如图4所示，本申请实施例通过如下步骤S1-S3的操作来确定车辆的运动方向，包括：
S1：根据连续第二预设帧数的路况图像中任意相邻的两帧路况图像中光流匹配点的坐标信息，分别计算任意相邻的两帧路况图像对应的车辆偏转角。
上述第二预设帧数可以为4或5等。
车辆行驶过程中路面标志在真实场景中的绝对位置保持不变，通过路面标志的位置变化，可以计算出车辆的偏转方向。具体地，从连续第二预设帧数的路况图像包括的任意相邻的两帧路况图像中，获取预设数目对光流匹配点的坐标信息；根据预设数目对光流匹配点中任意一对光流匹配点的坐标信息，通过公式(1)计算任意一对光流匹配点对应的车辆偏转角；对预设数目对光流匹配点中每一对光流匹配点对应的车辆偏转角进行聚类，得到相邻的两帧路况图像对应的车辆偏转角；
Figure BDA0002431331890000131
在公式(1)中，(x1，y1)和(x2，y2)为一对光流匹配点的坐标，r为车辆进行圆周运动的半径，θ为车辆偏转角。
车辆行驶过程中路面标志在真实场景中的绝对位置保持不变，本申请实施例认为车辆每时每刻都在做一个圆周运动(直线行驶可以认为是一种特殊的圆周运动)。图5示出了一种典型的圆周运动，车辆从A点做圆周运动移动到B点。路面上的路面标志上的一个固定点C不动，固定点C即为一个光流点。以A点为坐标系原点，C点的坐标为(x1，y1)。以B点为坐标系原点，C点的坐标为(x2，y2)。(x1，y1)和(x2，y2)这两个点的坐标即为一对光流匹配点的坐标。
对于上述第二预设帧数的路况图像中每帧路况图像，都可以通过预选训练的语义分割网络，得到路面标志的分割掩膜。根据路面标志的分割掩膜，从路况图像中提取出路面标志上的光流点。然后从任意相邻的两帧路况图像中获取光流点对应的一对光流匹配点的坐标。根据相机的焦距、机电参数或光线等标定参数，可以将光流匹配点的坐标从图像坐标系换算到路面坐标系中，然后将换算到路面坐标系下的光流匹配点的坐标代入上述公式(1)中，计算得到该对光流匹配点对应的车辆偏转角。
车辆直行时，由于分割不稳定、车辆颠簸、侧边图像畸变大等因素影响，通过路面光流点的方式计算出来的车辆偏转角不稳定，容易误判成转弯。但左转或右转时转弯幅度大，通过光流点的方式来估计左转或右转的运动方向较为准确。为了提高运动方向估计的准确性，从相邻的两帧路况图像中提取预设数目对光流匹配点，预设数目可以为10或20等。对于每一对光流匹配点，都按照上述方式分别计算出每对光流匹配点对应的车辆偏转角。对所有光流匹配点对应的车辆偏转角进行聚类得到相邻的这两帧路况图像对应的车辆偏转角。
上述对车辆偏转角的聚类，具体可以通过计算所有光流匹配点对应的车辆偏转角的平均值，分别计算每对光流匹配点对应的车辆偏转角与该平均值之间的差值，将差值最小的车辆偏转角确定为相邻的这两帧路况图像对应的车辆偏转角。
通过上述方式计算出任意相邻的两帧路况图像对应的车辆偏转角后，通过如下步骤S2的操作来确定车辆当前的运动方向。
S2：若计算的每个车辆偏转角均满足预设方向偏转条件，则确定车辆的运动方向为预设方向偏转条件对应的偏转方向。
预设方向偏转条件包括连续第二预设帧数车辆的车辆偏转角大于预设的左转角度阈值，或，连续第二预设帧数车辆的车辆偏转角大于预设的右转角度阈值，左转角度阈值可以为左转25度或30度等，右转角度阈值可以为右转25度或30度等。
将计算的任意相邻的两帧路况图像对应的车辆偏转角均与上述左转角度阈值及右转角度阈值进行比较，若任意相邻的两帧路况图像对应的车辆偏转角均大于左转角度阈值，则确定车辆当前的运动方向为左转。若任意相邻的两帧路况图像对应的车辆偏转角均大于右转角度阈值，则确定车辆当前的运动方向为右转。
若任意相邻的两帧路况图像对应的车辆偏转角不满足上述左转及右转的预设方向偏转条件，则通过光流点的方式无法准确判断出车辆当前的运动方向，后续通过步骤S3结合信号灯光晕的位移情况来判断车辆的运动方向。
S3：若计算的车辆偏转角中存在不满足预设方向偏转条件的车辆偏转角，则根据第二预设帧数的路况图像中信号灯光晕的偏移方向和偏移距离，确定车辆的运动方向。
路口场景中车辆行驶时摄像装置获取的路况图像在不断变化，但是信号灯在真实场景中的位置是保持绝对不变的。车辆左转时，信号灯在拍摄的路况图像中的位置不断右移。车辆右转时，信号灯在拍摄的路况图像中的位置不断左移。车辆直行时，信号灯在拍摄的路况图像中左移或右移的趋势小，不如左转及右转时明显，且偏移趋势不够连续。因此本申请实施例通过检测信号灯在拍摄的路况图像中的位置变化，可以判断出车辆在路口的行驶方向。
具体用过如下方式来确定车辆的运动方向，包括：
在第二预设帧数的路况图像包括的任意相邻的两帧路况图像中，检测每个信号灯光晕的偏移方向及偏移距离；若在任意相邻的两帧路况图像中同一信号灯光晕的偏移距离均大于预设距离，则将同一信号灯光晕的偏移方向对应的方向计数加1；若方向计数大于预设阈值，则将方向计数对应的偏转方向确定为车辆的运动方向。上述预设距离可以为15个像素或20个像素等。预设阈值为当前路口场景中信号灯光晕的总数目与预设比例的乘积，该预设比例可以为0.74或0.76等。
通过步骤102的方式能够检测出每一帧路况图像中每一个信号灯光晕的光晕位置信息，根据相邻的两帧路况图像中同一个信号灯光晕的光晕位置信息，能够确定出该信号灯光晕的偏移方向和偏移距离。若连续第二预设帧数中任意两帧路况图像中同一信号灯光晕的偏移距离大于预设距离，则将该信号灯光晕的偏移方向对应的方向计数加1。其中，该信号灯光晕的偏移方向若为向右偏移，则其对应的方向计数为左转计数。若该信号灯光晕的偏移方向为向左偏移，则其对应的方向计数为右转计数。
通过上述方式统计连续第二预设帧数的路况图像中每个信号灯光晕的偏移方向和偏移距离后，若左转计数的计数值大于预设阈值，则确定车辆当前的运动方向为左转。若右转计数的计数值大于预设阈值，则确定车辆当前的运动方向为右转。若左转计数的计数值小于或等于预设阈值，且右转计数的计数值小于或等于预设阈值，则判定车辆当前的运动方向为直行。
本申请实施例并不限定步骤102、103和104执行的先后顺序，这三个步骤可以同时执行。
步骤105：根据信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、斑马线标识、斑马线坐标信息及运动方向，确定车辆是否出现闯红灯行为。
本申请实施例具体通过如下步骤C1-C3的操作来确定车辆是否出现闯红灯行为，包括：
C1：根据信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、斑马线标识和斑马线坐标信息，确定车辆与当前路口的第一斑马线之间的距离小于预设距离阈值时是否满足第一闯红灯条件。
在实际应用场景中穿过一个路口的同一车道上设置有两个斑马线，本申请实施例中将这两个斑马线称为第一斑马线和第二斑马线，第一斑马线为行驶在该车道的车辆进入该路口时首先经过的斑马线，第二斑马线为行驶在该车道的车辆离开该路口时最后经过的斑马线。
根据当前帧路况图像对应的斑马线标识和斑马线坐标信息，计算当前车辆与当前路口的第一斑马线之间的距离；若距离小于预设距离阈值，则根据当前帧路况图像对应的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的第一红灯数量；若第一红灯数量大于零，则确定车辆满足第一闯红灯条件。
其中，第一红灯数量为当前信号灯中的红灯的总数量。由于车辆刚进入路口时距离信号灯较远，拍摄的路况图像中信号灯的光晕很小，识别路况图像中左转红灯、直行红灯的细分类准确率不高，故仅统计此时的红灯总数量作为上述第一红灯数量，并不细分信号灯的方向。
在车辆行驶过程中通过步骤103的操作实时检测拍摄的路况图像中的斑马线，当检测到当前帧路况图像中包含斑马线时，根据当前帧路况图像中包含的当前路口的第一斑马线的最小矩形框下边的中心点坐标，通过如下公式(2)计算车辆与当前路口的第一斑马线之间的距离。采用逆透视投影法获得第一斑马线离坐标系的距离。其转换公式如下：
Figure BDA0002431331890000171
在公式(2)中，H为摄像装置的安装高度，θ是摄像装置的俯仰角，β是摄像装置的偏转角，c1＝cos(θ)，s1＝sin(θ)，c2＝cos(β)，s2＝sin(β)，fx、fy分别为在X、Y方向上的等效焦距；(u0，v0)分别为摄像机光心横坐标、纵坐标，xw，yw为世界坐标系坐标，即第一斑马线距离摄像装置的距离，u、v为第一斑马线的最小矩形框下边的中心点在图像坐标系的坐标。
通过上述方式计算出车辆距离第一斑马线的距离，若该距离小于预设距离阈值，则根据步骤102中获取的当前帧路况图像对应的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，统计当前的第一红灯数量；若第一红灯数量大于零，则确定车辆满足第一闯红灯条件。
第一闯红灯条件包括车辆与当前路口的第一斑马线之间的距离小于预设距离阈值，且当前红灯数量大于零。预设距离阈值取接近于0的数值，如1米或0.5米等。车辆与当前路口的第一斑马线之间的距离小于预设距离阈值时，认为车辆越过停止线压在了第一斑马线上。由于车辆进入当前路口时信号灯距离车辆较远，光晕小，识别左转红灯、直行红灯的细分类的准确率不高，故只统计红灯数量，不细分信号灯的类别。
判断车辆满足第一闯红灯条件后，还存储此刻的路况图像以及当前时刻。
车辆满足第一闯红灯条件，表明车辆行驶至第一斑马线之前时有闯红灯的可能。
C2：若满足第一闯红灯条件，则根据信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、斑马线标识和斑马线坐标信息，确定车辆位于当前路口的第一斑马线和第二斑马线之间时是否满足第二闯红灯条件。
具体通过如下方式确定车辆是否满足第二闯红灯条件，包括：
检测到不包含第一斑马线的路况图像；根据检测到的路况图像对应的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的第二红灯数量；若第二红灯数量大于零，且当前时刻与确定车辆满足第一闯红灯条件的时刻之间的时间差大于预设时间阈值，则确定车辆满足第二闯红灯条件。
上述第二红灯数量为当前信号灯中的红灯的总数量。第二闯红灯条件为车辆满足第一闯红灯条件，第一斑马线消失且当前红灯数目大于零，且当前时刻与判定车辆满足第一闯红灯条件的时刻之间的时间差大于预设时间阈值。预设时间阈值可以为3秒或4秒。
检测到不包含第一斑马线且包含当前路口的第二斑马线的路况图像，表明车辆当前行驶到第一斑马线与第二斑马线之间，根据步骤102中获取的当前路况图像对应的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，统计当前的第二红灯数量，若第二红灯数量大于零，且当前时刻与判定车辆满足第一闯红灯条件的时刻之间的时间差大于预设时间阈值，则表明车辆行驶到第一斑马线与第二斑马线之间时信号灯是红灯，且此刻车辆仍在继续行驶，因此车辆具有很高的闯红灯倾向。
判断出车辆满足第二闯红灯条件后，还存储此刻的路况图像。
由于车辆行驶过程中信号灯的类别可能发生了改变，如车辆在第一斑马线和第二斑马线之间行驶时信号灯由红灯变为了绿灯，为了减少在这种情况下产生将车辆误判为闯红灯的情况，因此在进行第二闯红灯条件的判断过程中，还统计当前的绿灯数量，若判断出当前的第二红灯数量为零，且当前的绿灯数量大于零，则认为车辆未闯红灯，删除上述判定满足第一闯红灯条件时存储的路况图像及时间。
C3：若满足第二闯红灯条件，根据信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、斑马线标识、斑马线坐标信息及运动方向，确定车辆与第二斑马线之间的距离小于预设距离阈值时是否满足第三闯红灯条件；若满足第三闯红灯条件，则确定车辆出现闯红灯行为。
根据运动方向指示车辆的行驶方向为直行，计算车辆与第二斑马线之间的距离；若该距离小于预设距离阈值，则根据信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的直行红灯数量；若直行红灯数量大于零，则确定车辆满足第三闯红灯条件。
根据运动方向指示车辆的行驶方向为左转，则根据信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的信号灯数量、左转红灯数量和直行红灯数量；若左转红灯数量大于零，或者，若信号灯数量为1且直行红灯数量大于零，则确定车辆满足第三闯红灯条件。
上述在车辆直行的情况下，计算车辆与第二斑马线之间的距离也是通过上述公式(2)进行计算的，在此不再赘述。车辆与第二斑马线之间的距离小于预设距离阈值，表明车辆越过停止线压在了第二斑马线上，车辆即将离开当前路口。此时车辆距离信号灯盘较近，识别出信号灯的细分类的准确率高。根据步骤102中获取的路况图像中的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，统计当前的直行红灯数量。若直行红灯数量大于零，则确定车辆满足第三闯红灯条件。
由于在信号灯检测的过程中存在很多干扰因素，可能存在信号灯的类别判断错误的情况，比如把左转红灯检测成直行红灯，把树叶检测成绿灯等，为了消减信号灯类别误检对闯红灯行为的判断准确性影响，本申请实施例还可以在判断是否满足第三闯红灯条件的过程中，根据信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的直行红灯数量和直行绿灯数量。判断出直行红灯数量大于零且直行绿灯等于零，才确定车辆满足第三闯红灯条件。
在车辆左转的情况下，根据步骤102中获取的路况图像中的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，统计当前的信号灯数量、左转红灯数量和直行红灯数量。若信号灯数量大于1，则表明当前路口的信号灯包括直行灯、左转灯等，判断左转红灯数量是否大于零，如果是，则确定车辆满足第三闯红灯条件。或者，若信号灯数量为1，则表明当前路口的信号灯仅包括直行灯，判断直行红灯数量是否大于零，如果是，则确定车辆满足第三闯红灯条件。
由于实际场景中，在一些十字路口或丁字路口可能只有直行的信号灯，并未设置左转的信号灯，因此在车辆左转的情况下可能检测不到左转的信号灯，为了避免这种情况下对左转闯红灯检测的影响，本申请实施例还可以根据路况图像中的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，统计当前的左转红灯数量、直行红灯数量和左转灯数量；若左转红灯数量大于零，或者，若直行红灯数量大于零且左转灯数量等于零，则确定车辆满足第三闯红灯条件。
第三闯红灯条件包括车辆满足第一闯红灯条件和第二闯红灯条件，直行情况下车辆与第二斑马线之间的距离小于预设距离阈值，且直行红灯数量大于零，和/或，直行绿灯数量等于零；左转情况下，左转红灯数量大于零；或者，左转情况下，直行红灯数量大于零且左转灯数量等于零；或者，左转情况下，信号灯数量为1且直行红灯数量大于零。
判断车辆满足第三闯红灯条件后，还存储当前的路况图像。
由于在判断车辆满足第三闯红灯条件之前，车辆可能已经驶离当前路口了，此时再判断车辆是否在该路口出现闯红灯行为的准确性很低，因此判断车辆满足第二闯红灯条件后，若检测到路况图像中斑马线数量为零，且当前时刻与满足第一闯红灯条件的时刻之间的时间间隔超过一定时长时，仍未判断出车辆满足第三闯红灯条件，或者，检测到路况图像中信号灯的数量为零，则删除之前判断车辆满足第一闯红灯条件时存储的路况图像及时间，以及删除判断车辆满足第二闯红灯条件时存储的路况图像。其中，一定时长可以为2分钟或3分钟等。
通过上述判断若确定出车辆满足第一闯红灯条件、第二闯红灯条件和第三闯红灯条件，则确定该车辆出现了闯红灯行为。
在确定车辆出现闯红灯行为之后，本申请实施例还分别获取车辆满足第一闯红灯条件、第二闯红灯条件和第三闯红灯条件时的路况图像；发送报警信息给监管终端，报警信息包括车辆对应的设备标识和获取的三个路况图像。这三个路况图像如图6所示，图6中a图为车辆满足第一闯红灯条件时的路况图像，b图为车辆满足第二闯红灯条件时的路况图像，c图为车辆满足第三闯红灯条件时的路况图像。
本申请实施例还可以在用于闯红灯检测的车载智能装置中设置车辆的车牌号和/或驾驶员信息，并在上述报警信息中携带车牌号和/或驾驶员信息。
本申请实施例中还设置当前路口对应的路口标志位，当判断车辆在当前路口出现闯红灯行为，并发送报警信息后将该路口标志位重置为0，确保同一个路口不触发多次报警。
通过本申请实施例结合信号灯、斑马线及车辆的运动方向，对车辆的直行闯红灯和左转闯红灯进行监控，准确性高，不依赖传感器或物联网，仅通过视频图像处理即可检测出闯红灯事件，成本低，受天气因素或外物遮挡等因素的影响小。
参见图7，本申请实施例还提供一种车载闯红灯检测装置，该装置用于执行上述实施例所述的车载闯红灯检测方法，该装置包括：
图像拍摄模块701，用于在车辆行驶过程中实时拍摄车辆前方的路况图像；
获取模块702，用于根据路况图像，获取车辆前方的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息；根据路况图像，确定车辆前方的斑马线对应的斑马线标识及斑马线坐标信息；
方向确定模块703，用于根据任意相邻两帧所述路况图像中的光流匹配点的坐标信息，确定车辆的运动方向；
闯红灯判定模块704，用于根据信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、斑马线标识、斑马线坐标信息及运动方向，确定车辆是否出现闯红灯行为。
上述获取模块702，用于通过预先训练的目标检测网络从路况图像中获取信号灯的灯盘位置信息；根据灯盘位置信息，从路况图像中截取信号灯的灯盘图像；通过该目标检测网络从灯盘图像中，识别信号灯的类别信息及每种类型的信号灯对应光晕位置信息。
上述获取模块702还包括：
斑马线坐标信息获取单元，用于通过预先训练的语义分割网络对当前帧路况图像进行像素分类，获得当前帧路况图像对应的斑马线掩膜；在当前帧路况图像中，拟合包含斑马线掩膜的最小矩形框；将当前帧路况图像对应的最小矩形框的坐标确定为当前帧路况图像中包含的斑马线对应的斑马线坐标信息；
斑马线标识获取单元，用于根据包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中每帧路况图像对应的最小矩形框，确定当前帧路况图像中包含的斑马线对应的斑马线标识。
上述斑马线标识获取单元，用于计算包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中任意相邻的两帧路况图像对应的最小矩形框之间的重叠面积；若任意相邻的两帧路况图像对应的重叠面积均大于预设面积阈值，则确定第一预设帧数的路况图像中包含的斑马线为同一斑马线；为同一斑马线分配相同的斑马线标识。
方向确定模块703包括：
光流点方式确定单元，用于根据连续第二预设帧数的路况图像中任意相邻的两帧路况图像中光流匹配点的坐标信息，分别计算任意相邻的两帧路况图像对应的车辆偏转角；若计算的每个车辆偏转角均满足预设方向偏转条件，则确定车辆的运动方向为预设方向偏转条件对应的偏转方向；
光晕偏移方式确定单元，用于若计算的车辆偏转角中存在不满足预设方向偏转条件的车辆偏转角，则根据第二预设帧数的路况图像中信号灯光晕的偏移方向和偏移距离，确定车辆的运动方向。
上述光流点方式确定单元，用于从连续第二预设帧数的路况图像包括的任意相邻的两帧路况图像中，获取预设数目对光流匹配点的坐标信息；根据预设数目对光流匹配点中任意一对光流匹配点的坐标信息，计算任意一对光流匹配点对应的车辆偏转角；对预设数目对光流匹配点中每一对光流匹配点对应的车辆偏转角进行聚类，得到相邻的两帧路况图像对应的车辆偏转角。
上述光晕偏移方式确定单元，用于在第二预设帧数的路况图像包括的任意相邻的两帧路况图像中，检测每个信号灯光晕的偏移方向及偏移距离；若在任意相邻的两帧路况图像中同一信号灯光晕的偏移距离均大于预设距离，则将同一信号灯光晕的偏移方向对应的方向计数加1；若方向计数大于预设阈值，则将方向计数对应的偏转方向确定为车辆的运动方向。
闯红灯判定模块704包括：
第一闯红灯条件判定单元，用于根据信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、斑马线标识和斑马线坐标信息，确定车辆与当前路口的第一斑马线之间的距离小于预设距离阈值时是否满足第一闯红灯条件；
第二闯红灯条件判定单元，用于若满足第一闯红灯条件，则根据信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、斑马线标识和斑马线坐标信息，确定车辆位于当前路口的第一斑马线和第二斑马线之间时是否满足第二闯红灯条件；
第三闯红灯条件判定单元，用于若满足第二闯红灯条件，根据信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、斑马线标识、斑马线坐标信息及运动方向，确定车辆与第二斑马线之间的距离小于预设距离阈值时是否满足第三闯红灯条件；若满足第三闯红灯条件，则确定车辆出现闯红灯行为。
第一闯红灯条件判定单元，用于根据当前帧路况图像对应的斑马线标识和斑马线坐标信息，计算当前车辆与当前路口的第一斑马线之间的距离；若距离小于预设距离阈值，则根据当前帧路况图像对应的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的第一红灯数量；若第一红灯数量大于零，则确定车辆满足第一闯红灯条件。
第二闯红灯条件判定单元，用于检测不包含第一斑马线的路况图像；根据检测到的路况图像对应的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的第二红灯数量；若第二红灯数量大于零，且当前时刻与确定车辆满足第一闯红灯条件的时刻之间的时间差大于预设时间阈值，则确定车辆满足第二闯红灯条件。
第三闯红灯条件判定单元，用于根据运动方向指示车辆的行驶方向为直行，计算车辆与第二斑马线之间的距离；若距离小于预设距离阈值，则根据信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的直行红灯数量；若直行红灯数量大于零，则确定车辆满足第三闯红灯条件；根据运动方向指示车辆的行驶方向为左转，则根据信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的信号灯数量、左转红灯数量和直行红灯数量；若左转红灯数量大于零，或者，若信号灯数量为1且直行红灯数量大于零，则确定车辆满足第三闯红灯条件。
该装置还包括：报警模块，用于分别获取车辆满足第一闯红灯条件、第二闯红灯条件和第三闯红灯条件时的路况图像；发送报警信息给监管终端，报警信息包括车辆对应的设备标识和获取的三个路况图像。
本申请实施例提供的车载闯红灯检测装置与上述实施例提供的车载闯红灯检测方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的车载闯红灯检测方法对应的电子设备。该电子设备为车辆终端或设置于所述车辆终端上的行车记录仪。请参考图8，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图8所示，所述电子设备20可以包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的车载闯红灯检测方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个物理端口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述车载闯红灯检测方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的车载闯红灯检测方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的车载闯红灯检测方法对应的计算机可读存储介质，请参考图9，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的车载闯红灯检测方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的车载闯红灯检测方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种车载闯红灯检测方法，其特征在于，包括：
在车辆行驶过程中实时拍摄所述车辆前方的路况图像；
根据所述路况图像，获取所述车辆前方的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息；
根据所述路况图像，确定所述车辆前方的斑马线对应的斑马线标识及斑马线坐标信息；
根据任意相邻两帧所述路况图像中的光流匹配点的坐标信息，确定所述车辆的运动方向；
根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆是否出现闯红灯行为；
其中，所述根据任意相邻两帧所述路况图像中的光流匹配点的坐标信息，确定所述车辆的运动方向，包括：
根据连续第二预设帧数的路况图像中任意相邻的两帧路况图像中光流匹配点的坐标信息，分别计算所述任意相邻的两帧路况图像对应的车辆偏转角；若计算的每个所述车辆偏转角均满足预设方向偏转条件，则确定所述车辆的运动方向为所述预设方向偏转条件对应的偏转方向；若计算的所述车辆偏转角中存在不满足所述预设方向偏转条件的车辆偏转角，则根据所述第二预设帧数的路况图像中信号灯光晕的偏移方向和偏移距离，确定所述车辆的运动方向。
2.根据权利要求1所述的方法，其特征在于，所述根据所述路况图像，获取所述车辆前方的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息，包括：
通过预先训练的目标检测网络从所述路况图像中获取信号灯的灯盘位置信息；
根据所述灯盘位置信息，从所述路况图像中截取信号灯的灯盘图像；
通过所述目标检测网络从所述灯盘图像中，识别信号灯的类别信息及每种类别的信号灯对应的光晕位置信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述路况图像，确定所述车辆前方的斑马线对应的斑马线标识及斑马线坐标信息，包括：
通过预先训练的语义分割网络对当前帧路况图像进行像素分类，获得所述当前帧路况图像对应的斑马线掩膜；
在所述当前帧路况图像中，拟合包含所述斑马线掩膜的最小矩形框；
将所述当前帧路况图像对应的最小矩形框的坐标确定为所述当前帧路况图像中包含的斑马线对应的斑马线坐标信息；
根据包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中每帧路况图像对应的最小矩形框，确定所述当前帧路况图像中包含的斑马线对应的斑马线标识。
4.根据权利要求3所述的方法，其特征在于，所述根据包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中每帧路况图像对应的最小矩形框，确定所述当前帧路况图像中包含的斑马线对应的斑马线标识，包括：
计算包含当前帧路况图像在内的过去连续第一预设帧数的路况图像中任意相邻的两帧路况图像对应的最小矩形框之间的重叠面积；
若所述任意相邻的两帧路况图像对应的所述重叠面积均大于预设面积阈值，则确定所述第一预设帧数的路况图像中包含的斑马线为同一斑马线；
为所述同一斑马线分配相同的斑马线标识。
5.根据权利要求1所述的方法，其特征在于，所述根据连续第二预设帧数的路况图像中任意相邻的两帧路况图像中光流匹配点的坐标信息，分别计算所述任意相邻的两帧路况图像对应的车辆偏转角，包括：
从连续第二预设帧数的路况图像包括的任意相邻的两帧路况图像中，获取预设数目对光流匹配点的坐标信息；
根据所述预设数目对光流匹配点中任意一对光流匹配点的坐标信息，计算所述任意一对光流匹配点对应的车辆偏转角；
对所述预设数目对光流匹配点中每一对光流匹配点对应的车辆偏转角进行聚类，得到所述相邻的两帧路况图像对应的车辆偏转角。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第二预设帧数的路况图像中信号灯光晕的偏移方向和偏移距离，确定所述车辆的运动方向，包括：
在所述第二预设帧数的路况图像包括的任意相邻的两帧路况图像中，检测每个信号灯光晕的偏移方向及偏移距离；
若在所述任意相邻的两帧路况图像中同一信号灯光晕的偏移距离均大于预设距离，则将所述同一信号灯光晕的偏移方向对应的方向计数加1；
若所述方向计数大于预设阈值，则将所述方向计数对应的偏转方向确定为所述车辆的运动方向。
7.根据权利要求1所述的方法，其特征在于，所述根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆是否出现闯红灯行为，包括：
根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识和所述斑马线坐标信息，确定所述车辆与当前路口的第一斑马线之间的距离小于预设距离阈值时是否满足第一闯红灯条件；
若满足所述第一闯红灯条件，则根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识和所述斑马线坐标信息，确定所述车辆位于当前路口的所述第一斑马线和第二斑马线之间时是否满足第二闯红灯条件；
若满足所述第二闯红灯条件，根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆与所述第二斑马线之间的距离小于所述预设距离阈值时是否满足第三闯红灯条件；
若满足所述第三闯红灯条件，则确定所述车辆出现闯红灯行为。
8.根据权利要求7所述的方法，其特征在于，所述根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识和所述斑马线坐标信息，确定所述车辆与当前路口的第一斑马线之间的距离小于预设距离阈值时是否满足第一闯红灯条件，包括：
根据当前帧路况图像对应的所述斑马线标识和所述斑马线坐标信息，计算当前所述车辆与当前路口的第一斑马线之间的距离；
若所述距离小于预设距离阈值，则根据所述当前帧路况图像对应的所述信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的第一红灯数量；
若所述第一红灯数量大于零，则确定所述车辆满足第一闯红灯条件。
9.根据权利要求7所述的方法，其特征在于，所述根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识和所述斑马线坐标信息，确定所述车辆位于当前路口的所述第一斑马线和第二斑马线之间时是否满足第二闯红灯条件，包括：
检测不包含所述第一斑马线的路况图像；
根据检测到的所述路况图像对应的信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的第二红灯数量；
若所述第二红灯数量大于零，且当前时刻与确定所述车辆满足所述第一闯红灯条件的时刻之间的时间差大于预设时间阈值，则确定所述车辆满足第二闯红灯条件。
10.根据权利要求7所述的方法，其特征在于，所述根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆与所述第二斑马线之间的距离小于所述预设距离阈值时是否满足第三闯红灯条件，包括：
根据所述运动方向指示所述车辆的行驶方向为直行，计算所述车辆与所述第二斑马线之间的距离；若所述距离小于预设距离阈值，则根据所述信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的直行红灯数量；若所述直行红灯数量大于零，则确定所述车辆满足第三闯红灯条件；
根据所述运动方向指示所述车辆的行驶方向为左转，则根据所述信号灯的类别信息和每种类别的信号灯对应的光晕位置信息，确定当前的信号灯数量、左转红灯数量和直行红灯数量；若所述左转红灯数量大于零，或者，若所述信号灯数量为1且所述直行红灯数量大于零，则确定所述车辆满足第三闯红灯条件。
11.根据权利要求7-10任一项所述的方法，其特征在于，所述确定所述车辆出现闯红灯行为之后，还包括：
分别获取所述车辆满足所述第一闯红灯条件、所述第二闯红灯条件和所述第三闯红灯条件时的路况图像；
发送报警信息给监管终端，所述报警信息包括所述车辆对应的设备标识和获取的三个所述路况图像。
12.一种车载闯红灯检测装置，其特征在于，包括：
图像拍摄模块，用于在车辆行驶过程中实时拍摄所述车辆前方的路况图像；
获取模块，用于根据所述路况图像，获取所述车辆前方的信号灯的类别信息及每种类别的信号灯对应的光晕位置信息；根据所述路况图像，确定所述车辆前方的斑马线对应的斑马线标识及斑马线坐标信息；
方向确定模块，用于根据连续第二预设帧数的路况图像中任意相邻的两帧路况图像中光流匹配点的坐标信息，分别计算所述任意相邻的两帧路况图像对应的车辆偏转角；若计算的每个所述车辆偏转角均满足预设方向偏转条件，则确定所述车辆的运动方向为所述预设方向偏转条件对应的偏转方向；若计算的所述车辆偏转角中存在不满足所述预设方向偏转条件的车辆偏转角，则根据所述第二预设帧数的路况图像中信号灯光晕的偏移方向和偏移距离，确定所述车辆的运动方向；
闯红灯判定模块，用于根据所述信号灯的类别信息、每种类别的信号灯对应的光晕位置信息、所述斑马线标识、所述斑马线坐标信息及所述运动方向，确定所述车辆是否出现闯红灯行为。
13.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1-11任一项所述的方法。
14.根据权利要求13所述的电子设备，其特征在于，所述电子设备为车辆终端或设置于所述车辆终端上的行车记录仪。
15.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1-11任一项所述的方法。
CN202010237014.0A 2020-03-30 2020-03-30 一种车载闯红灯检测方法、装置、电子设备及存储介质 Active CN113468911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010237014.0A CN113468911B (zh) 2020-03-30 2020-03-30 一种车载闯红灯检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010237014.0A CN113468911B (zh) 2020-03-30 2020-03-30 一种车载闯红灯检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113468911A CN113468911A (zh) 2021-10-01
CN113468911B true CN113468911B (zh) 2022-12-23

Family

ID=77864896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010237014.0A Active CN113468911B (zh) 2020-03-30 2020-03-30 一种车载闯红灯检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113468911B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113988110B (zh) * 2021-12-02 2022-04-05 深圳比特微电子科技有限公司 闯红灯行为检测方法、装置及可读存储介质
CN114822058B (zh) * 2022-05-11 2023-03-03 深圳智慧车联科技有限公司 一种基于信号灯路口的行车规范驾驶提示监测方法、系统、车载终端及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574995A (zh) * 2015-01-09 2015-04-29 北京尚易德科技有限公司 记录路口右转机动车闯红灯及不避让行人行为的系统和方法
CN105825696A (zh) * 2016-04-18 2016-08-03 吉林大学 基于信号灯信息提示的驾驶辅助系统
CN106909937A (zh) * 2017-02-09 2017-06-30 北京汽车集团有限公司 交通信号灯识别方法、车辆控制方法、装置及车辆
CN106960587A (zh) * 2017-05-23 2017-07-18 南京云趟信息技术有限公司 一种基于摄像装置的红绿灯及斑马线识别与控制系统
CN107009899A (zh) * 2017-05-23 2017-08-04 南京云计趟信息技术有限公司 一种基于摄像与定位装置的闯红灯识别与控制系统
CN206741710U (zh) * 2017-05-23 2017-12-12 南京云计趟信息技术有限公司 基于摄像装置的红绿灯及斑马线识别与控制系统
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统
CN207225092U (zh) * 2017-05-23 2018-04-13 南京云计趟信息技术有限公司 基于摄像与定位装置的闯红灯识别与控制系统
CN108847032A (zh) * 2018-08-21 2018-11-20 北京深瞐科技有限公司 一种交通违法行为识别方法及装置
CN109766867A (zh) * 2019-01-22 2019-05-17 长沙智能驾驶研究院有限公司 车辆运行状态确定方法、装置、计算机设备和存储介质
CN110598511A (zh) * 2018-06-13 2019-12-20 杭州海康威视数字技术股份有限公司 一种对闯绿灯事件检测方法、装置、电子设备及系统
CN110660225A (zh) * 2019-10-28 2020-01-07 上海眼控科技股份有限公司 闯红灯行为检测方法、装置和设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574995A (zh) * 2015-01-09 2015-04-29 北京尚易德科技有限公司 记录路口右转机动车闯红灯及不避让行人行为的系统和方法
CN105825696A (zh) * 2016-04-18 2016-08-03 吉林大学 基于信号灯信息提示的驾驶辅助系统
CN106909937A (zh) * 2017-02-09 2017-06-30 北京汽车集团有限公司 交通信号灯识别方法、车辆控制方法、装置及车辆
CN106960587A (zh) * 2017-05-23 2017-07-18 南京云趟信息技术有限公司 一种基于摄像装置的红绿灯及斑马线识别与控制系统
CN107009899A (zh) * 2017-05-23 2017-08-04 南京云计趟信息技术有限公司 一种基于摄像与定位装置的闯红灯识别与控制系统
CN206741710U (zh) * 2017-05-23 2017-12-12 南京云计趟信息技术有限公司 基于摄像装置的红绿灯及斑马线识别与控制系统
CN207225092U (zh) * 2017-05-23 2018-04-13 南京云计趟信息技术有限公司 基于摄像与定位装置的闯红灯识别与控制系统
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统
CN110598511A (zh) * 2018-06-13 2019-12-20 杭州海康威视数字技术股份有限公司 一种对闯绿灯事件检测方法、装置、电子设备及系统
CN108847032A (zh) * 2018-08-21 2018-11-20 北京深瞐科技有限公司 一种交通违法行为识别方法及装置
CN109766867A (zh) * 2019-01-22 2019-05-17 长沙智能驾驶研究院有限公司 车辆运行状态确定方法、装置、计算机设备和存储介质
CN110660225A (zh) * 2019-10-28 2020-01-07 上海眼控科技股份有限公司 闯红灯行为检测方法、装置和设备

Also Published As

Publication number Publication date
CN113468911A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US11688183B2 (en) System and method of determining a curve
CN104537841B (zh) 无牌车辆违章检测方法及其检测系统
CN103778786B (zh) 一种基于显著车辆部件模型的交通违章检测方法
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN109101939B (zh) 车辆运动状态的确定方法、系统、终端及可读存储介质
CN110929676A (zh) 一种基于深度学习的违章掉头实时检测方法
CN113468911B (zh) 一种车载闯红灯检测方法、装置、电子设备及存储介质
US20220237919A1 (en) Method, Apparatus, and Computing Device for Lane Recognition
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
JP7226368B2 (ja) 物体状態識別装置
CN110969864A (zh) 一种车速检测方法、车辆行驶事件检测方法及电子设备
CN114202936B (zh) 一种交通指挥机器人及其控制方法
CN112447060A (zh) 识别车道的方法、装置及计算设备
CN113537170A (zh) 一种交通路况智能监测方法和计算机可读存储介质
CN113420714A (zh) 一种采集图像上报方法、装置及电子设备
Van Der Sluis et al. An experimental study on 3D person localization in traffic scenes
Kanhere Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration
Yu et al. MPP: A novel algorithm for estimating vehicle space headways from a single image
CN115240471A (zh) 一种基于图像采集的智慧厂区避撞预警方法和系统
Suganuma et al. Current status and issues of traffic light recognition technology in Autonomous Driving System
MUNAJAT et al. A NEW METHOD FOR ANALYZING CONGESTION LEVELS BASED ON ROAD DENSITY AND VEHICLE SPEED.
Wangsiripitak et al. Traffic light and crosswalk detection and localization using vehicular camera
Kolcheck et al. Visual counting of traffic flow from a car via vehicle detection and motion analysis
CN113128264A (zh) 一种车辆区域确定方法、装置及电子设备
Yu et al. A Video-Based Method for Traffic Flow Detection of Multi-lane Road

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant