CN112837528A - 一种检测闯红灯事件的方法、装置及存储介质 - Google Patents

Abstract

本申请实施例提供一种检测闯红灯事件的方法、装置及存储介质，方法包括：根据当前帧的置信度确定当前帧的状态，根据当前帧的状态触发红灯状态逻辑；根据发送当前帧的终端的定位信息获取当前帧对应的速度，当当前帧对应的速度大于预设阈值时，触发速度逻辑；通过定位信息获取当前帧对应的航向角信息，当航向角信息满足方向逻辑的触发条件时，触发方向逻辑；对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；根据红灯状态、方向逻辑、速度逻辑和所述截停逻辑判断出当前帧为疑似闯红灯事件；触发事件处理逻辑，输出并记录疑似闯红灯事件。本方案能够提高识别闯红灯事件的精度。

Description

一种检测闯红灯事件的方法、装置及存储介质

技术领域

本申请实施例涉及交通技术领域，尤其涉及一种检测闯红灯事件的方法、装置及存储介质。

背景技术

现有机制中，由于外卖和快递市场对外送和派件业务有着严格的时效限制，配送人员往往存在着道路闯红灯、超速、电动车占用机动车道和逆行等行为，交通事故频发。所以在交通系统引入视觉监测车辆闯红灯机制。视觉监测车辆闯红灯机制基于静态摄像头的方式，部署在城市的公共道路、高速公路主路以及重要出入口及主要车流通道，统计上述路段的实时发生的车辆闯红灯事件。

在对现有技术的研究和实践过程中，本申请实施例的发明人发现，由于快递和外卖行业缺乏有效的车辆管理平台，虽然能够实时反馈自身员工的送货轨迹和判断员工的行驶状态，根据送货轨迹和判断员工的行驶状态对非法的闯红灯行为给予警告和处罚。但是，由于员工的行驶较快，交通环境变化多端和较快，所以，仅基于静态摄像头的方式并不能及时、有效的检测出发生违规行为的员工。

发明内容

本申请实施例提供了一种检测闯红灯事件的方法、装置及存储介质，能够提高识别闯红灯事件的精度。

第一方面中，本申请实施例提供一种检测闯红灯事件的方法，所述方法包括：

根据当前帧的置信度确定所述当前帧的状态，根据所述当前帧的状态触发红灯状态逻辑；

根据发送当前帧的终端的定位信息获取当前帧对应的速度，当所述当前帧对应的速度大于预设阈值时，触发速度逻辑；

通过所述定位信息获取当前帧对应的航向角信息，当所述航向角信息满足方向逻辑的触发条件时，触发方向逻辑；

对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；

根据所述红灯状态、所述方向逻辑、所述速度逻辑和所述截停逻辑判断出当前帧为疑似闯红灯事件；

触发事件处理逻辑，输出并记录疑似闯红灯事件。

一种可能的设计中，所述根据所述当前帧的置信度确定所述当前帧的状态之前，所述方法还包括：

采集当前帧，通过检测模型检测边界回归窗口的第一位置，所述边界回归窗口用于指示所述当前帧中存在信号灯的区域；

所述根据所述当前帧的置信度确定所述当前帧的状态，包括：

当所述当前帧中存在多个信号灯时，根据所述当前帧的中心轴与每个信号灯对应的边界回归窗口的中心点的距离，计算出多个偏置值；

将偏置值对应添加到各信号灯的边界回归窗口的置信度，得到多个待调置信度；

将所述多个待调置信度中最大的待调置信度对应的信号灯的类别作为所述当前帧的状态。

一种可能的设计中，所述根据发送当前帧的终端的定位信息获取当前帧对应的速度，包括：

根据所述定位信息获取所述当前帧对应的速度向量；

对所述速度向量进行线性插值处理；

对线性插值处理后的所述速度向量进行预测，得到所述当前帧的速度。

一种可能的设计中，所述当前帧由车辆上搭载的终端采集；所述方向逻辑的触发条件包括以下条件之一：

若当前帧与前一帧的航向角之差大于第一角度，则确定所述车辆为右转，若当前帧与前一帧的航向角之差小于第二角度，则确定所述车辆为左转；

若当前帧航向角与所述红灯状态队列中最前帧的航向角之差大于第三角度，则确定所述车辆右转，当前帧航向角与所述红灯状态队列中最前帧的航向角之差小于第四角度，则确定所述车辆左转；

计算所述当前帧与当前帧之前的所有帧的航向角的均值，若所述当前帧与所述均值的航向角信息之差大于第五角度，则确定所述车辆右转，若所述当前帧与所述均值的航向角信息之差小于第六角度，则确定所述车辆左转。

一种可能的设计中，在根据所述当前帧的状态触发红灯状态逻辑之前，所述方法还包括：

建立红灯状态队列，所述红灯状态队列包括多个在时域上连续的多个包含红灯的帧；

若每检测到一帧，则将当前帧的状态添加至所述红灯状态队列；

所述根据所述当前帧的状态触发红灯状态逻辑，包括：

若当前所述红灯状态队列中超过预设比例的状态为红灯，则触发红灯状态逻辑。

一种可能的设计中，所述当上边界与下边界之差满足预设的区分条件时，触发截停逻辑，包括：

若上边界与下边界之差与图像高的比值大于第一阈值，则确定所述车辆行驶方向平行于人行道，若所述下边界与图像下边界的距离与所述图像高的比值小于第二阈值，则触发截停逻辑；

或者，若上边界与下边界之差与所述图像高的比值小于第三阈值，则确定所述车辆行驶方向垂直于人行道，若所述上边界与图像下边界的距离与所述图像高的比值小于第四阈值，则触发截停逻辑。

一种可能的设计中，所述触发事件处理逻辑，输出并记录疑似闯红灯事件之后，所述方法还包括：

记录状态队列向量，所述状态队列向量包括长度不同的左转状态队列、右转状态队列和速度状态队列；所述状态队列向量记录疑似闯红灯事件后的N帧中有左转、右转和速度为0的帧数，其中，N为各个状态队列的长度值；

若所述左转状态队列、所述右转状态队列和所述速度状态队列中存在满足计数大于或等于N_state，则消除所述疑似闯红灯事件。

第二方面中，本申请实施例提供一种用于检测闯红灯事件的装置，具有实现对应于上述第一方面提供的检测闯红灯事件的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

一种可能的设计中，所述装置包括：

处理模块，用于根据当前帧的置信度确定所述当前帧的状态，根据所述当前帧的状态触发红灯状态逻辑；

输入输出模块，用于根据发送当前帧的终端的定位信息获取当前帧对应的速度；

所述处理模块还用于当所述当前帧对应的速度大于预设阈值时，触发速度逻辑；利用所述输入输出模块通过所述定位信息获取当前帧对应的航向角信息；

所述处理模块还用于当所述输入输出模块获取的所述航向角信息满足方向逻辑的触发条件时，触发方向逻辑；对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；根据所述红灯状态、所述方向逻辑、所述速度逻辑和所述截停逻辑判断出当前帧为疑似闯红灯事件；触发事件处理逻辑；

所述输入输出模块还用于输出所述疑似闯红灯事件；

存储模块，用于记录所述疑似闯红灯事件。

一种可能的设计中，所述处理模块根据所述当前帧的置信度确定所述当前帧的状态之前，还用于：

通过所述输入输出模块采集当前帧，通过检测模型检测边界回归窗口的第一位置，所述边界回归窗口用于指示所述当前帧中存在信号灯的区域；

所述根据所述当前帧的置信度确定所述当前帧的状态，包括：

当所述当前帧中存在多个信号灯时，根据所述当前帧的中心轴与每个信号灯对应的边界回归窗口的中心点的距离，计算出多个偏置值；

将偏置值对应添加到各信号灯的边界回归窗口的置信度，得到多个待调置信度；

将所述多个待调置信度中最大的待调置信度对应的信号灯的类别作为所述当前帧的状态。

一种可能的设计中，所述处理模块具体用于：

根据所述定位信息获取所述当前帧对应的速度向量；

对所述速度向量进行线性插值处理；

对线性插值处理后的所述速度向量进行预测，得到所述当前帧的速度。

一种可能的设计中，所述当前帧由车辆上搭载的终端采集；所述方向逻辑的触发条件包括以下条件之一：

若当前帧与前一帧的航向角之差大于第一角度，则确定所述车辆为右转，若当前帧与前一帧的航向角之差小于第二角度，则确定所述车辆为左转；

若当前帧航向角与所述红灯状态队列中最前帧的航向角之差大于第三角度，则确定所述车辆右转，当前帧航向角与所述红灯状态队列中最前帧的航向角之差小于第四角度，则确定所述车辆左转；

计算所述当前帧与当前帧之前的所有帧的航向角的均值，若所述当前帧与所述均值的航向角信息之差大于第五角度，则确定所述车辆右转，若所述当前帧与所述均值的航向角信息之差小于第六角度，则确定所述车辆左转。

一种可能的设计中，所述处理模块在根据所述当前帧的状态触发红灯状态逻辑之前，还用于：

建立红灯状态队列，所述红灯状态队列包括多个在时域上连续的多个包含红灯的帧；

若每检测到一帧，则将当前帧的状态添加至所述红灯状态队列；

所述根据所述当前帧的状态触发红灯状态逻辑，包括：

若当前所述红灯状态队列中超过预设比例的状态为红灯，则触发红灯状态逻辑。

一种可能的设计中，所述处理模块具体用于：

若上边界与下边界之差与图像高的比值大于第一阈值，则确定所述车辆行驶方向平行于人行道，若所述下边界与图像下边界的距离与所述图像高的比值小于第二阈值，则触发截停逻辑；

或者，若上边界与下边界之差与所述图像高的比值小于第三阈值，则确定所述车辆行驶方向垂直于人行道，若所述上边界与图像下边界的距离与所述图像高的比值小于第四阈值，则触发截停逻辑。

一种可能的设计中，所述处理模块在触发事件处理逻辑，所述输入输出模块输出之后，还用于：

通过所述存储模块记录状态队列向量，所述状态队列向量包括长度不同的左转状态队列、右转状态队列和速度状态队列；所述状态队列向量记录疑似闯红灯事件后的N帧中有左转、右转和速度为0的帧数，其中，N为各个状态队列的长度值；

若所述左转状态队列、所述右转状态队列和所述速度状态队列中存在满足计数大于或等于N_state的情况，则消除所述疑似闯红灯事件。

本申请实施例又一方面提供了一种用于检测闯红灯事件的装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述各方面所述的方法。

本申请实施例又一方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

相较于现有技术，本申请实施例提供的方案中，根据当前帧的置信度确定的当前帧状态去触发红灯状态逻辑，在当前帧对应的速度大于预设阈值时触发速度逻辑；在航向角信息满足方向逻辑开启条件时开启方向逻辑；对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；根据上述红灯状态、方向、速度、截停逻辑判断出当前帧为疑似闯红灯事件。本申请实施例对采集的视频中的行为进行分层分析和分类分析，即分层去触发后续事件，且后续事件依赖前序事件而触发，这样能够有效减少误报现象以及提高算法的精度。

附图说明

图1为本申请实施例中检测闯红灯事件的方法的一种流程示意图；

图2a为本申请实施例中红灯状态逻辑触发前后的一种对比示意图；

图2b为本申请实施例中红灯状态逻辑流程的一种示意图；

图3a为本申请实施例中在车辆行驶方向平行于人行道下进行语义分割的一种示意图；

图3b为本申请实施例中在车辆行驶方向垂直于人行道下进行语义分割的一种示意图；

图4为本申请实施例中疑似闯红灯事件的四帧图像的一种示意图；

图5为本申请实施例中用于检测闯红灯事件的装置的一种结构示意图；

图6为本申请实施例中执行检测闯红灯事件的方法的实体设备的一种结构示意图。

具体实施方式

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。

本申请实施例供了一种检测闯红灯事件的方法、装置及存储介质，可适用于检测大型车辆、电动车、自行车等场景的疑似闯红灯事件以及进行安全提醒，能够提高闯红灯检测算法的一般适用性，且算法具有较好的精度与鲁棒性。

本申请实施例主要提供以下技术方案：

基于海量的配送车辆上行车记录仪的视频数据以及开源数据集对检测模型进行深度学习，对获取的视频帧进行交通信号灯检测，结合摄像头自身的全球定位系统(globalpositioning system，GPS)和惯性测量单元(inertial measurement unit，IMU)信息，判断车辆的行驶状态，对车辆存在闯红灯行为进行判断，并上传到云服务器记录。基于深度学习的交通信号灯检测，统计外卖员和快递员的闯红灯行为，采用无人值守的方式，不仅达到安全警示和记录在案的功能，更显著降低了违规车辆闯红灯事件的发生。

参照图1，以下介绍本申请实施例所提供的一种检测闯红灯事件的方法，构建基于卷积神经的检测模型。构建完检测模型之后，可基于该检测模型金策闯红灯事件，具体来说，本申请实施例包括：

101、根据当前帧的置信度确定所述当前帧的状态，根据所述当前帧的状态触发红灯状态逻辑。

一些实施方式中，所述根据所述当前帧的置信度确定所述当前帧的状态，所述方法还包括：

采集当前帧，通过检测模型检测边界回归窗口的第一位置，所述边界回归窗口用于指示所述当前帧中存在信号灯的区域；

所述根据所述当前帧的置信度确定所述当前帧的状态，包括：

当所述当前帧中存在多个信号灯时，根据所述当前帧的中心轴与每个信号灯对应的边界回归窗口的中心点的距离，计算出多个偏置值；

将偏置值对应添加到各信号灯的边界回归窗口的置信度，得到多个待调置信度；

将所述多个待调置信度中最大的待调置信度对应的信号灯的类别作为所述当前帧的状态。

其中，信号灯分为红灯、黄灯、绿灯和无效灯。

具体来说，采集当前帧，通过检测模型获得当前帧中信号灯可能存在边界回归窗口(bounding box)的位置、以及各个bounding box的置信度得分。根据信号灯的boundingbox的位置可确定信号灯的bounding box中心点。

在当前帧所示的一个视野内有多个信号灯时，根据每个信号灯的bounding box中心点与当前帧中心轴的距离，分别计算一个附加得分，并分别将该附加得分添加至信号灯的bounding box的置信度得分上。

其中，每个信号灯的bounding box都分别计算一个附加得分，然后将得到的附加得分加到初始计算得到的置信度得分上。

对当前帧中的所有bounding box的得分进行排序，将分值最大的bounding box对应的信号灯类别作为当前帧的状态，根据当前帧的状态触发红灯状态逻辑。

一些实施方式中，考虑到检测模型可能有误检和漏检的情况，可以建立一个连续N_{_red}帧红灯状态队列，每检测一帧，就把当前帧的状态压入队列，若当前队列中有一半的状态(即N_{_red}/2帧)为红灯，则当前帧触发红灯状态逻辑。其中，N_{_red}帧是指信号灯为红灯状态的帧的数量。如图2a所示的一种红灯状态逻辑触发前后的对比示意图，如图2b所示的一种红灯状态逻辑流程示意图。

102、根据发送当前帧的终端的定位信息获取当前帧对应的速度，当所述当前帧对应的速度大于预设阈值时，触发速度逻辑。

由于本系统的检测频率为f1，定位信息获取的频率为f2，并且视频流获取图像的真实频率也不是整数，此现象就会在视频帧数较多情况下导致视频帧与视频帧信息不匹配的情况发生。因此利用线性插值预测的方式将速度信息进行整理，得到当前帧的速度，若速度大于设定阈值T_speed米/秒，则触发速度逻辑。

103、通过所述定位信息获取当前帧对应的航向角信息，当所述航向角信息满足方向逻辑触发条件时，触发方向逻辑。

一些实施方式中，所述当前帧由车辆上搭载的终端采集；所述方向逻辑的触发条件包括以下条件之一：

条件a、若当前帧与前一帧的航向角之差大于第一角度，则确定所述车辆为右转，若当前帧与前一帧的航向角之差小于第二角度，则确定所述车辆为左转；

条件b、若当前帧航向角与所述红灯状态队列中最前帧的航向角之差大于第三角度，则确定所述车辆右转，当前帧航向角与所述红灯状态队列中最前帧的航向角之差小于第四角度，则确定所述车辆左转；

条件c、计算所述当前帧与当前帧之前的所有帧的航向角的均值，若所述当前帧与所述均值的航向角信息之差大于第五角度，则确定所述车辆右转，若所述当前帧与所述均值的航向角信息之差小于第六角度，则确定所述车辆左转。

例如，若当前帧与前一帧的航向角相差7°，则确定当前帧中存在右转，若相差-7，则确定当前帧中存在左转；若当前帧航向角与队列中最前帧的航向角相差60°，则确定当前帧中存在右转，若相差-60°，则确定当前帧中存在左转；当前帧与前N_angle-1帧的航向角求均值，若当前帧与均值的航向角信息相差10°，则确定当前帧中存在右转，若相差-10°，则确定当前帧中存在左转。

一些实施方式中，航向角信息也会遇到步骤105中信息与图像帧不匹配的现象，也可以采取线性插值预测的方式对航向角信息进行整理。由于车辆的转向为一个过程，所以建立用于统计车辆的转向状态队列，转向状态队列的长度为N_angle，获取当前帧的航向角信息后，将当前帧的航向角信息添加至该转向状态队列。

一些实施方式中，所述方向逻辑的最终判断逻辑可为：

条件a或(条件b与条件c)

104、对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑。

其中，截停逻辑是指对发送当前帧的车辆进行截停操作，截停操作包括由前截停、由后截停、由左截停和由右截停。

一些实施方式中，由于车辆行走方向可能平行于人行道也有可能垂直于人行道，分两种情况来区别分析。

区分条件包括情况a(即车辆行驶方向平行于人行道)和情况b(即车辆行驶方向垂直于人行道)：

情况a：

若上边界与下边界之差与图像高的比值大于第一阈值T_cross，则确定所述车辆行驶方向平行于人行道。此时，若语义分割的下边界与图像下边界的距离与图像高的比值小于第二阈值T_(p-cross)则触发截停逻辑。在情况a下进行语义分割的一种示意图可参考图3a。

情况b：

若上边界与下边界之差与图像高的比值小于第三阈值T_{_cross}，则确定所述车辆行驶方向垂直于人行道。此时，若语义分割上边界与图像下边界的距离与图像高的比值小于第四阈值T_{_(v-cross)}则触发截停逻辑。在情况b下进行语义分割的一种示意图可参考图3b。

105、根据所述红灯状态、所述方向逻辑、所述速度逻辑和所述截停逻辑判断出当前帧为疑似闯红灯事件。

106、触发事件处理逻辑，输出并记录疑似闯红灯事件。

其中，记录的疑似闯红灯事件包括结束帧对应的GPS经纬度信息、闯红灯车辆的摄像头编号以及闯红灯段的视频分段采集数据。

采用嵌入式设备将上述疑似闯红灯事件数据通过4G传送至后台服务器，后台服务器保存信息并更新数据库。

其中，视频分段采集数据为疑似闯红灯事件开始前三帧：开始帧、结束帧以及处于开始帧与结束帧中间位置的图像帧，共四帧图像，如图4所示。

本申请实施例中，根据当前帧的置信度确定的当前帧状态去触发红灯状态逻辑，在当前帧对应的速度大于预设阈值时触发速度逻辑；在航向角信息满足方向逻辑开启条件时开启方向逻辑；对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；根据上述红灯状态、方向、速度、截停逻辑判断出当前帧为疑似闯红灯事件。本申请实施例充分结合路口信息复杂、闯红灯包括多个阶段的过程事件的特点，对采集的视频中的行为进行分层分析和分类分析，即分层去触发后续事件，且后续事件依赖前序事件而触发，这样能够有效减少误报现象以及提高算法的精度。

具体来说，通过分词分类和分层分析，不需要对移动终端上传的所有定位点的电动车运动状态信息都执行一次完整的违章判断流程，如果不满足当前的处理逻辑，就不会触发下一个处理逻辑。本申请实施例提供的技术方案不仅可以适用于大型车辆，同时也适用于电动车、自行车，能够提高闯红灯检测算法的一般适用性，且算法具有较好的精度与鲁棒性。

本申请实施例层层递进，对视频时序行为片段进行多层分类分析，由于路口信息复杂，且闯红灯为一个过程事件，为减少视频误报的情况发生，算法中提出后续事件的处理逻辑。对于疑似闯红灯事件后续的行为状态也进行判断，因此能够极大程度上减少误报情况发生，提高算法的精度。

可选的，在本申请实施例的一些实施例中，所述触发事件处理逻辑，输出并记录疑似闯红灯事件之后，所述方法还包括：

记录状态队列向量，所述状态队列向量包括长度不同的左转状态队列N_left、右转状态队列N_right和速度状态队列N_speed；所述状态队列向量记录疑似闯红灯事件后的N帧中有左转、右转和速度为0的帧数，其中，N为各个状态队列的长度值；

若所述左转状态队列、所述右转状态队列和所述速度状态队列中存在满足计数大于或等于N_state的情况，则消除所述疑似闯红灯事件。

一些实施方式中，还可以对比当前疑似闯红灯事件开始帧号的前一事件结束帧号的差值，若差值小于等于N_merge，则将当前疑似闯红灯事件与前一事件进行合并。

图1至图4中任一项所对应的实施例中所提及的任一技术特征也同样适用于本申请实施例中的图5和图6所对应的实施例，后续类似之处不再赘述。

以上对本申请实施例中一种检测闯红灯事件的方法进行说明，以下对执行上述检测闯红灯事件的方法的装置进行介绍。

上面对本申请实施例中的一种检测闯红灯事件的方法进行了描述，下面对本申请实施例中的用于检测闯红灯事件的装置进行描述。

参阅图5，如图5所示的一种用于检测闯红灯事件的装置50的结构示意图，其可应用于交通管理系统、能够检测大型车辆、电动车和自行车，能够提高闯红灯检测算。本申请实施例中的用于检测闯红灯事件的装置50能够实现对应于上述图1所对应的实施例中所执行的检测闯红灯事件的方法的步骤。装置50实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述装置50可包括处理模块、输入输出模块和存储模块，所述处理模块、所述输入输出模块和所述存储模块的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。例如，所述处理模块可用于控制所述输入输出模块的输入输出操作，以及控制所述显示模块的显示操作。

一些实施方式中，处理模块，用于根据当前帧的置信度确定所述当前帧的状态，根据所述当前帧的状态触发红灯状态逻辑；

所述输入输出模块可用于根据发送当前帧的终端的定位信息获取当前帧对应的速度；

所述处理模块还用于当所述当前帧对应的速度大于预设阈值时，触发速度逻辑；利用所述输入输出模块通过所述定位信息获取当前帧对应的航向角信息；

所述处理模块还用于当所述输入输出模块获取的所述航向角信息满足方向逻辑的触发条件时，触发方向逻辑；对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；根据所述红灯状态、所述方向逻辑、所述速度逻辑和所述截停逻辑判断出当前帧为疑似闯红灯事件；触发事件处理逻辑；

所述输入输出模块还用于输出所述疑似闯红灯事件；

所述存储模块可用于记录所述疑似闯红灯事件。

本申请实施例中，所述处理模块根据当前帧的置信度确定的当前帧状态去触发红灯状态逻辑，在当前帧对应的速度大于预设阈值时触发速度逻辑；在航向角信息满足方向逻辑开启条件时开启方向逻辑；对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；根据上述红灯状态、方向、速度、截停逻辑判断出当前帧为疑似闯红灯事件。可见，本申请实施例对采集的视频中的行为进行分层分析和分类分析，即分层去触发后续事件，且后续事件依赖前序事件而触发，这样能够有效减少误报现象以及提高算法的精度。

一些实施方式中，所述处理模块根据所述当前帧的置信度确定所述当前帧的状态之前，还用于：

通过所述输入输出模块采集当前帧，通过检测模型检测边界回归窗口的第一位置，所述边界回归窗口用于指示所述当前帧中存在信号灯的区域；

所述根据所述当前帧的置信度确定所述当前帧的状态，包括：

当所述当前帧中存在多个信号灯时，根据所述当前帧的中心轴与每个信号灯对应的边界回归窗口的中心点的距离，计算出多个偏置值；

将偏置值对应添加到各信号灯的边界回归窗口的置信度，得到多个待调置信度；

将所述多个待调置信度中最大的待调置信度对应的信号灯的类别作为所述当前帧的状态。

一些实施方式中，所述处理模块具体用于：

根据所述定位信息获取所述当前帧对应的速度向量；

对所述速度向量进行线性插值处理；

对线性插值处理后的所述速度向量进行预测，得到所述当前帧的速度。

一些实施方式中，所述当前帧由车辆上搭载的终端采集；所述方向逻辑的触发条件包括以下条件之一：

若当前帧与前一帧的航向角之差大于第一角度，则确定所述车辆为右转，若当前帧与前一帧的航向角之差小于第二角度，则确定所述车辆为左转；

若当前帧航向角与所述红灯状态队列中最前帧的航向角之差大于第三角度，则确定所述车辆右转，当前帧航向角与所述红灯状态队列中最前帧的航向角之差小于第四角度，则确定所述车辆左转；

计算所述当前帧与当前帧之前的所有帧的航向角的均值，若所述当前帧与所述均值的航向角信息之差大于第五角度，则确定所述车辆右转，若所述当前帧与所述均值的航向角信息之差小于第六角度，则确定所述车辆左转。

一些实施方式中，所述处理模块在根据所述当前帧的状态触发红灯状态逻辑之前，还用于：

建立红灯状态队列，所述红灯状态队列包括多个在时域上连续的多个包含红灯的帧；

若每检测到一帧，则将当前帧的状态添加至所述红灯状态队列；

所述根据所述当前帧的状态触发红灯状态逻辑，包括：

若当前所述红灯状态队列中超过预设比例的状态为红灯，则触发红灯状态逻辑。

一些实施方式中，所述处理模块具体用于：

若上边界与下边界之差与图像高的比值大于第一阈值，则确定所述车辆行驶方向平行于人行道，若所述下边界与图像下边界的距离与所述图像高的比值小于第二阈值，则触发截停逻辑；

或者，若上边界与下边界之差与所述图像高的比值小于第三阈值，则确定所述车辆行驶方向垂直于人行道，若所述上边界与图像下边界的距离与所述图像高的比值小于第四阈值，则触发截停逻辑。

一些实施方式中，所述处理模块在触发事件处理逻辑，所述输入输出模块输出之后，还用于：

通过所述存储模块记录状态队列向量，所述状态队列向量包括长度不同的左转状态队列、右转状态队列和速度状态队列；所述状态队列向量记录疑似闯红灯事件后的N帧中有左转、右转和速度为0的帧数，其中，N为各个状态队列的长度值；

若所述左转状态队列、所述右转状态队列和所述速度状态队列中存在满足计数大于或等于N_state的情况，则消除所述疑似闯红灯事件。

上面从模块化功能实体的角度对本申请实施例中的网络认证服务器和终端设备进行了描述，下面从硬件处理的角度分别对本申请实施例中的网络认证服务器和终端设备进行描述。需要说明的是，在本申请实施例图5所示的实施例中的收发模块对应的实体设备可以为输入输出单元，处理模块对应的实体设备可以为处理器，存储模块所对应的实体设备可以是存储器。图5所示的装置可以具有如图6所示的结构，当图5所示的装置具有如图6所示的结构时，图6中的处理器和输入输出单元能够实现前述对应该装置的装置实施例提供的处理模块和收发模块相同或相似的功能，图6中的中央存储器存储处理器执行上述检测闯红灯事件的方法时需要调用的计算机程序。在本申请实施例图5所示的实施例中的输入输出模块所对应的实体设备可以为输入输出接口，处理模块对应的实体设备可以为处理器。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。

Claims (10)

1.一种检测闯红灯事件的方法，其特征在于，所述方法包括：

根据当前帧的置信度确定所述当前帧的状态，根据所述当前帧的状态触发红灯状态逻辑；

根据发送当前帧的终端的定位信息获取当前帧对应的速度，当所述当前帧对应的速度大于预设阈值时，触发速度逻辑；

通过所述定位信息获取当前帧对应的航向角信息，当所述航向角信息满足方向逻辑的触发条件时，触发方向逻辑；

对所述当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；

根据所述红灯状态、所述方向逻辑、所述速度逻辑和所述截停逻辑判断出当前帧为疑似闯红灯事件；

触发事件处理逻辑，输出并记录疑似闯红灯事件。

2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧的置信度确定所述当前帧的状态之前，所述方法还包括：

采集当前帧，通过检测模型检测边界回归窗口的第一位置，所述边界回归窗口用于指示所述当前帧中存在信号灯的区域；

所述根据所述当前帧的置信度确定所述当前帧的状态，包括：

当所述当前帧中存在多个信号灯时，根据所述当前帧的中心轴与每个信号灯对应的边界回归窗口的中心点的距离，计算出多个偏置值；

将偏置值对应添加到各信号灯的边界回归窗口的置信度，得到多个待调置信度；

将所述多个待调置信度中最大的待调置信度对应的信号灯的类别作为所述当前帧的状态。

3.根据权利要求2所述的方法，其特征在于，所述根据发送当前帧的终端的定位信息获取当前帧对应的速度，包括：

根据所述定位信息获取所述当前帧对应的速度向量；

对所述速度向量进行线性插值处理；

对线性插值处理后的所述速度向量进行预测，得到所述当前帧的速度。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述当前帧由车辆上搭载的终端采集；所述方向逻辑的触发条件包括以下条件之一：

若当前帧与前一帧的航向角之差大于第一角度，则确定所述车辆为右转，若当前帧与前一帧的航向角之差小于第二角度，则确定所述车辆为左转；

若当前帧航向角与所述红灯状态队列中最前帧的航向角之差大于第三角度，则确定所述车辆右转，当前帧航向角与所述红灯状态队列中最前帧的航向角之差小于第四角度，则确定所述车辆左转；

计算所述当前帧与当前帧之前的所有帧的航向角的均值，若所述当前帧与所述均值的航向角信息之差大于第五角度，则确定所述车辆右转，若所述当前帧与所述均值的航向角信息之差小于第六角度，则确定所述车辆左转。

5.根据权利要求1所述的方法，其特征在于，在根据所述当前帧的状态触发红灯状态逻辑之前，所述方法还包括：

建立红灯状态队列，所述红灯状态队列包括多个在时域上连续的多个包含红灯的帧；

若每检测到一帧，则将当前帧的状态添加至所述红灯状态队列；

所述根据所述当前帧的状态触发红灯状态逻辑，包括：

若当前所述红灯状态队列中超过预设比例的状态为红灯，则触发红灯状态逻辑。

6.根据权利要求3所述的方法，其特征在于，所述当上边界与下边界之差满足预设的区分条件时，触发截停逻辑，包括：

若上边界与下边界之差与图像高的比值大于第一阈值，则确定所述车辆行驶方向平行于人行道，若所述下边界与图像下边界的距离与所述图像高的比值小于第二阈值，则触发截停逻辑；

或者，若上边界与下边界之差与所述图像高的比值小于第三阈值，则确定所述车辆行驶方向垂直于人行道，若所述上边界与图像下边界的距离与所述图像高的比值小于第四阈值，则触发截停逻辑。

7.根据权利要求5所述的方法，其特征在于，所述触发事件处理逻辑，输出并记录疑似闯红灯事件之后，所述方法还包括：

记录状态队列向量，所述状态队列向量包括长度不同的左转状态队列、右转状态队列和速度状态队列；所述状态队列向量记录疑似闯红灯事件后的N帧中存在左转、右转和速度为0的帧数，其中，N为各个状态队列的长度值；

若所述左转状态队列、所述右转状态队列和所述速度状态队列中存在满足计数大于或等于N_state，则消除所述疑似闯红灯事件。

8.一种用于检测闯红灯事件的装置，其特征在于，所述装置包括：

处理模块，用于根据当前帧的置信度确定所述当前帧的状态，根据所述当前帧的状态触发红灯状态逻辑；

输入输出模块，用于根据发送当前帧的终端的定位信息获取当前帧对应的速度；

所述处理模块还用于当所述当前帧对应的速度大于预设阈值时，触发速度逻辑；利用所述输入输出模块通过所述定位信息获取当前帧对应的航向角信息；

所述处理模块还用于当所述输入输出模块获取的所述航向角信息满足方向逻辑的触发条件时，触发方向逻辑；对当前帧中的人行道进行语义分割，得到上边界和下边界，当上边界与下边界之差满足预设的区分条件时，触发截停逻辑；根据所述红灯状态、所述方向逻辑、所述速度逻辑和所述截停逻辑判断出当前帧为疑似闯红灯事件；触发事件处理逻辑；

所述输入输出模块还用于输出所述疑似闯红灯事件；

存储模块，用于记录所述疑似闯红灯事件。

9.一种计算机设备，其特征在于，所述计算机设备包括：

至少一个处理器、存储器和收发器；

其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1-7中所述的方法。

10.一种计算机可读存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中所述的方法。

Images