CN110991224A - 基于图像识别的行人闯红灯检测方法、装置及相关设备 - Google Patents

Abstract

本发明提供一种基于图像识别的行人闯红灯检测方法，包括：在斑马线对应的指示灯显示为红灯时，连续获取斑马线区域内的至少两张包含了行人的第一图像；当第一图像中的行人为同一个行人，根据行人的位置确定行人的行为轨迹，当行人的行为轨迹与斑马线的指示方向垂直时，采用YOLO目标检测算法检测到每张第一图像中均有预设目标对象时，确定行人未闯红灯。本发明还提供一种基于图像识别的行人闯红灯检测装置及相关设备。本发明能够根据行人的行为轨迹确定行人的通行方向，避免将通行方向正确的行人误判为闯红灯，降低了误判率，提高了检测精度。

Description

基于图像识别的行人闯红灯检测方法、装置及相关设备

技术领域

本发明涉及智能交通技术领域，具体涉及一种基于图像识别的行人闯红灯检测方法、装置及相关设备。

背景技术

随着我国经济的快速发展，私家车拥有数量的日益增多，道路拥挤、堵塞现象已越来越严重，其中行人与行车矛盾最为突出。现阶段行人与行车抢占道路资源而导致的交通事故频发，已然成为城市道路交通的一大隐患。

目前在城市中有很多由红绿灯控制交通的交叉路口，在这些交叉路口安装有摄像头，通过摄像头检测斑马线上是否有行人，一旦摄像头在红灯时检测到斑马线上出现了行人，即判定该行人有闯红灯的行为。然而，并未将行人的行为轨迹与实际情形相结合来考虑，将正常通行的行人误判为闯红灯，导致检测结果不准。

由此有必要提供一种新的基于图像识别的行人闯红灯检测方案，以解决现有技术中未考虑行人的行为轨迹，导致检测结果精度不高的技术问题。

发明内容

鉴于以上内容，有必要提出一种基于图像识别的行人闯红灯检测方法、装置及相关设备，能够根据行人的行为轨迹确定行人的通行方向，避免将通行方向正确的行人误判为闯红灯，降低了误判率，提高了检测精度。

本发明的第一方面提供一种基于图像识别的行人闯红灯检测方法，所述方法包括：

在斑马线对应的指示灯显示为红灯时，获取所述斑马线区域内的至少两张包含了行人的第一图像；

识别所述至少两张第一图像中的行人是否为同一个行人；

基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹；

当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象；

当每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。

优选的，所述根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹包括：

将所述第一图像的左上角确定为坐标原点，所述第一图像的上边确定为横坐标轴，所述第一图像的左边确定为纵坐标轴；

获取每张所述第一图像中所述行人的中心点位置坐标，其中，所述中心点位置坐标包括中心点横坐标和中心点纵坐标；

基于每张所述第一图像中的所述中心点横坐标确定所述行人的横向位移；

基于每张所述第一图像中的所述中心点纵坐标确定所述行人的纵向位移；

根据所述行人的横向位移和所述纵向位移确定所述行人的行为轨迹。

优选的，所述根据所述行人的横向位移和所述纵向位移确定所述行人的行为轨迹包括：

判断所述横向位移的绝对值是否大于第一阈值及所述纵向位移的绝对值是否大于第二阈值；

当所述横向位移的绝对值大于所述第一阈值，且所述纵向位移的绝对值小于所述第二阈值时，确定所述行人的行为轨迹与所述斑马线的指示方向垂直；

当所述横向位移的绝对值小于所述第一阈值，且所述纵向位移的绝对值大于所述第二阈值时，确定所述行人的行为轨迹与所述斑马线的指示方向平行。

优选的，所述方法还包括：

当所述行人的行为轨迹与所述斑马线的指示方向平行时，获取所述指示灯显示为红灯之前的所述斑马线区域内的至少一张包含了行人的第二图像；

识别所述至少两张第一图像中的行人与所述至少一张第二图像中的行人是否为同一个行人；

当所述至少两张第一图像中的行人与所述至少一张第二图像中的行人为同一个行人时，确定所述行人未闯红灯。

优选的，所述获取所述斑马线区域内的至少两张包含了行人的第一图像包括：

连续获取所述斑马线区域内的多张监测图像；

采用人脸检测算法检测每张所述监测图像中是否有行人；

从所述多张监测图像中筛选出有行人的目标图像；

从所述目标图像中筛选出至少两张第一图像，其中，所述至少两张第一图像为连续帧图像。

优选的，所述采用人脸检测算法检测每张所述监测图像中是否有行人包括：

获取所述斑马线区域内的背景图像；

将每张所述监测图像与所述背景图像进行差分处理得到差分监测图像；

采用所述人脸检测算法检测每张差分监测图像中是否有行人。

优选的，在确定所述行人闯红灯之后，所述方法还包括：

对所述行人进行特征识别；

提取所述特征识别的识别结果；

根据所述识别结果进行语音播报。

本发明的第二方面提供基于图像识别的行人闯红灯检测装置，所述装置包括：

获取模块，用于在斑马线对应的指示灯显示为红灯时，获取所述斑马线区域内的至少两张包含了行人的第一图像；

识别模块，用于识别所述至少两张第一图像中的行人是否为同一个行人；

第一确定模块，用于基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹；

检测模块，用于当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象；

第二确定模块，用于当每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。

本发明的第三方面提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述基于图像识别的行人闯红灯检测方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于图像识别的行人闯红灯检测方法。

综上所述，本发明所述的基于图像识别的行人闯红灯检测方法、装置及相关设备，通过在斑马线对应的指示灯显示为红灯时，获取所述斑马线区域内的至少两张包含了行人的第一图像；识别所述至少两张第一图像中的行人是否为同一个行人；基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹；当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象；当每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。本发明通过当斑马线对应的指示灯显示为红灯时，所述摄像头连续拍摄的多张第一图像中的行人的行为轨迹方向与所述斑马线指示方向之间的位置关系，确定所述行人是否闯红灯，避免了通行向正确的行人误判为闯红灯，降低了误判率，提高了检测精度。

附图说明

图1是本发明实施例一提供的基于图像识别的行人闯红灯检测方法的流程图。

图2是行人的行为轨迹与斑马线指示方向垂直的示意图。

图3是行人的行为轨迹与斑马线指示方向平行的示意图。

图4是本发明实施例二提供的基于图像识别的行人闯红灯检测装置的结构图。

图5是本发明实施例三提供的终端的结构示意图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一

图1是本发明实施例一提供的基于图像识别的行人闯红灯检测方法的流程图。

在本实施例中，所述基于图像识别的行人闯红灯检测方法可以应用于终端中，对于需要进行基于图像识别的行人闯红灯检测的终端，可以直接在终端上集成本发明的方法所提供的基于图像识别的行人闯红灯检测的功能，或者以软件开发工具包(SoftwareDevelopment Kit，SKD)的形式运行在终端中。

如图1所示，所述基于图像识别的行人闯红灯检测方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。

S11:在斑马线对应的指示灯显示为红灯时，获取所述斑马线区域内的至少两张包含了行人的第一图像。

本实施例中，在十字路口处均设置有多个交通指示灯、多个摄像头及多组斑马线。本发明以其中的一个指示灯及所述指示灯对应的摄像头和所述指示灯指示的斑马线为例进行说明。当所述指示灯显示为红灯时，所述指示灯指示方向所对应的摄像头拍摄所述斑马线所在区域内的图像，获取至少两张包含有行人的第一图像。

优选的，所述获取所述斑马线区域内的至少两张包含了行人的第一图像包括：

连续获取所述斑马线区域内的多张监测图像；

采用人脸检测算法检测每张所述监测图像中是否有行人；

从所述多张监测图像中筛选出有行人的目标图像；

从所述目标图像中筛选出至少两张第一图像，其中，所述至少两张第一图像为连续帧图像。

本实施例中，通过获取所述摄像头连续拍摄的所述斑马线区域内的多张包含有行人的目标图像，其中，所述目标图像为至少两张为连续帧的第一图像。

进一步的，所述采用人脸检测算法检测每张所述监测图像中是否有行人包括：

111)获取所述斑马线区域内的背景图像；

本实施例中，在斑马线对应的指示灯显示为红灯且所述斑马线区域内没有行人时，通过所述指示灯对应的所述摄像头拍摄一张图像，作为背景图像；或者从视频中截取一帧所述斑马线对应的指示灯显示为红灯且所述斑马线区域内没有行人时的图像，作为背景图像。

应当理解的是，所述背景图像中只包含背景信息，例如，天空信息，马路信息等，而不包含任何行人的个人信息。

112)将每张所述监测图像与所述背景图像进行差分处理得到差分监测图像；

本实施例中，由于背景图像为所述指示灯显示为红灯且无行人的图像，监测图像是在背景图像的基础上在所述斑马线区域上增加了行人这一前景的图像，由于所述摄像头的拍摄位置固定，即背景图像与所述监测图像的大小是相同的，因而可以直接将监测图像中的每个像素与所述背景图像中的相对应的像素进行差分处理，去掉监测图像中属于背景的区域，得到的差分监测图像基本上仅包括了行人这一前景，从而有利于人脸检测。

113)采用所述人脸检测算法检测每张差分监测图像中是否有行人。

本实施例中，通过对每张差分监测图像采用人脸检测算法进行人脸检测，确定每张所述差分监测图像中是否有行人，其中，所述人脸检测算法为现有技术，本发明在此不做详细阐述。

S12：识别所述至少两张第一图像中的行人是否为同一个行人。

本实施例中，提取至少两张第一图像中每张第一图像中的特征，通过比较任意两张第一图像中的特征的差值是否均小于预设差值阈值，当任意两张第一图像中的特征的差值均小于预设差值阈值时，确定至少两张第一图像中的行人为同一个行人，当任意两张第一图像中的特征的差值均大于预设差值阈值，确定至少两张第一图像中的行人不为同一个行人。关于特征提取为现有技术，本发明不做详细介绍。

优选的，识别所述至少两张第一图像中的行人是否为同一个行人为识别至少两张第一差分监测图像中的行人是否为同一个行人。提取至少两张第一差分监测图像中每张第一差分监测图像中的特征，通过比较任意两张第一差分监测图像中的特征的差值是否均小于预设差值阈值，根据比较结果确定至少两张第一差分监测图像中的行人是否为同一个行人，进而确定至少两张第一图像中的行人是否为同一个行人。

S13：基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹。

本实施例中，提取出同一行人的多张第一图像中的多个位置确定所述行人的行人轨迹。

优选的，所述基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹包括：

将所述第一图像的左上角确定为坐标原点，所述第一图像的上边确定为横坐标轴，所述第一图像的左边确定为纵坐标轴；

获取每张所述第一图像中所述行人的中心点位置坐标，其中，所述中心点位置坐标包括中心点横坐标和中心点纵坐标；

基于每张所述第一图像中的所述中心点横坐标确定所述行人的横向位移；

基于每张所述第一图像中的所述中心点纵坐标确定所述行人的纵向位移；

根据所述行人的横向位移和所述纵向位移确定所述行人的行为轨迹。

本实施例中，当所述摄像头拍摄到同一个行人的多张第一图像时，根据所述第一图像中携带的时间帧，将时间最小的第一图像的左上角确定为坐标原点、上边确定为横轴坐标和左边确定为纵轴坐标，其中，所述横轴坐标和所述纵轴坐标作为行人移动轨迹方向的基准，基于所述基准及每张所述第一图像中的所述行人的中心点位置坐标中的中心点横坐标和中心点纵坐标确定所述行人的横向位移和纵向位移。如图2所示，在斑马线对应的指示灯显示为红灯时，所述摄像头连续拍摄的两张第一图像中包含有同一个行人F1，T₁时刻拍摄的第一张第一图像A，T₂时刻拍摄的第二张第一图像B，其中，T1＜T2，将T₁时刻拍摄的第一张第一图像A的左上角确定为坐标原点，则所述第一图像A中的所述行人F1的中心位置坐标为(X₁，Y₁)，T₂时刻拍摄的第二张第一图像B中的所述行人F1的中心位置坐标为(X₂，Y₂)，基于所述行人F1的中心点的横坐标X₁和X₂确定所述行人的横向位移等于X₂-X₁，基于所述行人F1的中心点的纵坐标Y₁和Y₂确定所述行人的纵向位移等于Y₂-Y₁，根据所述行人的横向位移和所述行人的纵向位移确定所述行人的行为轨迹方向。

进一步的，所述根据所述行人的横向位移和所述纵向位移确定所述行人的行为轨迹包括：

判断所述横向位移的绝对值是否大于第一阈值及所述纵向位移的绝对值是否大于第二阈值；

当所述横向位移的绝对值大于所述第一阈值，且所述纵向位移的绝对值小于所述第二阈值时，确定所述行人的行为轨迹与所述斑马线的指示方向垂直；

当所述横向位移的绝对值小于所述第一阈值，且所述纵向位移的绝对值大于所述第二阈值时，确定所述行人的行为轨迹与所述斑马线的指示方向平行。

本实施例中，可以预先设置横轴坐标对应的第一阈值，和纵轴坐标对应的第二阈值。根据比对所述行人的横向位移的绝对值与所述第一阈值的大小，同时比对所述行人的纵向位移的绝对值与所述第二阈值的大小来确定所述行人的行为轨迹方向与所述斑马线的指示方向之间的关系。

参阅图2所示，假设所述行人F1在T₁时刻的中心位置坐标为(X₁，Y₁)，T₂时刻的中心位置坐标为(X₂，Y₂)，其中，T₁＜T₂，则所述行人横向位移的绝对值等于||X₂-X₁||，所述行人的纵向位移的绝对值等于||Y₂-Y₁||，预先设置的第一阈值为M，所述第二阈值为N，当所述||X₂-X₁||≥M且所述||Y₂-Y₁||≤N时，认为所述行人横穿斑马线，即所述行人的行为轨迹与所述斑马线的指示方向垂直；当所述||X₂-X₁||≤M且所述||Y₂-Y₁||≥N时，认为所述行人过斑马线，即所述行人的行为轨迹与所述斑马线的指示方向平行，M或者N可以为0。

本实施例中，通过所述行人的行为轨迹方向与所述斑马线的指示方向之间的关系，可以快速的确定出所述行人的通行方向，并根据所述行人的通行方向确定所述行人是否闯红灯，减少了行人闯红灯的误判率。

S14：当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象。

本实施例中，所述预设目标对象是指机动车，比如摩托车，三轮车或者自行车等，采用YOLO目标检测算法检测所述第一图像中是否有预设目标对象。

本实施例中，所述YOLO目标检测算法为现有技术，本发明在此不作详细阐述。

S15：当每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。

本实施例中，当采用YOLO目标检测算法检测的每张所述第一图像中均有预设目标对象时，确定所述行人未闯红灯。

再次参阅图2所示，假设所述行人F1在T₁时刻的第一图像中的中心位置坐标为(X₁，Y₁)，T₂时刻的第一图像中的中心位置坐标为(X₂，Y₂)，其中，T₁＜T₂，所述行人F1的行为轨迹与所述斑马线的指示方向垂直，如果在T₁时刻和T₂时刻拍摄的所述第一图像中都检测到既有行人，又有预设目标对象，如电动车，说明所述行人在正常骑电动车过马路，确定所述行人未闯红灯，可以避免行人骑着摩托车或者电动车沿着绿灯指示方向在机动车轨道上低速行驶穿过指示灯显示为红灯的斑马线时被摄像头抓拍到行人图像误判为闯红灯的现象，在一定的程度上减小了行人闯红灯的误判率。

进一步的，所述方法还包括：

当所述行人的行为轨迹与所述斑马线的指示方向平行时，获取所述指示灯显示为红灯之前的所述斑马线区域内的至少一张包含了行人的第二图像；

识别所述至少两张第一图像中的行人与所述至少一张第二图像中的行人是否为同一个行人；

当所述至少两张第一图像中的行人与所述至少一张第二图像中的行人为同一个行人时，确定所述行人未闯红灯。

本实施例中，指示灯显示的颜色包括红色、绿色和黄色三种，如果所述行人的行为轨迹与所述斑马线的指示方向平行时，在斑马线对应的指示灯切换为绿灯时，获取所述斑马线区域内的至少一张包含了行人的第二图像，将所述第二图像中的行人与所述第一图像中的行人进行识别，若所述第二图像中的行人与所述任意一张第一图像中的行人为同一个行人，确定所述行人未闯红灯。

示例性的，假设所述行人F1在T₃时刻的第一图像中的中心位置坐标为(X₃，Y₃)，T₄时刻的第一图像中的中心位置坐标为(X₄，Y₄)，其中，T₃＜T₄，确定所述行人的行为轨迹与所述斑马线指示方向平行，如图3所示。在指示灯切换为红灯之前，获取所述指示灯为绿灯时的斑马线区域内的至少一张包含了所述行人F1的第二图像，确定所述行人F1在绿灯期间未通过所述斑马线区域，为滞留在斑马线上，不属于闯红灯。

本实施例中，通过所述行人的行为轨迹判断所述行人是否闯红灯，可以排除在所述指示灯显示为绿灯期间未通过斑马线且在所述指示灯为红灯期间滞留在斑马线上的行人被误判为闯红灯的情况，减小了行人闯红灯的误判率，在一定的程度上降低了人工成本。

更进一步的，所述方法还包括：

当检测到所述至少两张第一图像中没有所述预设目标对象时，确定所述行人闯红灯；或者

当所述至少两张第一图像中的行人与所述至少一张第二图像中的行人不为同一个行人时，确定所述行人闯红灯。

参阅图3所示，假设所述行人F1在T₃时刻的第一图像中的中心位置坐标为(X₃，Y₃)，T₄时刻的第一图像中的中心位置坐标为(X₄，Y₄)，其中，T₃＜T₄，确定所述行人F1和所述斑马线指示的方向平行，在T₃时刻和T₄时刻拍摄到的所述第一图像中有一张没有检测到预设目标对象，说明所述行人的行为轨迹与所述斑马线指示的方向平行，确定所述行人闯红灯。

再次参阅图3所示，假设所述行人F1在T₃时刻的第一图像中的中心位置坐标为(X₃，Y₃)，T₄时刻的第二图像中的中心位置坐标为(X₄，Y₄)，其中，T₃＜T₄，确定所述行人F1和所述斑马线指示的方向平行，在T₃时刻之前，当所述指示灯为绿灯时获取所述至少一张包含了行人F2的第二图像，当所述行人F1和所述行人F2不为同一个行人时，说明所述行人F1不是在绿灯期间就开始通行，而是在红灯期间开始通行，确定所述行人F1闯红灯。

本实施例中，当确定所述行人和所述斑马线指示的方向平行时，通过判断所述第一图像中是否有预设目标对象或者所述第二图像中的行人是否与所述第一图像中的行人是否为同一行人，确定所述行人是否闯红灯，避免了因行人正常过马路而被误判为闯红灯的现象，在一定的程度上降低了闯红灯检测的误判率。

更进一步的，当在确定所述行人闯红灯之后，所述方法还包括：

对所述行人进行特征识别；

提取所述特征识别的识别结果；

根据所述识别结果进行语音播报。

本实施例中，对闯红灯的行人进行特征识别，所述特征识别包括外观特征但不限于性别、衣服、身高等，通过语音播报所述特征识别结果，例如：“穿红衣服的帅哥请勿闯红灯”。

本实施例中，通过对闯红灯的行人进行有针对性的播报，增加违法者心理压力，同时减少无效重复的播报，降低噪声。本实施例中，通过对所述行人闯红灯进行语音播报，告警所述行人闯红灯，同时将闯红灯次数超过预设的次数阈值的行人的人脸图像投影到电子显示屏上，增加了行人闯红灯的心理负担，减少了行人闯红灯的违法行为，保证了行人的出行安全。

综上所述，本发明所述的基于图像识别的行人闯红灯检测方法，通过在斑马线对应的指示灯显示为红灯时，获取所述斑马线区域内的至少两张包含了行人的第一图像；识别所述至少两张第一图像中的行人是否为同一个行人；基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹；当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象；当每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。本发明通过当斑马线对应的指示灯显示为红灯时，所述摄像头连续拍摄的多张第一图像中的行人的行为轨迹方向与所述斑马线指示方向之间的位置关系，确定所述行人是否闯红灯，避免了通行向正确的行人误判为闯红灯，降低了误判率，提高了检测精度。

实施例二

图4是本发明实施例二提供的基于图像识别的行人闯红灯检测装置的结构图。

在一些实施例中，所述基于图像识别的行人闯红灯检测装置40可以包括多个由程序代码段所组成的功能模块。所述基于图像识别的行人闯红灯检测装置40中的各个程序段的程序代码可以存储于终端的存储器中，并由所述至少一个处理器所执行，以执行(详见图1描述)基于图像识别的行人闯红灯的检测。

本实施例中，所述基于图像识别的行人闯红灯检测装置40根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块401、识别模块402、第一确定模块403、检测模块404、第二确定模块405、提取模块406及播报模块407。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

获取模块401：用于在斑马线对应的指示灯显示为红灯时，获取所述斑马线区域内的至少两张包含了行人的第一图像。

本实施例中，在十字路口处均设置有多个交通指示灯、多个摄像头及多组斑马线。本发明以其中的一个指示灯及所述指示灯对应的摄像头和所述指示灯指示的斑马线为例进行说明。当所述指示灯显示为红灯时，所述指示灯指示方向所对应的摄像头拍摄所述斑马线所在区域内的图像，获取至少两张包含有行人的第一图像。

优选的，所述获取所述斑马线区域内的至少两张包含了行人的第一图像包括：

连续获取所述斑马线区域内的多张监测图像；

采用人脸检测算法检测每张所述监测图像中是否有行人；

从所述多张监测图像中筛选出有行人的目标图像；

从所述目标图像中筛选出至少两张第一图像，其中，所述至少两张第一图像为连续帧图像。

本实施例中，通过获取所述摄像头连续拍摄的所述斑马线区域内的多张包含有行人的目标图像，其中，所述目标图像为至少两张为连续帧的第一图像。

进一步的，所述采用人脸检测算法检测每张所述监测图像中是否有行人包括：

111)获取所述斑马线区域内的背景图像；

本实施例中，在斑马线对应的指示灯显示为红灯且所述斑马线区域内没有行人时，通过所述指示灯对应的所述摄像头拍摄一张图像，作为背景图像；或者从视频中截取一帧所述斑马线对应的指示灯显示为红灯且所述斑马线区域内没有行人时的图像，作为背景图像。

应当理解的是，所述背景图像中只包含背景信息，例如，天空信息，马路信息等，而不包含任何行人的个人信息。

112)将每张所述监测图像与所述背景图像进行差分处理得到差分监测图像；

本实施例中，由于背景图像为所述指示灯显示为红灯且无行人的图像，监测图像是在背景图像的基础上在所述斑马线区域上增加了行人这一前景的图像，由于所述摄像头的拍摄位置固定，即背景图像与所述监测图像的大小是相同的，因而可以直接将监测图像中的每个像素与所述背景图像中的相对应的像素进行差分处理，去掉监测图像中属于背景的区域，得到的差分监测图像基本上仅包括了行人这一前景，从而有利于人脸检测。

113)采用所述人脸检测算法检测每张差分监测图像中是否有行人。

本实施例中，通过对每张差分监测图像采用人脸检测算法进行人脸检测，确定每张所述差分监测图像中是否有行人，其中，所述人脸检测算法为现有技术，本发明在此不做详细阐述。

识别模块402：用于识别所述至少两张第一图像中的行人是否为同一个行人。

本实施例中，提取至少两张第一图像中每张第一图像中的特征，通过比较任意两张第一图像中的特征的差值是否均小于预设差值阈值，当任意两张第一图像中的特征的差值均小于预设差值阈值时，确定至少两张第一图像中的行人为同一个行人，当任意两张第一图像中的特征的差值均大于预设差值阈值，确定至少两张第一图像中的行人不为同一个行人。关于特征提取为现有技术，本发明不做详细介绍。

优选的，识别所述至少两张第一图像中的行人是否为同一个行人为识别至少两张第一差分监测图像中的行人是否为同一个行人。提取至少两张第一差分监测图像中每张第一差分监测图像中的特征，通过比较任意两张第一差分监测图像中的特征的差值是否均小于预设差值阈值，根据比较结果确定至少两张第一差分监测图像中的行人是否为同一个行人，进而确定至少两张第一图像中的行人是否为同一个行人。

第一确定模块403：用于所述识别模块402识别基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹。

本实施例中，提取出同一行人的多张第一图像中的多个位置确定所述行人的行人轨迹。

优选的，所述基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹包括：

将所述第一图像的左上角确定为坐标原点，所述第一图像的上边确定为横坐标轴，所述第一图像的左边确定为纵坐标轴；

获取每张所述第一图像中所述行人的中心点位置坐标，其中，所述中心点位置坐标包括中心点横坐标和中心点纵坐标；

基于每张所述第一图像中的所述中心点横坐标确定所述行人的横向位移；

基于每张所述第一图像中的所述中心点纵坐标确定所述行人的纵向位移；

根据所述行人的横向位移和所述纵向位移确定所述行人的行为轨迹。

本实施例中，当所述摄像头拍摄到同一个行人的多张第一图像时，根据所述第一图像中携带的时间帧，将时间最小的第一图像的左上角确定为坐标原点、上边确定为横轴坐标和左边确定为纵轴坐标，其中，所述横轴坐标和所述纵轴坐标作为行人移动轨迹方向的基准，基于所述基准及每张所述第一图像中的所述行人的中心点位置坐标中的中心点横坐标和中心点纵坐标确定所述行人的横向位移和纵向位移。如图2所示，在斑马线对应的指示灯显示为红灯时，所述摄像头连续拍摄的两张第一图像中包含有同一个行人F1，T₁时刻拍摄的第一张第一图像A，T₂时刻拍摄的第二张第一图像B，其中，T₁＜T₂，将T₁时刻拍摄的第一张第一图像A的左上角确定为坐标原点，则所述第一图像A中的所述行人F1的中心位置坐标为(X₁，Y₁)，T₂时刻拍摄的第二张第一图像B中的所述行人F1的中心位置坐标为(X₂，Y₂)，基于所述行人F1的中心点的横坐标X₁和X₂确定所述行人的横向位移等于X₂-X₁，基于所述行人F1的中心点的纵坐标Y₁和Y₂确定所述行人的纵向位移等于Y₂-Y₁，根据所述行人的横向位移和所述行人的纵向位移确定所述行人的行为轨迹方向。

进一步的，所述根据所述行人的横向位移和所述纵向位移确定所述行人的行为轨迹包括：

判断所述横向位移的绝对值是否大于第一阈值及所述纵向位移的绝对值是否大于第二阈值；

当所述横向位移的绝对值大于所述第一阈值，且所述纵向位移的绝对值小于所述第二阈值时，确定所述行人的行为轨迹与所述斑马线的指示方向垂直；

当所述横向位移的绝对值小于所述第一阈值，且所述纵向位移的绝对值大于所述第二阈值时，确定所述行人的行为轨迹与所述斑马线的指示方向平行。

本实施例中，可以预先设置横轴坐标对应的第一阈值，和纵轴坐标对应的第二阈值。根据比对所述行人的横向位移的绝对值与所述第一阈值的大小，同时比对所述行人的纵向位移的绝对值与所述第二阈值的大小来确定所述行人的行为轨迹方向与所述斑马线的指示方向之间的关系。

参阅图2所示，假设所述行人F1在T₁时刻的中心位置坐标为(X₁，Y₁)，T₂时刻的中心位置坐标为(X₂，Y₂)，其中，T₁＜T₂，则所述行人横向位移的绝对值等于||X₂-X₁||，所述行人的纵向位移的绝对值等于||Y₂-Y₁||，预先设置的第一阈值为M，所述第二阈值为N，当所述||X₂-X₁||≥M且所述||Y₂-Y₁||≤N时，认为所述行人横穿斑马线，即所述行人的行为轨迹与所述斑马线的指示方向垂直；当所述||X₂-X₁||≤M且所述||Y₂-Y₁||≥N时，认为所述行人过斑马线，即所述行人的行为轨迹与所述斑马线的指示方向平行，M或者N可以为0。

本实施例中，通过所述行人的行为轨迹方向与所述斑马线的指示方向之间的关系，可以快速的确定出所述行人的通行方向，并根据所述行人的通行方向确定所述行人是否闯红灯，减少了行人闯红灯的误判率。

检测模块404：用于当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象。

本实施例中，所述预设目标对象是指机动车，比如摩托车，三轮车或者自行车等，采用YOLO目标检测算法检测所述第一图像中是否有预设目标对象。

本实施例中，所述YOLO目标检测算法为现有技术，本发明在此不作详细阐述。

第二确定模块405：用于当所述检测模块404检测到每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。

本实施例中，当采用YOLO目标检测算法检测的每张所述第一图像中均有预设目标对象时，确定所述行人未闯红灯。

再次参阅图2所示，假设所述行人F1在T₁时刻的第一图像中的中心位置坐标为(X₁，Y₁)，T₂时刻的第一图像中的中心位置坐标为(X₂，Y₂)，其中，T₁＜T₂，所述行人F1的行为轨迹与所述斑马线的指示方向垂直，如果在T₁时刻和T₂时刻拍摄的所述第一图像中都检测到既有行人，又有预设目标对象，如电动车，说明所述行人在正常骑电动车过马路，确定所述行人未闯红灯，可以避免行人骑着摩托车或者电动车沿着绿灯指示方向在机动车轨道上低速行驶穿过指示灯显示为红灯的斑马线时被摄像头抓拍到行人图像误判为闯红灯的现象，在一定的程度上减小了行人闯红灯的误判率。

进一步的，所述获取模块401：还用于当所述行人的行为轨迹与所述斑马线的指示方向平行时，获取所述指示灯显示为红灯之前的所述斑马线区域内的至少一张包含了行人的第二图像；

所述识别模块402：还用于识别所述至少两张第一图像中的行人与所述至少一张第二图像中的行人是否为同一个行人；

所述第二确定模块405：还用于当所述至少两张第一图像中的行人与所述至少一张第二图像中的行人为同一个行人时，确定所述行人未闯红灯。

本实施例中，指示灯显示的颜色包括红色、绿色和黄色三种，如果所述行人的行为轨迹与所述斑马线的指示方向平行时，在斑马线对应的指示灯切换为绿灯时，获取所述斑马线区域内的至少一张包含了行人的第二图像，将所述第二图像中的行人与所述第一图像中的行人进行识别，若所述第二图像中的行人与所述任意一张第一图像中的行人为同一个行人，确定所述行人未闯红灯。

示例性的，假设所述行人F1在T₃时刻的第一图像中的中心位置坐标为(X₃，Y₃)，T₄时刻的第一图像中的中心位置坐标为(X₄，Y₄)，其中，T₃＜T₄，确定所述行人的行为轨迹与所述斑马线指示方向平行，如图3所示。在指示灯切换为红灯之前，获取所述指示灯为绿灯时的斑马线区域内的至少一张包含了所述行人F1的第二图像，确定所述行人F1在绿灯期间未通过所述斑马线区域，为滞留在斑马线上，不属于闯红灯。

本实施例中，通过所述行人的行为轨迹判断所述行人是否闯红灯，可以排除在所述指示灯显示为绿灯期间未通过斑马线且在所述指示灯为红灯期间滞留在斑马线上的行人被误判为闯红灯的情况，减小了行人闯红灯的误判率，在一定的程度上降低了人工成本。

更进一步的，所述第二确定模块405：还用于当所述检测模块404检测到所述至少两张第一图像中没有所述预设目标对象时，确定所述行人闯红灯；或者

所述第二确定模块405：还用于当所述识别模块402识别所述至少两张第一图像中的行人与所述至少一张第二图像中的行人不为同一个行人时，确定所述行人闯红灯。

参阅图3所示，假设所述行人F1在T₃时刻的第一图像中的中心位置坐标为(X₃，Y₃)，T₄时刻的第一图像中的中心位置坐标为(X₄，Y₄)，其中，T₃＜T₄，确定所述行人F1和所述斑马线指示的方向平行，在T₃时刻和T₄时刻拍摄到的所述第一图像中有一张没有检测到预设目标对象，说明所述行人的行为轨迹与所述斑马线指示的方向平行，确定所述行人闯红灯。

再次参阅图3所示，假设所述行人F1在T₃时刻的第一图像中的中心位置坐标为(X₃，Y₃)，T₄时刻的第二图像中的中心位置坐标为(X₄，Y₄)，其中，T₃＜T₄，确定所述行人F1和所述斑马线指示的方向平行，在T₃时刻之前，当所述指示灯为绿灯时获取所述至少一张包含了行人F2的第二图像，当所述行人F1和所述行人F2不为同一个行人时，说明所述行人F1不是在绿灯期间就开始通行，而是在红灯期间开始通行，确定所述行人F1闯红灯。

本实施例中，当确定所述行人和所述斑马线指示的方向平行时，通过判断所述第一图像中是否有预设目标对象或者所述第二图像中的行人是否与所述第一图像中的行人是否为同一行人，确定所述行人是否闯红灯，避免了因行人正常过马路而被误判为闯红灯的现象，在一定的程度上降低了闯红灯检测的误判率。

更进一步的，当在确定所述行人闯红灯之后，所述识别模块402：还用于对所述行人进行特征识别；

提取模块406：用于提取所述特征识别的识别结果；

播报模块407：用于根据所述识别结果进行语音播报。

本实施例中，对闯红灯的行人进行特征识别，所述特征识别包括外观特征但不限于性别、衣服、身高等，通过语音播报所述特征识别结果，例如：“穿红衣服的帅哥请勿闯红灯”。

本实施例中，通过对闯红灯的行人进行有针对性的播报，增加违法者心理压力，同时减少无效重复的播报，降低噪声。本实施例中，通过对所述行人闯红灯进行语音播报，告警所述行人闯红灯，同时将闯红灯次数超过预设的次数阈值的行人的人脸图像投影到电子显示屏上，增加了行人闯红灯的心理负担，减少了行人闯红灯的违法行为，保证了行人的出行安全。

综上所述，本发明所述的基于图像识别的行人闯红灯检测装置，通过在斑马线对应的指示灯显示为红灯时，获取所述斑马线区域内的至少两张包含了行人的第一图像；识别所述至少两张第一图像中的行人是否为同一个行人；基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹；当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象；当每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。本发明通过当斑马线对应的指示灯显示为红灯时，所述摄像头连续拍摄的多张第一图像中的行人的行为轨迹方向与所述斑马线指示方向之间的位置关系，确定所述行人是否闯红灯，避免了通行向正确的行人误判为闯红灯，降低了误判率，提高了检测精度。

实施例三

参阅图5所示，为本发明实施例三提供的终端的结构示意图。在本发明较佳实施例中，所述终端5包括存储器51、至少一个处理器52、至少一条通信总线53及收发器54。

本领域技术人员应该了解，图5示出的终端的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述终端5还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述终端5是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述终端5还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述终端5仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器51用于存储程序代码和各种数据，例如安装在所述终端5中的基于图像识别的行人闯红灯检测装置40，并在终端5的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器51包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

在一些实施例中，所述至少一个处理器52可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器52是所述终端5的控制核心(Control Unit)，利用各种接口和线路连接整个终端5的各个部件，通过运行或执行存储在所述存储器51内的程序或者模块，以及调用存储在所述存储器51内的数据，以执行终端5的各种功能和处理数据。

在一些实施例中，所述至少一条通信总线53被设置为实现所述存储器51以及所述至少一个处理器52等之间的连接通信。

尽管未示出，所述终端5还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器52逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述终端5还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。

在进一步的实施例中，结合图4，所述至少一个处理器52可执行所述终端5的操作装置以及安装的各类应用程序(如所述的基于图像识别的行人闯红灯检测装置40)、程序代码等，例如，上述的各个模块。

所述存储器51中存储有程序代码，且所述至少一个处理器52可调用所述存储器51中存储的程序代码以执行相关的功能。例如，图4中所述的各个模块是存储在所述存储器51中的程序代码，并由所述至少一个处理器52所执行，从而实现所述各个模块的功能以达到基于图像识别的行人闯红灯检测的目的。

在本发明的一个实施例中，所述存储器51存储多个指令，所述多个指令被所述至少一个处理器52所执行以实现基于图像识别的行人闯红灯的检测。

具体地，所述至少一个处理器52对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种基于图像识别的行人闯红灯检测方法，其特征在于，所述方法包括：

在斑马线对应的指示灯显示为红灯时，获取所述斑马线区域内的至少两张包含了行人的第一图像；

识别所述至少两张第一图像中的行人是否为同一个行人；

基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹；

当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象；

当每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。

2.如权利要求1所述的方法，其特征在于，所述根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹包括：

将所述第一图像的左上角确定为坐标原点，所述第一图像的上边确定为横坐标轴，所述第一图像的左边确定为纵坐标轴；

获取每张所述第一图像中所述行人的中心点位置坐标，其中，所述中心点位置坐标包括中心点横坐标和中心点纵坐标；

基于每张所述第一图像中的所述中心点横坐标确定所述行人的横向位移；

基于每张所述第一图像中的所述中心点纵坐标确定所述行人的纵向位移；

根据所述行人的横向位移和所述纵向位移确定所述行人的行为轨迹。

3.如权利要求2所述的方法，其特征在于，所述根据所述行人的横向位移和所述纵向位移确定所述行人的行为轨迹包括：

判断所述横向位移的绝对值是否大于第一阈值及所述纵向位移的绝对值是否大于第二阈值；

当所述横向位移的绝对值大于所述第一阈值，且所述纵向位移的绝对值小于所述第二阈值时，确定所述行人的行为轨迹与所述斑马线的指示方向垂直；

当所述横向位移的绝对值小于所述第一阈值，且所述纵向位移的绝对值大于所述第二阈值时，确定所述行人的行为轨迹与所述斑马线的指示方向平行。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

当所述行人的行为轨迹与所述斑马线的指示方向平行时，获取所述指示灯显示为红灯之前的所述斑马线区域内的至少一张包含了行人的第二图像；

识别所述至少两张第一图像中的行人与所述至少一张第二图像中的行人是否为同一个行人；

当所述至少两张第一图像中的行人与所述至少一张第二图像中的行人为同一个行人时，确定所述行人未闯红灯。

5.如权利要求1所述的方法，其特征在于，所述获取所述斑马线区域内的至少两张包含了行人的第一图像包括：

连续获取所述斑马线区域内的多张监测图像；

采用人脸检测算法检测每张所述监测图像中是否有行人；

从所述多张监测图像中筛选出有行人的目标图像；

从所述目标图像中筛选出至少两张第一图像，其中，所述至少两张第一图像为连续帧图像。

6.如权利要求5所述的方法，其特征在于，所述采用人脸检测算法检测每张所述监测图像中是否有行人包括：

获取所述斑马线区域内的背景图像；

将每张所述监测图像与所述背景图像进行差分处理得到差分监测图像；

采用所述人脸检测算法检测每张差分监测图像中是否有行人。

7.如权利要求1所述的方法，其特征在于，在确定所述行人闯红灯之后，所述方法还包括：

对所述行人进行特征识别；

提取所述特征识别的识别结果；

根据所述识别结果进行语音播报。

8.一种基于图像识别的行人闯红灯检测装置，其特征在于，所述装置包括：

获取模块，用于在斑马线对应的指示灯显示为红灯时，连续获取所述斑马线区域内的至少两张包含了行人的第一图像；

识别模块，用于识别所述至少两张第一图像中的行人是否为同一个行人；

第一确定模块，用于基于所述至少两张第一图像中的行人为同一个行人，根据所述至少两张第一图像中所述行人的位置确定所述行人的行为轨迹；

检测模块，用于当所述行人的行为轨迹与所述斑马线的指示方向垂直时，采用YOLO目标检测算法检测每张所述第一图像中是否有预设目标对象；

第二确定模块，用于当每张所述第一图像中均有所述预设目标对象时，确定所述行人未闯红灯。

9.一种终端，其特征在于，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述基于图像识别的行人闯红灯检测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述基于图像识别的行人闯红灯检测方法。

Images