CN114627659B - 基于行人视频分析的安全过街智能控制系统的控制方法 - Google Patents

Abstract

本发明提供的一种基于行人视频分析的安全过街智能控制系统及控制方法，包括摄像机、路测感知设备、智能斑马线、智能斑马线控制机、交通信号灯以及交通信号控制机；接入摄像头拍摄的行人等待区域和斑马线区域内的行人视频，对行人视频中各等待区域和斑马线区域内的行人进行检测跟踪，根据行人检测跟踪信息确定各行人等待区域和各斑马线区域内的行人状态，并将行人状态分析结果推送至智能斑马线控制机和交通信号控制机，以控制各交通信号灯和各智能斑马线的工作状态。本发明基于对交叉路口等待区域和斑马线区域的行人视频分析，实现了交通信号灯调优和行人安全过街警示，有利于调节交通流、缓解交通拥堵、提高道路的利用率。

Description

基于行人视频分析的安全过街智能控制系统的控制方法

技术领域

本发明涉及智能交通技术领域，尤其涉及一种基于行人视频分析的安全过街智能控制系统的控制方法。

背景技术

随着经济的发展，机动车保有量逐渐增多，交通管理整体水平有所提升，但是仍然存在很多导致交通事故发生的隐患，尤其涉及到行人、非机动车的事故更是频发。而行人、非机动车相关事故很大一部分发生在交叉路口，即使路口设置交通信号灯，与行人、非机动车相关的事故仍然有增加的趋势。

对于交叉路口的通行效率问题，早期的交通信号灯一般采用固定的车辆放行周期，在高峰或节假日期间，由于行人、非机动车数量增加，行人、非机动车等待时间过长，极易造成路口的拥堵，降低通行效率。智能交通灯控制系统是ITS的重要子系统之一，它通过对城市交叉路口交通信号灯的控制与规划来提高道路的利用率、调节交通流以及缓解交通拥堵。从某种程度来讲，城市交通控制的核心在于城市交叉路口的交通信号灯控制和优化。

所以，如何设计一种基于行人视频分析的智能交通灯控制系统及方法，对交叉路口等待区域和斑马线区域的行人视频进行采集、分析，把分析结果推送到信号控制机，用以调优交通信号灯周期和提示行人安全过街，对确保道路交通安全、有序、畅通具有重要的意义。

发明内容

本发明提供一种基于行人视频分析的安全过街智能控制系统的控制方法，能够对交叉路口等待区域和斑马线区域的行人视频进行采集、分析，将分析结果推送到信号控制机，用以调优交通信号灯周期和提示行人安全过街，有利于调节交通流、缓解交通拥堵、提高道路的利用率。

本发明提供一种基于行人视频分析的安全过街智能控制系统，适用于安全过街智能控制系统，所述安全过街智能控制系统应用于交叉路口，包括设置于每个路口上方的摄像机、路测感知设备、设置于每个路口的智能斑马线、智能斑马线控制机、设置于每个路口的交通信号灯以及交通信号控制机；所述摄像头与所述路测感知设备连接，所述路测感知设备与所述智能斑马线控制机和所述交通信号控制机连接，所述智能斑马线控制机与所述智能斑马线连接，所述交通信号控制机与所述交通信号灯连接；所述摄像头用于拍摄行人等待区域和斑马线区域内的行人视频；其中，所述行人等待区域设置在斑马线两端；所述路测感知设备用于对所述行人视频进行分析获得各行人等待区域的行人状态信息和各斑马线区域的行人状态信息，并将各行人等待区域的行人状态信息和各斑马线区域的行人状态信息推送至所述智能斑马线控制机和所述交通信号控制机；所述智能斑马线控制机用于根据接收的各斑马线区域的行人状态信息控制各智能斑马线的工作状态；所述交通信号控制机用于根据接收的各行人等待区域的行人状态信息控制各交通信号灯的工作状态；所述每个摄像头拍摄的区域包括摄像头右侧的行人等待区域、摄像头所在路口斑马线区域的去向车道区域以及摄像头对面路口斑马线区域的去向车道区域；所述路测感知设备采用MLU计算卡对接入的行人视频码流进行硬件解码，并将解码后的图像数据存储在MLU计算卡的存储空间中；所述交通信号灯包括机动车信号灯和人行横道信号灯，其特征在于，所述方法包括：

预先配置行人等待区域和斑马线区域；

获取各摄像头拍摄的行人等待区域和斑马线区域内的实时行人视频流，并将所述实时行人视频流进行解码得到视频帧图像；

利用预先训练完毕的改进Yolov5网络模型对所述视频帧图像中的行人等待区域和斑马线区域进行行人检测，并利用目标跟踪算法对检测出的各行人进行跟踪，得到各摄像头拍摄的视频中的行人检测跟踪信息；

根据所述各摄像头拍摄的视频中的行人检测跟踪信息确定各行人等待区域的行人状态信息和各斑马线区域的行人状态信息；

根据所述各行人等待区域的行人状态信息控制各交通信号灯的工作状态，以及根据各斑马线区域的行人状态信息控制各智能斑马线的工作状态。

可选实施例中，所述改进Yolov5网络模型采用卷积层替代Focus层，并采用Hardswish激活函数。

可选实施例中，所述行人检测跟踪信息包括行人位置信息和行人跟踪链信息；

相应的，所述根据所述各摄像头拍摄的视频中的行人检测跟踪信息确定各行人等待区域的行人状态信息和各斑马线区域的行人状态信息，包括：

将各摄像头拍摄的视频中的行人检测跟踪信息进行合并，得到各行人等待区域和各斑马线区域的行人位置信息和行人跟踪链信息；

根据各行人等待区域和各斑马线区域的行人位置信息和行人跟踪链信息确定各行人等待区域和各斑马线区域的行人数量、行人运动速度和行人运动方向。

可选实施例中，所述根据所述各行人等待区域的行人状态信息控制各交通信号灯的工作状态，包括：

根据各行人等待区域的行人数量、行人运动速度和行人运动方向确定行人等待区域的行人总数量和行人平均静止时间；

根据所述行人等待区域的行人总数量和行人平均静止时间向所述各交通信号灯发送交通信号灯控制信号，以控制所述各交通信号灯的工作状态。

可选实施例中，所述根据各斑马线区域的行人状态信息控制各智能斑马线的工作状态，包括：

根据各斑马线区域的行人运动方向确定目标智能斑马线；

根据目标智能斑马线区域的行人数量和行人运动速度向所述目标智能斑马线发送斑马线控制信号，以控制所述目标智能斑马线的工作状态，对行人和司机进行警示。

本发明提供的一种基于行人视频分析的安全过街智能控制系统的控制方法，能够接入摄像头拍摄的行人等待区域和斑马线区域内的实时行人视频流，对实时行人视频流中各等待区域和斑马线区域内的行人进行检测跟踪，并根据各行人等待区域和斑马线区域内的行人检测跟踪信息确定各行人等待区域和斑马线区域内的行人状态分析结果，根据行人状态分析结果控制各交通信号灯和各智能斑马线的工作状态。与现有技术相比，本申请能够实时分析交叉路口等待区域和斑马线区域的行人情况，将分析结果推送到信号控制机，用以调优交通信号灯周期和提示行人安全过街，有利于调节交通流、缓解交通拥堵、提高道路的利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于行人视频分析的安全过街智能控制系统的结构示意图；

图2为本发明实施例提供的一种基于行人视频分析的安全过街智能控制方法的流程示意图；

图3为本发明实施例的一种应用场景示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供的一种基于行人视频分析的安全过街智能控制系统，应用于交叉路口，包括：设置于每个路口上方的摄像机1、路测感知设备2、设置于每个路口的智能斑马线3、智能斑马线控制机4、设置于每个路口的交通信号灯5以及交通信号控制机6；所述摄像头1与所述路测感知设备2连接，所述路测感知设备2与所述智能斑马线控制机4和所述交通信号控制机6连接，所述智能斑马线控制机4与所述智能斑马线3连接，所述交通信号控制机6与所述交通信号灯5连接；

所述摄像头1用于拍摄行人等待区域和斑马线区域内的行人视频；其中，所述行人等待区域设置在斑马线两端；

本实施例中，所述每个摄像头1拍摄的区域包括摄像头右侧的行人等待区域、摄像头所在路口斑马线区域的去向车道区域以及摄像头对面路口斑马线区域的去向车道区域。

所述路测感知设备2用于对所述行人视频进行分析获得各行人等待区域的行人状态信息和各斑马线区域的行人状态信息，并将各行人等待区域的行人状态信息和各斑马线区域的行人状态信息推送至所述智能斑马线控制机和所述交通信号控制机；

本实施例中，所述路测感知设备2采用MLU计算卡对接入的行人视频码流进行硬件解码，并将解码后的图像数据存储在MLU计算卡的存储空间中。

此外，所述路测感知设备2将各行人等待区域的行人状态信息基于RS485推送到交通信号控制机用以交通信号调优，同时所述路测感知设备2将各斑马线区域的行人状态信息基于Socket通信推送到智能斑马线控制机。

所述智能斑马线控制机4用于根据接收的各斑马线区域的行人状态信息控制各智能斑马线的工作状态；

所述交通信号控制机6用于根据接收的各行人等待区域的行人状态信息控制各交通信号灯的工作状态。

需要说明的是，所述交通信号灯6包括机动车信号灯和人行横道信号灯。

所述智能斑马线由LED发光地砖和立式信号灯灯箱组成，可通过声、光、电、影技术警示行人过马路走人行道、遵守交通信号，同时提示过往车辆礼让行人减速慢行。

如图2所示，本发明实施例还提供了一种基于行人视频分析的安全过街智能控制方法，包括：

S101、预先配置行人等待区域和斑马线区域。

配置行人等待区域和斑马线区域，每个路口配置一台路测感知设备。每一个方向的车道，配置一台摄像头，如图3所示的十字路口，摄像头A负责自东向西的车道，摄像头C负责自西向东的车道，摄像头B负责自南向北的车道，摄像头C负责自北向南的车道，区域的配置采用多边形标注，对于配置路测感知设备的路口，需要配置斑马线区域和等待区域作为检测区域，斑马线所在位置配置斑马线区域Z1～Z4，斑马线两端配置等待区域W1～W4。对于每一个检测区域，需要专门设置对应的摄像头负责检测，如摄像头A负责检测等待区域W4、斑马线区域Z4的去向车道和斑马线区域Z2的去向车道，其他几个摄像头同理。这样，对于斑马线区域Z4由摄像头A和摄像头C共同检测，最终斑马线区域Z4的分析结果有摄像头A和摄像头C两个设备的视频分析结果融合组成。

S102、获取各摄像头拍摄的行人等待区域和斑马线区域内的实时行人视频流，并将所述实时行人视频流进行解码得到视频帧图像。

实时行人视频流接入与解码，从摄像头基于RTSP协议接入实时视频流，然后对接入的码流使用MLU计算卡进行硬件解码，在边缘计算设备上使用MLU解码比CPU解码性能提高60％以上。解码后的视频帧图像暂存储在MLU计算卡的存储空间，这样后续预处理与神经网络推理时，无需将视频帧图像再次从CPU拷贝到MLU，避免了耗时较高的数据拷贝操作，对于边缘设备的性能提升至关重要。

S103、利用预先训练完毕的改进Yolov5网络模型对所述视频帧图像中的行人等待区域和斑马线区域进行行人检测，并利用目标跟踪算法对检测出的各行人进行跟踪，得到各摄像头拍摄的视频中的行人检测跟踪信息。

其中，所述改进Yolov5网络模型采用卷积层替代Focus层，并采用Hardswish激活函数。

行人目标检测，行人目标检测采用改进后的Yolov5网络模型对一帧帧图像进行检测，输出行人检测信息，包括行人位置信息、置信度等，判断置信度是否大于0.5，如果大于，则认为此目标合法，否则不合法，丢弃此目标。整个目标检测包括三部分：图像预处理、改进的Yolov5网络模型推理和后处理操作。由于之前的视频帧图像已经位于MLU计算卡的存储空间，所以直接通过使用bang语言编写接口实现图像预处理，预处理后的数据直接在MLU计算卡的存储空间中由当前存储区域拷贝到Yolov5网络模型的输入缓冲区，并且由于拷贝是位于同一硬件存储设备上，耗时可以忽略不计。另外，模型推理完成后，检测结果位于网络Yolov5网络模型的输出缓冲区域，此时需要执行后处理操作，主要是NMS计算，此计算量也较大，如果采用CPU，对于边缘设备性能较低的CPU来说，耗时较长，无法实现实时后处理，因此使用bang语言编写了NMS接口，在MLU计算卡的存储空间中直接执行NMS后处理，加速执行。完成后处理操作的检测结果拷贝到CPU，供后续的目标跟踪与业务逻辑处理。

行人目标跟踪，行人目标跟踪采用卡尔曼滤波与IOU结合的方法实现，针对每一目标建立单独的目标跟踪器实现目标ID的确定，之后对同一个ID的目标，建立跟踪链，缓存目标的历史轨迹，并且计算出目标的运动静止状态和运动方向，一般存储周期为自目标被跟踪到一直到目标在当前摄像机的视野中消失为止，建立目标的跟踪链L_i。

S104、根据所述各摄像头拍摄的视频中的行人检测跟踪信息确定各行人等待区域的行人状态信息和各斑马线区域的行人状态信息。

其中，所述行人检测跟踪信息包括行人位置信息和行人跟踪链信息。

具体来说，将各摄像头拍摄的视频中的行人检测跟踪信息进行合并，得到各行人等待区域和各斑马线区域的行人位置信息和行人跟踪链信息；根据各行人等待区域和各斑马线区域的行人位置信息和行人跟踪链信息确定各行人等待区域和各斑马线区域的行人数量、行人运动速度和行人运动方向。

判定斑马线区域与等待区域行人状态，基于先前的目标检测后的行人类型、行人位置信息与跟踪链信息，判定每个区域的行人状态，所有的计算均在CPU完成，但是由于目标数量较少，而且计算量很小，因此不会影响边缘计算设备的实时性。针对当前时刻，把每一个摄像头检测到的行人检测跟踪信息(包括跟踪链)O_i进行合并，设为集合O_set。

(1)等待区域状态判定：

对于每一个等待区域W_i，遍历集合O_set，然后获取每一个等待区域内的检测跟踪信息，其判断逻辑如下：

For W_i[i＝0:N]:

For O_i in O_set:

判断O_i的中心点是否位于W_i内部(包括边缘)；

如果在内部，则判定O_i的跟踪链的运动方向，以便得出目标将要穿过的路口，为后续将结果推送到正确的交通信号灯提供基础数据。

当完成上述遍历之后，进行等待区域的行人状态信息组合，每一个等待区域W_i推送的消息包括行人数量、行人运动速度和行人运动方向。之所以包含运动状态，一是为了判定目标当前是静止还是运动，如果是静止，则通过跟踪计算获得的静止时长判定当前行人已经在等待区域等候的时间；如果是运动，则包含运动速度，可以确定目标是否将要快速通过等待区域通过马路。二是为了判定目标的运动方向，从而将结果推送到正确的交通信号灯。

(2)斑马线区域状态判定：

斑马线区域状态判定类似等待区域状态判定，同样需要对每一个斑马线区域遍历O_set，获取其当前的状态。最终推送的斑马线的行人状态信息也包含了行人数量、行人运动速度和行人运动方向。

S105、根据所述各行人等待区域的行人状态信息控制各交通信号灯的工作状态，以及根据各斑马线区域的行人状态信息控制各智能斑马线的工作状态。

一方面，根据各行人等待区域的行人数量、行人运动速度和行人运动方向确定行人等待区域的行人总数量和行人平均静止时间；根据所述行人等待区域的行人总数量和行人平均静止时间向所述各交通信号灯发送交通信号灯控制信号，以控制所述各交通信号灯的工作状态。

另一方面，根据各斑马线区域的行人运动方向确定目标智能斑马线；根据目标智能斑马线区域的行人数量和行人运动速度向所述目标智能斑马线发送斑马线控制信号，以控制所述目标智能斑马线的工作状态，对行人和司机进行警示。

控制各交通信号灯和各智能斑马线的工作状态，将各行人等待区域的行人状态信息基于RS485推送到交通信号控制机用以交通信号调优，同时将各斑马线区域的行人状态信息基于Socket通信推送到智能斑马线控制机用以控制智能斑马线。

当交通信号控制机收到推送的各行人等待区域的行人状态信息时，如果发现等待区域W1～W4的行人总数量较大，并且平均静止时长较长，则可以调整交通信号灯时间，如果当前是东西向通行，则开始缩短东西向交通信号灯的通行时间，延长南北向的交通信号灯的通行时间，增加南北向行人的通行时间，提高通行效率。

当智能斑马线控制机收到推送的各斑马线区域的行人状态信息时，如果发现斑马线区域Z1和斑马线区域Z3内的人数较少并且运动较慢，则将斑马线区域Z1和斑马线区域Z3的智能斑马线的警示频率调低，如每秒2次；而如果发现斑马线区域Z1和斑马线区域Z3内的人数较多或者目标运动较快，则说明过街的行人数量较多，或者信号灯马上要切换，行人急需穿过马路，此时就需要将斑马线区域Z1和斑马线区域Z3的智能斑马线的警示频率调高，如每秒5次，提醒行人加速穿过马路，或者提示来往车辆注意前方斑马线仍然存在行人，并且警示需要一直持续到斑马线区域Z1和斑马线区域Z3未检到行人为止。这样就可以提醒司机前方斑马线仍有行人注意减速避让，避免了交通事故的发生。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些端口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以本发明权利要求的保护范围为准。

Claims (2)

1.一种基于行人视频分析的安全过街智能控制系统的控制方法，适用于安全过街智能控制系统，所述安全过街智能控制系统应用于交叉路口，包括设置于每个路口上方的摄像头、路测感知设备、设置于每个路口的智能斑马线、智能斑马线控制机、设置于每个路口的交通信号灯以及交通信号控制机；所述摄像头与所述路测感知设备连接，所述路测感知设备与所述智能斑马线控制机和所述交通信号控制机连接，所述智能斑马线控制机与所述智能斑马线连接，所述交通信号控制机与所述交通信号灯连接；所述摄像头用于拍摄行人等待区域和斑马线区域内的行人视频；其中，所述行人等待区域设置在斑马线两端；所述路测感知设备用于对所述行人视频进行分析获得各行人等待区域的行人状态信息和各斑马线区域的行人状态信息，并将各行人等待区域的行人状态信息和各斑马线区域的行人状态信息推送至所述智能斑马线控制机和所述交通信号控制机；所述智能斑马线控制机用于根据接收的各斑马线区域的行人状态信息控制各智能斑马线的工作状态；所述交通信号控制机用于根据接收的各行人等待区域的行人状态信息控制各交通信号灯的工作状态；所述每个摄像头拍摄的区域包括摄像头右侧的行人等待区域、摄像头所在路口斑马线区域的去向车道区域以及摄像头对面路口斑马线区域的去向车道区域；所述路测感知设备采用MLU计算卡对接入的行人视频码流进行硬件解码，并将解码后的图像数据存储在MLU计算卡的存储空间中；所述交通信号灯包括机动车信号灯和人行横道信号灯，其特征在于，所述方法包括：

预先配置行人等待区域和斑马线区域；

获取各摄像头拍摄的行人等待区域和斑马线区域内的实时行人视频流，并将所述实时行人视频流进行解码得到视频帧图像；

利用预先训练完毕的改进Yolov5网络模型对所述视频帧图像中的行人等待区域和斑马线区域进行行人检测，并利用目标跟踪算法对检测出的各行人进行跟踪，得到各摄像头拍摄的视频中的行人检测跟踪信息；

根据所述各摄像头拍摄的视频中的行人检测跟踪信息确定各行人等待区域的行人状态信息和各斑马线区域的行人状态信息；

根据所述各行人等待区域的行人状态信息控制各交通信号灯的工作状态，以及根据各斑马线区域的行人状态信息控制各智能斑马线的工作状态；

所述行人检测跟踪信息包括行人位置信息和行人跟踪链信息；

相应的，所述根据所述各摄像头拍摄的视频中的行人检测跟踪信息确定各行人等待区域的行人状态信息和各斑马线区域的行人状态信息，包括：

将各摄像头拍摄的视频中的行人检测跟踪信息进行合并，得到各行人等待区域和各斑马线区域的行人位置信息和行人跟踪链信息；

根据各行人等待区域和各斑马线区域的行人位置信息和行人跟踪链信息确定各行人等待区域和各斑马线区域的行人数量、行人运动速度和行人运动方向；

所述根据所述各行人等待区域的行人状态信息控制各交通信号灯的工作状态，包括：

根据各行人等待区域的行人数量、行人运动速度和行人运动方向确定行人等待区域的行人总数量和行人平均静止时间；

根据所述行人等待区域的行人总数量和行人平均静止时间向所述各交通信号灯发送交通信号灯控制信号，以控制所述各交通信号灯的工作状态；

所述根据各斑马线区域的行人状态信息控制各智能斑马线的工作状态，包括：

根据各斑马线区域的行人运动方向确定目标智能斑马线；

根据目标智能斑马线区域的行人数量和行人运动速度向所述目标智能斑马线发送斑马线控制信号，以控制所述目标智能斑马线的工作状态，对行人和司机进行警示。

2.根据权利要求1所述的控制方法，其特征在于，所述改进Yolov5网络模型采用卷积层替代Focus层，并采用Hardswish激活函数。

Images