CN112488042A - 一种基于视频分析的行人通行瓶颈判别方法及系统 - Google Patents

Abstract

本发明公开了一种基于视频分析的行人通行瓶颈判别方法及系统，方法通过实时读取监控捕捉的目标区域的视频图像，采用训练好的卷积神经网络模型检测出视频帧的行人数量以及位置，并计算出视频帧中的行人密度、速度，根据密度、速度值进行行人通行瓶颈的判别。本发明提供的方法简单准确，能有效判断出目标区域的行人通行瓶颈，在瓶颈等级过高时进行预警，使得管理者能够到现场进行针对性的管理，疏导交通避免拥挤，对于保障设施的行人通行顺畅、安全具有重要的意义。

Description

一种基于视频分析的行人通行瓶颈判别方法及系统

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于视频分析的行人通行瓶颈判别方法及系统。

背景技术

世界各个国家均发生过多起群死群伤的踩踏事件，有学者通过网络新闻、统计年鉴等途径，获取了1900年以来的267起人群拥挤踩踏事故记录，分析了踩踏事故常发的位置及其特性，该研究表明，学校、宗教活动场所、公园和广场、车站及地铁站是主要的踩踏事故发生场所，事故位置点集中在楼梯、出入口、台阶、过道、桥梁、地下通道。

为了解决人流量较大的场合发生踩踏事故的问题，现有技术多根据目标场合的人流密度进行分析，根据对人流密度的分析结果划分行人通行瓶颈等级，进而针对性的采取限流或预警等方法来预防踩踏事件。这种分析不够全面，获取的分析结果不够精确，获取的通行瓶颈等级判别结果和实际情况存在较大误差，不能满足实际应用的要求。

发明内容

本发明的目的：提供一种能有效准确的进行行人通行瓶颈判别的方法及系统。

技术方案：本发明提供了一种基于视频分析的行人通行瓶颈判别方法，其特征在于，基于以固定角度监控装置所捕获的目标区域的视频图像，对当前时刻目标区域的行人通行瓶颈等级进行判别；实时执行如下步骤：

步骤1、获取视频图像的当前视频帧S，以及当前视频帧S所对应的检测时间t；

步骤2、使用卷积神经网络模型对当前视频帧S进行行人目标的识别，以矩形框分别标识当前视频帧S中各行人目标的位置，进而获取当前视频帧S中各行人目标的位置信息，以及当前视频帧S中行人目标的个数；

步骤3、获取当前视频帧S对应目标区域中的实际面积，根据当前视频帧S中行人目标的个数，获取当前视频帧S中的行人密度ρ；

步骤4、针对同时出现在当前视频帧S、以及其相邻的上一个视频帧S'中的各行人目标：根据与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'，以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的位置信息，结合当前视频帧S中各行人目标的位置信息和检测时间t，获取同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的速度；

针对出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的各行人目标：按照预设速度值对该各行人目标的速度进行赋值；

对当前视频帧S中各行人目标的速度求平均，获取平均速度v；

步骤5、针对预设的各瓶颈等级k，k＝1,2...K，K为预设的瓶颈等级的等级数，根据公式：

S_k＝W_k1ρ+W_k2v

获取各瓶颈等级的隶属度S_k；其中，S_k表示等级k所对应的隶属度，W_k1为等级k所对应预设行人密度相关的权重值，W_k2为等级k所对应预设平均速度相关的权重值；

步骤6、定义隶属度最大的瓶颈等级为当前时刻目标区域的行人通行瓶颈等级。

作为本发明的一种优选方案，在步骤2中，所述卷积神经网络模型为YOLOv3网络模型。

作为本发明的一种优选方案，在步骤3中，根据实际测量的方法获取当前视频帧所对应的目标区域的实际面积。

作为本发明的一种优选方案，在步骤3之后步骤4之前，方法还包括如下步骤：

步骤A、针对与当前视频帧相邻的上一个视频帧S'中的各行人目标p，执行步骤A-1至步骤A-2，其中，p＝1,2...P，P为上一个视频帧S'中各行人目标的总个数：

步骤A-1、获取与当前视频帧相邻的上一个视频帧S'中的行人目标p的位置信息和速度信息，使用卡尔曼滤波器对行人目标p在当前视频帧S中的位置进行预测，并以矩形框标记行人目标p在当前视频帧S中预测位置；

步骤A-2、基于匈牙利算法，获取用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl，其中，l＝1,2...L，L为当前视频帧S中行人目标的总个数：

步骤B、分别针对当前视频帧中的各行人目标l，执行如下操作：

判断用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl所构成的交并比集合{O_1l...O_pl...O_Pl}中是否存在满足O₁≤O_pl≤O₂的交并比，O₁、O₂分别为预设的交并比最小值和交并比最大值；

是则表示行人目标l和行人目标p为同一行人，行人目标l为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标；

否则表示行人目标l为出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的行人目标。

作为本发明的一种优选方案，在步骤B中，若满足O₁≤O_pl≤O₂的交并比的个数大于1，选择其中最大交并比所对应的与当前视频帧相邻的上一个视频帧S'中的行人目标为和行人目标l为同一人的行人目标。

作为本发明的一种优选方案，在步骤4中，根据如下方法获取同时出现在在当前视频帧S以及上一个视频帧S'中的各行人目标的速度：

针对同时出现在在当前视频帧S以及当前视频帧的上一个视频帧S'中的各行人目标l'，执行如下操作，其中，l'＝1,2...L'，L'为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的行人目标的总个数：

步骤4-1、根据行人目标l'在与当前视频帧相邻的上一个视频帧S'中的位置信息和在当前视频帧S中的位置信息，获取行人目标l'的图像位移；

步骤4-2、基于张氏标定法对与当前视频帧相邻的上一个视频帧S'或当前视频帧S进行标定，获取与视频帧中各像素点之间的图像距离相关的比例系数，进而获取行人目标l'的实际位移，结合与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'以及当前视频帧S的检测时间t，获取行人目标l'的速度。

本发明还提供了一种基于视频分析的行人通行瓶颈判别系统，其特征在于，系统包括监控视频读取模块、行人监测模块、交通特性计算模块、通行瓶颈判别模块；

监控视频读取模块，用于获取视频图像的当前视频帧S，以及当前视频帧S所对应的检测时间t；

行人监测模块，用于使用卷积神经网络模型对当前视频帧S进行行人目标的识别，以矩形框分别标识当前视频帧S中各行人目标的位置，进而获取当前视频帧S中各行人目标的位置信息，以及当前视频帧S中行人目标的个数；

交通特性计算模块，用于获取当前视频帧S对应目标区域中的实际面积，根据当前视频帧S中行人目标的个数，获取当前视频帧S中的行人密度ρ；针对同时出现在当前视频帧S、以及其相邻的上一个视频帧S'中的各行人目标：根据与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'，以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的位置信息，结合当前视频帧S中各行人目标的位置信息和检测时间t，获取同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的速度；针对出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的各行人目标：按照预设速度值对该各行人目标的速度进行赋值；对当前视频帧S中各行人目标的速度求平均，获取平均速度v；

通行瓶颈判别模块，用于针对预设的各瓶颈等级k，k＝1,2...K，K为预设的瓶颈等级的等级数，根据公式：

S_k＝W_k1ρ+W_k2v

获取各瓶颈等级的隶属度S_k；其中，S_k表示等级k所对应的隶属度，W_k1为等级k所对应预设行人密度相关的权重值，W_k2为等级k所对应预设平均速度相关的权重值；定义隶属度最大的瓶颈等级为当前时刻目标区域的行人通行瓶颈等级。

作为本发明的一种优选方案，系统还包括行人目标追踪模块；行人目标追踪模块，用于执行如下指令：

步骤A、针对与当前视频帧相邻的上一个视频帧S'中的各行人目标p，执行步骤A-1至步骤A-2，其中，p＝1,2...P，P为上一个视频帧S'中各行人目标的总个数：

步骤A-1、获取与当前视频帧相邻的上一个视频帧S'中的行人目标p的位置信息和速度信息，使用卡尔曼滤波器对行人目标p在当前视频帧S中的位置进行预测，并以矩形框标记行人目标p在当前视频帧S中预测位置；

步骤A-2、基于匈牙利算法，获取用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl，其中，l＝1,2...L，L为当前视频帧S中行人目标的总个数：

步骤B、分别针对当前视频帧中的各行人目标l，执行如下操作：

判断用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl所构成的交并比集合{O_1l...O_pl...O_Pl}中是否存在满足O₁≤O_pl≤O₂的交并比，O₁、O₂分别为预设的交并比最小值和交并比最大值；

是则表示行人目标l和行人目标p为同一行人，行人目标l为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标；

否则表示行人目标l为出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的行人目标。

作为本发明的一种优选方案，行人目标追踪模块包括追踪结果修正模块；

追踪结果修正模块用于在执行步骤B所示的指令时，若满足O₁≤O_pl≤O₂的交并比的个数大于1，选择其中最大交并比所对应的当前视频帧的上一个视频帧S'中的行人目标为和行人目标l为同一人的行人目标。

作为本发明的一种优选方案，交通特性计算模块包括速度获取模块；

速度获取模块用于在执行步骤4所示的指令时，根据如下方法获取同时出现在在当前视频帧S以及上一个视频帧S'中的各行人目标的速度：

针对同时出现在在当前视频帧S以及当前视频帧的上一个视频帧S'中的各行人目标l'，执行如下操作，其中，l'＝1,2...L'，L'为同时出现在在当前视频帧S以及上一个视频帧S'中的行人目标的总个数：

步骤4-1、根据行人目标l'在当前视频帧的上一个视频帧S'中的位置信息和在当前视频帧S中的位置信息，获取行人目标l'的图像位移；

步骤4-2、基于张氏标定法对当前视频帧的上一个视频帧S'或当前视频帧S进行标定，获取与视频帧中各像素点之间的图像距离相关的比例系数，进而获取行人目标l'的实际位移，结合当前视频帧的上一个视频帧S'所对应的检测时间t'以及当前视频帧S的检测时间t，获取行人目标l'的速度。

相对于现有技术，本发明通过获取视频帧图像中的行人数量和位置，进而计算出行人密度，通过对视频帧图像中的行人进行追踪，能够计算出行人的步行速度，根据计算出的行人密度以及速度，确定该设施处是否存在通行瓶颈以及瓶颈的等级，方法简单，判断结果准确度高，能够实现行人的实时检测与追踪，并确定设施有无瓶颈以及瓶颈的等级，实现全自动、实时安全监管。

附图说明

图1是根据本发明实施例提供的行人通行瓶颈判别方法流程框图；

图2是根据本发明实施例提供的行人目标识别结果示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

参照图1，本法提供的方法包括基于以固定角度监控装置所捕获的目标区域的视频图像，对当前时刻目标区域的行人通行瓶颈等级进行判别；实时执行如下步骤：

步骤1、获取视频图像的当前视频帧S，以及当前视频帧S所对应的检测时间t。

读取监控视频，同时记录监控视频的基本信息，所述基本信息包括视频的存放路径、对应的监控摄像头编号、对应的检测时间。

步骤2、使用卷积神经网络模型对当前视频帧S进行行人目标的识别，以矩形框分别标识当前视频帧S中各行人目标的位置，进而获取当前视频帧S中各行人目标的位置信息，以及当前视频帧S中行人目标的个数；

步骤3、获取当前视频帧S对应目标区域中的实际面积，根据当前视频帧S中行人目标的个数，获取当前视频帧S中的行人密度ρ。

步骤4、针对同时出现在当前视频帧S、以及其相邻的上一个视频帧S'中的各行人目标：根据与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'，以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的位置信息，结合当前视频帧S中各行人目标的位置信息和检测时间t，获取同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的速度；

针对出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的各行人目标：按照预设速度值对该各行人目标的速度进行赋值；

对当前视频帧S中各行人目标的速度求平均，获取平均速度v。

步骤5、针对预设的各瓶颈等级k，k＝1,2...K，K为预设的瓶颈等级的等级数，根据公式：

S_k＝W_k1ρ+W_k2v

获取各瓶颈等级的隶属度S_k；其中，S_k表示等级k所对应的隶属度，W_k1为等级k所对应预设行人密度相关的权重值，W_k2为等级k所对应预设平均速度相关的权重值；

步骤6、定义隶属度最大的瓶颈等级为当前时刻目标区域的行人通行瓶颈等级；瓶颈等级过高时进行预警。

在步骤3之后步骤4之前，方法还包括如下步骤：

步骤A、针对与当前视频帧相邻的上一个视频帧S'中的各行人目标p，执行步骤A-1至步骤A-2，其中，p＝1,2...P，P为上一个视频帧S'中各行人目标的总个数：

步骤A-1、获取与当前视频帧相邻的上一个视频帧S'中的行人目标p的位置信息和速度信息，使用卡尔曼滤波器对行人目标p在当前视频帧S中的位置进行预测，并以矩形框标记行人目标p在当前视频帧S中预测位置；

在步骤4中，基于卡尔曼滤波预测和匈牙利匹配算法实现多个行人的实时跟踪，获取同时出现在在当前视频帧S以及上一个视频帧S'中的各行人目标的速度：首先利用YOLOv3网络模型检测得到视频首帧图像中的所有行人，完成行人追踪的初始化，接着对监控视频中的第二帧到最后一帧的所有视频帧进行迭代；

卡尔曼滤波器参数包括：第S'帧的每一个行人的位置、速度信息(x,y,γ,h,v_x,v_y)：其中x,y表示第S'帧的行人检测框中心的坐标，γ,h分别表示检测框的纵横比、高度，v_x,v_y为根据第S'帧与前一视频帧行人的移动距离计算出的速度分量，根据(x,y,γ,h,v_x,v_y)可以预测出第S帧的行人位置、检测框尺寸；

步骤A-2、基于匈牙利算法，获取用于标记行人目标在视频帧S中的预测位置的矩形框和视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl，其中，l＝1,2...L，L为视频帧S中行人目标的总个数；

步骤B、分别针对视频帧S中的各行人目标l，执行如下操作：

判断用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl所构成的交并比集合{O_1l...O_pl...O_Pl}中是否存在满足O₁≤O_pl≤O₂的交并比，O₁、O₂分别为预设的交并比最小值和交并比最大值；

是则表示行人目标l和行人目标p为同一行人，行人目标l为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标；否则表示行人目标l为出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的行人目标。

针对同时出现在在视频帧S以及视频帧S'中的各行人目标l'，执行如下操作，其中，l'＝1,2...L'，L'为同时出现在在视频帧S以及视频帧S'中的行人目标的总个数，根据行人目标l'在视频帧S'中的位置信息和在视频帧S中的位置信息，获取行人目标l'的图像位移；

基于张氏标定法对摄像头进行标定，获取与视频帧中各像素点之间的图像距离相关的比例系数，进而获取行人目标l'的实际位移，结合视频帧S'所对应的检测时间t'以及视频帧S的检测时间t，获取行人目标l'的速度。

步骤5、针对预设的各瓶颈等级k，k＝1,2...K，K为预设的瓶颈等级的等级数，根据公式：

S_k＝W_k1ρ+W_k2v

获取各瓶颈等级的隶属度S_k；其中，S_k表示等级k所对应的隶属度，W_k1为等级k所对应预设行人密度相关的权重值，W_k2为等级k所对应预设平均速度相关的权重值；定义隶属度最大的瓶颈等级为当前时刻目标区域的行人通行瓶颈等级。

在一个实施例中，将行人通行瓶颈等级划分为四个等级：分别为畅通、轻微拥挤、拥挤、堵塞，分别对应非瓶颈B₁、III级瓶颈B₂、II级瓶颈B₃、I级瓶颈B₄，以密度ρ、速度v作为瓶颈等级划分的指标；每个指标对应每个瓶颈等级都存在一个隶属函数，共八个隶属函数，对于每一组密度ρ、速度值v，分别计算隶属函数的值，进而计算对各个瓶颈等级的隶属度。

作为本发明的一种优选方案，在步骤2中，所述卷积神经网络模型为YOLOv3网络模型。

使用该网络模型进行行人目标识别的方法具体为：

对YOLOv3的基础框架Darknet-53的相关配置文件进行修改：检测类别数设为1，检测类别名设为person；

从服务器中获取历史监控数据进行行人标注，形成行人检测数据集，输入到修改后的神经网络中进行算法训练，设置训练参数：将学习率设置为0.0001，训练批次大小设置为50，迭代次数设置为50000，生成行人检测模型，对于检测出的每一个行人输出包含六个参数的张量O，所述张量可表示为O(X,Y,w,h,confidence,class)；

所述输出张量O(X,Y,w,h,confidence,class)，其中，X为包围框左上角的横坐标，Y为包围框左上角的纵坐标，其中坐标原点位于视频帧图像的左上角，水平方向为横轴，竖直方向为纵轴，w为包围框的宽度，h为包围框的高度，根据X,Y,w,h可以绘制出包围框，confidence为包围框预测的行人的准确率，class均为person。

基于训练数据对行人检测模型进行评估，计算准确率(Precision Rate)、召回率(Recall Rate)、平均精度(Mean Average Precision)三个指标，绘制PR曲线(Precision-Recall)；

基于训练生成的行人检测模型进行实时行人检测，针对读取的实时监控视频的每一视频帧进行行人检测。

满足作为本发明的一种优选方案，在步骤4中，根据如下方法获取同时出现在在当前视频帧S以及上一个视频帧S'中的各行人目标的速度：

针对同时出现在在当前视频帧S以及当前视频帧的上一个视频帧S'中的各行人目标l'，执行如下操作，其中，l'＝1,2...L'，L'为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的行人目标的总个数：

步骤4-1、根据行人目标l'在与当前视频帧相邻的上一个视频帧S'中的位置信息和在当前视频帧S中的位置信息，获取行人目标l'的图像位移；

步骤4-2、基于张氏标定法对与当前视频帧相邻的上一个视频帧S'或当前视频帧S进行标定，获取与视频帧中各像素点之间的图像距离相关的比例系数，进而获取行人目标l'的实际位移，结合与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'以及当前视频帧S的检测时间t，获取行人目标l'的速度。

采用张氏标定法对监控摄像头进行标定，得到实际位移与视频图像中位移的比例系数。结合对视频检测场景设备和标定精确度的综合分析，采用传统的张氏标定法进行相机标定：首先获取所选定的监控摄像头拍摄的不同位姿标定板图片，一般选取15～20张棋盘标定图，将标定图添加到Matlab自带的相机标定应用程序camera calibrator中，提取图片中对应角点的像素坐标；然后通过单应矩阵计算出相机的内外参数初始值，并利用非线性最小二乘法估计畸变系数；最后使用极大似然估计法进一步优化参数，获取到该场景下相机的内、外参数。最终计算得到与视频帧中各像素点之间的图像距离相关的比例系数η。

根据检测出的行人坐标(x,y)可计算出第S'帧、第S帧之间同一行人在图像中移动的距离ΔL，进而推算出行人实际的移动距离ΔL_actul。

ΔL_actul＝ηΔL

其中

(x_j,y_j)为第S帧的第j个行人目标在图像坐标系的坐标，(x_i,y_i)为第S'帧的第i个行人目标在图像坐标系的坐标，其中第i个行人目标和第j个行人目标为同一行人目标。

参照图1，本发明还提供了一种基于视频分析的行人通行瓶颈判别系统，其特征在于，系统包括监控视频读取模块、行人监测模块、交通特性计算模块、通行瓶颈判别模块。

监控视频读取模块通过建立连接获取视频读取的权限，监控视频读取模块，用于获取视频图像的当前视频帧S，以及当前视频帧S所对应的检测时间t。

监控摄像头拍摄的视频会存储在数据库中，同时监控摄像头编号(VideoID)、视频存放路径(VideoID_Path)也会被记录，监控视频读取模块通过向服务器发送请求获取特定摄像头拍摄的视频的存放路径和视频接入网关信息，与视频接入网关建立连接实现对实时监控视频的读取。

行人监测模块，用于使用卷积神经网络模型对当前视频帧S进行行人目标的识别，以矩形框分别标识当前视频帧S中各行人目标的位置，进而获取当前视频帧S中各行人目标的位置信息，以及当前视频帧S中行人目标的个数。

从数据库中选取历史监控视频，对其中的每一视频帧进行行人样本标注，用于训练行人检测模块中的卷积神经网络模型，在本实施例中，该网络模型为YOLOv3网络模型。使用训练好的卷积神经网络模型检测监控视域内每一视频帧的行人，以包围行人的矩形框表示各个行人的位置，包围框的坐标、宽度、高度都会被记录。

交通特性计算模块，用于获取当前视频帧S对应目标区域中的实际面积，根据当前视频帧S中行人目标的个数，获取当前视频帧S中的行人密度ρ；针对同时出现在当前视频帧S、以及其相邻的上一个视频帧S'中的各行人目标：根据与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'，以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的位置信息，结合当前视频帧S中各行人目标的位置信息和检测时间t，获取同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的速度；针对出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的各行人目标：按照预设速度值1.2m/s对该各行人目标的速度进行赋值；对当前视频帧S中各行人目标的速度求平均，获取平均速度v。

通行瓶颈判别模块，用于针对预设的各瓶颈等级k，k＝1,2...K，K为预设的瓶颈等级的等级数，根据公式：

S_k＝W_k1ρ+W_k2v

获取各瓶颈等级的隶属度S_k；其中，S_k表示等级k所对应的隶属度，W_k1为等级k所对应预设行人密度相关的权重值，W_k2为等级k所对应预设平均速度相关的权重值；定义隶属度最大的瓶颈等级为当前时刻目标区域的行人通行瓶颈等级。

作为本发明的一种优选方案，系统还包括行人目标追踪模块；行人目标追踪模块，用于执行如下指令：

步骤A、针对与当前视频帧相邻的上一个视频帧S'中的各行人目标p，执行步骤A-1至步骤A-2，其中，p＝1,2...P，P为上一个视频帧S'中各行人目标的总个数：

步骤A-1、获取与当前视频帧相邻的上一个视频帧S'中的行人目标p的位置信息和速度信息，使用卡尔曼滤波器对行人目标p在当前视频帧S中的位置进行预测，并以矩形框标记行人目标p在当前视频帧S中预测位置；

步骤A-2、基于匈牙利算法，获取用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl，其中，l＝1,2...L，L为当前视频帧S中行人目标的总个数：

步骤B、分别针对当前视频帧中的各行人目标l，执行如下操作：

判断用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl所构成的交并比集合{O_1l...O_pl...O_Pl}中是否存在满足O₁≤O_pl≤O₂的交并比，O₁、O₂分别为预设的交并比最小值和交并比最大值；

是则表示行人目标l和行人目标p为同一行人，行人目标l为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标；

否则表示行人目标l为出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的行人目标。

作为本发明的一种优选方案，行人目标追踪模块包括追踪结果修正模块；

追踪结果修正模块用于在执行步骤B所示的指令时，若满足O₁≤O_pl≤O₂的交并比的个数大于1，选择其中最大交并比所对应的当前视频帧的上一个视频帧S'中的行人目标为和行人目标l为同一人的行人目标。

作为本发明的一种优选方案，交通特性计算模块包括速度获取模块；

速度获取模块用于在执行步骤4所示的指令时，根据如下方法获取同时出现在在当前视频帧S以及上一个视频帧S'中的各行人目标的速度：

针对同时出现在在当前视频帧S以及当前视频帧的上一个视频帧S'中的各行人目标l'，执行如下操作，其中，l'＝1,2...L'，L'为同时出现在在当前视频帧S以及上一个视频帧S'中的行人目标的总个数：

步骤4-1、根据行人目标l'在当前视频帧的上一个视频帧S'中的位置信息和在当前视频帧S中的位置信息，获取行人目标l'的图像位移；

步骤4-2、基于张氏标定法对当前视频帧的上一个视频帧S'或当前视频帧S进行标定，获取与视频帧中各像素点之间的图像距离相关的比例系数，进而获取行人目标l'的实际位移，结合当前视频帧的上一个视频帧S'所对应的检测时间t'以及当前视频帧S的检测时间t，获取行人目标l'的速度。

在一个实施例中将本发明的基于视频的行人通行瓶颈识别装置应用在某地铁站1号线、3号线站厅与S1号线、S3号线站厅的换乘通道上，基于视频的行人通行瓶颈判别装置包括监控视频读取模块、行人监测模块、交通特性计算模块、通行瓶颈判别模块；所述监控视频读取模块通过建立连接获取视频读取的权限，读取实时的监控视频；所述行人监测模块基于标注好的历史监控视频训练行人检测算法，使用训练好的算法实时识别监控视频中的行人；交通特性计算模块基于行人监测模块识别出的行人的数量及位置，结合行人追踪算法计算出每一视频帧的行人密度以及其中行人的平均步行速度；通行瓶颈判别模块根据密度、速度确定监控视域处是否存在瓶颈以及瓶颈等级，瓶颈等级过高时进行预警。

本实施例中基于视频的行人通行瓶颈识别装置的应用流程如图1所示，具体应用流程包含以下步骤：

A1：地铁站1号线、3号线站厅与S1号线、S3号线站厅的换乘通道是双向通道，单侧通道宽5米，中间进行间断性的分隔，北侧通道以S1号线、S3号线换乘1号线、3号线的行人流向为主，南侧通道以1号线、3号线换乘S1号线、S3号线的行人流向为主，本实例选取北侧通道上VideoID为0112109的全景式监控摄像头作为研究对象。

A2：从服务器中获取0112109摄像头在2020.10.01至2020.10.14拍摄的监控视频，从中选取7：00-8：00、11：00-12：00、17：00-18：00三个时间段的监控视频进行处理，每隔10秒选取一张视频帧进行样本标注，获得包含15120张样本图片的行人检测数据集。

A3：对YOLOv3的基础框架Darknet-53的相关配置文件进行修改：检测类别数设为1，检测类别名设为person；将行人检测数据集输入到修改后的神经网络中进行算法训练，学习率设置为0.0001，训练批次大小设置为50，迭代次数设置为50000，生成行人检测模型，对于检测出的每一个行人输出包含六个参数的张量O，所述张量可表示为O(X,Y,w,h,confidence,class)。。

A4：基于训练数据对行人检测模型进行评估，计算准确率(Precision Rate)、召回率(Recall Rate)、平均精度(Mean Average Precision)三个指标，绘制PR曲线(Precision-Recall)。A5：向服务器发送请求获取0112109摄像头拍摄的视频的存放路径和视频接入网关信息，与视频接入网关建立连接实现对实时监控视频的读取。基于训练生成的行人检测模型进行实时行人检测，针对读取的实时监控视频的每一视频帧进行行人识别。

A6：根据识别出的每一视频帧的行人数量，结合视频帧对应目标区域的实际面积，可得到每一视频帧的行人密度ρ。

A7：通过卡尔曼滤波与匈牙利算法实现行人追踪，计算步行速度，步骤如下：

A7-1：首先利用基于YOLOv3的第一算法检测得到视频首帧图像中的所有行人，以行人编号区分不同的行人，完成行人追踪的初始化，接着对监控视频中的第二帧到最后一帧的所有视频帧进行迭代；

A7-2：获取视频帧S'中的行人目标p'的位置信息和速度信息，使用卡尔曼滤波器对行人目标p'在下一个视频帧S中的位置进行预测，并以p表示行人目标在视频帧S中的预测位置；

A7-3：基于匈牙利算法，获取用于标记行人目标在视频帧S中的预测位置p的矩形框和视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl，其中，l＝1,2...L，L为视频帧S中行人目标的总个数，分别针对视频帧S中的各行人目标l，执行如下操作：

判断行人目标l和预测的行人目标p各矩形框的交并比O_pl所构成的交并比集合{O_1l...O_pl...O_Pl}中是否存在满足O₁≤O_pl≤O₂的交并比，O₁、O₂分别为预设的交并比最小值和交并比最大值；

是则表示行人目标l和行人目标p为同一行人，行人目标l为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标；否则表示行人目标l为出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的行人目标。

针对同时出现在在视频帧S以及视频帧S'中的各行人目标l'，执行如下操作，其中，l'＝1,2...L'，L'为同时出现在在视频帧S以及视频帧S'中的行人目标的总个数，根据行人目标l'在视频帧S'中的位置信息和在视频帧S中的位置信息，获取行人目标l'的图像位移；

基于张氏标定法对摄像头进行标定，获取与视频帧中各像素点之间的图像距离相关的比例系数，进而获取行人目标l'的实际位移，结合视频帧S'所对应的检测时间t'以及视频帧S的检测时间t，获取行人目标l'的速度，最终可求得每一视频帧行人的平均步行速度v。

A8：通过分析计算出的密度、速度值确定监控视域处是否存在瓶颈以及瓶颈等级，瓶颈等级过高时进行预警，所述分析过程包含如下内容：

行人通行瓶颈等级划分为四个等级：分别为畅通、轻微拥挤、拥挤、堵塞，分别对应非瓶颈B₁、III级瓶颈B₂、II级瓶颈B₃、I级瓶颈B₄，以密度ρ、速度v作为瓶颈等级划分的指标；每个指标对应每个瓶颈等级都存在一个隶属函数，共八个隶属函数，对于每一组密度ρ、速度值v，分别计算隶属函数的值，进而计算对各个瓶颈等级的隶属度，根据公式：

S_k＝W_k1ρ+W_k2v

获取各瓶颈等级的隶属度S_k；其中，S_k表示等级k所对应的隶属度，W_k1为等级k所对应预设行人密度相关的权重值，W_k2为等级k所对应预设平均速度相关的权重值；定义隶属度最大的瓶颈等级为当前时刻目标区域的行人通行瓶颈等级。

当瓶颈等级为I级瓶颈时进行预警，提醒管理者到现场进行交通疏导。

本发明提供一种基于视频的行人通行瓶颈识别装置及其应用方法，通过实时读取监控视频，采用训练好的行人检测与追踪算法检测出视频中的行人数量以及位置，并计算出行人密度、速度，结合行人通行状况、设施服务水平的判别方法，依据密度、速度值确定有无瓶颈以及瓶颈的等级，在瓶颈等级过高时进行预警，使得管理者能够到现场进行针对性的管理，疏导交通避免拥挤，对于保障设施的行人通行顺畅、安全具有重要的意义；本发明提供的方法和系统，能够实现对行人通行状况、设施服务水平的实时监测，避免现场调查以及人工计算行人密度、速度造成的人力、物力资源的浪费，在封闭或半封闭场所内部的人流汇集或疏散节点处，行人的密度、速度交通特性最容易产生波动，进而在某些位置产生行人通行的瓶颈，通过本发明提供的方法，基于监控视频的行人检测与追踪技术，计算行人的密度、速度特性，实现对行人通行状况的实时监控，对瓶颈实施针对性、预防性的管理措施，能有效防止踩踏事故发生。

以上所述仅是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于视频分析的行人通行瓶颈判别方法，其特征在于，基于以固定角度监控装置所捕获的目标区域的视频图像，对当前时刻目标区域的行人通行瓶颈等级进行判别；实时执行如下步骤：

步骤1、获取视频图像的当前视频帧S，以及当前视频帧S所对应的检测时间t；

步骤2、使用卷积神经网络模型对当前视频帧S进行行人目标的识别，以矩形框分别标识当前视频帧S中各行人目标的位置，进而获取当前视频帧S中各行人目标的位置信息，以及当前视频帧S中行人目标的个数；

步骤3、获取当前视频帧S对应目标区域中的实际面积，根据当前视频帧S中行人目标的个数，获取当前视频帧S中的行人密度ρ；

步骤4、针对同时出现在当前视频帧S、以及其相邻的上一个视频帧S'中的各行人目标：根据与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'，以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的位置信息，结合当前视频帧S中各行人目标的位置信息和检测时间t，获取同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的速度；

针对出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的各行人目标：按照预设速度值对该各行人目标的速度进行赋值；

对当前视频帧S中各行人目标的速度求平均，获取平均速度v；

步骤5、针对预设的各瓶颈等级k，k＝1,2...K，K为预设的瓶颈等级的等级数，根据公式：

S_k＝W_k1ρ+W_k2v

获取各瓶颈等级的隶属度S_k；其中，S_k表示等级k所对应的隶属度，W_k1为等级k所对应预设行人密度相关的权重值，W_k2为等级k所对应预设平均速度相关的权重值；

步骤6、定义隶属度最大的瓶颈等级为当前时刻目标区域的行人通行瓶颈等级。

2.根据权利要求1所述的基于视频分析的行人通行瓶颈判别方法，其特征在于，在步骤2中，所述卷积神经网络模型为YOLOv3网络模型。

3.根据权利要求1所述的基于视频分析的行人通行瓶颈判别方法，其特征在于，在步骤3中，根据实际测量的方法获取当前视频帧所对应的目标区域的实际面积。

4.根据权利要求1所述的基于视频分析的行人通行瓶颈判别方法，其特征在于，在步骤3之后步骤4之前，方法还包括如下步骤：

步骤A、针对与当前视频帧相邻的上一个视频帧S'中的各行人目标p，执行步骤A-1至步骤A-2，其中，p＝1,2...P，P为上一个视频帧S'中各行人目标的总个数：

步骤A-1、获取与当前视频帧相邻的上一个视频帧S'中的行人目标p的位置信息和速度信息，使用卡尔曼滤波器对行人目标p在当前视频帧S中的位置进行预测，并以矩形框标记行人目标p在当前视频帧S中预测位置；

步骤A-2、基于匈牙利算法，获取用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl，其中，l＝1,2...L，L为当前视频帧S中行人目标的总个数：

步骤B、分别针对当前视频帧中的各行人目标l，执行如下操作：

判断用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl所构成的交并比集合{O_1l...O_pl...O_Pl}中是否存在满足O₁≤O_pl≤O₂的交并比，O₁、O₂分别为预设的交并比最小值和交并比最大值；

是则表示行人目标l和行人目标p为同一行人，行人目标l为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标；

否则表示行人目标l为出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的行人目标。

5.根据权利要求4所述的基于视频分析的行人通行瓶颈判别方法，其特征在于，在步骤B中，若满足O₁≤O_pl≤O₂的交并比的个数大于1，选择其中最大交并比所对应的与当前视频帧相邻的上一个视频帧S'中的行人目标为和行人目标l为同一人的行人目标。

6.根据权利要求1所述的基于视频分析的行人通行瓶颈判别方法，其特征在于，在步骤4中，根据如下方法获取同时出现在在当前视频帧S以及上一个视频帧S'中的各行人目标的速度：

针对同时出现在在当前视频帧S以及当前视频帧的上一个视频帧S'中的各行人目标l'，执行如下操作，其中，l'＝1,2...L'，L'为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的行人目标的总个数：

步骤4-1、根据行人目标l'在与当前视频帧相邻的上一个视频帧S'中的位置信息和在当前视频帧S中的位置信息，获取行人目标l'的图像位移；

步骤4-2、基于张氏标定法对与当前视频帧相邻的上一个视频帧S'或当前视频帧S进行标定，获取与视频帧中各像素点之间的图像距离相关的比例系数，进而获取行人目标l'的实际位移，结合与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'以及当前视频帧S的检测时间t，获取行人目标l'的速度。

7.一种基于视频分析的行人通行瓶颈判别系统，其特征在于，系统包括监控视频读取模块、行人监测模块、交通特性计算模块、通行瓶颈判别模块；

监控视频读取模块，用于获取视频图像的当前视频帧S，以及当前视频帧S所对应的检测时间t；

行人监测模块，用于使用卷积神经网络模型对当前视频帧S进行行人目标的识别，以矩形框分别标识当前视频帧S中各行人目标的位置，进而获取当前视频帧S中各行人目标的位置信息，以及当前视频帧S中行人目标的个数；

交通特性计算模块，用于获取当前视频帧S对应目标区域中的实际面积，根据当前视频帧S中行人目标的个数，获取当前视频帧S中的行人密度ρ；针对同时出现在当前视频帧S、以及其相邻的上一个视频帧S'中的各行人目标：根据与当前视频帧相邻的上一个视频帧S'所对应的检测时间t'，以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的位置信息，结合当前视频帧S中各行人目标的位置信息和检测时间t，获取同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标的速度；针对出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的各行人目标：按照预设速度值对该各行人目标的速度进行赋值；对当前视频帧S中各行人目标的速度求平均，获取平均速度v；

通行瓶颈判别模块，用于针对预设的各瓶颈等级k，k＝1,2...K，K为预设的瓶颈等级的等级数，根据公式：

S_k＝W_k1ρ+W_k2v

获取各瓶颈等级的隶属度S_k；其中，S_k表示等级k所对应的隶属度，W_k1为等级k所对应预设行人密度相关的权重值，W_k2为等级k所对应预设平均速度相关的权重值；定义隶属度最大的瓶颈等级为当前时刻目标区域的行人通行瓶颈等级。

8.根据权利要求7所述的基于视频分析的行人通行瓶颈判别系统，其特征在于，系统还包括行人目标追踪模块；行人目标追踪模块，用于执行如下指令：

步骤A、针对与当前视频帧相邻的上一个视频帧S'中的各行人目标p，执行步骤A-1至步骤A-2，其中，p＝1,2...P，P为上一个视频帧S'中各行人目标的总个数：

步骤A-1、获取与当前视频帧相邻的上一个视频帧S'中的行人目标p的位置信息和速度信息，使用卡尔曼滤波器对行人目标p在当前视频帧S中的位置进行预测，并以矩形框标记行人目标p在当前视频帧S中预测位置；

步骤A-2、基于匈牙利算法，获取用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl，其中，l＝1,2...L，L为当前视频帧S中行人目标的总个数：

步骤B、分别针对当前视频帧中的各行人目标l，执行如下操作：

判断用于标记行人目标p在当前视频帧S中预测位置的矩形框和当前视频帧S中用于标记各行人目标l位置的各矩形框的交并比O_pl所构成的交并比集合{O_1l...O_pl...O_Pl}中是否存在满足O₁≤O_pl≤O₂的交并比，O₁、O₂分别为预设的交并比最小值和交并比最大值；

是则表示行人目标l和行人目标p为同一行人，行人目标l为同时出现在在当前视频帧S以及与当前视频帧相邻的上一个视频帧S'中的各行人目标；

否则表示行人目标l为出现在当前视频帧S中且未出现在上与当前视频帧相邻的一个视频帧S'中的行人目标。

9.根据权利要求8所述的基于视频分析的行人通行瓶颈判别系统，其特征在于，行人目标追踪模块包括追踪结果修正模块；

追踪结果修正模块用于在执行步骤B所示的指令时，若满足O₁≤O_pl≤O₂的交并比的个数大于1，选择其中最大交并比所对应的当前视频帧的上一个视频帧S'中的行人目标为和行人目标l为同一人的行人目标。

10.根据权利要求7所述的基于视频分析的行人通行瓶颈判别系统，其特征在于，交通特性计算模块包括速度获取模块；

速度获取模块用于在执行步骤4所示的指令时，根据如下方法获取同时出现在在当前视频帧S以及上一个视频帧S'中的各行人目标的速度：

针对同时出现在在当前视频帧S以及当前视频帧的上一个视频帧S'中的各行人目标l'，执行如下操作，其中，l'＝1,2...L'，L'为同时出现在在当前视频帧S以及上一个视频帧S'中的行人目标的总个数：

步骤4-1、根据行人目标l'在当前视频帧的上一个视频帧S'中的位置信息和在当前视频帧S中的位置信息，获取行人目标l'的图像位移；

步骤4-2、基于张氏标定法对当前视频帧的上一个视频帧S'或当前视频帧S进行标定，获取与视频帧中各像素点之间的图像距离相关的比例系数，进而获取行人目标l'的实际位移，结合当前视频帧的上一个视频帧S'所对应的检测时间t'以及当前视频帧S的检测时间t，获取行人目标l'的速度。

Images