CN114926422B - 一种上下车客流量检测方法及系统 - Google Patents

Abstract

本发明公开了一种上下车客流量检测方法及系统，采集车辆入门处监控视频流；并判断监控视频流中当前帧图像是否为第一帧图像，若是则在该监控视频流中初始化一个碰撞检测区，然后构建人头检测模型，并利用人头检测模型识别当前帧图像中人头目标；否则直接进行人头目标识别；利用多目标跟踪算法识别当前帧图像中人头目标，得到各帧图像中各目标运动轨迹；并利用MDDC算法根据各帧图像中各目标运动轨迹进行上下车客流检测；本发明中将目标的运动信息和碰撞检测技术相结合，具有更高的准确率，也可以同时检测多个车门，摄像头可直接使用站台车门位置处的监控摄像头，更符合实际场景，在轨道交通客流量分析、应急管理、安全运营领域具有重要的应用价值。

Description

一种上下车客流量检测方法及系统

技术领域

本发明涉及上下车客流量检测技术领域，具体涉及一种上下车客流量检测方法及系统。

背景技术

随着城市轨道交通建设的不断加快，对轨道交通的科学安全运营提出了新的挑战。客流量检测是轨道交通领域常用的一种技术手段，通过客流量的时空分析，可以为轨道交通的智能调度、应急管理提供高质量的数据依据。

上下车客流量检测的目的是统计某个站点在某段时间的上下车客流量，现有的技术手段主要是基于基准线的检测方式，核心原理是在车门位置划定一个基准线，若目标从车内跨越基准线到车外，则判定为下车行为；若目标从车外跨越基准线到车内，则判定为上车行为；基于基准线的方式实现简单，但是使用场景局限性较大，监控摄像头一般需要安装在车门的正上方，且只能检测一个车门。

发明内容

针对现有技术中的上述不足，本发明提供一种上下车客流量检测方法及系统，可将目标的运动信息和碰撞检测技术相结合，相比于基准线的方式，不仅具有更高的准确率，也可以同时检测多个车门，摄像头可直接使用站台车门位置处的监控摄像头，更符合实际场景，在轨道交通客流量分析、应急管理、安全运营领域具有重要的应用价值。

为了达到上述发明目的，本发明采用的技术方案为：

一方面，一种，包括以下分步骤：

S1、采集车辆入门处监控视频流；

S2、判断监控视频流中当前帧图像是否为第一帧图像，若是则根据第一帧图像初始化一个碰撞检测区，并获取客流场景类型，并进入步骤S3；否则直接进入步骤S3；

S3、构建人头检测模型，并利用人头检测模型识别当前帧图像中人头目标；

S4、利用多目标跟踪算法识别当前帧图像中人头目标，得到各帧图像中各目标运动轨迹；

S5、利用MDDC算法根据各帧图像中各目标运动轨迹进行上下车客流检测。

另一方面，一种上下车客流量检测系统，包括：

数据采集模块，用于采集车辆入门处监控视频流；

判断模块，用于判断监控视频流中当前帧图像是否为第一帧图像，若是则在该监控视频流中初始化一个碰撞检测区，并进入人头目标识别模块进行识别；否则直接进入人头目标识别模块进行识别；

人头目标识别模块，用于构建人头检测模型，并利用人头检测模型识别当前帧图像中人头目标；

各目标运动轨迹获取模块，用于利用多目标跟踪算法识别当前帧图像中人头目标，得到各帧图像中各目标运动轨迹；

上下车客流检测模块，用于利用MDDC算法根据各帧图像中各目标运动轨迹进行上下车客流检测。

本发明具有以下有益效果：

采集车辆入门处监控视频流；并判断监控视频流中当前帧图像是否为第一帧图像，若是则在该监控视频流中初始化一个碰撞检测区，然后构建人头检测模型，并利用人头检测模型识别当前帧图像中人头目标；否则直接进行人头目标识别；利用多目标跟踪算法识别当前帧图像中人头目标，得到各帧图像中各目标运动轨迹；并利用MDDC算法根据各帧图像中各目标运动轨迹进行上下车客流检测；本发明中将目标的运动信息和碰撞检测技术相结合，相比于基准线的方式，不仅具有更高的准确率，也可以同时检测多个车门，摄像头可直接使用站台车门位置处的监控摄像头，更符合实际场景，在轨道交通客流量分析、应急管理、安全运营领域具有重要的应用价值。

附图说明

图1为本发明提供的一种上下车客流量检测方法的步骤流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一方面，一种上下车客流量检测方法，包括以下分步骤：

S1、采集车辆入门处监控视频流；

S2、判断监控视频流中当前帧图像是否为第一帧图像，若是则根据第一帧图像初始化一个碰撞检测区，并获取客流场景类型，并进入步骤S3；否则直接进入步骤S3；

本发明实施例中，碰撞检测区用于判断目标是否运动到车门位置；碰撞检测区域在图像中本质上就是一个四边形，在车门位置处，当目标运动到该区域，即可认为发生碰撞事件。

S3、构建人头检测模型，并利用人头检测模型识别当前帧图像中人头目标；

本发明实施例中，使用人头检测模型，在高密度场景中基于整个人体的检测会存在大量的遮挡问题，人头检测模型可有效减轻遮挡问题带来的影响。

优选地，步骤S3具体为：

A1、构建特征提取网络，并利用特征提取网络提取当前帧图像中图像特征；

优选地，步骤A1中特征提取网络包括：

依次连接的第一卷积层模块、第一卷积池化模块、第二卷积池化模块、第三卷积池化模块、第四卷积池化模块以及第二卷积层模块；

其中，第一卷积层模块、第二卷积层模块均包括不少于一个的卷积层；

第一卷积池化模块、第一卷积池化模块、第二卷积池化模块、第三卷积池化模块、第四卷积池化模块均包括一个池化层与不少于一个的卷积层。

本发明实施例中，通过卷积神经网络提取6个特征图feature map，特征图featuremap的尺寸大小为[38,19,10,5,3,1]；所述卷积神经网络包含13个卷积层，5个最大池化层以及3个全连接层；其中，卷积层卷积核的大小为3×3，步长为1；池化层大小为2×2，步长为2；3个全连接层中的前两层通道数为4096，第三层通道数为1000；

具体的，特征提取网络的输入300*300*3的图像，首先经过第一卷积层模块：两个卷积层得到300*300*64尺寸的特征图；再经过三个卷积池化模块(第一卷积池化模块：一个池化层和两个卷积层；第二卷积池化模块、第三卷积池化模块均包含：一个池化层和三个卷积层)得到38*38*512的特征图；再通过第四卷积池化模块：一个池化层和的两个卷积层得到19*19*1024的特征图；再通过第二卷积层模块，包含依次连接的8个卷积层；首先通过两个卷积层得到10*10*512的特征图；再通过两个卷积层得到5*5*256的特征图；再通过两个卷积层得到3*3*256的特征图；再通过两个卷积层得到1*1*256的特征图。经过特征提取网络就得到了六个大小[38,19,10,5,3,1]的特征图。

A2、利用预设候选框提取图像特征中特征信息，根据特征信息构建模型损失loss，并根据模型损失loss训练特征提取网络，得到人头检测模型；

优选地，步骤A2具体为：

利用预设候选框提取图像特征中特征信息，并根据特征信息生成检测框偏移量，并根据检测框偏移量与真实标签构建定位损失；同时根据特征信息生成类别标签，并根据类别标签与真实标签构建分类损失；并利用定位损失与分类损失构建模型损失loss，同时利用模型损失loss训练特征提取网络，得到优化后的特征提取网络，即人头检测模型。

A3、利用人头检测模型识别当前帧图像中初始人头目标，并利用非极大抑制算法NMS优化初始人头目标，得到当前帧图像中人头目标。

本发明实施例中，当前帧图像中人头目标包括类别、置信度、候选框等信息。

S4、利用多目标跟踪算法识别当前帧图像中人头目标，得到各帧图像中各目标运动轨迹；

本发明实施例中，调用多目标跟踪算法为图像中的每个人头目标都分配一个固定的ID，并在连续视频流中实现对人头目标的跟踪(目标跟踪的目的是防止一个目标在上下车过程中被重复统计)。

本发明实施例中，各帧图像中各目标运动轨迹包括类别、置信度、候选框、ID等信息。

优选地，步骤S4具体为：

B1、获取人头目标中候选框，并得到候选框所对应的置信度；

B2、利用非极大抑制算法NMS筛除冗余候选框，得到当前帧图像的目标候选框；

B3、利用卡尔曼滤波算法结合当前帧图像的目标候选框预测下一帧图像的目标候选框；

优选地，步骤B3具体为：

利用卡尔曼滤波算法结合当前帧图像的目标候选框预测下一帧图像的候选框，并比较下一帧图像的候选框与当前帧图像的目标候选框的置信度，并选取高置信度所对应的候选框作为预测结果，即为下一帧图像的目标候选框。

B4、利用匈牙利算法对当前帧图像的目标候选框与下一帧图像的目标候选框进行最优匹配，得到目标在监控视频流中运动轨迹；

B5、遍历监控视频流各帧图像，进行人头目标识别，得到各帧图像中各目标运动轨迹。

S5、利用MDDC算法根据各帧图像中各目标运动轨迹进行上下车客流检测。

本发明实施例中，调用MDDC算法(将目标的运动方向和车门位置的碰撞事件相结合的方式)实现上下车客流量的检测，输出检测结果。

优选地，步骤S5具体为：

C1、初始化上下车客流检测参数，包括：

移动次数字典、移动次数字典、上车人数列表以及下车人数列表；

本发明实施例中，移动次数字典h_pos即用于存储各目标上一次检测的位置信息字典；移动次数字典m_num即为用来存储各目标向车门位置处的移动次数字典。若值为正数，表示目标在某段时间内向车门位置移动的次数；若值为负数，表示目标在某段时间内背离车门位置移动的次数。

C2、根据预设帧数间隔划分各帧图像，得到划分后的各目标运动轨迹；

本发明实施例中，每隔t₀帧执行一次；这种设置主要有两个原因：

一个是相连几帧内目标在图像中的位置移动可忽略不计；另一个是为了提高算法的运行效率。初始化值为5。

C3、根据划分后的各目标运动轨迹获取各目标碰撞检测点，并根据各目标碰撞检测点构建检测点列表；

本发明实施例中，据目标检测结果获得各人头目标碰撞检测点(人头的中心点)列表P，其满足：P＝[[x₁,y₁],…,[x_i,y_i],…,[x_n,y_n]]，其中，[x_i,y_i]表示第i个人头目标的中心点坐标，n表示本帧图像中人头的数量，i＝1,...,n。

C4、根据检测点列表对当前目标进行预处理；

优选地，步骤C4具体为：

根据检测点列表判断当前目标是否首次出现，若是，则将该目标所对应的列表信息添加到位置信息字典，将该目标所对应的ID添加至移动次数字典，并初始化该目标的出现次数，并进入步骤C5；否则直接进入步骤C5；

本发明实施例中，判断目标是否是首次出现，若第i个目标不属于用来存储各目标上一次检测的位置信息字典，即表示为：

则将第i个目标的ID和位置信息x_i(x_i表示该目标在列表P中的横坐标值)添加到h_pos中，并第i个目标的ID添加到m_num中，初始化值为0(表示目标首次出现)。

C5、统计各目标碰撞检测点的上下车行为，构建第一目标ID列表h_ID，并根据上下车行为的客流场景类型更新移动次数字典；移动次数字典的更新过程表示为：

其中，T为客流场景类型，T＝1为目标向车门位置运动在图像中可描述为横坐标不断变小，T＝2为目标向车门位置运动在图像中可描述为横坐标不断变大；num_i,t为第i个目标截止当前时刻t向车门位置移动的次数；

为第i个目标截止上一时刻t-t₀向车门位置移动的次数；x_i,t为第i个目标当前时刻t在图像中的横坐标值；/>

为第i个目标上一时刻t-t₀在图像中的横坐标值，s_thre为预设运动距离；&&表示并且关系，前后两个关系都满足才执行公式；

本发明实施例中，若相邻两次检测目标的位置变化小于s_thre，则可认为目标静止；该参数主要用于排除目标静止状态下位置偏移误差，因为目标没有运动时，在图像中也会出现轻微的像素偏移；

当T＝1时，目标向车门位置运动在图像中可描述为横坐标不断变小；当T＝2时，目标向车门位置运动在图像中可描述为横坐标不断变大；当相邻两个时刻的目标在水平方向上的运动距离超过s_thre时，认定目标发生了一次运动，结合其横坐标的变化即可判断目标的向哪个方向进行了运动；最后更新m_num中第i个目标的值为num_i,t。

C6、判断各目标是否运动到碰撞检测区域，即是否发生碰撞，若是则进入步骤C7；否则进入步骤C8；

本发明实施例中，判断目标是否运动到碰撞检测区域，其判断公式可表示为：

其中，其中，num_i,t表示第i个目标截止当前时刻t向车门位置移动的次数；(x_i,t,y_i,t)表示第i个目标当前时刻t在图像中的位置坐标。

当(x_i,t,y_i,t)∈C(发生碰撞事件，即目标运动到车门位置)，首先判断目标的运动方向是否是朝向车门位置，当num_i,t大于m_thre时(目标的运动方向朝向车门位置)，则该目标发生上车行为，更新up_num的值，将该目标的ID添加到第一目标ID列表h_ID，并清除h_pos和m_num中该目标的信息；否则，将m_num中该目标的num_i,t置零，并且将该目标的ID添加到第二目标ID列表w_ID中。

C7、判断当前目标向车门移动的次数是否大于第一预设移动次数阈值，则判定该目标为上车行为，并更新上车人数列表，且将该目标的ID添加至第一目标ID列表，删除位置信息字典与移动次数字典中该目标的信息，并进入步骤C9；否则将移动次数字典中该目标的信息置零，并将该目标的ID添加到第二目标ID列表，并进入步骤C9；

C8、判断当前目标向车门移动的次数是否小于第二预设移动次数阈值，若是则判定该目标为下车行为，并更新下车人数列表，将该目标的ID添加至第一目标ID列表，并删除位置信息字典、移动次数字典以及第二目标ID列表中该目标的信息，并进入步骤C9；否则，直接进入步骤C9；

本发明实施例中，判断目标是否存在下车行为，判断公式如下：

down_num＝down_num+1，ID_i∈w_ID&&(num_i,t≤-m_thre)

其中，num_i,t表示第i个目标截止当前时刻t向车门位置移动的次数；ID_i表示第i个目标的ID。

当ID_i∈w_ID(目标在等待下车的列表中)，判断目标是否朝向背离车门的位置运动，当num_i,t小于-m_thre时(目标的运动方向远离车门位置)，则该目标发生下车行为，更新down_num的值，将该目标的ID添加到h_ID中，清除h_pos和m_num中该目标的信息，并将该目标的ID从w_ID中删除。

C9、遍历各帧图像中各目标运动轨迹，进行上下车客流量检测。

另一方面，一种上下车客流量检测系统，包括：

数据采集模块，用于采集车辆入门处监控视频流；

判断模块，用于判断监控视频流中当前帧图像是否为第一帧图像，若是则在该监控视频流中初始化一个碰撞检测区，并进入人头目标识别模块进行识别；否则直接进入人头目标识别模块进行识别；

人头目标识别模块，用于构建人头检测模型，并利用人头检测模型识别当前帧图像中人头目标；

各目标运动轨迹获取模块，用于利用多目标跟踪算法识别当前帧图像中人头目标，得到各帧图像中各目标运动轨迹；

上下车客流检测模块，用于利用MDDC算法根据各帧图像中各目标运动轨迹进行上下车客流检测。

本发明实施例提供的一种上下车客流量检测系统包含上述一种上下车客流量检测方法的全部有益效果。

本发明可解决现有人工监测方式容易出现漏检和错检的问题，缓解工作人员的压力；相比于传统的基准线方法，不仅具有更高的准确率，也可以同时检测多个车门，更适用于轨道交通的上下车客流场景，可有效利用站台车门位置的监控设备。通过对上下车客流量的监测，针对客流量安全等级制定相应的应急管理决策，以免带来不必要的安全事故。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种上下车客流量检测方法，其特征在于，包括以下步骤：

S1、采集车辆入门处监控视频流；

S2、判断监控视频流中当前帧图像是否为第一帧图像，若是则根据第一帧图像初始化一个碰撞检测区，并获取客流场景类型，并进入步骤S3；否则直接进入步骤S3；

S3、构建人头检测模型，并利用人头检测模型识别当前帧图像中人头目标；

S4、利用多目标跟踪算法识别当前帧图像中人头目标，得到各帧图像中各目标运动轨迹；

S5、利用MDDC算法根据各帧图像中各目标运动轨迹进行上下车客流检测，具体为：

C1、初始化上下车客流检测参数，包括：

位置信息字典、移动次数字典、上车人数列表以及下车人数列表；

C2、根据预设帧数间隔划分各帧图像，得到划分后的各目标运动轨迹；

C3、根据划分后的各目标运动轨迹获取各目标碰撞检测点，并根据各目标碰撞检测点构建检测点列表；

C4、根据检测点列表对当前目标进行预处理；

C5、统计各目标碰撞检测点的上下车行为，构建第一目标ID列表h_ID，并根据上下车行为的客流场景类型更新移动次数字典；移动次数字典的更新过程表示为：

其中，T为客流场景类型，T＝1为目标向车门位置运动在图像中可描述为横坐标不断变小，T＝2为目标向车门位置运动在图像中可描述为横坐标不断变大；num_i,t为第i个目标截止当前时刻t向车门位置移动的次数；

为第i个目标截止上一时刻t-t₀向车门位置移动的次数；x_i,t为第i个目标当前时刻t在图像中的横坐标值；/>

为第i个目标上一时刻t-t₀在图像中的横坐标值，s_thre为预设运动距离；&&表示并且关系；

C6、判断各目标是否运动到碰撞检测区域，即是否发生碰撞，若是则进入步骤C7；否则进入步骤C8；

C7、判断当前目标向车门移动的次数是否大于第一预设移动次数阈值，则判定该目标为上车行为，并更新上车人数列表，且将该目标的ID添加至第一目标ID列表，删除位置信息字典与移动次数字典中该目标的信息，并进入步骤C9；否则将移动次数字典中该目标的信息置零，并将该目标的ID添加到第二目标ID列表，并进入步骤C9；

C8、判断当前目标向车门移动的次数是否小于第二预设移动次数阈值，若是则判定该目标为下车行为，并更新下车人数列表，将该目标的ID添加至第一目标ID列表，并删除位置信息字典、移动次数字典以及第二目标ID列表中该目标的信息，并进入步骤C9；否则，直接进入步骤C9；

C9、遍历各帧图像中各目标运动轨迹，进行上下车客流量检测。

2.根据权利要求1中所述的上下车客流量检测方法，其特征在于，步骤S3具体为：

A1、构建特征提取网络，并利用特征提取网络提取当前帧图像中图像特征；

A2、利用预设候选框提取图像特征中特征信息，根据特征信息构建模型损失loss，并根据模型损失loss训练特征提取网络，得到人头检测模型；

A3、利用人头检测模型识别当前帧图像中初始人头目标，并利用非极大抑制算法NMS优化初始人头目标，得到当前帧图像中人头目标。

3.根据权利要求2中所述的上下车客流量检测方法，其特征在于，步骤A1中特征提取网络包括：

依次连接的第一卷积层模块、第一卷积池化模块、第二卷积池化模块、第三卷积池化模块、第四卷积池化模块以及第二卷积层模块；

其中，第一卷积层模块、第二卷积层模块均包括不少于一个的卷积层；

第一卷积层模块、第一卷积池化模块、第二卷积池化模块、第三卷积池化模块、第四卷积池化模块均包括一个池化层与不少于一个的卷积层。

4.根据权利要求2中所述的上下车客流量检测方法，其特征在于，步骤A2具体为：

利用预设候选框提取图像特征中特征信息，并根据特征信息生成检测框偏移量，并根据检测框偏移量与真实标签构建定位损失；同时根据特征信息生成类别标签，并根据类别标签与真实标签构建分类损失；并利用定位损失与分类损失构建模型损失loss，同时利用模型损失loss训练特征提取网络，得到优化后的特征提取网络，即人头检测模型。

5.根据权利要求1中所述的上下车客流量检测方法，其特征在于，步骤S4具体为：

B1、获取人头目标中候选框，并得到候选框所对应的置信度；

B2、利用非极大抑制算法NMS筛除冗余候选框，得到当前帧图像的目标候选框；

B3、利用卡尔曼滤波算法结合当前帧图像的目标候选框预测下一帧图像的目标候选框；

B4、利用匈牙利算法对当前帧图像的目标候选框与下一帧图像的目标候选框进行最优匹配，得到目标在监控视频流中运动轨迹；

B5、遍历监控视频流各帧图像，进行人头目标识别，得到各帧图像中各目标运动轨迹。

6.根据权利要求5中所述的上下车客流量检测方法，其特征在于，步骤B3具体为：利用卡尔曼滤波算法结合当前帧图像的目标候选框预测下一帧图像的候选框，并比较下一帧图像的候选框与当前帧图像的目标候选框的置信度，并选取高置信度所对应的候选框作为预测结果，即为下一帧图像的目标候选框。

7.根据权利要求1中所述的上下车客流量检测方法，其特征在于，步骤C4具体为：

根据检测点列表判断当前目标是否首次出现，若是，则将该目标所对应的列表信息添加到位置信息字典，将该目标所对应的ID添加至移动次数字典，并初始化该目标的出现次数，并进入步骤C5；否则直接进入步骤C5。

8.一种应用权利要求1所述方法的上下车客流量检测系统，其特征在于，包括：

数据采集模块，用于采集车辆入门处监控视频流；

判断模块，用于判断监控视频流中当前帧图像是否为第一帧图像，若是则在该监控视频流中初始化一个碰撞检测区，并进入人头目标识别模块进行识别；否则直接进入人头目标识别模块进行识别；

人头目标识别模块，用于构建人头检测模型，并利用人头检测模型识别当前帧图像中人头目标；

各目标运动轨迹获取模块，用于利用多目标跟踪算法识别当前帧图像中人头目标，得到各帧图像中各目标运动轨迹；

上下车客流检测模块，用于利用MDDC算法根据各帧图像中各目标运动轨迹进行上下车客流检测。

Images