CN111860282B - 地铁断面客流量统计和行人逆行检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，本发明将在线多目标跟踪算法应用于地铁监控场景，采用地铁监控视频制作样本集用于训练检测器，同时利用大规模行人再识别数据集训练外观特征抽取网络。综合运动信息和外观特征提高跟踪算法性能，通过算法跟踪场景内的每一个行人目标，进而通过跟踪目标与设置的绊线之间的逻辑判断统计出客流量信息，同时也可以检测出行人的逆行行为。

Description

地铁断面客流量统计和行人逆行检测方法及系统

技术领域

本发明涉及人流量和异常行为检测技术领域，具体为一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法及系统。

背景技术

随着我国的城市化的不断推进和基础建设领域的持续投资，一、二线的大型城市都规划了较为完善的轨道交通网络。地铁对于城市而言，不仅大大方便了人民群众的日常通勤，也提升了城市的综合治理水平。与此同时，地铁作为典型的人群密集场所，也有许多新的安全议题，其公共安全治理也对管理者提出更高的要求。以视频监控控制客流、预警危险事件，不仅可以保障乘客安全，而且更高效智能，能节省大量人力资源。掌握地铁站内实时客流信息、对乘客存在的危险行为及时预警是地铁监控视频智能分析的基本任务。基于在线的多目标跟踪算法，我们可以获取监控场景内的客流量变化，还可以对控制区域的行人逆行进行快速检测并报警。地铁监控场景具有客流量大、人流密集、人群相互遮挡、行人运动复杂等特征，这对多目标跟踪算法提出了很大的挑战。

多目标跟踪算法旨在准确描绘出独立个体的连续运动，难点在于不同个体连续跟踪过程中的准确性，比如同一目标遮挡后的恢复，多个目标交织后的准确区分，对运动过程中的目标变形的跟踪等。多目标跟踪算法多采用跟踪基于检测的策略，检测器的性能是跟踪的基础，检测器为跟踪器提供初始化并在跟踪过程中对跟踪做出持续的修正，这又被称为数据关联。检测器的改进能大幅提高跟踪的效果，目标的准确跟踪则依赖于数据关联，包括关联度量的相似度计算和匹配方法。因为检测器的改进对于跟踪效果的提升影响很大，而数据关联的相关研究一直未有大突破，所以多目标跟踪在学术界并不是热门。但是实际工业应用却对其有很大的需求。Sort(2016)和DeepSort(2017)就是目前工业界关注最高的算法，这两个算法基本流程一样，都遵循：检测→运动预测(特征提取)→相似度计算→数据关联的基本流程。由于加入了外观信息的关联度量和级联匹配，DeepSort相当于Sort的改进版本。DeepSort算法核心包括卡尔曼滤波、匈牙利匹配和利用外观特征和距离特征的级联匹配，框架简单但是十分高效，外观特征的提取也没有增加太多的计算负荷，因此能满足有实时性要求的工程应用。最新的研究提出引入轨迹评分机制来完善匹配优先级，将检测网络和特征提取网络结合起来以进一步提升速度。这些都是基于DeepSort的改进，并未改变整体的框架，也未有突破性的性能提升。

中国发明专利申请公开号CN110782484A，介绍了一种无人机视频人员识别追踪的方法。针对无人机对行人跟踪，采用了RetinaNet作为检测模型对行人进行学习，然后利用跟踪算法对行人进行跟踪。该发明针对无人机拍摄的视频进行行人跟踪，只采用公共数据集进行检测模型的训练，未对场景特征进行优化，同时对于多目标跟踪算法只采用了卡尔曼预测和匈牙利匹配，未利用目标的外观特征提升跟踪算法的性能。此外，无人机监控视频并非固定视角，因此场景画面一直在变化，这对多目标跟踪是十分不利的，几乎使得目标的运动信息无法使用。

中国发明专利申请公开号CN110532852A，介绍了一种基于深度学习的地铁行人异常事件检测的方法。使用了深度学习检测算法和DeepSort跟踪算法进行地铁的异常行为监测。其中包括入侵、逆行和摔倒。该发明中的逆行检测通过前后15帧同一行人构成的运动方向向量，计算其与预设绝对逆行方向向量间的角度差进行逆行异常判断。该方法因为需要视频的前后帧数据，因此无法做到实时的应用，且连续帧的运动向量方向非线性，实用性并不好。而通过计算前后3帧的行人质心位置Y坐标的相对变化量和行人检测框宽高比的相对变化量，判断行人是否发生摔倒异常，会因为大量的遮挡导致检测框瞬时变化而产生误判，实用性也不佳。

发明内容

本发明所要解决的技术问题在于：利用深度学习算法智能统计地铁站内监控视频的断面客流量并检测行人逆行。

本发明通过以下技术手段实现解决上述技术问题。

一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，包括以下步骤

S01.目标检测模型训练，采用地铁站监控视频制作样本集，对目标跟踪算法进行训练，得到目标检测模型；

S02.外观特征描述模型训练，采用行人再识别数据集训练表观特征抽取网络，得到特征提取模型，用于提取检测目标外观特征向量；

S03.绊线设置，根据实际场景设置用于判断行人跨越的绊线，作为判断行人跨越行为的依据；

S04.目标追踪，获取地铁站内监控视频，将视频解码抽帧，输入目标检测模型，目标检测模型获取初始的行人检测框，特征提取模型根据检测框内的目标得到外观特征向量；依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配，循环迭代确定跟踪目标的目标ID号并返回；

S05.行为判断，对于同一目标ID号的行人目标，判断其检测框坐标与绊线的位置关系；根据检测框是否在一定时期内出现在绊线两侧，来判断其是否存在跨越绊线行为；

S06.客流量和逆行计算，根据行人目标的跨越行为，统计计算出视频区域内的断面客流量，同时判断特定区域是否存在行人逆行行为，并给出报警信号。

进一步的，所述步骤S01中，采用YOLO V3检测算法作为目标跟踪算法的检测器，以darknet53为基础的特征提取网络作为检测器的backbong，对样本集进行迭代训练。

进一步的，所述步骤S02中，使用darknet深度学习框架搭建CNN外观特征抽取网络，离线训练得到特征提取模型。

进一步的，所述CNN外观特征抽取网络为10层，分别为2个卷积层，1个最大值池化层，6个残差层，1个全连接层；其中，对样本数据进行三次下采样，最后批归一化得到128维向量作为外观特征度量向量。

进一步的，所述步骤S03中绊线垂直于客流行进方向，设置于地铁站内楼梯口、扶梯口、闸机口区域。

进一步的，所述步骤S04具体为：接入地铁监控视频，解码抽帧后输入YOLOV3检测算法中获取当前帧内的检测目标的检测框，YOLOV3检测算法采用非极大值抑制和置信度对检测框进行筛选，然后再采用10层的CNN外观特征抽取网络对检测框内检测目标分别计算其外观特征的128维向量。

进一步的，所述步骤S04中的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配，然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配；

所述级联匹配为先采用多目标跟踪算法进行目标跟踪，进行距离度量，具体为：对跟踪目标执行卡尔曼滤波，同时使用匈牙利匹配方法对目标ID进行逐帧关联；其中，卡尔曼滤波器为

d_i,j1＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，(y_i，S_i)表示第i个跟踪器预测值在度量空间的分布，d_j表示第j个检测框；计算检测框距离跟踪器位置的平均标准差得到马氏距离；

然后，通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量

然后采用加权和将距离度量和外观度量组合，得到

c_i,j＝λd_i,j1+(1-λ)d_i,j2

根据阈值排除距离较大的关联，综合后的阈值：

b_i,j＝b_i,j1+b_i,j2

其中，c_i,j为加权度量，λ为权重，d_i,j1为距离度量，d_i,j2为外观度量，b_i,j为阈值；

所述IOU匹配具体为：首先，计算卡尔曼预测的每个跟踪器位置和实际检测目标之间的平方马氏距离，以及实际检测目标的外观特征向量和每个跟踪器内储存的特征之间的最小余弦距离，将超过阈值的对应值置为最大，然后使用匈牙利算法求取跟踪器与实际检测目标之间的线性分配，最后，筛选掉余弦距离过大的匹配后再更新匹配成功和未匹配的结果并返回。

本发明还提供一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测系统，包括：

目标检测模型训练模块，目标检测模型训练，采用地铁站监控视频制作样本集，对目标跟踪算法进行训练，得到目标检测模型；

外观特征训练模块，采用行人再识别数据集训练表观特征抽取网络，得到特征提取模型，用于提取检测目标外观特征向量；

绊线设置模块，根据实际场景设置用于判断行人跨越的绊线，作为判断行人跨越行为的依据；

目标追踪模块，获取地铁站内监控视频，将视频解码抽帧，输入目标检测模型，目标检测模型获取初始的行人检测框，特征提取模型根据检测框内的目标得到外观特征向量；依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配，循环迭代确定跟踪目标的目标ID号并返回；

行为判断模块，对于同一目标ID号的行人目标，判断其检测框坐标与绊线的位置关系；根据检测框是否在一定时期内出现在绊线两侧，来判断其是否存在跨越绊线行为；

客流量和逆行计算模块，根据行人目标的跨越行为，统计计算出视频区域内的断面客流量，同时判断特定区域是否存在行人逆行行为，并给出报警信号。

进一步的，所述目标跟踪模型训练模块中使用darknet深度学习框架搭建CNN外观特征抽取网络，离线训练得到目标跟踪模型；

所述CNN外观特征抽取网络为10层，分别为2个卷积层，1个最大值池化层，6个残差层，1个全连接层；其中，对样本数据进行三次下采样，最后批归一化得到128维向量作为外观特征度量。

进一步的，所述目标追踪模块中，的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配，然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配；

所述级联匹配为先采用多目标跟踪算法进行目标跟踪，进行距离度量，具体为：对跟踪目标执行卡尔曼滤波，同时使用匈牙利匹配方法对目标ID进行逐帧关联；其中，卡尔曼滤波器为

d_i,j1＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，(y_i，S_i)表示第i个跟踪器预测值在度量空间的分布，d_j表示第j个检测框；计算检测框距离跟踪器位置的平均标准差得到马氏距离；

然后，通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量

然后采用加权和将距离度量和外观度量组合，得到

c_i,j＝λd_i,j1+(1-λ)d_i,j2

根据阈值排除距离较大的关联，综合后的阈值：

b_i,j＝b_i,j1+b_i,j2

其中，c_i,j为加权度量，λ为权重，d_i,j1为距离度量，d_i,j2为外观度量，b_i,j为阈值；

所述IOU匹配具体为：首先，计算卡尔曼预测的每个跟踪器位置和实际检测目标之间的平方马氏距离，以及实际检测目标的外观特征向量和每个跟踪器内储存的特征之间的最小余弦距离，将超过阈值的对应值置为最大，然后使用匈牙利算法求取跟踪器与实际检测目标之间的线性分配；最后，筛选掉余弦距离过大的匹配后再更新匹配成功和未匹配的结果并返回。

本发明将在线多目标跟踪算法应用于地铁监控场景，采用地铁监控视频制作样本集用于训练检测器，同时利用大规模行人再识别数据集训练外观特征抽取网络。综合运动信息和外观特征提高跟踪算法性能，通过算法跟踪场景内的每一个行人目标，进而通过跟踪目标与设置的绊线之间的逻辑判断统计出客流量信息，同时也可以检测出行人的逆行行为。

本发明的优点在于：

将先进的目标跟踪算法应用到地铁监控中，可进行断面客流量统计和行人逆行检测，满足实时性要求；其中跟踪算法基于检测进行关联匹配，检测算法采用速度快、准确度高的YOLOV3算法，并经过真实地铁场景的行人数据进行训练。样本满足场景、光线、角度、行人类别的多样性，可达到良好的行人检出效果；多目标跟踪算法的关联匹配集成了距离信息和外观特征，外观特征经过行人再识别训练得来，比仅靠距离度量的跟踪算法具有更好的准确性，减少了ID的变换；不论是断面客流量统计还是行人逆行检测，都以跟踪算法为基础，判断准则简单且高效，仅仅通过一条绊线就可以实现对行人跨越的准确判断，且不会因为跟踪框突变产生误判。同时本发明还给出了合理的绊线设置原则；此外因为统计断面客流量和行人逆行检测基于相同的算法框架和判断规则，因此复用率高，两个算法可以同时部署在同一台机器上，能节约计算资源和硬件成本。

附图说明

图1为本发明实施例中检测方法的流程框图；

图2为本发明实施例中多目标跟踪算法的流程框图；

图3为本发明实施例中外观特征抽取网络结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例提供的基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，包括以下步骤：

步骤(1)：

通过对地铁监控视频进行抽帧取图进行重新命名，收集得到30000张图像；然后使用LabelImg标注软件对视频图像数据进行标注，标注类别为“person”，将标注框的坐标信息存储在对应图片名称的XML文件中。样本选择需要多样性要求。

以darknet53作为基础的特征提取网络搭建检测网络，对地铁行人数据进行迭代训练；训练参数设置为：批处理图片数量Batch Size：64，初始学习速率Learning Rate：0.001，冲量常数Momentum：0.9，权重衰减系数Decay：0.0005，Anchor Numbers：9，预选框大小为(3，5)，(7，11)，(11，21)，(17，27)，(23，41)，(33，54),(45，81)，(69，120)，(108，203)、经过200000次迭代训练，网络损失函数下降并收敛，得到目标检测模型。

步骤(2)：

下载行人重识别样本集Mars，其中包含636个人、12180个小段轨迹、68万张样本，使用darknet框架按照附图3搭建10层的CNN外观特征抽取网络，如图3所示，训练参数设置为：批处理图片数量Batch Size：128，初始学习速率Learning Rate：0.001，冲量常数Momentum：0.9，权重衰减系数Decay：0.0005，类别：636。迭代100000次得到特征提取模型以用于提取检测内目标的外观特征向量。外观特征抽取网络是一个10层的卷积结构，包含2个卷积层，1个最大值池化层，6个残差层，1个dense层，其中第3层池化层、第6层残差层、第8层残差层分别做了下采样，最后批归一化得到128维向量作为外观特征度量。

步骤(3)：

根据实际场景设置用于判断行人跨越的绊线：绊线为判断跟踪目标是否跨越指定位置的判断依据。具体的设计原则为：根据监控场景内的客流流动控制方向来设定绊线，避开人群易密集、遮挡的区域，选择在画面的空旷区域画取一条水平(客流为上下行走)或垂直(客流为左右行走)的线段。对于断面客流量来说，绊线可选取在地铁站内楼梯口、扶梯口、闸机口等区域以便于逐一计数，对于双向通道可设置两条或多条绊线分别进行客流量统计。行人逆行检测一般针对扶梯、楼梯等有严格限定客流方向的区域，为排除区域外行人的干扰可限定ROI区域，绊线可选取在限定区域的上下三分之一处。

步骤(4)：

搭建多目标跟踪算法运行环境，选择搭载有NVIDIA GeForce GTX 2080 Ti显卡，内存>32G的，安装有windows10操作系统的服务器。安装CUDA 10.0、CUDNN 7.6.0、Python3.6及相关依赖库、OpenCV3.4.2、Visual Studio 2013等依赖环境。

本发明采用DeepSort算法进行行人跟踪，跟踪算法的主流程为：行人目标检测→外观特征提取、轨迹卡尔曼滤波运动预测→相似度计算→使用匈牙利算法将预测后的跟踪器和当前帧中的检测框进行数据关联(级联匹配和IOU匹配)。卡尔曼滤波算法对目标位置进行预测和更新，匈牙利匹配算法计算代价矩阵得到最佳匹配。

接入地铁监控视频，解码抽帧后输入算法，加载预训练的YOLOV3检测模型和CNN外观特征抽取模型，在线多目标跟踪算法将检测器和跟踪器集成起来。跟踪在逐帧检测的基础上执行数据关联，首先利用YOLOV3算法检测出当前帧内的行人目标的检测框，其中，采用非极大值抑制(NMS)和置信度对检测框进行筛选，NMS值设为0.6，置信度thresh设为0.7。然后针对检测目标分别计算描述其表观特征的128维向量。

为检测目标初始化跟踪器，根据其状态将跟踪器分为Tentative、Confirmed和Deleted，对检测目标和跟踪器进行级联匹配，根据距离信息和外观特征进行相似度估计，也就是计算卡尔曼预测后的框和当前帧的检测框间的马氏距离，以及当前帧检测目标与跟踪器内储存的外观特征向量间的最小余弦距离。综合两个关联度量进行数据匹配，采用匈牙利算法解决分配问题。这个过程是一个循环，从age＝0的轨迹(即上一帧轨迹匹配上)到age＝30的轨迹(即丢失轨迹的最大帧数30帧)依次和检测结果进行匹配。也就是说，对于没有丢失过的轨迹赋予优先匹配的权利，而丢失的最久的轨迹最后匹配。在目标匹配后采用卡尔曼滤波对目标位置进行更新，再参与下一次预测。

根据检测框内图像获取128维的特征向量作为外观特征，通过对比第i个追踪器的成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，来判断检测目标是否是同一个人。对每一个追踪目标构建一个gallary，存储追踪器成功关联的最近100帧的特征向量。外观提取网络在NVIDIA GeForce GTX2080的GPU加速下，32个检测框的前向推断大约需要30ms，因此适用于在线的实时跟踪。这一扩展使我们能够对长时间遮挡的对象进行跟踪，从而有效地减少ID变换的数量。

对通过级联匹配筛选出的未匹配上的检测框(unmatched detection)与待匹配的跟踪目标再做IOU(交并比)匹配。将只有一帧为匹配的跟踪器看做候选项(trackcandidate)，计算unmatched detection和track candidate之间的距离(IOU distance)，并将阈值设为0.7用于删除距离较大的匹配，并删除IOU较小对。经过两次匹配得到最终的匹配结果(matched、unmatched tracks和unmatched detection)并返回。

解决卡尔曼预测状态与检测目标之间关联的可以用匈牙利算法进行分配。此处我们的度量集成运动信息和外观特征。对于运动信息度量，我们计算卡尔曼预测状态和检测框之间的平方马氏(Mahalanobis)距离：

d_i,j1＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，(y_i，S_i)表示第i个跟踪器预测值在度量空间的分布，d_j表示第j个检测框。计算检测框距离跟踪器位置的平均标准差得到马氏距离。此外通过阈值排除不可能的关联。如下：

如果第i个跟踪器与第j个检测框达成关联，则评估为1。

为了弥补运动复杂时距离度量进行跟踪的不足，我们将第二个度量集成进来。对于每个框检测d_j，我们计算外观特征向量r_j。对于确定状态的跟踪器，我们用一个库储存其最近的100个相关的外观特征向量。通过计算检测器i与跟踪器j在外观空间中的最小余弦距离获得第二个度量：

同样地，引入一个二进制变量来限定这个度量是否允许关联。

阈值t2的大小通过计算跟踪目标外观特征的预训练CNN单独训练得到。其网络结构见附图3。在组合关联度量中，两个度量从不同方面相互补充。一方面，马氏距离提供了基于可能的物体运动位置的信息，这些信息对于短期预测特别有用。另一方面，余弦距离考虑外观信息，这些信息为长期遮挡后恢复跟踪提供依据。综合两者，我们使用加权和将这两个度量组合在一起：

c_i,j＝λd_i,j1+(1-λ)d_i,j2

根据阈值排除距离较大的关联，综合后的阈值：

b_i,j＝b_i,j1+b_i,j2

其中，c_i,j为加权度量，λ为权重，d_i,j1为距离度量，d_i,j2为外观度量，b_i,j为阈值；

步骤(5)：

对于跟踪算法返回的同一ID的行人目标，首先选取跟踪框内某一点(如左下角)为基准。对于水平方向的绊线，先判断坐标点的y值是否在绊线y坐标的范围之内，然后取坐标点的x坐标值与绊线的x坐标值进行比较。对于垂直方向的绊线，先判断坐标点的x值是否在绊线x坐标的范围之内，然后取坐标点的y坐标值与绊线的y坐标值进行比较。如果跟踪框坐标在跟踪周期内出现在绊线两侧则认为此目标存在跨越绊线行为；有多条绊线的情况则对所有跟踪目标按绊线分别独立判断。

步骤(6)：

对于断面客流量统计，当某个ID下跟踪目标存在行人跨越绊线时，则将其视为有效客流并计入客流总数，同时计算客流量变化的速度得到实时的客流趋势；对于行人逆行行为检测，首先设定逆行方向和时间段，利用指定区域排除掉不在控制区域内的跟踪目标。当某个ID下跟踪目标顺序跨越绊线，且此顺序与设定的逆行方向一致时，则判定此目标为逆行。此时将此目标标注并给出报警信号。

本实施例还提供一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测系统，包括以下步骤：

目标检测模型训练模块：

通过对地铁监控视频进行抽帧取图进行重新命名，收集得到30000张图像；然后使用LabelImg标注软件对视频图像数据进行标注，标注类别为“person”，将标注框的坐标信息存储在对应图片名称的XML文件中。样本选择需要多样性要求。

以darknet53作为基础的特征提取网络搭建检测网络，对地铁行人数据进行迭代训练；训练参数设置为：批处理图片数量Batch Size：64，初始学习速率Learning Rate：0.001，冲量常数Momentum：0.9，权重衰减系数Decay：0.0005，Anchor Numbers：9，预选框大小为(3，5)，(7，11)，(11，21)，(17，27)，(23，41)，(33，54),(45，81)，(69，120)，(108，203)、经过200000次迭代训练，网络损失函数下降并收敛，得到目标检测模型。

外观特征训练模块：

下载行人重识别样本集Mars，其中包含636个人、12180个小段轨迹、68万张样本，使用darknet框架按照附图3搭建10层的CNN外观特征抽取网络，如图3所示，训练参数设置为：批处理图片数量Batch Size：128，初始学习速率Learning Rate：0.001，冲量常数Momentum：0.9，权重衰减系数Decay：0.0005，类别：636。迭代100000次得到特征提取模型以用于提取检测内目标的外观特征向量。外观特征抽取网络是一个10层的卷积结构，包含2个卷积层，1个最大值池化层，6个残差层，1个dense层，其中第3层池化层、第6层残差层、第8层残差层分别做了下采样，最后批归一化得到128维向量作为外观特征度量。

绊线设置模块：

根据实际场景设置用于判断行人跨越的绊线：绊线为判断跟踪目标是否跨越指定位置的判断依据。具体的设计原则为：根据监控场景内的客流流动控制方向来设定绊线，避开人群易密集、遮挡的区域，选择在画面的空旷区域画取一条水平(客流为上下行走)或垂直(客流为左右行走)的线段。对于断面客流量来说，绊线可选取在地铁站内楼梯口、扶梯口、闸机口等区域以便于逐一计数，对于双向通道可设置两条或多条绊线分别进行客流量统计。行人逆行检测一般针对扶梯、楼梯等有严格限定客流方向的区域，为排除区域外行人的干扰可限定ROI区域，绊线可选取在限定区域的上下三分之一处。

目标追踪模块：

搭建多目标跟踪算法运行环境，选择搭载有NVIDIA GeForce GTX 2080 Ti显卡，内存>32G的，安装有windows10操作系统的服务器。安装CUDA 10.0、CUDNN 7.6.0、Python3.6及相关依赖库、OpenCV3.4.2、Visual Studio 2013等依赖环境。

本发明采用DeepSort算法进行行人跟踪，跟踪算法的主流程为：行人目标检测→外观特征提取、轨迹卡尔曼滤波运动预测→相似度计算→使用匈牙利算法将预测后的跟踪器和当前帧中的检测框进行数据关联(级联匹配和IOU匹配)。卡尔曼滤波算法对目标位置进行预测和更新，匈牙利匹配算法计算代价矩阵得到最佳匹配。

接入地铁监控视频，解码抽帧后输入算法，加载预训练的YOLOV3检测模型和CNN外观特征抽取模型，在线多目标跟踪算法将检测器和跟踪器集成起来。跟踪在逐帧检测的基础上执行数据关联，首先利用YOLOV3算法检测出当前帧内的行人目标的检测框，其中，采用非极大值抑制(NMS)和置信度对检测框进行筛选，NMS值设为0.6，置信度thresh设为0.7。然后针对检测目标分别计算描述其表观特征的128维向量。

为检测目标初始化跟踪器，根据其状态将跟踪器分为Tentative、Confirmed和Deleted，对检测目标和跟踪器进行级联匹配，根据距离信息和外观特征进行相似度估计，也就是计算卡尔曼预测后的框和当前帧的检测框间的马氏距离，以及当前帧检测目标与跟踪器内储存的外观特征向量间的最小余弦距离。综合两个关联度量进行数据匹配，采用匈牙利算法解决分配问题。这个过程是一个循环，从age＝0的轨迹(即上一帧轨迹匹配上)到age＝30的轨迹(即丢失轨迹的最大帧数30帧)依次和检测结果进行匹配。也就是说，对于没有丢失过的轨迹赋予优先匹配的权利，而丢失的最久的轨迹最后匹配。在目标匹配后采用卡尔曼滤波对目标位置进行更新，再参与下一次预测。

根据检测框内图像获取128维的特征向量作为外观特征，通过对比第i个追踪器的成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，来判断检测目标是否是同一个人。对每一个追踪目标构建一个gallary，存储追踪器成功关联的最近100帧的特征向量。外观提取网络在NVIDIA GeForce GTX2080的GPU加速下，32个检测框的前向推断大约需要30ms，因此适用于在线的实时跟踪。这一扩展使我们能够对长时间遮挡的对象进行跟踪，从而有效地减少ID变换的数量。

对通过级联匹配筛选出的未匹配上的检测框(unmatched detection)与待匹配的跟踪目标再做IOU(交并比)匹配。将只有一帧为匹配的跟踪器看做候选项(trackcandidate)，计算unmatched detection和track candidate之间的距离(IOU distance)，并将阈值设为0.7用于删除距离较大的匹配，并删除IOU较小对。经过两次匹配得到最终的匹配结果(matched、unmatched tracks和unmatched detection)并返回。

解决卡尔曼预测状态与检测目标之间关联的可以用匈牙利算法进行分配。此处我们的度量集成运动信息和外观特征。对于运动信息度量，我们计算卡尔曼预测状态和检测框之间的平方马氏(Mahalanobis)距离：

d_i,j1＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，(y_i，S_i)表示第i个跟踪器预测值在度量空间的分布，d_j表示第j个检测框。计算检测框距离跟踪器位置的平均标准差得到马氏距离。此外通过阈值排除不可能的关联。如下：

如果第i个跟踪器与第j个检测框达成关联，则评估为1。

为了弥补运动复杂时距离度量进行跟踪的不足，我们将第二个度量集成进来。对于每个框检测d_j，我们计算外观特征向量r_j。对于确定状态的跟踪器，我们用一个库储存其最近的100个相关的外观特征向量。通过计算检测器i与跟踪器j在外观空间中的最小余弦距离获得第二个度量：

同样地，引入一个二进制变量来限定这个度量是否允许关联。

阈值t2的大小通过计算跟踪目标外观特征的预训练CNN单独训练得到。其网络结构见附图3。在组合关联度量中，两个度量从不同方面相互补充。一方面，马氏距离提供了基于可能的物体运动位置的信息，这些信息对于短期预测特别有用。另一方面，余弦距离考虑外观信息，这些信息为长期遮挡后恢复跟踪提供依据。综合两者，我们使用加权和将这两个度量组合在一起：

c_i,j＝λd_i,j1+(1-λ)d_i,j2

根据阈值排除距离较大的关联，综合后的阈值：

b_i,j＝b_i,j1+b_i,j2

其中，c_i,j为加权度量，λ为权重，d_i,j1为距离度量，d_i,j2为外观度量，b_i,j为阈值；

行为判断模块：

对于跟踪算法返回的同一ID的行人目标，首先选取跟踪框内某一点(如左下角)为基准。对于水平方向的绊线，先判断坐标点的y值是否在绊线y坐标的范围之内，然后取坐标点的x坐标值与绊线的x坐标值进行比较。对于垂直方向的绊线，先判断坐标点的x值是否在绊线x坐标的范围之内，然后取坐标点的y坐标值与绊线的y坐标值进行比较。如果跟踪框坐标在跟踪周期内出现在绊线两侧则认为此目标存在跨越绊线行为；有多条绊线的情况则对所有跟踪目标按绊线分别独立判断。

客流量和逆行计算模块：

对于断面客流量统计，当某个ID下跟踪目标存在行人跨越绊线时，则将其视为有效客流并计入客流总数，同时计算客流量变化的速度得到实时的客流趋势；对于行人逆行行为检测，首先设定逆行方向和时间段，利用指定区域排除掉不在控制区域内的跟踪目标。当某个ID下跟踪目标顺序跨越绊线，且此顺序与设定的逆行方向一致时，则判定此目标为逆行。此时将此目标标注并给出报警信号。以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：包括以下步骤

S01.目标检测模型训练，采用地铁站监控视频制作样本集，对目标跟踪算法进行训练，得到目标检测模型；

S02.外观特征描述模型训练，采用行人再识别数据集训练表观特征抽取网络，得到特征提取模型，用于提取检测目标外观特征向量；

S03.绊线设置，根据实际场景设置用于判断行人跨越的绊线，作为判断行人跨越行为的依据；

S04.目标追踪，获取地铁站内监控视频，将视频解码抽帧，输入目标检测模型，目标检测模型获取初始的行人检测框，特征提取模型根据检测框内的目标得到外观特征向量；依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配，循环迭代确定跟踪目标的目标ID号并返回；

S05.行为判断，对于同一目标ID号的行人目标，判断其检测框坐标与绊线的位置关系；根据检测框是否在一定时期内出现在绊线两侧，来判断其是否存在跨越绊线行为；

S06.客流量和逆行计算，根据行人目标的跨越行为，统计计算出视频区域内的断面客流量，同时判断特定区域是否存在行人逆行行为，并给出报警信号。

2.根据权利要求1所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述步骤S01中，采用YOLO V3检测算法作为目标跟踪算法的检测器，以darknet53为基础的特征提取网络作为检测器的backbone，对样本集进行迭代训练。

3.根据权利要求2所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述步骤S02中，使用darknet深度学习框架搭建CNN外观特征抽取网络，离线训练得到特征提取模型。

4.根据权利要求3所述的种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述CNN外观特征抽取网络为10层，分别为2个卷积层，1个最大值池化层，6个残差层，1个全连接层；其中，对样本数据进行三次下采样，最后批归一化得到128维向量作为外观特征度量向量。

5.根据权利要求1所述的种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述步骤S03中绊线垂直于客流行进方向，设置于地铁站内楼梯口、扶梯口、闸机口区域。

6.根据权利要求4所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述步骤S04具体为：接入地铁监控视频，解码抽帧后输入YOLOV3检测算法中获取当前帧内的检测目标的检测框，YOLOV3检测算法采用非极大值抑制和置信度对检测框进行筛选，然后再采用10层的CNN外观特征抽取网络对检测框内检测目标分别计算其外观特征的128维向量。

7.根据权利要求4所述的一种基于多目标跟踪算法的地铁端面客流量统计和行人逆行检测方法，其特征在于：所述步骤S04中的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配，然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配；

所述级联匹配为先采用多目标跟踪算法进行目标跟踪，进行距离度量，具体为：对跟踪目标执行卡尔曼滤波，同时使用匈牙利匹配方法对目标ID进行逐帧关联；其中，卡尔曼滤波器为

d_i，j1＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，(y_i，S_i)表示第i个跟踪器预测值在度量空间的分布，d_j表示第j个检测框；计算检测框距离跟踪器位置的平均标准差得到马氏距离；

然后，通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量

然后采用加权和将距离度量和外观度量组合，得到

c_i，j＝λd_i，j1+(1-λ)d_i，j2

根据阈值排除距离较大的关联，综合后的阈值：

b_i，j＝b_i，j1+b_i，j2

其中，c_i，j为加权度量，λ为权重，d_i，j1为距离度量，d_i，j2为外观度量，b_i，j为阈值；

所述IOU匹配具体为：首先，计算卡尔曼预测的每个跟踪器位置和实际检测目标之间的平方马氏距离，以及实际检测目标的外观特征向量和每个跟踪器内储存的特征之间的最小余弦距离，将超过阈值的对应值置为最大，然后使用匈牙利算法求取跟踪器与实际检测目标之间的线性分配，最后，筛选掉余弦距离过大的匹配后再更新匹配成功和未匹配的结果并返回。

8.一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测系统，其特征在于：包括

目标检测模型训练模块，采用地铁站监控视频制作样本集，对目标跟踪算法进行训练，得到目标检测模型；

外观特征训练模块，采用行人再识别数据集训练表观特征抽取网络，得到特征提取模型，用于提取检测目标外观特征向量；

绊线设置模块，根据实际场景设置用于判断行人跨越的绊线，作为判断行人跨越行为的依据；

目标追踪模块，获取地铁站内监控视频，将视频解码抽帧，输入目标检测模型，目标检测模型获取初始的行人检测框，特征提取模型根据检测框内的目标得到外观特征向量；依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配，循环迭代确定跟踪目标的目标ID号并返回；

行为判断模块，对于同一目标ID号的行人目标，判断其检测框坐标与绊线的位置关系；根据检测框是否在一定时期内出现在绊线两侧，来判断其是否存在跨越绊线行为；

客流量和逆行计算模块，根据行人目标的跨越行为，统计计算出视频区域内的断面客流量，同时判断特定区域是否存在行人逆行行为，并给出报警信号。

9.根据权利要求8所述的检测系统，其特征在于：所述目标跟踪模型训练模块中使用darknet深度学习框架搭建CNN外观特征抽取网络，离线训练得到目标跟踪模型；

所述CNN外观特征抽取网络为10层，分别为2个卷积层，1个最大值池化层，6个残差层，1个全连接层；其中，对样本数据进行三次下采样，最后批归一化得到128维向量作为外观特征度量。

10.根据权利要求8所述的检测系统，其特征在于：所述目标追踪模块中，的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配，然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配；

所述级联匹配为先采用多目标跟踪算法进行目标跟踪，进行距离度量，具体为：对跟踪目标执行卡尔曼滤波，同时使用匈牙利匹配方法对目标ID进行逐帧关联；其中，卡尔曼滤波器为

d_i，j1＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，(y_i，S_i)表示第i个跟踪器预测值在度量空间的分布，d_j表示第j个检测框；计算检测框距离跟踪器位置的平均标准差得到马氏距离；

然后，通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量

然后采用加权和将距离度量和外观度量组合，得到

c_i，j＝λd_i，j1+(1-λ)d_i，j2

根据阈值排除距离较大的关联，综合后的阈值：

b_i，j＝b_i，j1+b_i，j2

其中，c_i，j为加权度量，λ为权重，d_i，j1为距离度量，d_i，j2为外观度量，b_i，j为阈值；

所述IOU匹配具体为：首先，计算卡尔曼预测的每个跟踪器位置和实际检测目标之间的平方马氏距离，以及实际检测目标的外观特征向量和每个跟踪器内储存的特征之间的最小余弦距离，将超过阈值的对应值置为最大，然后使用匈牙利算法求取跟踪器与实际检测目标之间的线性分配；最后，筛选掉余弦距离过大的匹配后再更新匹配成功和未匹配的结果并返回。

Images