CN110532951B - 一种基于区间位移的地铁乘客异常行为分析方法 - Google Patents

Abstract

本发明涉及一种基于区间位移的地铁乘客异常行为分析方法，首先自动检测人脸特征后抓拍图片，获取人脸特征，然后通过其人脸特征比对获取乘客信息，根据轨迹记录分析区间位移得到位移速度来判断人员是否有奔跑、徘徊或逗留的异常行为，所有图片信息都在系统中记录留存。人脸识别的检测方法受环境遮挡人体因素的影响较小，通过区间位移的速度计算关联分析多个视频场景，能有效提高人员异常行为检测准确率，并为后期人员追踪定位提供详细信息，可广泛应用于人群密度较大的地铁场所。

Description

一种基于区间位移的地铁乘客异常行为分析方法

技术领域

本发明涉及一种基于区间位移的地铁乘客异常行为分析方法。

背景技术

在地铁这种公共场所视频监控中，视频监控点的设立根据治安状况按区域进行重点设置，布控点主要集中在地铁站出入口、站厅区、站台区和车厢内部等区域。相关部门通过实时视频、录像等手段来了解布控在各个敏感区的实时状况，通常情况下，安全防范措施位列地铁管理的首要考虑要素，地铁安防措施一方面需要摄像机进行及时监控，另一方面视频智能分析技术也是不可或缺。

在公共场所发生的意外伤害案件中，很多是由于人员未注意保护自身安全、做出肆意奔跑等危险举动引起的。在地铁这种公共场所的人员异常行为检测一直是技术不太容易解决的问题，因为其目标数量多监控范围大的特点制约了自动检测功能的效果。专利申请号CN201510300834.9提出一种基于人体分析和运动分析的人体奔跑行为检测方法，通过对人体目标提取运动矢量特征进行特征分类判断人体是否处于奔跑状态。该方法虽然能判断人体奔跑状态，但需要视频检测场景中人体轮廓无主要遮挡才能准确判断人体，这在人群密度较大的公共场所中难以推广。专利申请号CN201510160836.2提出一种行人异常行为检测方法及系统，通过计算视频帧中的目标行人和周围行人的运动距离判断是否有徘徊或逗留的异常行为。该方法需要目标人员活动在同一视频画面中，而实际情况下单个视频监控覆盖场景较小，无法检测出人员在不同视频场景中徘徊的情况。为了能够实现在地铁人群中自动检测人员奔跑、徘徊或逗留等异常行为并预警，最大程度保障地铁安全有序，需要有一种新的技术方案和展现系统来满足相关管理部门需求。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于区间位移的地铁乘客异常行为分析方法，所述方法包括：

步骤1)，通过监控设备获取视频信息，确定是否存在人脸信息，如果存在，则截取当前视频帧，采用MTCNN进行人脸检测，提取人脸的特征值；

步骤2)，将步骤1)中获取的人脸特征值与人脸数据库进行特征比对，若相似度超过预设的阈值，则比对成功，将所述人脸特征值对应的人员编号P、出现的时间T1、监控位置D1存入到人员历史数据集中；若相似度低于预设阈值，则将其作为新乘客数据，存入人脸特征库，并分配编号用于后续比对；

步骤3)，根据人员编号P和出现时间T1从人员历史轨迹数据集M中筛选出该乘客最近的一条轨迹记录R，其中，所述轨迹记录R包括人员编号P、出现时间T2、监控位置D2，基于Bellman-Ford算法计算出监控位置D1和D2两个轨迹点之间的最短区间位移L；

步骤4)，通过步骤3)乘客轨迹记录中的抓拍时间T1、T2和轨迹点位的区间位移L得到乘客P在这段时间内的区间位移速度

步骤5)，根据区间位移速确定乘客的状态，以及根据乘客的状态以及地铁车次最长间隔时间确定乘客的异常行为。

其中，预先采集工作人员的信息，并存入人脸特征库；所述步骤2)还包括，当人脸特征比对结果为工作人员，则直接过滤，不进行异常行为分析。

其中，所述根据Bellman-Ford算法分析监控点位间的最短路径，包括：

通过系统接入的视频监控位置和地铁通道连通性建立邻接矩阵A，定义如下：

邻接矩阵A对角线元素值为0，即节点i到节点j的最短路径长度为0；非邻节点权值为无穷大，即节点i和节点j非邻结，则邻接矩阵的(i，j)值为无穷大；邻节点权值是权重，即节点i和节点j相邻，则邻接矩阵的(i，j)值为权重w；

起点向量定义如下：

其中d₀(v)是起点s到顶点v的距离，将起点的值设为0，其它的点的值设为无穷大，表示不可达；

起点s经过k条路径到达顶点v的最短路径公式表示如下：

顶点u∈N，当存在u使d(v)＞d(u)+A(u,v)时，则说明经过顶点u，可以缩短起点s到顶点v的距离，循环遍历节点集N中的所有顶点即可得到最短路径L。

其中，所述步骤5)具体包括：

当乘客区间位移速度

时，判定乘客处于奔跑状态；当T1-T2＞2ΔT且D1和D2属于同一个地铁站点时，则判定乘客在当前地铁站处于徘徊或逗留状态；其中，ΔT为地铁车次最长间隔时间。

其中，所述步骤5)还包括：若乘客区间位移速度

T1-T'2＞ΔT+t；以及D1和D2属于同一个地铁站点时，则判定该乘客为疑似异常乘客，疑似具有异常行为；此时，根据客流密度确定是否能够实现乘客的视频跟踪，如果不能，则监控设备发送通知至冗余监控设备，使其进行跟踪模式，其中，该冗余监控设备用于对乘客进行视频跟踪，当疑似异常乘客从监控设备的监控画面丢失时，从冗余设备获取监控信息；

其中，t为地铁靠站停靠的最长时间；冗余设备可以有多个；冗余设备的个数根据疑似异常乘客特定范围内的乘客数进行确定；当特定范围内的乘客数小于2时，不使用冗余设备，当冗余数大于2小于等于4时，启动两个冗余设备，当乘客数大于4时，启动3个冗余设备；

其中，冗余设备和监控设备均与管理设备相连，当疑似异常乘客从监控设备的监控画面丢失时，监控设备发送通知消息至冗余设备和管理设备，冗余设备将监控到的疑似异常乘客信息上传至管理设备；其中，其中通知消息中记录有疑似异常乘客消失的时间T，管理设备根据通知消息获取上述时间T，然后从(T-1)开始记录冗余监控设备发送的数据；

当监控设备再次监控到疑似异常乘客时，再次发送第二通知消息，并将监控到的信息上传至管理设备，监控设备从第二通知消息中获取疑似异常乘客出现的时间点T’，同时从(T’+1)开始保存监控设备发送的数据；并通知冗余监控设备删除临时缓存中的数据，并继续监控；以及，当经过时间ΔT后，删除临时缓存中的数据，并退出跟踪模式，进入正常的监控模式。

本发明的有益效果是，本发明的基于区间位移的地铁乘客异常行为的分析，系统首先自动检测人脸特征后抓拍图片，获取人脸特征，然后通过其人脸特征比对获取乘客信息，根据轨迹记录分析区间位移得到位移速度来判断人员是否有奔跑、徘徊或逗留的异常行为，所有图片信息都在系统中记录留存。人脸识别的检测方法受环境遮挡人体因素的影响较小，通过区间位移的速度计算关联分析多个视频场景，能有效提高人员异常行为检测准确率，并为后期人员追踪定位提供详细信息，可广泛应用于人群密度较大的地铁场所。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的优选实施例的方法流程图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

为解决现有技术中存在的问题，本发明提供了一种基于区间位移的地铁乘客异常行为分析方法，如图1所示，所述方法包括：

步骤1)，通过监控设备获取视频信息，确定是否存在人脸信息，如果存在，则截取当前视频帧，采用MTCNN进行人脸检测，提取人脸的特征值；其中，MTCNN算法详见《JointFace Detection and Alignment using Multi-task Cascaded ConvolutionalNetworks》；由于视频监控相机场景大小与实际环境有关，为缩小画面位置和实际位置的距离误差，需要预先根据场景设置人脸检测区域。当在检测区域中检测到人脸后将人脸抠出并提取特征值，以用于后续的检测；系统的自动检测，能够提高人脸的识别效率。

步骤2)，将步骤1)中获取的人脸特征值与人脸数据库进行特征比对，若相似度超过预设的阈值(相似度阈值)，则比对成功，将所述人脸特征值对应的人员编号P、出现的时间T1、监控位置D1存入到人员历史数据集中；若相似度低于预设阈值，则将其作为新乘客数据，存入人脸特征库，并分配编号用于后续比对；

具体包括：将步骤1)中提取出的人脸特征值与人脸特征库进行比对，设置相似度阈值，如可以为70％(根据人脸比对算法效果适当调整)，当相似度超过70％即比对成功，将比对上的人员信息、出现时间、监控位置等存入到人员历史轨迹数据集M中；当相似度低于70％比对失败时，将人脸特征值存入人脸特征库，作为新采集乘客并分配编号用于后续比对。由于地铁工作人员相对固定，人脸库中可提前采集地铁工作人员信息图片并标注，当人脸识别比对结果为地铁工作人员则直接过滤，不进行后续异常行为分析。优选的，除了地铁工作人员之外，其他可以确定身份的人员均可提前录入人脸数据库，并根据比对结果进行直接过滤，由此提高了系统的工作效率，降低了系统的压力。

步骤3)，根据人员编号P和出现时间T1从人员历史轨迹数据集M中筛选出该乘客最近的一条轨迹记录R，其中，所述轨迹记录R包括人员编号P、出现时间T2、监控位置D2，基于Bellman-Ford算法计算出监控位置D1和D2两个轨迹点之间的最短区间位移L；

其中，所述根据Bellman-Ford算法分析监控点位间的最短路径，包括：

通过系统接入的视频监控位置和地铁通道连通性建立邻接矩阵A，定义如下：

邻接矩阵A对角线元素值为0，即节点i到节点j的最短路径长度为0；非邻节点权值为无穷大，即节点i和节点j非邻结，则邻接矩阵的(i，j)值为无穷大；邻节点权值是权重，即节点i和节点j相邻，则邻接矩阵的(i，j)值为权重w，其具体计算方法可以根据有向图的边的权重进行确定，或是其他已有的计算方法，上述技术是本领域公知的算法，在此不做赘述。

起点向量定义如下：

其中d(v)是起点s到顶点v的距离，将起点的值设为0，其它的点的值设为无穷大，表示不可达；

起点s经过k条路径到达顶点v的最短路径公式表示如下：

顶点u∈N，当存在u使d(v)＞d(u)+A(u,v)时，则说明经过顶点u，可以缩短起点s到顶点v的距离，循环遍历节点集N中的所有顶点即可得到最短路径L。

步骤4)，通过步骤3)乘客轨迹记录中的抓拍时间T1、T2和轨迹点位的区间位移L得到乘客P在这段时间内的区间位移速度

其中，所有视频监控相机都采用NTP校时，保证乘客轨迹记录的时间一致性。提高了计算的准确性。

步骤5)，根据区间位移速确定乘客的状态，以及根据乘客的状态以及地铁车次最长间隔时间确定乘客的异常行为。

具体包括：

正常情况下乘客步行速度不超过1.5m/s，当乘客区间位移速度

时，判定乘客处于奔跑状态；当T1-T2＞2ΔT且D1和D2属于同一个地铁站点时，则判定乘客在当前地铁站处于徘徊或逗留状态；其中，ΔT为地铁车次最长间隔时间。

其中，所述步骤5)还包括：在进行异常乘客判断之前，还可以进行疑似异常乘客的判读，具体包括：若乘客区间位移速度

T1-T'2＞ΔT+t(其中，时间点T'2对应的位置也可以用D2表示，或是其他方式表示)；以及D1和D2属于同一个地铁站点时，则判定该乘客为疑似异常乘客，疑似具有异常行为；此时，由于客流密度的大小直接影响监控的效率，因此，需要根据客流密度确定是否能够实现乘客的视频跟踪，如果不能，则监控设备发送通知至冗余监控设备，使其进行跟踪模式，其中，该冗余监控设备用于对乘客进行视频跟踪，当疑似异常乘客从监控设备的监控画面丢失时，从冗余设备获取监控信息；

其中，t为地铁靠站停靠的最长时间；冗余设备可以有多个；冗余设备的个数根据疑似异常乘客特定范围内(如到乘客的距离为0.5m或1m的范围内)的乘客数进行确定；当特定范围内的乘客数小于2时，不使用冗余设备，当冗余数大于2小于等于4时，启动两个冗余设备，当乘客数大于4时，启动3个冗余设备；因为4个设备完全可以从各个角度获取乘客的信息，即使出现全方位遮挡，也可以根据上述信息获取乘客的部分信息，进而计算出乘客的位置移动，由此实现了对疑似异常乘客的跟踪处理。其中，上述冗余设备个数的设置是在乘客处于监控设备的监控范围内，如果乘客可能移出监控范围时，还可以根据实际的环境需要选择新的监控设备和冗余设备进行协作以实现全方位的跟踪。

其中，冗余设备和监控设备均与管理设备相连，当疑似异常乘客从监控设备的监控画面丢失时，监控设备发送通知消息至冗余设备和管理设备，冗余设备将监控到的疑似异常乘客信息上传至管理设备；其中，其中通知消息中记录有疑似异常乘客消失的时间T，管理设备根据通知消息获取上述时间T，然后从(T-1)开始记录冗余监控设备发送的数据；当乘客消失后，从该时刻的前一个单位(如前一秒)时间点开始记录冗余监控设备的数据，由此保证数据的连贯性，防止因延迟导致的数据丢失，保证数据数据完整性。

当监控设备再次监控到疑似异常乘客时，再次发送第二通知消息，并将监控到的信息上传至管理设备，监控设备从第二通知消息中获取疑似异常乘客出现的时间点T’，同时从(T’+1)开始保存监控设备发送的数据；并通知冗余监控设备删除临时缓存中的数据，并继续监控；以及，当经过时间ΔT后，删除临时缓存中的数据，并退出跟踪模式，进入正常的监控模式。为保证数据的完整性，从接收到乘客出现时刻的后一个单位时间点开始保存，由此保证了数据的完整性。

其中，冗余监控设备和监控设备为相同的设备，且互为冗余，具有临时缓冲区；优选的，在监控场景下布置有冗余网络，由此保证当部分节点进入跟踪模式后，不影响正常的监控。而且，进入监控模式的冗余监控设备的临时缓存区最多存储的数据时长较短，对缓存设备的要求较低，降低了设备的成本。

本发明的有益效果是，本发明的基于区间位移的地铁乘客异常行为的分析，系统首先自动检测人脸特征后抓拍图片，获取人脸特征，然后通过其人脸特征比对获取乘客信息，根据轨迹记录分析区间位移得到位移速度来判断人员是否有奔跑、徘徊或逗留的异常行为，所有图片信息都在系统中记录留存。人脸识别的检测方法受环境遮挡人体因素的影响较小，通过区间位移的速度计算关联分析多个视频场景，能有效提高人员异常行为检测准确率，并为后期人员追踪定位提供详细信息，可广泛应用于人群密度较大的地铁场所。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种基于区间位移的地铁乘客异常行为分析方法，其特征在于，所述方法包括：

步骤1)，通过监控设备获取视频信息，确定是否存在人脸信息，如果存在，则截取当前视频帧，采用MTCNN进行人脸检测，提取人脸的特征值；

步骤2)，将步骤1)中获取的人脸特征值与人脸数据库进行特征比对，若相似度超过预设的阈值，则比对成功，将所述人脸特征值对应的人员编号P、出现的时间T1、监控位置D1存入到人员历史数据集中；若相似度低于预设阈值，则将其作为新乘客数据，存入人脸特征库，并分配编号用于后续比对；

步骤3)，根据人员编号P和出现时间T1从人员历史轨迹数据集M中筛选出该乘客最近的一条轨迹记录R，其中，所述轨迹记录R包括人员编号P、出现时间T2、监控位置D2，基于Bellman-Ford算法计算出监控位置D1和D2两个轨迹点之间的最短区间位移L；

步骤4)，通过步骤3)乘客轨迹记录中的抓拍时间T1、T2和轨迹点位的区间位移L得到乘客P在这段时间内的区间位移速度

步骤5)，根据区间位移速确定乘客的状态，以及根据乘客的状态以及地铁车次最长间隔时间确定乘客的异常行为；

所述步骤5)具体包括：

当乘客区间位移速度

时，判定乘客处于奔跑状态；当T₁-T₂>2ΔT且D1和D2属于同一个地铁站点时，则判定乘客在当前地铁站处于徘徊或逗留状态；其中，ΔT为地铁车次最长间隔时间；

所述步骤5)还包括：若乘客区间位移速度

T₁-T′₂>ΔT+t；以及D1和D2属于同一个地铁站点时，则判定该乘客为疑似异常乘客，疑似具有异常行为；此时，根据客流密度确定是否能够实现疑似异常乘客的视频跟踪，如果不能，则监控设备发送通知至冗余监控设备，使其进入跟踪模式，其中，该冗余监控设备用于对疑似异常乘客进行视频跟踪，当疑似异常乘客从监控设备的监控画面丢失时，从冗余设备获取监控信息；其中，t为地铁靠站停靠的最长时间；冗余设备可以有多个；冗余设备的个数根据疑似异常乘客特定范围内的乘客数进行确定；当乘客数小于2时，不使用冗余设备，当冗余数大于2小于等于4时，启动两个冗余设备，当乘客数大于4时，启动3个冗余设备；

其中，冗余设备和监控设备均与管理设备相连，当疑似异常乘客从监控设备的监控画面丢失时，监控设备发送通知消息至冗余设备和管理设备，冗余设备将监控到的疑似异常乘客信息上传至管理设备；其中，通知消息中记录有疑似异常乘客消失的时间T，管理设备根据通知消息获取上述时间T，然后从(T-1)开始记录冗余监控设备发送的数据；

当监控设备再次监控到疑似异常乘客时，再次发送第二通知消息，并将监控到的信息上传至管理设备，监控设备从第二通知消息中获取疑似异常乘客出现的时间点T’，同时从(T’+1)开始保存监控设备发送的数据；并通知冗余监控设备删除临时缓存中的数据，并继续监控；以及，当经过时间ΔT后，删除临时缓存中的数据，并退出跟踪模式，进入正常的监控模式；

其中，在监控场景下布置有冗余网络，冗余设备属于冗余网络。

2.如权利要求1所述的方法，其特征在于，预先采集工作人员的信息，并存入人脸特征库；所述步骤2)还包括，当人脸特征比对结果为工作人员，则直接过滤，不进行异常行为分析。

3.如权利要求1所述的方法，其特征在，所述根据Bellman-Ford算法分析监控点位间的最短路径，包括：

通过系统接入的视频监控位置和地铁通道连通性建立邻接矩阵A，定义如下：

邻接矩阵A对角线元素值为0，即节点i到节点j的最短路径长度为0；非邻节点权值为无穷大，即节点i和节点j非邻结，则邻接矩阵的(i，j)值为无穷大；邻节点权值是权重，即节点i和节点j相邻，则邻接矩阵的(i，j)值为权重w；

起点向量定义如下：

其中d(v)是起点s到顶点v的距离，将起点的值设为0，其它的点的值设为无穷大，表示不可达；

起点s经过k条路径到达顶点v的最短路径公式表示如下：

顶点u∈N，当存在u使d(v)>d(u)+A(u,v)时，则说明经过顶点u，可以缩短起点s到顶点v的距离，循环遍历节点集N中的所有顶点即可得到最短路径L。

Images