CN113014870B - 一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法 - Google Patents

Abstract

本发明涉及一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法，包括以下步骤：1)地铁闸机视频监控信息采集；2)地铁乘客骨骼关键点检测；3)闸机通行乘客逃票行为识别。与现有技术相比，本发明在不需要增设硬件设备的前提下，通过设计乘客姿态快速估计的地铁闸机通行逃票识别方法，既能够降低乘客身高和体重等因素对逃票识别精度的影响，又能对单个乘客和乘客群体翻越、下钻和尾随等多种通行逃票行为进行快速识别，有助于实现闸机通行异常智能报警及无人值守自动运行的闸机通道管理。

Description

一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法

技术领域

本发明属于地铁智慧车站运营管理技术领域，涉及视频监控数据在地铁车站中的应用，尤其是涉及一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法。

背景技术

随着我国上海、北京等城市的轨道交通网络化运营程度的加深，闸机是乘客进入付费区的重要关口，承受着强大的劳动负荷并与乘客的出行安全和效率息息相关，闸机逃票行为不仅破坏公共秩序，还会产生巨大的安全隐患，实际运营场景中存在复杂多样的闸机通行逃票事件且逃票行为通常在很短的时间内发生，因此，如何提高闸机通行逃票行为的智能识别精度和速度对保障地铁运营安全和效率，特别是保证高峰时段大客流运营效率具有重要意义。

现有方法仅能针对单一的乘客通行逃票行为进行检测，鲜有考虑单个乘客和乘客群体翻越、下钻和尾随等多种逃票行为，与复杂多变的应用实际场景仍存在一定差距，此外，中国专利CN201620292646.6通过在闸机通道地面上安装薄型检测装置，并采用称重原理来判断乘客是否有逃票行为，但检测精度容易受到乘客体重的影响；而中国专利CN201510144081.7基于图像信息判定人体是否发生逃票行为，但依旧无法识别出复杂多变的乘客逃票行为，目前对闸机通行逃票的识别主要依靠于现场观察，需要投入大量的工作人员，增加了地铁车站的运营成本，且存在一定的逃票漏检率，无法满足智慧地铁无人车站的发展要求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法，该方法在降低乘客身高和体重等因素对逃票识别精度影响的同时，能够对单个乘客和乘客群体翻越、下钻和尾随等多种通行逃票行为进行快速识别和智能报警，有助于有效提高地铁车站服务效率和智慧化水平。

本发明的目的可以通过以下技术方案来实现：

一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法，包括以下步骤：

1)地铁闸机视频监控信息采集；

2)地铁乘客骨骼关键点检测；

3)闸机通行乘客逃票行为识别。

所述的步骤1)具体包括以下步骤：

11)根据布设在车站闸机控制区域周围的视频监控设备，获取闸机周围区域内的视频图像数据；

12)将视频图像数据上传，采用数据预处理技术进行视频数据实时清洗；

13)采用空间卷积神经网络实现清洗后视频图像中闸机控制区域的分割，将乘客通道根据闸机数量划分为多个无重叠的闸机子区域。

所述的步骤2)具体包括以下步骤：

21)采用乘客姿态估计模型HRNet将视频图像中不同分辨率的特征映射并行；

22)检测得到视频图像中各无重叠的闸机子区域内每位乘客的骨骼关键点的坐标信息；

23)连接每位乘客身体骨骼关键点与关节坐标点，得到对应乘客的骨架信息；

24)根据各闸机子区域内乘客的骨架信息，采用多目标追踪算法对视频图像中乘客进行追踪。

所述的步骤22)中，骨骼关键点包括胸部、双胯部、两膝关节和两踝关节。

所述的步骤3)中，闸机通行乘客逃票行为包括翻越逃票、下钻闸机逃票和尾随逃票三类，将乘客闸机通行的三类逃票行为的识别方法作为先验知识嵌入长短期记忆网络模型中进行训练学习，实现闸机通行逃票事件自动学习。

对于翻越逃票行为，具体的识别过程如下：

根据乘客骨架信息获取各闸机子区域内相邻两帧图像中同一位乘客躯干中心点的垂直位移量

当

的值满足以下条件时，则判断乘客翻越逃票：

其中，L为翻越闸机高度阈值，其设置为闸机的高度，t为时刻且t∈T，T为时间集合，i为闸机子区域编号且i∈I，I为闸机子区域总数，j为各区域内检测到的乘客编号且j∈J，J为视频图像中检测出的乘客总数。

对于下钻闸机逃票行为，具体的识别过程如下：

根据乘客骨架信息获取各闸机子区域内相邻两帧图像中同一位乘客躯干中心点的垂直位移量

当

的值满足以下条件时，则判断乘客下钻闸机逃票：

且

其中，β为下钻闸机高度阈值，且β的值设置为闸机高度的一半。

对于尾随逃票行为，具体的识别过程如下：

获取连续两帧视频图像中同一闸机子区域内的两位乘客躯干的水平距离

当

的值满足以下条件时，则判断乘客尾随逃票：

且

其中，j和k分别为乘客编号，D为乘客尾随逃票阈值，其设置为地铁车站楼梯台阶的宽度；

该方法还包括以下步骤：

4)地铁闸机通行逻辑控制设计，具体为：

根据地铁乘客闸机通行逃票行为识别结果，通过闸机执行机构逻辑判断，实现闸机的自动开闭控制，当识别出某个闸机子区域内存在乘客逃票行为时，对应的闸机立即启动自动关闭模式，待乘客付费后再放行；

5)地铁闸机通行异常智能报警，具体为：

实时显示闸机的运行状态和各个闸机通道内乘客的通行状态，并且在识别出乘客的逃票行为时，将逃票事件信息在地铁智能监控系统可视化界面上进行实时显示，同时发出声光等报警信息，所述的报警信息包括逃票事件发生的时间、闸机区域编号、逃票事件类型以及乘客逃票过程的视频记录信息。

一种基于乘客姿态快速估计的地铁闸机通行逃票识别系统，该系统包括：

地铁闸机视频监控信息采集模块：用以通过布设在车站闸机控制区域周围的视频监控设备，实时获取闸机周围区域内的视频数据；

地铁乘客骨骼关键点检测模块：用以获取每位乘客的骨架信息；

闸机通行乘客逃票行为识别模块：用以根据骨架信息识别出翻越逃票、下钻闸机逃票和尾随逃票三类逃票行为；

地铁闸机通行逻辑控制设计模块：用以根据逃票行为识别结果实现闸机的自动开闭控制；

地铁闸机通行异常智能报警模块：用以根据逃票行为识别结果进行实时显示和报警；

中央处理单元和中央控制器：用以完成乘客的检票和放行以及基于视频监控的地铁车站闸机通行逃票智能报警任务。

与现有技术相比，本发明具有以下优点：

一、本发明提出的乘客闸机通行逃票行为识别准则能够对单个乘客和乘客群体翻越、下钻和尾随多种逃票行为进行快速精确识别，与地铁实际运营场景更加贴近，能够更加有效地满足智慧车站的运营管理要求。

二、本发明的乘客姿态快速估计的地铁闸机通行逃票识别方法，基于地铁视频监控数据，在不需要增设硬件设备的前提下，能够降低乘客身高和体重等因素对逃票识别精度的影响，同时具有闸机通行逃票事件自动学习能力。

三、本发明所涉及的方法有助于推动无人值守自动运行的闸机通道管理及运营异常智能检测报警的实现，此外，该方法具有较高的普适性，能够迁移运用于高铁站、景区和公司等多种公共场景中。

附图说明

图1为本发明的系统结构原理图。

图2为本发明实施例的步骤示意图。

图3为乘客翻越闸机逃票识别示意图。

图4为乘客下钻闸机逃票识别示意图。

图5为乘客尾随逃票识别示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

为了实现闸机通行逃票行为的高效识别，本发明克服了现有技术需要增设检测设备、识别效率不高或识别逃票行为不全面等不足，提出了一种乘客姿态快速估计的地铁闸机通行逃票识别系统及方法。本发明在降低乘客身高和体重等因素对逃票识别精度影响的同时，能够对单个乘客和乘客群体翻越、下钻和尾随等多种通行逃票行为进行快速识别和智能报警。如图1所示，该系统由地铁闸机视频监控信息采集、地铁乘客骨骼关键点检测、闸机通行乘客逃票行为识别、地铁闸机通行逻辑控制设计和地铁闸机通行异常智能报警五个功能模块组成。此外，需要将闸机通行乘客逃票行为识别、地铁闸机通行逻辑控制设计两个模块通过RS485连接到中央控制器和中央处理单元，共同完成乘客的检票和放行任务。另一方面，中央处理单元再与地铁闸机视频监控信息采集模块、闸机通行乘客逃票行为识别和地铁闸机通行异常智能报警，完成基于视频监控的地铁车站闸机通行逃票智能报警任务。

各功能模块对应的步骤如下：

S1、地铁闸机视频监控信息采集：基于地铁车站视频监控的乘客数据实时采集模块，通过布设在车站闸机控制区域周围的视频监控设备，实时获取闸机周围区域内的视频数据；然后，将视频数据上传至后台的服务器，采用数据预处理技术进行视频数据实时清洗，利用计算机视频处理技术对视频数据进行预处理，能够准确识别乘客的通行行为特征，具有实时高效和维护性强的优点；最后，引入空间卷积神经网络算法实现清洗后视频图像中闸机控制区域的分割，将乘客通道根据闸机数量划分为多个无重叠的闸机子区域。

S2、地铁乘客骨骼关键点检测：基于乘客姿态估计模型HRNet将视频图像中不同分辨率的特征映射并行起来进行计算；然后，测出视频图像中各无重叠区域内每位乘客的胸部、双胯部、两膝关节和两踝关节等骨骼关键点的坐标信息；最后，连接每位乘客身体骨骼关键点与关节坐标点，获取乘客的骨架信息；依据各个闸机子区域内乘客的骨架信息，采用多目标追踪算法对视频中乘客进行追踪。

S3、闸机通行乘客逃票行为识别：依次设计单个乘客和乘客群体翻越、下钻和尾随等乘客闸机通行逃票行为识别准则和阈值，然后，将乘客闸机通行逃票行为识别准则作为先验知识嵌入长短期记忆网络模型中进行训练学习，实现闸机通行逃票事件自动学习。

在步骤S3中，依据乘客骨架信息计算各个子区域内相邻两帧图像中同一位乘客躯干中心点的垂直位移量

当

的值满足如下条件时，判断乘客翻越逃票：

式(1)中，L为翻越闸机高度阈值，考虑到乘客身高差异对翻越逃票行为识别存在一定的影响，本发明将其设为闸机的高度，t表示时刻且t∈T，T为时间集合，i代表闸机子区域编号且i∈I，I是闸机子区域总数，j为各区域内检测到的乘客编号且j∈J，J表示视频图像中检测出的乘客总数；

在步骤S3中，当

的值满足如下条件时，判断乘客下钻闸机逃票：

式(2)中，β表示下钻闸机高度阈值，为了尽量降低乘客身高差异对下钻闸机逃票行为的误判率，本发明设置β的值为L/2；

在步骤S3中，计算连续两帧视频图像中两位乘客躯干的水平距离

当

的值满足如下条件时，判断乘客尾随逃票：

式(3)中，j和k分别代表乘客编号，D表示乘客尾随逃票阈值，为了避免由于拥挤造成尾随逃票误判，本发明设定相邻两帧图像中相同两位乘客躯干水平距离均小于阈值的情况下D，才判定发生尾随逃票异常，为了降低乘客体型对逃票行为识别精度的影响，本发明令D的值为地铁车站楼梯台阶的宽度；

S4、地铁闸机通行逻辑控制设计：基于地铁乘客闸机通行逃票行为识别结果，通过闸机执行机构逻辑判断，实现闸机的自动开闭控制；当识别出某个闸机子区域内存在乘客逃票行为时，对应闸机立即启动自动关闭模式，待乘客付费后再放行。

S5、地铁闸机通行异常智能报警：采用地铁车站闸机通行异常智能报警模块实时显示闸机的运行状态和各个闸机通道内乘客的通行状态，并且在识别出乘客的逃票行为时，将逃票事件信息在地铁智能监控系统可视化界面上进行实时显示，同时发出声光等报警信息；具体地，报警信息包括逃票事件发生的时间、闸机区域编号、逃票事件类型及乘客逃票过程的视频记录等信息。

如图2所示，闸机周围布设的摄像头能够实时采集闸机通道中乘客的动态视频信息，采用数据预处理技术进行视频数据实时清洗，引入空间卷积神经网络算法进行闸机控制区域分割，获得多个无重叠的闸机子区域。然后，基于乘客姿态估计模型HRNet并行计算测出视频图像中各闸机子区域内每位乘客的胸部、双胯部、两膝关节和两踝关节等骨骼关键点坐标信息，通过连接每位乘客身体骨骼关键点与关节坐标点，获取乘客的骨架信息，并采用多目标追踪算法实现视频中乘客的追踪。接着，通过闸机通行逃票行为识别准则和阈值快速判定，如果未检测出乘客有翻越(图3)、下钻(图4)和尾随(图5)等逃票行为，则可以顺利通过闸机。如果检测出其中某一种逃票行为则自动触发地铁车站闸机通行异常智能报警模块，立即启动关闭模式，待乘客完成刷卡后再放行。同时将乘客逃票事件发生的时间、闸机区域编号、逃票事件类型及乘客逃票过程的视频记录等信息在地铁智能监控系统可视化界面上进行实时显示，提醒工作人员及时采取处置措施。

综上，本发明在不需要增设硬件设备的前提下，通过设计乘客姿态快速估计的地铁闸机通行逃票识别方法，既能够降低乘客身高和体重等因素对逃票识别精度的影响，又能对单个乘客和乘客群体翻越、下钻和尾随等多种通行逃票行为进行快速识别。因此，本发明基于地铁车站视频监控数据特征和逃票行为识别准则设计，能精准识别出复杂多变的闸机通行逃票事件，实现闸机通行异常智能报警及无人值守自动运行的闸机通道管理，可见，本发明设计的方法对于提高车站智慧化管理水平具有重要意义。

Claims (1)

1.一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法，其特征在于，包括以下步骤：

1)地铁闸机视频监控信息采集，具体包括以下步骤：

11)根据布设在车站闸机控制区域周围的视频监控设备，获取闸机周围区域内的视频图像数据；

12)将视频图像数据上传，采用数据预处理技术进行视频数据实时清洗；

13)采用空间卷积神经网络实现清洗后视频图像中闸机控制区域的分割，将乘客通道根据闸机数量划分为多个无重叠的闸机子区域；

2)地铁乘客骨骼关键点检测，具体包括以下步骤：

21)采用乘客姿态估计模型HRNet将视频图像中不同分辨率的特征映射并行；

22)检测得到视频图像中各无重叠的闸机子区域内每位乘客的骨骼关键点的坐标信息，骨骼关键点包括胸部、双胯部、两膝关节和两踝关节；

23)连接每位乘客身体骨骼关键点与关节坐标点，得到对应乘客的骨架信息；

24)根据各闸机子区域内乘客的骨架信息，采用多目标追踪算法对视频图像中乘客进行追踪；

3)闸机通行乘客逃票行为识别，闸机通行乘客逃票行为包括翻越逃票、下钻闸机逃票和尾随逃票三类，将乘客闸机通行的三类逃票行为的识别方法作为先验知识嵌入长短期记忆网络模型中进行训练学习，实现闸机通行逃票事件自动学习；

对于翻越逃票行为，具体的识别过程如下：

根据乘客骨架信息获取各闸机子区域内相邻两帧图像中同一位乘客躯干中心点的垂直位移量

当

的值满足以下条件时，则判断乘客翻越逃票：

其中，L为翻越闸机高度阈值，其设置为闸机的高度，t为时刻且t∈T，T为时间集合，i为闸机子区域编号且i∈I，I为闸机子区域总数，j为各区域内检测到的乘客编号且j∈J，J为视频图像中检测出的乘客总数；

对于下钻闸机逃票行为，具体的识别过程如下：

根据乘客骨架信息获取各闸机子区域内相邻两帧图像中同一位乘客躯干中心点的垂直位移量

当

的值满足以下条件时，则判断乘客下钻闸机逃票：

且

其中，β为下钻闸机高度阈值，且β的值设置为闸机高度的一半；

对于尾随逃票行为，具体的识别过程如下：

获取连续两帧视频图像中同一闸机子区域内的两位乘客躯干的水平距离

当

的值满足以下条件时，则判断乘客尾随逃票：

且

其中，j和k分别为乘客编号，D为乘客尾随逃票阈值，其设置为地铁车站楼梯台阶的宽度；

4)地铁闸机通行逻辑控制设计，具体为：

根据地铁乘客闸机通行逃票行为识别结果，通过闸机执行机构逻辑判断，实现闸机的自动开闭控制，当识别出某个闸机子区域内存在乘客逃票行为时，对应的闸机立即启动自动关闭模式，待乘客付费后再放行；

5)地铁闸机通行异常智能报警，具体为：

实时显示闸机的运行状态和各个闸机通道内乘客的通行状态，并且在识别出乘客的逃票行为时，将逃票事件信息在地铁智能监控系统可视化界面上进行实时显示，同时发出声光报警信息，所述的报警信息包括逃票事件发生的时间、闸机区域编号、逃票事件类型以及乘客逃票过程的视频记录信息；

实现基于乘客姿态快速估计的地铁闸机通行逃票识别方法的识别系统包括：

地铁闸机视频监控信息采集模块：用以通过布设在车站闸机控制区域周围的视频监控设备，实时获取闸机周围区域内的视频数据；

地铁乘客骨骼关键点检测模块：用以获取每位乘客的骨架信息；

闸机通行乘客逃票行为识别模块：用以根据骨架信息识别出翻越逃票、下钻闸机逃票和尾随逃票三类逃票行为；

地铁闸机通行逻辑控制设计模块：用以根据逃票行为识别结果实现闸机的自动开闭控制；

地铁闸机通行异常智能报警模块：用以根据逃票行为识别结果进行实时显示和报警；

中央处理单元和中央控制器：用以完成乘客的检票和放行以及基于视频监控的地铁车站闸机通行逃票智能报警任务。

Images