CN110110613B - 一种基于动作识别的轨道交通异常人员检测方法 - Google Patents

Abstract

本发明公开了一种基于动作识别的轨道交通异常人员检测方法，属于航空监视领域。使用无人机巡检铁路，并对视频进行抽帧，通过对SSD检测模型进行训练并使用，获取每张视频帧图像中各个人员的位置信息，并将包含人员的局部区域截取出来，对关键点检测模型和Resnet‑18衣着分类模型进行训练；使用关键点检测模型预测每个人的关节坐标，将某时间段内的关节坐标组成人体骨架序列，输入LSTM动作识别模型，识别每个人的动作类别。通过Resnet‑18衣着分类模型进行人员的衣着分类。根据每个人的动作类别以及对应的外貌服饰，判断此人是否为工作人员。本发明解决了传统人力巡检或者路基巡检成本巨大的问题，具有较高的实用性和鲁棒性。

Description

一种基于动作识别的轨道交通异常人员检测方法

技术领域

本发明属于航空监视领域，具体是一种基于动作识别的轨道交通异常人员检测方法，用于铁路异常人员监测。

背景技术

在铁路的日常运营维护过程中会存在一定的人员流动，例如，铁路工人的正常检修、行人横穿铁路或者不法分子企图对铁路造成破坏等等现象。这些人员的异常出现严重影响铁路正常运营，造成不必要的人员伤亡和财产损失。为了避免这类危险的发生，铁路方面通常采用对铁路进行巡检或者使用防护网等措施，以防止人员的异常侵入所造成的损失。

传统的巡检方式有如下几种，均存在这一定的缺陷：如1)、工作人员定期巡检，这种方式不仅浪费大量人力，而且巡检速度很慢，效率低；2)、路基监视系统，例如定点安置摄像头或者检查点等，这种方式需要布置大量路基设施，成本较高，而且难以覆盖所有危险区域，容易造成遗漏。

基于空基的巡检系统能很好的解决上述问题，获得更好的巡检效果，而且基于空基异常行人检测方法成为目前航空监视领域的一个重要课题，具有重大的实际应用意义。

面向铁路轨道交通的空基异常人员检测方法，需要精确的定位人员的位置，由于空基视频高度不定，所以拍摄的人员图像大小不同，对人员检测模型的鲁棒性提出了考验。其次，由于异常人员与工作人员的难区分性，传统的人员检测算法往往会对工作人员产生误报。这些都是空基异常人员检测方法亟待解决的问题。

发明内容

本发明针对上述问题，提出了一种基于动作识别的轨道交通异常人员检测方法，解决了空基异常人员监视的鲁棒性问题以及异常人员与工作人员的难以区分问题，同时也给其他领域的异常人员检测问题提供了参考。

具体步骤如下：

步骤一、使用搭载光学摄像头的无人机对铁路进行巡检，采集实时的铁路视频。

步骤二、服务器对无人机采集到的视频进行抽帧，得到若干视频帧图像；

步骤三、抽取部分视频帧图像作为训练样本训练SSD检测模型，并利用训练好的SSD检测模型获取每张视频帧图像中各个人员的位置信息；

首先训练SSD检测模型，具体过程为：抽取部分视频帧图像作为训练样本，对每张视频帧图像分别人工标注出人员位置信息；然后，对训练样本进行数据增强操作，最后，使用随机梯度下降方式训练SSD检测模型。

使用训练好的SSD检测模型对所有的视频帧图像进行预测，得到每张视频帧图像中的每个人的位置信息；

步骤四、利用每张视频帧图像中各个人员的位置信息将包含人员的局部区域截取出来，抽取部分局部区域截图作为训练样本，对关键点检测模型和Resnet-18衣着分类模型进行训练；

首先，对训练样本进行数据增强，然后采用随机梯度下降的方式训练关键点检测模型和Resnet-18衣着分类模型。

步骤五、使用训练好的关键点检测模型，对所有包含人员的局部区域截图进行预测，得到每一帧图像中每个人的关节坐标；

首先，将每张局部区域截图统一缩放到256×128的大小；

然后，将统一缩放后的局部区域截图输入关键点检测模型，采用CNN回归坐标或者使用Hour Glass结构预测关节热度图等方法，检测各个统一缩放后的局部区域截图中对应的各个关节坐标；

人体关节坐标根据人体骨架划分，包括：头部、脖子、左手腕、左手肘、左肩膀、右手腕、右手肘、右肩膀、左脚踝、左膝盖、左胯部、右脚踝、右膝盖和右胯部。

步骤六、将某时间段内的连续t帧图像中每个人的关节坐标组成对应的人体骨架序列。

首先，统计关键点检测模型输出的每张图中人体的关节坐标的个数k；计算每一时刻的关节坐标为k*2的数组；继而得到t个时刻内该图中所有的关节坐标组成的人体骨架序列信息尺度为t*k*2；

步骤七、将每个人的人体骨架序列输入LSTM动作识别模型，通过对骨架序列进行动作识别，判断每个人的动作类别。

首先，抽取部分人体骨架序列作为训练样本，进行数据增强操作后，采用随机梯度下降的方式训练LSTM动作识别模型。

然后，将每个人的尺度为t*k*2的人体骨架序列输入训练好的LSTM动作识别模型，得到每个人在各种动作类别下的分类置信概率分布。

最后，选择分类置信概率最大值对应的动作类别为该人的动作类型。

动作类别包括：检查铁轨、更换设施、横穿、翻越和破坏等。

步骤八、同时，将所有的局部区域截图分别输入训练好的Resnet-18衣着分类模型，进行人员的衣着分类，判断每个人是否穿工作服。

衣着类别包括：穿工作服和没有穿工作服。

步骤九、根据每个人的动作类别以及对应的外貌服饰，判断此人是否为工作人员，如果是，不予处理，否则为异常人员，发出报警，描述其行为以及出现的位置。

本发明的优点在于：

1)、一种基于动作识别的轨道交通异常人员检测方法，为可行且可靠的空基铁路巡检方法，解决了传统人力巡检或者路基巡检成本巨大的问题。

2)、一种基于动作识别的轨道交通异常人员检测方法，不仅能对出现在铁路上的每个人进行定位，而且还能通过人员动作和衣着等特征对其有效分类，具有较高的实用性和鲁棒性。

附图说明

图1为本发明一种基于动作识别的轨道交通异常人员检测方法的流程图；

图2为本发明一种基于动作识别的轨道交通异常人员检测装置的原理图。

具体实施方式

为了使本发明能够更加清楚地理解其技术原理，下面结合附图具体、详细地阐述本发明实施例。

本发明一种基于动作识别的轨道交通异常人员检测方法，对铁路日常运营维护进行巡检，降低运维成本，并且区分工作人员与异常人员，及时排查出铁路上的风险人员，对异常情况产生报警，提高铁路运营的安全性。

如图2所示，本发明训练基于卷积神经网络的SSD(Single Shot Detection)检测模型，关键点检测模型，LSTM动作识别模型，Resnet-18衣着分类模型以及DNN人员类型分类模型，并对其进行测试，达到相应的效果后投入使用；采用多尺度的输出来提高检测对飞行高度和角度的鲁棒性。

首先使用视频采集装置对铁路进行巡检，采集实时的铁路视频，抽帧后使用SSD人员检测装置，检测出现在铁路上的所有人员不同尺度的所在位置，将所有人员区域截取后得到对应人员区域的局部视频片段，并行进行两步处理：对人员区域的局部视频片段进行关键点检测模型，检测其对应关键点的位置，得到每个人的人体骨架序列。然后，通过LSTM神经网络，对骨架序列进行动作识别，识别出每个人的行为动作；同时，将获得的人员区域的局部视频片段送入Resnet-18衣着分类模型，对每个人衣着进行分类，判断是否穿有工作服。最后，根据每个人的动作以及服饰特征，通过DNN人员类别分类模型判断是否为正常工作人员，对异常人员进行报警。

如图1所示，具体步骤如下：

步骤一、使用搭载光学摄像头的无人机对铁路进行巡检，采集实时的铁路视频。

无人机拍摄的铁路光学视频实时传回服务器，在服务器中进行处理；

步骤二、服务器对无人机采集到的视频进行抽帧，得到若干视频帧图像；

步骤三、抽取部分视频帧图像作为训练样本训练SSD检测模型，并利用训练好的SSD检测模型获取每张视频帧图像中出现在铁路上的各个人员的位置信息；

检测铁轨视频帧图像中的人员可以有多种方法，包括使用铁路的连续结构判断人员出现的位置、利用相似度滤波来找出人出现的区域，还有使用深度学习检测模型等。由于无人机巡检过程中不能保证对所有的铁轨段采用相同的高度、相同的角度进行拍摄，所以得到的铁轨上人员的图像是形态各异的，采用铁路的连续结构的方法或者相似度滤波的方法不够鲁棒，不能适应各种不同的情况。为了解决以上问题，提高人员检出率，本发明采用了SSD深度学习检测算法对人员目标进行检测，其中多尺度的人员检测和大量语义特征的提取，使得该模型能够在各种不同的无人机高度和视角下保持较高的检出率。

SSD检测模型训练过程为：

抽取部分无人机拍摄的铁路视频片段中包含人员和背景的视频帧图像作为训练样本，对每张视频帧图像分别人工标注出人员位置信息以及类别信息；然后，对训练样本进行数据增强操作，例如裁剪，缩放和翻转等，扩充数据量，增强网络的扛过拟合能力。最后，使用随机梯度下降方式训练SSD检测模型。

使用训练好的SSD检测模型对所有的视频帧图像进行预测，得到每张视频帧图像中的每个人属于某一类别的置信度和精确的位置坐标，原点位于图像的中心。

步骤四、利用每张视频帧图像中各个人员的位置信息将包含人员的局部区域截取出来，抽取部分局部区域截图作为训练样本，对关键点检测模型和Resnet-18衣着分类模型进行训练；

首先，对训练样本进行数据增强，然后采用随机梯度下降的方式训练关键点检测模型和Resnet-18衣着分类模型。采用关键点检测模型提取人体关键点，简化了对人员动作识别的复杂程度，并且提高了动作识别的准确率。

步骤五、使用训练好的关键点检测模型，对所有包含人员的局部区域截图进行预测，得到每一帧图像中每个人的关节坐标；

首先，将每张局部区域截图统一缩放到256×128的大小；

然后，将统一缩放后的局部区域截图输入关键点检测模型，采用CNN回归坐标或者使用Hour Glass结构预测关节热度图等方法，检测各个统一缩放后的局部区域截图中对应的各个关节坐标；

人体关节坐标根据人体骨架划分，包括以下十四个：头部、脖子、左手腕、左手肘、左肩膀、右手腕、右手肘、右肩膀、左脚踝、左膝盖、左胯部、右脚踝、右膝盖和右胯部。

步骤六、将某时间段内的连续t帧图像中每个人的关节坐标组成对应的人体骨架序列。

人体骨架序列是不同时刻的人体关节坐标的变化情况组成，包含每一时刻的空间结构信息和不同时刻之间的变化。

因为动作识别是需要由一段时间t内的观测来进行判断的，而不是仅由一幅图像判断。首先，统计关键点检测模型输出的每张图中人体的关节坐标的个数k；计算每一时刻的关节坐标为k*2的数组；2代表x，y坐标；继而得到t个时刻内该图中人体骨架序列信息尺度为t*k*2的数组；此数组代表一段连续帧t内某人的关节坐标，也就是所谓的人体骨架序列。

t为连续图像序列长度，k*2为该图的尺度输出。

步骤七、将每个人的人体骨架序列输入LSTM动作识别模型，通过对骨架序列进行动作识别，判断每个人的动作类型。

首先，抽取部分人体骨架序列作为训练样本，进行数据增强操作后，采用随机梯度下降的方式训练LSTM动作识别模型。

然后，将每个人的尺度为t*k*2的人体骨架序列输入训练好的LSTM动作识别模型，得到每个人在各种动作类别下的分类置信概率分布。

最后，选择分类置信概率最大值对应的动作类别为该人的动作类型。

动作类别包括：检查铁轨、更换设施、横穿、翻越和破坏等。

步骤八、同时，将所有的局部区域截图分别输入训练好的Resnet-18衣着分类模型，进行人员的衣着分类，判断每个人是否穿工作服。

首先，将每张局部区域截图统一缩放到256×128的大小；

然后，将统一缩放后的局部区域截图输入Resnet-18衣着分类模型，输出各人员是否穿工作服。

步骤九、根据每个人的动作类型以及对应的外貌服饰，通过DNN人员类别分类模型判断此人是否为工作人员，如果是，不予处理，否则为异常人员，发出报警，描述其行为以及出现的位置。

首先，训练DNN人员类别分类模型；

将LSTM动作识别模型的输出结果以及SSD检测模型的输出结果，即人员的动作类别和人员区域的视频片段作为训练样本。

本发明一种基于动作识别的轨道交通异常人员检测方法，建立在铁路异常人员检测与报警装置的基础上，所述的装置包括视频采集装置，SSD人员检测装置，人员区域截取装置，关键点检测与动作识别装置，衣着分类装置，人员类型分类装置和报警装置；

视频采集装置：主体为无人机和通讯设备，负责采集铁路相应视频信息并且将视频回传给地面服务器；

SSD人员检测装置：采用以SSD检测模型为基本网络架构的卷积神经网络作为人员检测装置。模型在投入使用前先进行了充分的训练与测试，其训练与测试数据均来自图像采集装置所获取的铁轨视频。通过SSD人员检测装置，可以得到原始视频中每个人的位置信息；

人员区域截取装置：将每个人对应位置的局部视频片段截取出来，并统一缩放到256×128的大小，作为后面的关键点检测任务和衣着分类任务的输入；

关键点检测与动作识别装置：采用基于深度学习的关键点检测模型和LSTM动作识别模型级联作为关键点检测与动作识别装置，在使用前同样进行了充分的训练与测试。本装置接收人员区域裁剪装置的输出，通过关键点检测模型，检测其对应关键点的位置，得到每个人的人体骨架序列。然后，通过LSTM神经网络，对骨架序列进行动作识别，判断每个人的动作类型；

衣着分类装置：采用基于Resnet-18前端网络的分类器作为衣着分类模型，在使用前同样进行了充分的训练与测试。本装置接收人员区域裁剪装置的输出，通过该衣着分类装置，判断每个人是否穿有工作服；

人员类型分类装置：采用DNN人员分类模型与报警装置级联，作为人员分类与报警装置，在使用前同样进行了充分的训练与测试。本装置接收关键点检测与动作识别装置、衣着分类装置的输出，通过DNN分类模型判断每个人是否属于工作人员。

报警装置：根据人员类型分类装置的分类结果，如果不属于工作人员，则产生报警，并给出异常人员的出现位置以及其动作类别。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于动作识别的轨道交通异常人员检测方法，其特征在于，具体步骤如下：

步骤一、使用搭载光学摄像头的无人机对铁路进行巡检，采集实时的铁路视频；

步骤二、服务器对无人机采集到的视频进行抽帧，得到若干视频帧图像；

步骤三、抽取部分视频帧图像作为训练样本训练SSD检测模型，并利用训练好的SSD检测模型获取每张视频帧图像中各个人员的位置信息；

步骤四、利用每张视频帧图像中各个人员的位置信息将包含人员的局部区域截取出来，抽取部分局部区域截图作为训练样本，对关键点检测模型和Resnet-18衣着分类模型进行训练；

首先，对训练样本进行数据增强，然后采用随机梯度下降的方式训练关键点检测模型和Resnet-18衣着分类模型；

步骤五、使用训练好的关键点检测模型，对所有包含人员的局部区域截图进行预测，得到每一帧图像中每个人的人体关节坐标；

首先，将每张局部区域截图统一缩放到256×128的大小；

然后，将统一缩放后的局部区域截图输入关键点检测模型，采用CNN回归坐标或者使用Hour Glass结构预测关节热度图，检测各个统一缩放后的局部区域截图中对应的各个关节坐标；

步骤六、将某时间段内的连续T帧图像中每个人的关节坐标组成对应的人体骨架序列；

首先，统计关键点检测模型输出的每张图中人体的关节坐标的个数k；计算每一时刻的关节坐标为k*2的数组；继而得到t个时刻内该图中所有的关节坐标组成的人体骨架序列信息尺度为t*k*2；

步骤七、将每个人的人体骨架序列输入LSTM动作识别模型，通过对骨架序列进行动作识别，判断每个人的动作类别；

步骤八、同时，将所有的局部区域截图分别输入训练好的Resnet-18衣着分类模型，进行人员的衣着分类，判断每个人是否穿工作服；

衣着类别包括：穿工作服和没有穿工作服；

步骤九、根据每个人的动作类别以及对应的外貌服饰，判断此人是否为工作人员，如果是，不予处理，否则为异常人员，发出报警，描述其行为以及出现的位置。

2.如权利要求1所述的一种基于动作识别的轨道交通异常人员检测方法，其特征在于，步骤三中所述的SSD检测模型的训练过程为：抽取部分视频帧图像作为训练样本，对每张视频帧图像分别人工标注出人员位置信息；然后，对训练样本进行数据增强操作，最后，使用随机梯度下降方式训练SSD检测模型；使用训练好的SSD检测模型对所有的视频帧图像进行预测，得到每张视频帧图像中的每个人的位置信息。

3.如权利要求1所述的一种基于动作识别的轨道交通异常人员检测方法，其特征在于，步骤五中所述的人体关节坐标根据人体骨架划分，包括：头部、脖子、左手腕、左手肘、左肩膀、右手腕、右手肘、右肩膀、左脚踝、左膝盖、左胯部、右脚踝、右膝盖和右胯部。

4.如权利要求1所述的一种基于动作识别的轨道交通异常人员检测方法，其特征在于，所述的步骤七具体为：

首先，抽取部分人体骨架序列作为训练样本，进行数据增强操作后，采用随机梯度下降的方式训练LSTM动作识别模型；

然后，将每个人的尺度为t*k*2的人体骨架序列输入训练好的LSTM动作识别模型，得到每个人在各种动作类别下的分类置信概率分布；

最后，选择分类置信概率最大值对应的动作类别为该人的动作类型；

动作类别包括：检查铁轨、更换设施、横穿、翻越和破坏。

Images