CN111144247B - 一种基于深度学习的自动扶梯乘客逆行检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的自动扶梯乘客逆行检行为测方法，包括步骤一、从自动扶梯的监控视频流获取图像帧，并设定检测区域(ROI)；步骤二、使用目标检测算法检测步骤一中规定的ROI区域中乘客的头部位置；步骤三、使用分类器判别步骤二中检测到的人头的方向，判断该乘客是否有可能出现逆行现象；步骤四、利用多目标跟踪算法对步骤三中每个可能逆行的目标(头部)进行跟踪，得到跟踪轨迹；步骤五、对步骤四中的每一条轨迹进行分析，判断乘客是否发生逆行行为。该算法能在复杂的情况下较高的准确性和实时性，能有效的判断自动扶梯上的乘客逆行行为，避免事故的发生。

Description

一种基于深度学习的自动扶梯乘客逆行检测方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的自动扶梯乘客逆行检测方法。

背景技术

改革开放以来，中国经济得到迅速发展，生活水平不断提高。为了满足人民的出行需要，地铁、商场、医院、火车站、过街天桥等越来越多的公共场所都安装了自动扶梯，乘坐自动扶梯成为人们几乎每天都要做的事情。据统计，光上海市地铁站就有超过4000部的自动扶梯，其每天运输超过3000万人次的客流。

随着国内智能手机的兴起，几乎所有人都养成了走路看手机的习惯，因此，在乘坐自动扶梯时，“低头族”们很多时候往往不注意就容易走错电梯口，发生逆行行为，若行为没有及时停止，进入电梯后往往会发生摔倒等较为严重的乘梯事故。据统计，由于逆行引发的乘梯安全事故的比例是所有安全事故中最多的，因此，检测乘客是否逆行进入自动扶梯并且对逆行的乘客进行提醒是保障乘客安全的必要措施。

目前大多数电梯均没有设置可以检测逆行的设备和装置，少量人流量大的场合会安排工作人员维护秩序，显然工作人员维护秩序的同时还要检查乘客是否发生逆行行为是非常累的，而且大多数公共场合的自动扶梯均没有安排工作人员，很容易发生事故。在某些公共场合会给电梯加装红外线检测仪器，当检测到行人在电梯口时，就会报警，这种装置有个缺点，首先，因为没有行为识别，常常导致误检。

公开号为106503632A的发明公开了一种基于视频分析的自动扶梯智能安全监测方法，步骤如下：首先获取安装在监控区域的摄像机中的实时视频图像序列；其次建立混合高斯背景模型，并对视频图像中的阴影进行抑制以提取前景；然后通过分类器对提取到的前景进行人体对象识别，并计算人体对象角点光流，从而判断是否有乘客逆行或跌倒等异常行为以及时采取电扶梯急停等措施，保障乘扶梯人员的人身安全。该发明通过通过角点光流判断人体对象的异常行为，能够有效阻止人员因逆行或跌倒发生踩踏事件的概率，极大程度地保护乘客的人身安全。但该方法判断方式单一,对复杂的逆行情况判断准确率不高。

因此，运用计算机视觉技术，通过电梯的监控摄像头，使用人工智能的方法，对逆行的人员进行跟踪并且进行行为分析，准确、迅速的判断乘客是否发生逆行行为，这对于减少自动扶梯事故的发生有非常大的意义。

发明内容

本发明的目的在于能在复杂的情况下能有效的判断自动扶梯上的乘客逆行行为，且具有较高的准确性和实时性，提出了一种基于深度学习的自动扶梯乘客逆行检测方法。

一种基于深度学习的自动扶梯乘客逆行检测方法，包括以下步骤：

步骤一、从自动扶梯的监控视频流获取图像帧，并设定检测区域(ROI)；

步骤二、使用目标检测算法检测步骤一中规定的检测区域中乘客的头部位置；

步骤三、使用分类器判别步骤二中检测到的人头的方向，判断该乘客是否有可能出现逆行现象；

步骤四、利用多目标跟踪算法对步骤三中每个可能逆行的目标(头部)进行跟踪，得到跟踪轨迹；

步骤五、对步骤四中的每一条轨迹进行分析，判断乘客是否发生逆行行为；

步骤一中，视频流来自自动扶梯的监控摄像头，摄像头应安装在正对着扶梯口，能清晰的拍到搭乘扶梯的乘客上下扶梯的图像。安装好摄像头之后，设置一个矩形区域，矩形区域为自动扶梯的出口，该矩形区域作为本发明的检测区域(ROI),当有乘客从出口进入时，认为发生逆行现象。

步骤二中，采用的目标检测算法为YOLOv3算法，使用迁移学习算法，训练人头检测模型，对视频帧中的人头进行检测，并且通过后处理滤掉一些误检的目标以及在ROI外的目标，所述的人头检测包括以下步骤：

(2.1)训练时，先搭建YOLOv3的模型结构，YOLOv3网路结构包含一个用于特征提取的darknet53网络，三个称为yolo的全卷积网络作为输出层，每个yolo层在不同的特征图上输出结果，yolo层中，输出的维度是：

S×S×(B×(5+C))

其中S是特征图的尺寸，B表示每个格子输出的边框数目，5表示4个边框参数和一个是否含有物体的置信度得分，C表示类别数。

步骤二中只有人头一个类别，因此C取1，本次发明使用的图片的分辨率是416x416的图像，预测((52x52)+(26x26)+13x13))x3＝10647个边界框。

使用在ILSVRC图像数据集上训练过的darknet53模型作为网络backbone的初值权重，其余的参数采用kaiming初始化方法，这样相当于做了迁移学习，让卷积特征提取网络提取特征的能力增强。

使用公开的人头数据集对网络进行训练，训练中使用的损失函数包含类别损失函数以及边框位置回归损失函数，类别损失函数采用的是二值交叉熵，边框位置回归损失函数采用的是平方损失函数。

(2.2)检测时，将图片归一化之后输入到训练好的网络中，在yolo层可得到网络的输出，其中网络的输出到边框的预测结果要做如下转换：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中t_x，t_y，t_w，t_h为网络输出的边框信息，c_x，c_y，p_w，p_h分别为对应特征图格子的左上角的坐标以及设置的anchor的宽高。

其中每个边框预测的某一类别的概率由以下公式得出：

P＝objectness*P_i

Objectness表示当前的bbox中含有目标的置信度；

P_i表示当前bbox中预测为第i个类别的条件概率；

(2.3)后处理，对于分辨率大小416x416的图像，YOLOv3预测10647个边界框，S2中，采用非极大值抑制NMS算法对输出的边框做处理，从而在输出的众多相互重叠的边框中筛选出置信度大于某一阈值的有效框。另外，针对场景的特殊性，经过NMS算法后，再筛选出长宽比以及大小在可能的范围内的预测，通过先验知识，减小网络的误差。最后输出筛选后的位于步骤一设置的R0I区域中的边框。

步骤三中，使用的分类器为CNN分类器，用来判断人脸是朝向即是否朝着电梯，通过人脸的朝向，可以更加准确的判断是否存在逆行现象。具体包括如下步骤：

(3.1)分类器的训练，采用迁移学习对网络进行训练，采用在ILSVRC图像数据集上训练过的权重对网络的卷积层进行初始化，网络的全连接层的参数采用随机初始化，最终训练得到一个有效的模型。

(3.2)检测，将步骤二中输出的人头区域截取出来，再对图片做归一化处理，输出到网络中，得到分类结果，将朝着电梯出口区域(ROI)的方向的人头定义为可能出现逆行的乘客。

步骤四中，多目标跟踪算法采用的是deepSort算法，对步骤三中可能逆行的人头生成一个跟踪器，得到跟踪轨迹。其步骤包括：

(4.1)使用卡尔曼滤波器对预测结果进行估计，采用(x，y，r，h，x^，y^，r^,h^)八个状态参数对人头的运动状态进行描述，其中x，y为人头检测框的中心坐标，r表示人头框的长宽比，h表示人头框的高度，其中x^,y^,r^,h^表示x,y,r,h的变化量，即速度信息。其中，行人行走被认为是匀速的，所以这里采用的线性观测模型的卡尔曼滤波器来对乘客的运动状态进行估计。

(4.2)目标关联，deepSort算法同时考虑了运动信息关联和外观信息关联。

运动信息关联，采用的是检测的目标位置与卡尔曼滤波器预测的位置之间的马氏距离进行关联，马氏距离计算方法如下：

d⁽¹⁾(i，j)＝(d_j-y_i)^TS_i ^-1(d_j，y_i)

其中：d_j表示步骤三中检测到的可能逆行的乘客的人头位置，y_i表示上一帧中第i个卡尔曼滤波器的预测结果，S_i表示检测位置与平均追踪位置之间的协方差矩阵。

外观信息关联，将步骤三中检测到的可能逆行的每一个乘客的人头部分的图片di输入到一个卷积神经网络中，得到一个特征向量ri,且||ri||＝1。如果di关联成功，则将它放入到关联成功的特征集中，特征集保留了关联成功的最近k帧的特征向量。

具体过程为：

计算每个卡尔曼滤波器中每个头部的图片与最近关联成功的特征集中每个特征的距离，计算公式如下：

其中r_j表示人头部分的图片di输入到一个卷积神经网络中，得到一个特征向量rj,

如果di关联成功，则将它放入到关联成功的特征集中，特征集保留了关联成功的最近k帧的特征向量。

若计算结果小于指定的阈值，那么就认为关联是成功。

最终将上面两种关联方式的线性加权的结果作为最后关联的度量，计算公式如下：

c_i，j＝λd⁽¹⁾(i，j)+(1-λ)d⁽²⁾(i，j)

其中，λ表示两个距离的线性加权系数；

另外采用级联匹配的方法赋予最近出现出现的目标的大的优先权，来解决由于长时间遮挡导致的位置更新不确定性带来的误差。

(4.3)跟踪轨迹的开始与结束，当一条跟踪路径连续3帧没有匹配到检测框，则认为跟踪结束，当检测框中没有匹配到任何跟踪器中的目标，则认为可能出现新目标，若连续3帧该新目标的卡尔曼预测结果都能与检测结果匹配，将该目标的跟踪器加入到跟踪列表中，否则认为是检测器误检，需删除该目标。

步骤五中，对步骤四中的每一条轨迹进行分析，判断乘客是否发生逆行行为，其过程如下：

(5.1)对每一条轨迹初始化一个记录ΔY＝0,表示在Y轴(平行扶梯安装方向)上的总的位移；

(5.2)对第i帧图像跟踪到的人头，记录其坐标(x_i，y_i)、与上一个点的(x_i-1，y_i-1)像素差(Δx_i，Δy_i)。

(5.3)设ΔY＝ΔY+Δy_i，判断ΔY与TH_ΔY(是否逆行的阈值)的大小，若ΔY大于TH_ΔY则表示发生逆行现象，发出逆行信号。

本发明与现有技术相比，具有如下优点与有益效果：

首先本发明是直接从监控摄像头获取视频帧，然后分析监控视频中的乘客有无出现逆行的行为，优势是可以在任何自动扶梯上做扩展，不需要改变现有的自动扶梯结构，加装方便，有利于设备的部署。其次是本次发明是基于对视频中乘客的跟踪，然后对其行为进行理解分析，优势是准确率高，且效果稳定。

相比于检测整个行人，本发明采用直接检测人头的优点有：

1)电梯上行人较多，因此检测行人会导致有很多遮挡问题，而监控摄像头是俯视视角，因此检测人头遮挡问题不严重；

2)检测人头更加有利于下一步的对乘客的步行方向的判断，因为人脸与人的后脑勺特征区分非常明显，而人的整个前面与背面特征区分不明显，尤其是在有遮挡的情况下；

3)人头遮挡少，因此相对于整个行人，跟踪效果更好，轨迹更能反应乘客的真实轨迹。此外，本发明可以保存发生逆行现象的乘客的视频段，并且可以生成报表，有助于公共场所扶梯的设计以及人员的安排。

附图说明

图1为本发明的一种基于深度学习的自动扶梯乘客逆行检测方法的流程图。

图2为获取的图像帧以及设定好ROI区域示意照片。

图3为检测到发生逆行现象的示意照片。

具体实施方式

为了使本发明的目的、技术方案及优点更加明白清楚，以下结合附图和实施例，对本发明进行进一步的详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明所提供的基于深度学习的自动扶梯乘客逆行检测方法，包含以下步骤：

步骤一、从自动扶梯的监控视频流获取图像帧，并设定检测区域(ROI)：

视频流来自自动扶梯的监控摄像头，监控摄像头可以选择海康或者大华的网络摄像头，帧率为25fps，分辨率为1920*1080。摄像头应安装在正对着扶梯口，能清晰的拍到搭乘扶梯的乘客上下扶梯的图像。安装好摄像头之后，设置一个矩形区域，作为检测区域(ROI)，矩形区域为自动扶梯的出口，当有乘客从出口进入时，我们认为发生逆行现象。

由于处理速度小于视频流的读取速度，此时会导致当前处理的视频帧不是最新读进来的视频帧，因此采用了多线程的方法来降低时延，使用一个线程读取视频流中的视频帧，另一个线程处理图像，当处理速度慢于读取速度时读取视频帧的线程会自动更新buffer，以保证处理线程处理的是最新的视频帧，从而减少时延。

步骤二、使用目标检测算法检测步骤一中规定的ROI区域中乘客的头部位置：

采用的目标检测算法为YOLOv3算法，使用迁移学习算法，训练人头检测模型，对视频帧中的人头进行检测，并且通过后处理滤掉一些误检的目标以及在ROI外的目标。本发明采用直接检测人头，包括以下步骤：

训练时，先搭建YOLOv3的模型结构，本次发明使用的图片的分辨率是416x416的图像，预测((52x52)+(26x26)+13x13))x3＝10647个边界框。使用在ILSVRC图像数据集上训练过的darknet53模型作为网络backbone的初值权重，其余的参数采用kaiming初始化方法，这样相当于做了迁移学习，让卷积特征提取网络提取特征的能力增强。

使用公开的人头数据集brainwash数据集对网络进行训练，训练中使用的损失函数如下：

损失函数包含类别损失函数以及边框位置回归损失函数，类别损失函数采用的是二值交叉熵，边框位置回归损失函数采用的是平方损失函数。

预测时，将图片归一化之后输入到训练好的网络中，在yolo层可得到网络的输出，其中网络的输出到边框的预测结果要做如下转换：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中t_x，t_y，t_w，t_h为网络输出的边框信息，c_x，c_y，p_w，p_h分别为对应特征图格子的左上角的坐标以及设置的anchor的宽高。

其中每个边框预测的某一类别的概率由以下公式得出：

P＝objectness*P_i

Objectness表示当前的bbox中含有目标的置信度；

P_i表示当前bbox中预测为第i个类别的条件概率。

所述的后处理，对于大小416x416的图像，YOLO预测((52x52)+(26x26)+13x13))x3＝10647个边界框，步骤二中，采用非极大值抑制NMS算法对输出的边框做处理，从而在输出的众多相互重叠的边框中筛选出置信度大于0.6的有效框。另外，针对场景的特殊性，经过NMS算法后，再筛选出长宽比以及大小在可能的范围内的预测，通过先验知识，减小网络的误差。最后输出筛选后的位于步骤一设置的ROI区域中的边框。

步骤三、使用分类器判别步骤二中检测到的人头的方向：

增加了一个CNN分类器，用来判断人脸是朝向即是否朝着电梯，通过人脸的朝向，可以更加准确的判断是否存在逆行现象。其中包括如下步骤：

网络的训练，使用的分类网络是resnet50，训练输入样本大小是34*34，采用迁移学习对网络进行训练，采用在ILSVRC图像数据集上训练过的权重对网络的卷积层进行初始化，网络的全连接层的参数采用随机初始化，最终训练得到一个有效的模型。

检测，将步骤二中输出的人头区域截取出来，将尺寸变形到34*34，再对图片做归一化处理，输出到网络中，得到分类结果，将朝着电梯出口区域(ROI)的方向的人头定义为可能出现逆行的乘客。

步骤四、利用多目标跟踪算法对步骤三中每个可能逆行的目标(头部)进行跟踪，得到跟踪轨迹：

多目标跟踪算法采用的是deepSort算法，对步骤三中可能逆行的人头生成一个跟踪器，得到跟踪轨迹。其步骤包括：

使用卡尔曼滤波器对预测结果进行估计，采用(x，y，r，h，x^，y^，r^,h^)八个状态参数对人头的运动状态进行描述，其中x，y为人头检测框的中心坐标，r表示人头框的长宽比，h表示人头框的高度，其中x^,y^,r^,h^表示x,y,r,h的变化量，即速度信息。其中，行人行走被认为是匀速的，所以这里采用的线性观测模型的卡尔曼滤波器来对乘客的运动状态进行估计。

目标关联，deepSort算法同时考虑了运动信息关联和外观信息关联：

运动信息关联中，采用的是检测的目标位置与卡尔曼滤波器预测的位置之间的马氏距离进行关联，马氏距离计算方法如下：

d⁽¹⁾(i，j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i)

其中dj表示步骤三中检测到的可能逆行的乘客的人头位置，yi表示上一帧中第i个卡尔曼滤波器的预测结果，Si表示检测位置与平均追踪位置之间的协方差矩阵。

外观信息关联，将步骤三中检测到的可能逆行的每一个乘客的人头部分的图片dj输入到一个卷积神经网络中，得到一个特征向量ri,且||ri||＝1，如果dj关联成功，则将它放入到关联成功的特征集中，特征集保留了关联成功的最近k帧的特征向量。计算每个卡尔曼滤波器中每个头部的图片与最近关联成功的特征集中每个特征的距离，计算公式如下：

若计算结果小于指定的阈值，那么就认为关联是成功。最终将上面两种关联方式的线性加权的结果作为最后关联的度量，计算公式如下：

c_i，j＝λd⁽¹⁾(i，j)+(1-λ)d⁽²⁾(i，j)

另外采用级联匹配的方法赋予最近出现出现的目标的大的优先权，来解决由于长时间遮挡导致的位置更新不确定性带来的误差。

跟踪轨迹的开始与结束，当一条跟踪路径连续3帧没有匹配到检测框，则认为跟踪结束，当检测框中没有匹配到任何跟踪器中的目标，则认为可能出现新目标，若连续3帧该新目标的卡尔曼预测结果都能与检测结果匹配，将该目标的跟踪器加入到跟踪列表中，否则认为是检测器误检，需删除该目标。

步骤五、对步骤四中的每一条轨迹进行分析，判断乘客是否发生逆行行为：

对每一条轨迹进行分析，判断乘客是否发生逆行行为，其过程如下：

对每一条轨迹初始化一个记录ΔY＝0,表示在Y轴(平行扶梯安装方向)上的总的位移；

对第i帧图像跟踪到的人头，记录其坐标(x_i，y_i)、与上一个点的(x_i-1，y_i-1)像素差(Δx_i，Δy_i)。

设ΔY＝ΔY+Δy_i，判断ΔY与TH_ΔY(是否逆行的阈值)的大小，若ΔY大于TH_ΔY则表示发生逆行现象，发出逆行信号。

Claims (5)

1.一种基于深度学习的自动扶梯乘客逆行检测方法，其特征在于：包括以下步骤：

步骤一、从自动扶梯的监控视频流获取图像帧，所述视频流来自自动扶梯的监控摄像头，监控摄像头安装在正对着扶梯口并能清晰拍摄到搭乘扶梯的乘客上下扶梯的图像的位置；设定一个矩形区域作为检测区域，所述矩形区域为自动扶梯的出口，当有乘客从出口进入时，认为有可能出现逆行现象；

步骤二、使用目标检测算法检测步骤一中设定的检测区域中乘客的头部位置，所述的目标检测算法采用YOLOv3算法，使用迁移学习算法，训练人头检测模型，对视频帧中的人头进行检测，并且通过后处理滤掉一些误检的目标以及在检测区域外的目标；

步骤三、使用分类器判别步骤二中检测到的人头的方向，判断该乘客是否有可能出现逆行现象，将步骤二中输出的人头区域截取出来，输入到分类器中，将朝着扶梯出口检测区域的方向的人头定义为可能出现逆行的乘客；

步骤四、利用多目标跟踪算法，对步骤三中每个可能出现逆行的乘客生成一个跟踪器，得到跟踪轨迹，所述多目标跟踪算法采用deepSort算法；

步骤五、对步骤四中的每一条轨迹进行分析，判断乘客是否发生逆行行为。

2.根据权利要求1所述的基于深度学习的自动扶梯乘客逆行检测方法，其特征在于：步骤二具体包括以下步骤：

(2.1)训练时，先搭建目标检测模型结构，采用迁移学习的方法，使用在ILSVRC图像数据集上训练过的模型作为网络backbone的初值权重，其余的参数采用随机初始化方法；使用公开的人头数据集对网络进行训练，损失函数包含类别损失函数以及边框位置回归损失函数；

(2.3)检测时，将图片归一化之后输入到训练好的网络中，得到网络的输出；

(2.3)后处理，网络输出多个边界框，采用非极大值抑制NMS算法对输出的边框做处理，从而在输出的众多相互重叠的边框中筛选出置信度大于某一阈值的有效框。

3.根据权利要求1所述的基于深度学习的自动扶梯乘客逆行检测方法，其特征在于：步骤三具体包括：

(3.1)分类器的训练，将目标检测器检测出来的人头部分的图像作为训练数据，将人头是否朝着扶梯方向作为标签，采用迁移学习对网络进行训练，采用在ILSVRC图像数据集上训练过的权重对网络的卷积层进行初始化，网络的全连接层的参数采用随机初始化，最终训练得到一个有效的模型；

(3.2)检测，将步骤二中输出的人头区域截取出来，再对图片做归一化处理，输入到分类器中，得到分类结果，将朝着扶梯出口检测区域的方向的人头定义为可能出现逆行的乘客。

4.根据权利要求1所述的基于深度学习的自动扶梯乘客逆行检测方法，其特征在于：步骤四的具体步骤包括：

(4.1)使用卡尔曼滤波器对预测结果进行估计，采用x，y，r，h，x^，y^，r^,h^八个状态参数对人头的运动状态进行描述，其中x，y为人头检测框的中心坐标，r表示人头框的长宽比，h表示人头框的高度，其中x^,y^,r^,h^表示x,y,r,h的变化量，即速度信息；

(4.2)进行目标关联，deepSort算法同时考虑了运动信息关联和外观信息关联；

(4.3)跟踪轨迹的开始与结束，当一条跟踪路径连续若干帧没有匹配到检测框，则认为跟踪结束，当检测框中没有匹配到任何跟踪器中的目标，则认为可能出现新目标，若连续若干帧该新目标的卡尔曼预测结果都能与检测结果匹配，将该目标的跟踪器加入到跟踪列表中，否则认为是检测器误检，需删除该目标。

5.根据权利要求1所述的基于深度学习的自动扶梯乘客逆行检测方法，其特征在于：步骤五的具体过程如下：

(5.1)对每一条轨迹初始化一个记录ΔY＝0,表示在Y轴上的总的位移；

(5.2)对第i帧图像跟踪到的人头，记录其坐标(x_i，y_i)以及与上一个点的(x_i-1，y_i-1)像素差(Δx_i，Δy_i)；

(5.3)设ΔY＝ΔY+Δy_i，判断ΔY与TH_ΔY的大小，若ΔY大于TH_ΔY，其中TB_ΔY为是否逆行的阈值；则表示发生逆行现象，发出逆行信号。