CN114581843B - 一种基于深度学习的扶梯乘客危险行为识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的扶梯乘客危险行为识别方法，通过位于扶梯楼层板上方的摄像机拍摄含有乘客的扶梯视频段，使用目标检测、跟踪及关节点提取算法获得骨架序列，对骨架序列进行归一化、插帧处理制作数据集，同时将2S‑AGCN网络进行改进以提高骨架关节点连接的合理性，增强模型拟合能力，以用于对骨架序列进行行为分类，并对训练集进行数据扩增后训练该网络模型，在测试阶段，使用插帧及归一化方法保证数据分布与训练集一致，且根据连续多帧的分类结果决定当前帧乘客的行为类别，最终得到稳定的扶梯乘客危险行为识别结果。本发明可以快速准确的判断扶梯上是否存在乘客出现危险行为，保护乘客的人身安全不受威胁。

Description

一种基于深度学习的扶梯乘客危险行为识别方法

技术领域

本发明涉及扶梯乘客危险行为识别的技术领域，尤其是指一种基于深度学习的扶梯乘客危险行为识别方法。

背景技术

在现代社会，各种高层建筑不断出现，为了方便人们不同楼层间的变换，扶梯成为一个必不可少的设备，相比垂直电梯具有载客量大的优点，被广泛运用于各种场合，尤其是商场、地铁等客流量大的场所。然而，由于一些乘客的不规范乘坐可能会出现一些意想不到的情况发生，尤其是发生摔倒情况时，容易导致衣服或者头发被卷入扶梯，如果扶梯不能及时停止，将会促使情况恶化，严重威胁人的生命安全。目前，虽然扶梯大都具有防止侧面防夹的设备，但其主要依赖于扶梯侧面挡板的形变，对于摔倒这种情况只有当乘客被卷入很多时才可能触发，此时已经造成了严重代价，保护性不足。目前扶梯出入口处大都配有摄像机，通常用于检测地铁客流量或对乘客进行人脸识别以方便政府部门对特定人员的查找，并未用于乘客摔倒等异常行为的检测，不能充分利用监控信息。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的扶梯乘客危险行为识别方法，该方法对扶梯上乘客的骨架进行检测并跟踪获得乘客的骨架序列，通过改进的2S-AGCN图卷积网络对骨架序列进行分类，完成乘客异常行为的检测，能够及时发现扶梯上乘客的危险行为，避免造成有进一步的人身损害。

为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的扶梯乘客危险行为识别方法，包括以下步骤：

1)获取位于扶梯楼层板上方的摄像机拍摄的含有乘客的扶梯视频段，将所有的扶梯视频段进行处理生成所需的数据集，再将数据集进行处理生成所需的数据集，再将数据集按比例划分原始训练集和原始验证集，并进行乘客异常行为类别标注；

2)对原始训练集和原始验证集进行坐标归一化，将所有乘客的关节坐标统一到同一数据分布下，得到归一化后的训练集和验证集；

3)对归一化后的训练集进行数据扩增，加入噪声生成新的图像并赋予相应的标签，作为最终训练集；

4)使用最终训练集训练改进的2S-AGCN网络，并使用归一化后的验证集验证模型精度以选取最优模型参数，其中对2S-AGCN网络的改进是使用自适应的多阶邻接矩阵融合方法，以及使用自学习的邻接矩阵获取骨架中关节点的连接关系；

5)对待检测视频的每一帧进行乘客骨架提取并跟踪，将得到的所有乘客的骨架序列送入训练好的改进2S-AGCN网络进行行为分类，并根据连续的多个骨架序列识别结果得到最终的乘客行为类别。

进一步，在步骤1)中，数据集生成及标注方法如下：

1.1)将乘客P1，在视频中的动作起始帧一直到结束帧间的视频段截取出来，同时该视频段的类别就标记为乘客P1的行为类别；

1.2)对视频段的每一帧图像使用目标检测网络框选出图中所有乘客并进行跟踪，然后使用骨架提取网络提取出所有乘客的骨架信息，从而得到所有乘客在全部帧的骨架检测结果，并将其按时间顺序组成骨架序列，然后只保存该视频段对应乘客P1的骨架序列；

1.3)使用插帧算法对骨架序列进一步处理，假设乘客P1的骨架序列的帧数为F_P1，而帧数必须为改进2S-AGCN网络缩放倍率F_count的整数倍，故需要对P1的骨架序列进行插帧处理，需要增加的帧数其中[·]表示向下取整操作，则在处各插入一帧，而插入帧的骨架信息通过对相邻前后两帧的骨架位置求平均获得，从而得到插帧后的骨架序列；

1.4)将乘客P1的行为类别，作为其对应插帧后骨架序列的类别标签，即插帧后骨架序列及其行为类别共同作为数据集的一个样本。

进一步，在步骤2)中，坐标归一化方法如下：

针对每一个骨架序列的某一帧，假设其骨架中包含K个关节点，所有关节点在图像中的坐标为{(x_i,y_i),i∈[1,K]}，(x_i,y_i)为第i个关节点的横坐标和纵坐标，则该骨架的外接矩形框坐标为(x_min,y_min,x_max,y_max)＝(min({(x_i)}),min({(y_i)}),max({(x_i)}),max({(y_i)})),i∈[1,K]，其中，(x_min,y_min)为外接矩形左上角的横坐标和纵坐标，(x_max,y_max)为外接矩形右下角的横坐标和纵坐标，min({·})、max({·})分别为集合{·}的最小值和最大值；则归一化后的关节点坐标为

进一步，在步骤3)中，数据扩增方法如下：

3.1)以设定概率对整个骨架序列进行翻转，翻转方法为：假设归一化后骨架序列的关节点坐标为其中，K为骨架的关节点个数，T为骨架序列的帧数，/>为第t帧第i个关节点的横坐标和纵坐标，则翻转后的关节点坐标为

3.2)对于骨架序列的第t帧，随机选取N个关节点，其中选取的第j个关节点的坐标为/>在[-0.01，0.01]之间按照高斯分布随机选取两个数/>则添加位移噪声后的关节点坐标为从而添加随机位移噪声；

3.3)对于骨架序列的第t帧，随机选取M个关节点，其中选取的第j个关节点的坐标为/>则擦除该关节点后，其坐标为用于模拟因为遮挡而导致的关节点检测不全的情况。

进一步，在步骤4)中，改进的2S-AGCN网络的具体改进如下：

4.1)使用自适应多阶邻接矩阵融合方法：假设骨架图先验的连接关系，即先验邻接矩阵为则k阶邻接矩阵/>其中/>表示先验邻接矩阵/>的k次幂，最终使用的自适应多阶邻接矩阵/>其中H表示最高阶次数，/>是最大阶次为H的自适应多阶邻接矩阵，α^k为k阶邻接矩阵对应的权值，该值初始化为1，然后随着模型的训练自适应调整，因此，最终得到的自适应多阶矩阵是多阶矩阵的加权和，而权值是经过所有的训练数据统计得到的，能够有效提升网络模型的效果；

4.2)使用自学习邻接矩阵：由步骤4.1)得到自适应多阶邻接矩阵设置一个与行列数目完全一致的自学习邻接矩阵B^H，且B^H初始化为0阵，该矩阵的元素全部为可训练参数，能够根据训练数据获得/>中不存在的连接关系，则最终用于特征提取的邻接矩阵为其中β为一个可学习参数，初始值为0，保证训练前期骨架连接关系偏向于先验邻接矩阵，训练后期骨架连接关系偏向于自学习的邻接矩阵，从而能够得到更优的邻接矩阵，即得到更合理的骨架连接关系，有效提高模型的分类性能。

进一步，在步骤5)中，对待检测视频中的乘客行为分类方法如下：

5.1)对每一帧图像使用目标检测及跟踪算法获得乘客的轨迹信息，同时对乘客的每一帧图像使用关键点提取网络提取乘客的骨架信息，从而获得乘客在连续帧内的原始骨架序列信息，如果骨架序列的帧数小于改进2S-AGCN网络缩放倍率F_count，不进行分类，否则执行5.2)；

5.2)首先利用插帧算法对骨架序列进行调整，而后将调整后的骨架序列使用归一化方法进行处理，再送入训练好的改进2S-AGCN网络进行分类，同时统计截止当前帧连续D帧的分类结果，取其中出现次数最多的类别作为该帧的行为类别，以得到稳定的分类结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、以位于扶梯出入口的摄像机作为信息采集装置，无需增加新的设备，充分利用了扶梯上的图像信息，且不影响其它图像任务的执行，节约硬件成本，同时该方法处理的是图像信息，在乘客摔倒时可以立即检测出，从而可以采取紧急措施，有效防止情况的进一步恶化，保证乘客的生命安全。

2、使用乘客的骨架信息进行行为分类，相比使用原始图像数据，丢弃了大量的无用特征，即减少了计算量，也提高了算法的检测准确度。

3、利用提出的归一化方法，以及训练集的数据扩增方法，极大的丰富了数据的多样性，且充分模拟了实际检测过程中乘客遮挡的情况，促使模型更加关注重要的特征，提高了最终模型的泛化性。

4、对2S-AGCN网络进行改进，对邻接矩阵进行自适应多阶融合极大的提高了不同距离关节点之间的特征融合效果，而自学习矩阵与先验邻接矩阵的整合，即在训练前期利用了先验连接关系加速模型收敛，又在训练后期使用学习出的连接关系提高模型的特征提取性能。

附图说明

图1为改进的2S-AGCN网络的训练流程示意图。

图2为本发明方法实际运用时的逻辑流程示意图。

图3为自适应多阶邻接矩阵融合示意图。

图4为自学习邻接矩阵与先验矩阵融合示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1和图2所示，本实施例所提供的基于深度学习的扶梯乘客危险行为识别方法，其具体情况如下：

步骤1：获取位于扶梯楼层板上方的摄像机拍摄的含有乘客的扶梯视频段，利用这些视频段来生成训练集以及验证集，具体的方法如下：

1.1)将每个乘客，比如乘客P1，在视频中的动作起始帧一直到结束帧间的视频段截取出来，同时该视频段的类别就标记为乘客P1的行为类别。

1.2)对视频段的每一帧图像使用目标检测网络框选出图中所有乘客并进行跟踪，然后使用骨架提取网络提取出所有乘客的骨架信息，从而得到所有乘客在全部帧的骨架检测结果，并将其按时间顺序组成骨架序列，然后只保存该视频段对应乘客P1的骨架序列。

1.3)使用插帧算法对骨架序列进一步处理，假设乘客P1的骨架序列的帧数为F_P1，而帧数必须为改进2S-AGCN网络缩放倍率F_count的整数倍，故需要对P1的骨架序列进行插帧处理，需要增加的帧数其中[·]表示向下取整操作，则在处各插入一帧，而插入帧的骨架信息通过对相邻前后两帧的骨架位置求平均获得，从而得到插帧后的骨架序列。

1.4)将乘客P1的行为类别，作为其对应插帧后骨架序列的类别标签，即插帧后骨架序列及其行为类别共同作为数据集的一个样本，然后将所有的样本按照9：1的比例分为原始训练集和原始验证集。

步骤2：由于乘客在图像中的位置是不固定的，而这些关节点的绝对位置对动作识别毫无意义，所以考虑使用归一化方法，去除骨架序列中的绝对位置信息，具体的归一化方法如下：

针对每一个骨架序列的某一帧，假设其骨架中包含K个关节点，所有关节点在图像中的坐标为{(x_i,y_i),i∈[1,K]}，(x_i,y_i)为第i个关节点的横坐标和纵坐标，则该骨架的外接矩形框坐标为(x_min,y_min,x_max,y_max)＝(min({(x_i)}),min({(y_i)}),max({(x_i)}),max({(y_i)})),i∈[1,K]，其中，(x_min,y_min)为外接矩形左上角的横坐标和纵坐标，(x_max,y_max)为外接矩形右下角的横坐标和纵坐标，min({·})、max({·})分别为集合{·}的最小值和最大值；则归一化后的关节点坐标为

步骤3：由于训练集规模有限，通过在已有训练集的基础上进行数据扩增以模拟更多的现实场景，可以有效提高数据的丰富性以及最终训练模型的泛化性，具体的数据扩增方法如下：

3.1)以一定概率对整个骨架序列进行翻转，翻转方法为：假设归一化后骨架序列的关节点坐标为其中，K为骨架的关节点个数，T为骨架序列的帧数，/>为第t帧第i个关节点的横坐标和纵坐标，则翻转后的关节点坐标为

3.2)对于骨架序列的第t帧，随机选取N个关节点，其中选取的第j个关节点的坐标为/>在[-0.01，0.01]之间按照高斯分布随机选取两个数/>则添加位移噪声后的关节点坐标为/>从而添加随机位移噪声。

3.3)对于骨架序列的第t帧，随机选取M个关节点，其中选取的第j个关节点的坐标为/>则擦除该关节点后，其坐标为用于模拟因为遮挡而导致的关节点检测不全的情况。

步骤4：利用数据扩增后的训练集训练提出的改进的2S-AGCN网络，该网络的具体改进如下：

4.1)使用自适应多阶邻接矩阵融合方法:假设骨架图先验的连接关系，即先验邻接矩阵为则k阶邻接矩阵/>其中/>表示先验邻接矩阵/>的k次幂，最终使用的自适应多阶邻接矩阵/>其中H表示最高阶次数，/>是最大阶次为H的自适应多阶邻接矩阵，α^k为k阶邻接矩阵对应的权值，该值初始化为1，然后随着模型的训练自适应调整，因此，最终得到的自适应多阶矩阵是多阶矩阵的加权和，而权值是经过所有的训练数据统计得到的，可以有效提升网络模型的效果。如图3所示，图中颜色的深浅代表该处数值的大小，其中白色为0，纯黑色为1，a为k＝1时的邻接矩阵，b为k＝2时的邻接矩阵，c为k＝3时的邻接矩阵，假设他们对应的灰色块值分别为0.8、0.2、0.5，d为K＝3时的多阶邻接矩阵自适应融合的结果，其中d为a、b、c三个邻接矩阵的加和。

4.2)使用自学习邻接矩阵:由步骤4.1)得到自适应多阶邻接矩阵设置一个与行列数目完全一致的自学习邻接矩阵B^H，且B^H初始化为0阵，该矩阵的元素全部为可训练参数，能够根据训练数据获得/>中不存在的连接关系，则最终用于特征提取的邻接矩阵为其中β为一个可学习参数，初始值为0，保证训练前期骨架连接关系偏向于先验邻接矩阵，训练后期骨架连接关系偏向于自学习的邻接矩阵，表面自学习邻接矩阵以及自学习参数β的引入可以得到更优的邻接矩阵，即得到更合理的骨架连接关系，有效提高模型的分类性能。如图4所示，图中颜色的深浅代表该处数值的大小，其中白色为0，纯黑色为1，a为先验邻接矩阵，b为自学习邻接矩阵，假设他们对应的灰色块值都为1，c为β＝0.3时自学习邻接矩阵与先验邻接矩阵的融合结果。

利用数据扩增后的训练集训练改进的2S-AGCN网络，训练中采用Adam优化方法、0.001的初始学习率进行训练，每10个epoch使用验证集验证一次当前模型的性能，并选取前100个epoch中验证集准确率最高的模型参数作为预测模型。

步骤5：使用训练好的改进2S-AGCN网络对待测视频进行行为分类，其主要包括以下步骤：

5.1)获取乘客骨架信息。对每一帧图像使用目标检测及跟踪算法获得乘客的轨迹信息，同时对乘客的每一帧图像使用关键点提取网络提取乘客的骨架信息，从而获得乘客在连续帧内的原始骨架序列信息，如果骨架序列的帧数小于改进2S-AGCN网络缩放倍率F_count，则不对该骨架序列进行分类，否则执行步骤5.2)。

5.2)首先利用插帧算法对骨架序列进行调整，使其骨架序列的帧数变为F_count的整数倍，而后将调整后的骨架序列使用归一化方法进行处理，再送入训练好的改进2S-AGCN网络进行分类，同时统计截止当前帧连续D帧的分类结果，取其中出现次数最多的类别作为该帧的行为类别，以得到稳定的分类结果。

综上所述，在采用以上方案，本发明为扶梯上乘客危险行为的检测提供的新的方法，采用深度学习方法实现了对乘客危险行为的实时检测，保护乘客的人身安全不受威胁，提高扶梯的安全系数，具有实际推广价值，值得推广。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于，包括以下步骤：

1)获取位于扶梯楼层板上方的摄像机拍摄的含有乘客的扶梯视频段，将所有的扶梯视频段进行处理生成所需的数据集，再将数据集按比例划分原始训练集和原始验证集，并进行乘客异常行为类别标注；

2)对原始训练集和原始验证集进行坐标归一化，将所有乘客的关节坐标统一到同一数据分布下，得到归一化后的训练集和验证集；

3)对归一化后的训练集进行数据扩增，加入噪声生成新的图像并赋予相应的标签，作为最终训练集；

4)使用最终训练集训练改进的2S-AGCN网络，并使用归一化后的验证集验证模型精度以选取最优模型参数，其中对2S-AGCN网络的改进是使用自适应的多阶邻接矩阵融合方法，以及使用自学习的邻接矩阵获取骨架中关节点的连接关系；

改进的2S-AGCN网络的具体改进如下：

4.1)使用自适应多阶邻接矩阵融合方法：假设骨架图先验的连接关系，即先验邻接矩阵为则k阶邻接矩阵/>其中/>表示先验邻接矩阵/>的k次幂，最终使用的自适应多阶邻接矩阵/>其中H表示最高阶次数，/>是最大阶次为H的自适应多阶邻接矩阵，α^k为k阶邻接矩阵对应的权值，该权值初始化为1，然后随着模型的训练自适应调整，因此，最终得到的自适应多阶矩阵是多阶矩阵的加权和，而权值是经过所有的训练数据统计得到的，能够有效提升网络模型的效果；

4.2)使用自学习邻接矩阵：由步骤4.1)得到自适应多阶邻接矩阵设置一个与/>行列数目完全一致的自学习邻接矩阵B^H，且B^H初始化为0阵，该矩阵的元素全部为可训练参数，能够根据训练数据获得/>中不存在的连接关系，则最终用于特征提取的邻接矩阵为其中β为一个可学习参数，初始值为0，保证训练前期骨架连接关系偏向于先验邻接矩阵，训练后期骨架连接关系偏向于自学习的邻接矩阵，从而能够得到更优的邻接矩阵，即得到更合理的骨架连接关系，有效提高模型的分类性能；

5)对待检测视频的每一帧进行乘客骨架提取并跟踪，将得到的所有乘客的骨架序列送入训练好的改进2S-AGCN网络进行行为分类，并根据连续的多个骨架序列识别结果得到最终的乘客行为类别。

2.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤1)中，数据集生成及标注方法如下：

1.1)将乘客P1，在视频中的动作起始帧一直到结束帧间的视频段截取出来，同时该视频段的类别就标记为乘客P1的行为类别；

1.2)对视频段的每一帧图像使用目标检测网络框选出图中所有乘客并进行跟踪，然后使用骨架提取网络提取出所有乘客的骨架信息，从而得到所有乘客在全部帧的骨架检测结果，并将其按时间顺序组成骨架序列，然后只保存该视频段对应乘客P1的骨架序列；

1.3)使用插帧算法对骨架序列进一步处理，假设乘客P1的骨架序列的帧数为F_P1，而帧数必须为改进2S-AGCN网络缩放倍率F_count的整数倍，故需要对P1的骨架序列进行插帧处理，需要增加的帧数其中[·]表示向下取整操作，则在处各插入一帧，而插入帧的骨架信息通过对相邻前后两帧的骨架位置求平均获得，从而得到插帧后的骨架序列；

1.4)将乘客P1的行为类别，作为其对应插帧后骨架序列的类别标签，即插帧后骨架序列及其行为类别共同作为数据集的一个样本。

3.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤2)中，坐标归一化方法如下：

针对每一个骨架序列的某一帧，假设其骨架中包含K个关节点，所有关节点在图像中的坐标为{(x_i,y_i),i∈[1,K]}，(x_i,y_i)为第i个关节点的横坐标和纵坐标，则该骨架的外接矩形框坐标为(x_min,y_min,x_max,y_max)＝(min({(x_i)}),min({(y_i)}),max({(x_i)}),max({(y_i)})),i∈[1,K]，其中，(x_min,y_min)为外接矩形左上角的横坐标和纵坐标，(x_max,y_max)为外接矩形右下角的横坐标和纵坐标，min({·})、max({·})分别为集合{·}的最小值和最大值；则归一化后的关节点坐标为

4.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤3)中，数据扩增方法如下：

3.1)以设定概率对整个骨架序列进行翻转，翻转方法为：假设归一化后骨架序列的关节点坐标为其中，K为骨架的关节点个数，T为骨架序列的帧数，为第t帧第i个关节点的横坐标和纵坐标，则翻转后的关节点坐标为

3.2)对于骨架序列的第t帧，随机选取N个关节点，其中选取的第j个关节点的坐标为/>在[-0.01，0.01]之间按照高斯分布随机选取两个数则添加位移噪声后的关节点坐标为从而添加随机位移噪声；

3.3)对于骨架序列的第t帧，随机选取M个关节点，其中选取的第j个关节点的坐标为/>则擦除该关节点后，其坐标为用于模拟因为遮挡而导致的关节点检测不全的情况。

5.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤5)中，对待检测视频中的乘客行为分类方法如下：

5.1)对每一帧图像使用目标检测及跟踪算法获得乘客的轨迹信息，同时对乘客的每一帧图像使用关键点提取网络提取乘客的骨架信息，从而获得乘客在连续帧内的原始骨架序列信息，如果骨架序列的帧数小于改进2S-AGCN网络缩放倍率F_count，不进行分类，否则执行5.2)；

5.2)首先利用插帧算法对骨架序列进行调整，而后将调整后的骨架序列使用归一化方法进行处理，再送入训练好的改进2S-AGCN网络进行分类，同时统计截止当前帧连续D帧的分类结果，取其中出现次数最多的类别作为该帧的行为类别，以得到稳定的分类结果。