CN117746311A - 一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法 - Google Patents

Abstract

本申请涉及一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，涉及行为检测识别的领域，其包括读取视频流；对每一帧图像进行预处理；将预处理后的连续视频若干帧图像输入至第一姿态识别模型中识别得到人体关键点信息，再进行连续帧的跟踪，判断是否存在预设危险行为；将预处理后的连续若干帧图像的光流图像输入至第二姿态识别模型中识别得到目标人体位置，再跟踪得到目标人体的连续运动信息，判断是否存在预设危险行为；对第一姿态识别模型的判断结果与第二姿态识别模型的判断结果进行融合，得到最终判断结果；将最终判断结果通过网络传输至前端进行显示。本申请具有更加准确地对自动扶梯上乘客的危险行为进行识别和判断的效果。

Description

一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别 方法

技术领域

本申请涉及行为检测识别的领域，尤其是涉一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法。

背景技术

自动扶梯作为公共场所重要的交通工具，遍布商城、车站、天桥等公共场所。然而，自动扶梯上的一些危险行为不及时制止容易引发安全事故，造成严重的社会影响和人身伤害。

目前扶梯出入口处大都配有摄像机，可借助摄像机并分析扶梯上实时分析发生的危险行为。现有的通过深度学习提取人体关键点的位置姿态来判别是否摔倒，但此种方式由于图像清晰度较低，且人与人之间经常出现互相遮挡的情况，使得提取人体关键点位置容易出现偏差，经常出现识别不准的情况，从而导致对危险行为的判断缺乏准确性。

发明内容

为了实现更加准确地对自动扶梯上乘客的危险行为进行识别和判断，划分乘客行为的安全和危险姿态，以及时采取必要措施，本申请提供一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法。

本申请提供的一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，采用如下的技术方案：

一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，包括：

读取手扶梯识别范围内的视频流；

截取视频流，并对得到的每一帧图像进行预处理；

将预处理后的图像输入至第一姿态识别模型中，识别得到人体关键点信息；

选取视频前若干帧中识别出的人体关键点信息，将识别出的人体关键点信息输入匹配跟踪算法中进行连续帧的跟踪；

根据多帧跟踪结果判断是否存在预设危险行为；

将预处理后的连续的若干帧图像的光流图像输入至第二姿态识别模型中，识别得到目标人体位置；

将识别出的目标人体位置输入目标跟踪算法中得到目标人体的连续运动信息；

根据连续运动信息判断是否存在预设危险行为；

对第一姿态识别模型的判断结果与第二姿态识别模型的判断结果进行融合，得到最终判断结果；

将最终判断结果通过网络传输至前端进行显示。

可选的，所述预设危险行为包含摔倒、逆行、拥堵、越界其中一种或多种。

可选的，所述第一姿态识别模型的建立过程包括：以Openpose模型为基础，由VGG-19网络的前10层对输入样本图像进行人体关键点特征提取，并将提取的人体关键点特征作为输入进行迭代，且在迭代过程中将前一阶段的预测与提取的人体关键点特征进行串联，迭代后得到人体关键点信息矩阵。

可选的，所述对输入样本图像进行人体关键点特征提取，包括：输入样本图像为同一时刻不同视角的样本图像，并对不同视角的样本图像分别进行人体关键点特征提取，并将不同视角提取的人体关键点特征进行融合，在融合过程中加入注意力模块进行注意力权重融合，得到最终的人体关键点特征，然后将最终的人体关键点特征输入至循环递归的卷积神经网络中得到人体关键点信息。

可选的，所述根据多帧跟踪结果判断是否存在预设危险行为，以及所述根据连续运动信息判断是否存在预设危险行为，均包括：

对人体关键点信息矩阵或目标人体位置提取坐标信息并分析是否超出划定的界限区域，若超出则存在预设危险行为，且危险行为为越界；

分析当前帧和上一帧头部到膝盖、肩部到膝盖、腰部到膝盖的距离差的变化是否超出预设范围，若超出则存在预设危险行为，且危险行为为摔倒；

分析脚部当前帧和10帧前的移动距离是否小于预设界定值，若小于，则存在预设危险行为，且危险行为为拥堵；

分析连续3秒内有多少次相邻两帧的人体关键点距离差值小于预设值，若大于两次则存在预设危险行为，且危险行为为逆行。

可选的，当存在所述预设危险行为为摔倒时，对相关的多帧图像进行再次判断。

可选的，对所述预设危险行为为摔倒进行再次判断时，分析膝盖、腰部、肩部三个点形成的角度是否超出预设范围，若超出则确定存在预设危险行为，且危险行为为摔倒。

可选的，所述第二姿态识别模型的建立过程包括：以SSD主干网络为基础，将光流图像经CNN处理提取特征图并将特征图分割为固定数目的单元，对每个单元生成一系列固定大小的候选框，再通过网络同时对候选框进行物体类别的分类和边界偏移的回归，得到目标人体位置；并将识别出中目标人体位置输入KCF目标跟踪算法中得到目标的连续运动信息。

可选的，所述将光流图像经CNN处理提取特征图包括：将光流图像分别进行普通卷积和扩张率为2的空洞卷积，然后将普通卷积的特征图与空洞卷积的特征图进行拼接并通过1*1卷积进行通道匹配，并经过通道注意力模块后得到最终的加强特征图。

可选的，所述对第一姿态识别模型的判断结果与第二姿态识别模型的判断结果进行融合，得到最终判断结果，包括：对第一姿态识别模型和第二姿态识别模型分别采用SoftMax函数计算出相应分类的得分，再采用融合分类网络将第一姿态识别模型的判断结果与第二姿态识别模型的判断结果进行融合，得到最终判断结果。

综上所述，本申请包括以下至少一种有益技术效果：

1.同时通过第一姿态识别模型的人体关键信息识别和跟踪以及第二姿态识别模型的光流图像中目标人体的识别和跟踪对危险行为进行判断，再将两种判断结果进行融合得到最终判断结果，提出了全新的融合判别网络，有效提高了对危险行为的判断准确性，以便于根据不同的危险行为采取必要的应急措施；

2.通过对不同视角的人体关键点特征进行融合，在融合过程中加入注意力模块，能够对人体关键点信息进行补充和完善，并提高人体关键点信息的准确性；

3.当存在所述预设危险行为为摔倒时，将相关的多帧图像输入至VGG网络进行再次判断，能够提高对于摔倒行为的判断准确性；

4.通过将光流图像分别进行普通卷积和空洞卷积后的特征图进行融合得到最终的特征图，从而加强了识别过程中不同大小、方向的目标人体的适配性能，有效提升了识别效果。

附图说明

图1是本申请实施例一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法的流程示意图；

图2是本申请实施例第一姿态识别模型对危险行为识别的流程示意图；

图3是本申请实施例第一姿态识别模型中识别人体关键部位示意图；

图4本申请实施例第二姿态识别模型对危险行为识别的流程示意图。

具体实施方式

以下结合附图1-4对本申请作进一步详细说明。

本申请实施例公开一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法。

参照图1，一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，包括：

读取手扶梯识别范围内的视频流。

截取视频流，并对得到的每一帧图像进行预处理。

具体地，对得到的每一帧图像进行预处理包括对图像尺寸进行标准化处理、对图像进行灰度化处理以及去噪处理。

将预处理后的图像输入至第一姿态识别模型中，识别得到人体关键点信息；选取视频前若干帧中识别出的人体关键点信息，将识别出的人体关键点信息输入匹配跟踪算法中进行连续帧的跟踪

参照图2，第一姿态识别模型的建立过程包括：以Openpose模型为基础，采用VGG-19网络，由VGG-19网络的前10层对输入样本图像进行人体关键点特征提取，并将提取的人体关键点特征作为第一阶段的输入，在后续的每一个阶段中将前一阶段的预测与提取的人体关键点特征进行串联，迭代后得到人体关键点信息及其置信分值；然后将识别出的人体关键点信息输入匈牙利匹配跟踪算法中进行连续帧的跟踪。

具体地，参照图3，人体关键点信息为人体脖子、头部、左肩、右肩、左肘、右肘、左手、右手、左腰、中腰、右腰、左膝、右膝、左脚、右脚的位置坐标，对其进行标记并输出人体关键点信息矩阵及置信分值。

进一步地，由于人与人之间经常会直线互相遮挡的情况，因此通过不同的视角对人体关键点信息进行融合，能够对人体关键点信息进行补充和完善，并提高人体关键点信息的准确性。参照图2，输入样本图像为同一时刻不同视角的样本图像，首先由VGG-19网络的前10层通过卷积核为3*3的卷积层分别对不同视角的样本图像进行人体关键点特征提取，然后将不同视角的人体关键点特征通过全连接层连接后再通过卷积核为1*1的卷积层进行融合，在融合过程中加入注意力模块进行注意力权重融合，得到最终的人体关键点特征，具体对不同通道特征图赋予不同的权重(这样突出重要特征)对于融合特征图F，首先将其在通道维度聚合,然后利用全局平均池化降维特征信息，最后经过Sigmoid归一化后得到两个通道描述符,将其与对应输入相乘得到加强特征图。将加强特征图作为第一阶段的输入，由此得到的人体关键点信息能够具有较高的置信度。

同时，参照图4，将预处理后的连续的若干帧图像进行处理得到光流图像，并将光流图像输入至第二姿态识别模型中，识别得到目标人体位置；将识别出的目标人体位置输入目标跟踪算法中得到目标人体的连续运动信息。

具体地，第二姿态识别模型的建立过程包括：以SSD主干网络为基础，将光流图像经CNN处理提取特征图并将特征图分割为固定数目的单元，对每个单元生成一系列固定大小的候选框，再通过网络同时对候选框进行物体类别的分类和边界偏移的回归，得到目标人体位置；并将识别出的目标人体位置输入KCF目标跟踪算法中得到目标的连续运动信息。

由于人体结构左右对称，因此在进行目标人体识别时，在不同尺度处理光流图像并提取特征图，再将不同尺度的特征图进行融合，提升模型的识别性能。具体地，将光流图像分别进行卷积核为3*3的普通卷积和卷积核为3*3、扩张率为2的空洞卷积，然后将普通卷积的特征图与空洞卷积的特征图进行拼接并通过1*1卷积进行通道匹配，并经过通道注意力模块后得到最终的特征图，从而加强了识别过程中不同大小、方向的目标人体的适配性能，有效提升了识别效果。

通过对第一姿态识别模型识别出的人体关键点信息输入匈牙利匹配跟踪算法中进行连续帧的跟踪，同时对第二姿态识别模型识别出的目标人体位置输入KCF目标跟踪算法中得到目标的连续运动信息，分别判断是否存在预设危险行为。

进一步地，对第一姿态识别模型和第二姿态识别模型的判断结果分别采用SoftMax函数计算出相应分类的得分，再采用融合分类网络将第一姿态识别模型的判断结果与第二姿态识别模型的判断结果进行融合，得到最终判断结果，并将最终判断结果通过网络传输至前端进行显示。融合分类网络通过下式进行分类结果判断：

上式中，SD表示第一姿态识别模型与第二姿态识别模型针对视频流数据集判断结果的置信度，N表示视频流数据集的个数，N¹¹表示第一姿态识别模型与第二姿态识别模型针对视频流数据集的判断结果同时正确的个数，N⁰⁰表示第一姿态识别模型与第二姿态识别模型针对视频流数据集的判断结果同时错误的个数，N¹⁰表示第一姿态识别模型针对视频流数据集的判断结果正确而第二姿态识别模型针对视频流数据集的判断结果错误的个数，N⁰¹表示第一姿态识别模型针对视频流数据集的判断结果错误而第二姿态识别模型针对视频流数据集的判断结果正确的个数，α和β用于设置第一姿态识别模型与第二姿态识别模型的判断结果精度和不一样设定的权重，在本实施例中分别取0.7和0.3。

同时通过第一姿态识别模型的人体关键信息识别和跟踪以及第二姿态识别模型的光流图像中目标人体的识别和跟踪对危险行为进行判断，再将两种判断结果进行融合得到最终判断结果，通过融合分类网络的置信度得到分类结果，有效提高了对危险行为的判断准确性，以便于根据不同的危险行为采取必要的应急措施。在本实施例中可将置信度高的结果作为最终结果。

具体地，预设危险行为包含摔倒、逆行、拥堵、越界其中一种或多种。

判断是否存在预设危险行为，包括：

对人体关键点信息矩阵或目标人体位置提取坐标信息并分析是否超出划定的界限区域，若超出则存在预设危险行为，且危险行为为越界；

分析当前帧和上一帧头部到膝盖、肩部到膝盖、腰部到膝盖的距离差的变化是否超出预设范围，若超出则存在预设危险行为，且危险行为为摔倒；

分析脚部当前帧和10帧前的移动距离是否小于预设界定值，若小于，则存在预设危险行为，且危险行为为拥堵；

分析连续3秒内有多少次相邻两帧的人体关键点距离差值小于预设值，若大于两次则存在预设危险行为，且危险行为为逆行。

当出现摔倒的危险行为时，往往需要采取停止电梯运行等较为及时且必要的措施，因此对于摔倒行为的判断需要进一步提高其准确性。当存在所述预设危险行为为摔倒时，对其进行再次判断。

具体地，对预设危险行为为摔倒进行再次判断时，分析膝盖、腰部、肩部三个点形成的角度是否超出预设范围，若超出则确定存在预设危险行为，且危险行为为摔倒。

本申请的一些实施例提供一种电子设备以及计算机程序产品，电子设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述的计算机程序被处理器执行时可实现上述危险行为识别方法。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，除非另有说明，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

最后应说明的是，上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (9)

1.一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，其特征在于，包括：

读取手扶梯识别范围内的视频流；截取视频流，并对得到的每一帧图像进行预处理；将预处理后的图像输入至第一姿态识别模型中，识别得到人体关键点信息；

选取视频前若干帧中识别出的人体关键点信息，将识别出的人体关键点信息输入匹配跟踪算法中进行连续帧的跟踪；

根据多帧跟踪结果判断是否存在预设危险行为；将预处理后的连续的若干帧图像的光流图像输入至第二姿态识别模型中，识别得到目标人体位置；将识别出的目标人体位置输入目标跟踪算法中得到目标人体的连续运动信息；根据连续运动信息判断是否存在预设危险行为；

对第一姿态识别模型的判断结果与第二姿态识别模型的判断结果进行融合，得到最终判断结果；将最终判断结果通过网络传输至前端进行显示。

2.根据权利要求1所述的一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，其特征在于，所述第一姿态识别模型的建立过程包括：以Openpose模型为基础，由VGG-19网络的前10层对输入样本图像进行人体关键点特征提取，并将提取的人体关键点特征作为输入进行迭代，且在迭代过程中将前一阶段的预测与提取的人体关键点特征进行串联，迭代后得到人体关键点信息矩阵；

所述对输入样本图像进行人体关键点特征提取，包括：输入样本图像为同一时刻不同视角的样本图像，并对不同视角的样本图像分别进行人体关键点特征提取，并将不同视角提取的人体关键点特征进行融合，在融合过程中加入注意力模块进行注意力权重融合，得到最终的人体关键点特征；

所述第二姿态识别模型的建立过程包括：以SSD主干网络为基础，将光流图像经CNN处理提取特征图并将特征图分割为固定数目的单元，对每个单元生成一系列固定大小的候选框，再通过网络同时对候选框进行物体类别的分类和边界偏移的回归，得到目标人体位置；并将识别出中目标人体位置输入KCF目标跟踪算法中得到目标的连续运动信息；

所述将光流图像经CNN处理提取特征图包括：将光流图像分别进行普通卷积和扩张率为2的空洞卷积，然后将普通卷积的特征图与空洞卷积的特征图进行拼接并通过1*1卷积进行通道匹配，并经过通道注意力模块后得到最终的特征图。

3.根据权利要求1所述的一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，其特征在于，

所述对第一姿态识别模型的判断结果与第二姿态识别模型的判断结果进行融合，得到最终判断结果，包括：对第一姿态识别模型和第二姿态识别模型分别采用SoftMax函数计算出相应分类的得分，再采用融合分类网络将第一姿态识别模型的判断结果与第二姿态识别模型的判断结果进行融合，得到最终判断结果；

融合分类网络通过下式进行分类结果判断：

上式中，SD表示第一姿态识别模型与第二姿态识别模型针对视频流数据集判断结果的置信度，N表示视频流数据集的个数，N¹¹表示第一姿态识别模型与第二姿态识别模型针对视频流数据集的判断结果同时正确的个数，N⁰⁰表示第一姿态识别模型与第二姿态识别模型针对视频流数据集的判断结果同时错误的个数，N¹⁰表示第一姿态识别模型针对视频流数据集的判断结果正确而第二姿态识别模型针对视频流数据集的判断结果错误的个数，N⁰¹表示第一姿态识别模型针对视频流数据集的判断结果错误而第二姿态识别模型针对视频流数据集的判断结果正确的个数，α和β用于设置第一姿态识别模型与第二姿态识别模型的判断结果精度和不一样设定的权重。

4.根据权利要求1所述的一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，其特征在于，所述预设危险行为包含摔倒、逆行、拥堵、越界其中一种或多种。

5.根据权利要求2所述的一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，其特征在于，所述根据多帧跟踪结果判断是否存在预设危险行为，以及所述根据连续运动信息判断是否存在预设危险行为，均包括：

对人体关键点信息矩阵或目标人体位置提取坐标信息并分析是否超出划定的界限区域，若超出则存在预设危险行为，且危险行为为越界；

分析当前帧和上一帧头部到膝盖、肩部到膝盖、腰部到膝盖的距离差的变化是否超出预设范围，若超出则存在预设危险行为，且危险行为为摔倒；

分析脚部当前帧和10帧前的移动距离是否小于预设界定值，若小于，则存在预设危险行为，且危险行为为拥堵；

分析连续3秒内有多少次相邻两帧的人体关键点距离差值小于预设值，若大于两次则存在预设危险行为，且危险行为为逆行。

6.根据权利要求3所述的一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，其特征在于，当存在所述预设危险行为为摔倒时，对相关的多帧图像进行再次判断。

7.根据权利要求4所述的一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法，其特征在于，对所述预设危险行为为摔倒进行再次判断时，分析膝盖、腰部、肩部三个点形成的角度是否超出预设范围，若超出则确定存在预设危险行为，且危险行为为摔倒。

8.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如权利要求1-5所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1-5所述的方法。