CN117789301B - 一种应用于车站乘客的危险动作识别方法及系统 - Google Patents

Abstract

本发明公开了一种应用于车站乘客的危险动作识别方法及系统，所述方法包括针对车站乘客的危险动作特点，采集在车站站台危险动作视频数据，建立危险动作数据集；对采集到的视频数据，将其转化为图片帧，采用AlphaPose模型对人体关节骨架特征值进行提取；对斑马优化算法进行改进，即在斑马优化算法中引入透镜成像反向学习策略，提高种群多样性，并采用改进后的斑马优化算法优化AlphaPose模型；将提取的人体关节骨架特征数据送入构建的TCN‑transformer网络模型进行训练，利用训练好的模型对车站乘客的危险动作进行识别；对于获取的乘客的危险动作识别结果进行前端界面展示，以便于车站监管人员处理。本发明可以有效的对高铁站乘客危险动作进行识别，及时发现隐患，降低风险发生。

Description

一种应用于车站乘客的危险动作识别方法及系统

技术领域

本发明涉及轨道交通监控检测技术领域，特别涉及一种应用于车站乘客的危险动作识别方法及系统。

背景技术

随公共交通在城市的快速发展，具有大客运量、高峰高频率、空间局促疏散不易、人员构成复杂、社会影响大等特点，安全运营是公共交通的第一要素。

目前，基于深度学习方法在人体行为识别领域取得了巨大成功。通过分析图像或视频数据，从中提取特征并进行模式识别，以实现对乘客的危险动作进行自动识别。对于传统的识别方式，人工识别成本高昂，普通监控设备也没有高效的识别能力。通过利用人工智能技术对车站乘客的危险动作进行识别时，效率要高于监管人员通过肉眼观察，预期可以取得较好的识别效果，更好的提高轨道交通的安全性。

轨道交通监控检测技术是指应用于轨道交通系统中的各种检测技术，以监控和确保轨道交通运行的安全性和效率。随着科技的不断进步，如计算机视觉、传感器技术、通信技术等的发展，以及人工智能和大数据分析的应用，监控和检测技术得到了极大的提升。这些技术的应用能够实现实时数据采集、智能分析和决策，为轨道交通的管理和运营提供更加精确的信息和决策支持。但现在的监控识别技术也存在着一些缺点，识别技术的质量和准确性很大程度上依赖于训练数据的质量和多样性。如果数据集过小、不平衡或有偏差，可能导致识别结果不准确或表现不稳定。如果涉及到大量的车辆和人员时，识别技术可能存在误检或误判的情况，从而影响系统的准确性和可靠性。

综上所述，轨道交通监控检测技术的发展背景主要包括日益增长的运输需求、安全和事故预防、技术进步和创新以及法规和标准的推动。这些因素共同推动了监控和检测技术的应用和发展，提高了轨道交通系统的安全性和运营效率。

发明内容

发明目的：本发明提供一种应用于车站乘客的危险动作识别方法及系统，有效的提高车站乘客危险动作识别效率，降低轨道交通危险事故发生的概率。

技术方案：本发明所述的一种应用于车站乘客的危险动作识别方法，包括以下步骤：

(1)针对车站乘客的危险动作特点，采集在车站站台危险动作视频数据，建立危险动作数据集；

(2)对采集到的视频数据，将其转化为图片帧，采用AlphaPose模型对人体关节骨架特征值进行提取；

(3)对斑马优化算法进行改进，即在斑马优化算法中引入透镜成像反向学习策略，提高种群多样性，并采用改进后的斑马优化算法优化AlphaPose模型；

(4)将步骤(2)提取的人体关节骨架特征数据送入构建的TCN-transformer网络模型进行训练，利用训练好的模型对车站乘客的危险动作进行识别；

(5)对于步骤(4)获取的乘客的危险动作识别结果进行前端界面展示，以便于车站监管人员处理。

进一步地，步骤(1)所述危险动作包括在站台掏出危险武器、投掷物品、进行卧轨、跨越安全线。

进一步地，所述步骤(2)实现过程如下：

输入大小为w×h的包含人物的图像；通过空间变换网络接收人体候选框；通过单人姿态估计得到人物的图像的边界框；通过空间反变换网络将预测生成的人体姿势与原始的框选区域相对应；引入姿态引导的区域框生成器丰富参与模型训练的数据集，避免模型陷入局部最优；采用单人姿态估计法作为训练阶段额外的正则项；将所有候选姿态采用参数化姿态非极大值抑制法对候选姿态进行微调，去除冗余姿态，选取识别效果最好的人体姿态。

进一步地，所述步骤(3)实现过程如下：

(31)设置ZOA算法的目标函数为危险动作识别准确率并初始化相关参数，包括：种群规模、迭代次数、维度大小；

(32)根据目标函数计算适应度值，根据计算适应度得出最优解；

(33)ZOA算法在优化过程中分为二个阶段，第一阶段觅食行为和第二阶段针对掠食者的防御行为；

(34)提出一种自适应权重因子，对个体位置进行自适应扰动：

其中，w为一种自适应权重因子，w(t)为当前迭代次数的权重因子值，w(t+1)为迭代后的权重因子值，对做出危险动作成员的位置进行更新；

(35)引入透镜成像反向学习策略利用凸透镜成像原理在搜索空间中生成透镜反向解，引入该策略有利于提升整体种群多样性，即利用透镜反向解丰富的搜索信息来提高种群跳出局部极值能力，加速算法收敛：

其中，U_B和L_B代表搜索空间上下界，k＝h/h*，PZ为在一维空间[L_B,U_B]内做出危险动作的最优成员，h为其危险动作，在透镜的作用下形成一个危险动作为h*，反向个体PZ^*的透镜成像；

(36)每个ZOA迭代都是通过基于第一阶段和第二阶段更新种群成员来完成的，在连续迭代期间更新和保存当前解，并同步更新全局最优解；

(37)通过给定的最大迭代次数判断是否达到算法终止条件，若未达到则转到步骤(32)，在规定迭代次数内输出最优结果。

进一步地，所述步骤(4)实现过程如下：

(41)将人体关节骨架特征值数据数据送入TCN-transformer网络输入层；

(42)通过使用TCN模型的因果扩张卷积进行特征提取，假设滤波器F＝{f₁,f₂,…,f_k}，设时间序列A＝{a₁,a₂,…,a_n}，公式表示如下：

其中，F(a_S)表示进行卷积后的值，a_S表示第S处的值，S表示膨胀因子，K表示滤波器大小；

(43)通过使用了Transformer的Encoder部分对数据进行特征提取，并使用自注意机制将输入数据经过Positional Encoding编码后的输出打包到一个矩阵中，然后将这个矩阵由三个预先训练好的矩阵W^Q,W^K,W^V进行三次线性变换向量得到三个矩阵：查询矩阵Q、键矩阵K、值矩阵V；采用按比例缩放的点积注意力来获得Q、K的权重，采用softmax函数对这些权重进行归一化处理，自注意力机制的计算公式如下：

(45)使用残差连接与层标准化后得到最后的输出，获得人体关节骨架特征值预测数据，完成乘客危险动作的预测。

进一步地，所述步骤(33)包括以下步骤：

(331)第一阶段中更新斑马在觅食阶段的位置：

其中,X_i表示第i个人在第1阶段的危险动作状态，x_i,j是它的第j维值,F_i是它的目标函数值,表示第i个人在第1阶段的新的危险动作状态，/>是它的第j维值,F_i ^new,P1是它的目标函数值，PZ为做出危险动作的最优成员,PZ_j为其第j维,r是[0,1]的随机数，I＝round(1+rand)；

(332)第二阶段通过斑马对捕食者攻击的防御策略，来更新种群成员在搜索空间中的位置；斑马的防御策略有两种，S1逃跑策略和S2进攻策略：

其中，表示第i个人在第2阶段的新的危险动作状态，/>是它的第j维值,F_i ^new,P2是它的目标函数值；t，T分别表示当前迭代次数和最大迭代次数,P_S是在区间[0,1]内随机产生的两种策略中选择一种策略的概率,AZ为被识别人员的状态，AZ_j为被识别人员的第j维值。

本发明所述的一种应用于车站乘客的危险动作识别方法系统，包括：

视频采集模块，针对车站乘客的危险动作特点，采集在车站站台危险动作视频数据，建立危险动作数据集；

人体骨骼数据获取模块，将采集到的视频数据转化为图片帧，通过改进的斑马优化算法ZOA优化AlphaPose模型获取到人体骨骼数据；

危险动作识别模块，用于建立的TCN-transformer网络模型，得到车站乘客危险动作识别结果；

前端展示模块，用于实时展示乘客危险动作的前端界面，监管人员通过前端界面提示乘客注意安全。

有益效果：与现有技术相比，本发明的有益效果：AlphaPose模型本身可存在误检和误估问题，本发明采用改进斑马优化算法优化AlphaPose模型可以通过多帧追踪来修正这些错误，提高姿态估计的准确性；为避免ZOA算法陷入局部最优的问题提出一种改进策略，引入透镜成像反向学习策略，生成透镜反向解来增加种群多样性，进而提高算法跳出局部极值能力；并已入自适应权重因子，对个体位置进行自适应扰动，提高算法探索能力；本发明使用的TCN-Transformer网络结合了时间卷积网络和Transformer模型的特点；TCN能够有效地捕捉特征序列中的长时依赖关系，可以在动作识别任务中更好地建模长时依赖，提高准确性。

附图说明

图1为应用于车站乘客的危险动作识别方法流程图；

图2为改进的ZOA算法流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，本发明提出了一种应用于车站乘客的危险动作识别方法，具体包括以下步骤：

步骤1：针对车站乘客的危险动作特点，采集在车站站台危险动作视频数据，建立危险动作数据集。危险动作主要包括乘客在站台掏出危险武器、投掷物品、进行卧轨，跨越安全线等。

步骤2：对采集到的视频数据，将其转化为图片帧，采用AlphaPose模型对人体关节骨架特征值进行提取。

输入大小为w×h的包含人物的图像；通过空间变换网络(Spatial TransformerNetwork,STN)接收人体候选框；通过单人姿态估计(Single Person Pose Estimation,SPPE)得到人物的图像的边界框；通过空间反变换网络(Spatial De-transformerNetwork,SDTN)将预测生成的人体姿势与原始的框选区域相对应；在训练过程中设计PGPG(Pose-Guided Proposals Generator，姿态引导的区域框生成器)模块来丰富参与模型训练的数据集，避免模型陷入局部最优；采用Parallel SPPE(单人姿态估计)模块作为训练阶段额外的正则项；将所有候选姿态送P-NMS(参数化姿态非极大值抑制)模块中，该模块对候选姿态进行微调，去除冗余姿态，选取识别效果最好的人体姿态输出。

步骤3：如图2所示，对斑马优化算法ZOA进行改进，通过引入透镜成像反向学习策略，生成透镜反向解来增加种群多样性，进而提高算法跳出局部极值能力；并提出一种自适应权重因子，对个体位置进行自适应扰动，提高算法探索能力提高种群多样性；采用改进后的斑马优化算法优化AlphaPose模型。

(3.1)设置ZOA算法的目标函数为危险动作识别准确率并初始化相关参数，包括：种群规模、迭代次数、维度大小。

(3.2)根据目标函数计算适应度值，根据计算适应度得出最优解。

(3.3)ZOA算法在优化过程中分为二个阶段，第一阶段觅食行为和第二阶段针对掠食者的防御行为，具体过程如下：

第一阶段中，种群中最好的成员被认为先锋斑马，它在寻找饲料时引导其它种群成员走向其在搜索空间的位置，因此，更新斑马在觅食阶段的位置由数学公式表示为：

其中,X_i表示第i个人在第1阶段的危险动作状态，x_i,j是它的第j维值,F_i是它的目标函数值,表示第i个人在第1阶段的新的危险动作状态，/>是它的第j维值,F_i ^new,P1是它的目标函数值，PZ为做出危险动作的最优成员,PZ_j为其第j维,r是[0,1]的随机数，I＝round(1+rand)。

第二阶段通过斑马对捕食者攻击的防御策略，来更新种群成员在搜索空间中的位置。斑马的防御策略有两种，S1逃跑策略和S2进攻策略，此过程由数学公式表示为：

其中，表示第i个人在第2阶段的新的危险动作状态，/>是它的第j维值,F_i ^new,P2是它的目标函数值，t，T分别表示当前迭代次数和最大迭代次数,R是等于0.01的常数，P_S是在区间[0,1]内随机产生的两种策略中选择一种策略的概率,AZ为被识别人员的状态，AZ_j为被识别人员的第j维值。

(3.4)提出一种自适应权重因子w，对个体位置进行自适应扰动，保证收敛能力的同时广泛探索周围邻域，提高算法探索能力,数学模型如下：

其中，w为一种自适应权重因子，w(t)为当前迭代次数的权重因子值，w(t+1)为迭代后的权重因子值，对做出危险动作成员的位置进行更新。

(3.5)引入透镜成像反向学习策略利用凸透镜成像原理在搜索空间中生成透镜反向解，引入该策略有利于提升整体种群多样性，即利用透镜反向解丰富的搜索信息来提高种群跳出局部极值能力，加速算法收敛,数学模型如下：

其中，U_B和L_B代表搜索空间上下界，k＝h/h*，PZ为在一维空间[L_B,U_B]内做出危险动作的最优成员，h为其危险动作，在透镜的作用下形成一个危险动作为h*，反向个体PZ^*的透镜成像。

(3.6)每个ZOA迭代都是通过基于第一阶段和第二阶段更新种群成员来完成的，在连续迭代期间更新和保存当前解，并同步更新全局最优解.

(3.7)通过给定的最大迭代次数判断是否达到算法终止条件，若未达到则转到步骤(3.2)，在规定迭代次数内输出最优结果。

步骤4:建立TCN-transformer网络，通过将获取的人体关节骨架特征值数据送入TCN-transformer网络训练，对车站乘客的危险动作进行识别，主要识别乘客在站台掏出危险武器、投掷物品、进行卧轨等信息。

将人体关节骨架特征值数据数据送入TCN-transformer网络输入层；通过使用TCN模型的因果扩张卷积进行特征提取，假设滤波器F＝{f₁,f₂,…,f_k}，设时间序列A＝{a₁,a₂,…,a_n}，公式表示如下：

其中，F(a_S)表示进行卷积后的值，a_S表示第S处的值，S表示膨胀因子，K表示滤波器大小。

通过使用了Transformer的Encoder部分对数据进行特征提取，并使用自注意机制将输入数据经过Positional Encoding编码后的输出打包到一个矩阵中，然后将这个矩阵由三个预先训练好的矩阵W^Q,W^K,W^V进行三次线性变换向量得到三个矩阵：查询矩阵Q、键矩阵K、值矩阵V。采用按比例缩放的点积注意力来获得Q、K的权重，采用softmax函数对这些权重进行归一化处理，自注意力机制的计算公式如下：

使用残差连接与层标准化后得到最后的输出，获得人体关节骨架特征值预测数据，完成乘客危险动作的预测。

步骤5：利用步骤4中训练后的车站乘客危险动作识别模型对车站监控下的乘客危险动作进行识别，通过将监控中的乘客视频进行视频帧化，送入本地服务器训练好的乘客危险动作识别模型中进行识别，得到乘客危险动作识别结果将其保存到本地服务器。并将车站乘客危险动作识别结果实时的进行前端界面展示，便于监管人员处理。

本发明还提供一种应用于车站乘客的危险动作识别方法系统，包括：

视频采集模块，针对车站乘客的危险动作特点，采集在车站站台危险动作视频数据，建立危险动作数据集；人体骨骼数据获取模块，将采集到的视频数据转化为图片帧，通过改进的斑马优化算法ZOA优化AlphaPose模型获取到人体骨骼数据；危险动作识别模块，用于建立的TCN-transformer网络模型，得到车站乘客危险动作识别结果；前端展示模块，用于实时展示乘客危险动作的前端界面，监管人员通过前端界面提示乘客注意安全。

上述具体实施案例用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (5)

1.一种应用于车站乘客的危险动作识别方法，其特征在于，包括如下步骤：

(1)针对车站乘客的危险动作特点，采集在车站站台危险动作视频数据，建立危险动作数据集；

(2)对采集到的视频数据，将其转化为图片帧，采用AlphaPose模型对人体关节骨架特征值进行提取；

(3)对斑马优化算法进行改进，即在斑马优化算法中引入透镜成像反向学习策略，提高种群多样性，并采用改进后的斑马优化算法优化AlphaPose模型；

(4)将步骤(2)提取的人体关节骨架特征数据送入构建的TCN-transformer网络模型进行训练，利用训练好的模型对车站乘客的危险动作进行识别；

(5)对于步骤(4)获取的乘客的危险动作识别结果进行前端界面展示，以便于车站监管人员处理；

所述步骤(3)实现过程如下：

(31)设置ZOA算法的目标函数为危险动作识别准确率并初始化相关参数，包括：种群规模、迭代次数、维度大小；

(32)根据目标函数计算适应度值，根据计算适应度得出最优解；

(33)ZOA算法在优化过程中分为二个阶段，第一阶段觅食行为和第二阶段针对掠食者的防御行为；

(34)提出一种自适应权重因子，对个体位置进行自适应扰动：

其中，w为一种自适应权重因子，w(t)为当前迭代次数的权重因子值，w(t+1)为迭代后的权重因子值，对做出危险动作成员的位置进行更新；

(35)引入透镜成像反向学习策略利用凸透镜成像原理在搜索空间中生成透镜反向解，引入该策略有利于提升整体种群多样性，即利用透镜反向解丰富的搜索信息来提高种群跳出局部极值能力，加速算法收敛：

其中，U_B和L_B代表搜索空间上下界，k＝h/h*，PZ为在一维空间[L_B,U_B]内做出危险动作的最优成员，h为其危险动作，在透镜的作用下形成一个危险动作为h*，反向个体PZ^*的透镜成像；

(36)每个ZOA迭代都是通过基于第一阶段和第二阶段更新种群成员来完成的，在连续迭代期间更新和保存当前解，并同步更新全局最优解；

(37)通过给定的最大迭代次数判断是否达到算法终止条件，若未达到则转到步骤(32)，在规定迭代次数内输出最优结果；

所述步骤(33)包括以下步骤：

(331)第一阶段中更新斑马在觅食阶段的位置：

其中,X_i表示第i个人在第1阶段的危险动作状态，x_i,j是它的第j维值,F_i是它的目标函数值,表示第i个人在第1阶段的新的危险动作状态，/>是它的第j维值,F_i ^new,P1是它的目标函数值，PZ为做出危险动作的最优成员,PZ_j为其第j维,r是[0,1]的随机数，I＝round(1+rand)；

(332)第二阶段通过斑马对捕食者攻击的防御策略，来更新种群成员在搜索空间中的位置；斑马的防御策略有两种，S1逃跑策略和S2进攻策略：

其中，表示第i个人在第2阶段的新的危险动作状态，/>是它的第j维值,F_i ^{new ,P2}是它的目标函数值；t，T分别表示当前迭代次数和最大迭代次数,R是常数，P_S是在区间[0,1]内随机产生的两种策略中选择一种策略的概率,AZ为被识别人员的状态，AZ_j为被识别人员的第j维值。

2.根据权利要求1所述的一种应用于车站乘客的危险动作识别方法，其特征在于，步骤(1)所述危险动作包括在站台掏出危险武器、投掷物品、进行卧轨、跨越安全线。

3.根据权利要求1所述的一种应用于车站乘客的危险动作识别方法，其特征在于，所述步骤(2)实现过程如下：

输入大小为w×h的包含人物的图像；通过空间变换网络接收人体候选框；通过单人姿态估计得到人物的图像的边界框；通过空间反变换网络将预测生成的人体姿势与原始的框选区域相对应；引入姿态引导的区域框生成器丰富参与模型训练的数据集，避免模型陷入局部最优；采用单人姿态估计法作为训练阶段额外的正则项；将所有候选姿态采用参数化姿态非极大值抑制法对候选姿态进行微调，去除冗余姿态，选取识别效果最好的人体姿态。

4.根据权利要求1所述的一种应用于车站乘客的危险动作识别方法，其特征在于，所述步骤(4)实现过程如下：

(41)将人体关节骨架特征值数据数据送入TCN-transformer网络输入层；

(42)通过使用TCN模型的因果扩张卷积进行特征提取，假设滤波器F＝{f₁,f₂,…,f_k}，设时间序列A＝{a₁,a₂,…,a_n}，公式表示如下：

其中，F(a_S)表示进行卷积后的值，a_S表示第S处的值，S表示膨胀因子，K表示滤波器大小；

(43)通过使用了Transformer的Encoder部分对数据进行特征提取，并使用自注意机制将输入数据经过Positional Encoding编码后的输出打包到一个矩阵中，然后将这个矩阵由三个预先训练好的矩阵W^Q,W^K,W^V进行三次线性变换向量得到三个矩阵：查询矩阵Q、键矩阵K、值矩阵V；采用按比例缩放的点积注意力来获得Q、K的权重，采用softmax函数对这些权重进行归一化处理，自注意力机制的计算公式如下：

(44)使用残差连接与层标准化后得到最后的输出，获得人体关节骨架特征值预测数据，完成乘客危险动作的预测。

5.一种采用如权利要求1至4任一所述方法的应用于车站乘客的危险动作识别方法系统，其特征在于，包括：

视频采集模块，针对车站乘客的危险动作特点，采集在车站站台危险动作视频数据，建立危险动作数据集；

人体骨骼数据获取模块，将采集到的视频数据转化为图片帧，通过改进的斑马优化算法ZOA优化AlphaPose模型获取到人体骨骼数据；

危险动作识别模块，用于建立的TCN-transformer网络模型，得到车站乘客危险动作识别结果；

前端展示模块，用于实时展示乘客危险动作的前端界面，监管人员通过前端界面提示乘客注意安全。