CN110188710A - 列车驾驶员动态行为识别方法 - Google Patents

Abstract

本发明公开了一种列车驾驶员动态行为识别方法，包括如下步骤：从人体三维姿态数据中提取出用于表示驾驶员行为的行为特征，驾驶员的一个特定行为转换为一个特定的特征观察序列；对于不同行为的观察序列进行训练，得到多个针对不同特定行为的隐马尔可夫模型，其中，一个行为对应一个隐马尔可夫模型；将驾驶员实际行为视频中提取到的特征序列与训练得到的一系列隐马尔可夫模型进行匹配，找到匹配度最高的隐马尔可夫模型，该匹配度最高的隐马尔可夫模型对应的行为即为需要识别的动态行为，输出动态行为识别的结果。所述方法能够对列车驾驶员的行为进行识别和判断，防止意外事故发生。

Description

列车驾驶员动态行为识别方法

技术领域

本发明涉及动作识别方法技术领域，尤其涉及一种列车驾驶员动态行为识别方法。

背景技术

在计算机视觉领域，行为理解可以被看作是对数据进行分类，即预测序列与数据样本库标定的典型行为进行匹配。在行为识别领域，根据应用场景的不同，分为模板匹配法、状态空间法和语义分析法三种：

(1)模板匹配法，其基本的技术路线：首先将待识别的图像转换为一组静态数据序列，然后同预先建立的典型行为样本进行匹配，判断该行为是否发生，例如Polana与Nelson等人，利用二维网格的特征对行人的行为进行检测识别。模板匹配法具有计算复杂度低，算法设计简单的优点，但是对于相邻帧之间的关系缺乏动态理解。

(2)状态空间法，算法复杂度相对较高，但是克服了模板匹配法的缺点。其基本思想是将：每个静态姿式作为一个状态，再把这些状态利用某种概率函数建立联系。所有的运动序列都可以看作这些静态姿势的不同状态之间的转换，最常用的状态转移模型为HMMs(隐马尔可夫模型)，例如Bregler等人基于人体力学在不同等级的统计分解提出了一个综合性的网络识别人的动作。

(3)语义分析法，针对分类类别较小的场景，一般是基于底层特征通过某种映射对高层行为进行分类的行为识别方法，这类分类方法常用于计算机视觉图像分类领域，在人体动作识别应用也有不错的识别效果。

经过研究发现，在列车行驶途中，驾驶员有时会存在不自律的行为，比如行车时打电话、脱离闸把、喝水等行为，因此需要对列车驾驶员的行为进行识别和判断。

发明内容

本发明所要解决的技术问题是如何提供一种能够对列车驾驶员的行为进行识别和判断，防止意外事故发生的方法。

为解决上述技术问题，本发明所采取的技术方案是：一种列车驾驶员动态行为识别方法，其特征在于包括如下步骤：

数据提取阶段：从人体三维姿态数据中提取出用于表示驾驶员行为的行为特征，驾驶员的一个特定行为转换为一个特定的特征观察序列；

训练阶段：对于不同行为的观察序列进行训练，得到多个针对不同特定行为的隐马尔可夫模型，其中，一个行为对应一个隐马尔可夫模型；

识别阶段：将驾驶员实际行为视频中提取到的特征序列与训练得到的一系列隐马尔可夫模型进行匹配，找到匹配度最高的隐马尔可夫模型，该匹配度最高的隐马尔可夫模型对应的行为即为需要识别的动态行为，输出动态行为识别的结果。

进一步的技术方案在于，人体行为底层特征的识别方法如下：

人体行为可以看成多个肢体动作的组合，人的肢体动作又可以用底层的特征进行表示；假设x表示底层特征空间，共有m种特征，x_i＝{x₁,x₂,x₃...x_m}表示样本i的m维底层特征向量；y表示人体肢体的高层特征空间，共有n种特征，y_i＝{y₁,y₂,y₃...y_n}表示样本i的n维肢体行为特征向量；z表示人体行为的种类集合，总共有k种，其中z∈{z₁,z₂,z₃...z_k}；底层特征到高层特征、行为类别的映射关系如下所示：

f:x→y→z；

把上式进行变形为：

H＝F₂(F₁(x))

其中F₁：x→y表示底层特征向高层特征的映射，包含了m个特征检测器，每个特征检测器将特征向量映射到相应的高层特征维度，从而得到高层特征向量；F₂：y→z表示高层特征向人体行为类别标签的映射，包含一个对高层特征向量的分类器，将其映射到类别空间。

进一步的技术方案在于，所述底层特征X＝{右手腕关节点前帧二维坐标、右手腕关节点当前二维坐标}，高层特征Y＝{静止、向上移动、向下移动、向前移动、向后移动、向上前移动、向上后移动、向下前移动、向下后移动}。

进一步的技术方案在于，所述底层特征与高层特征之间的映射关系如下：

Δ_x为负、Δ_y为负时，Δ_x/Δ_y表示右手腕关节点向上后移动；

Δ_x为负、Δ_y为正时，Δ_x/Δ_y表示右手腕关节点向下后移动；

Δ_x为负、Δ_y为零时，Δ_x/Δ_y表示右手腕关节点向后移动；

Δ_x为正、Δ_y为负时，Δ_x/Δ_y表示右手腕关节点向上前移动；

Δ_x为正、Δ_y为正时，Δ_x/Δ_y表示右手腕关节点向下前移动；

Δ_x为正、Δ_y为零时，Δ_x/Δ_y表示右手腕关节点向前移动；

Δ_x为零、Δ_y为负时，Δ_x/Δ_y表示右手腕关节点向上移动；

Δ_x为零、Δ_y为正时，Δ_x/Δ_y表示右手腕关节点向下移动；

Δ_x为零、Δ_y为零时，Δ_x/Δ_y表示右手腕关节点静止；

其中，Δ_x＝x_cur-x_pre

Δ_y＝y_cur-y_pre

x_cur表示驾驶员右腕关节当前帧x轴坐标，x_pre表示驾驶员右腕关节上一帧x轴坐标；y_cur表示驾驶员右腕关节当前帧y轴坐标，y_pre表示驾驶员右腕关节上一帧y轴坐标。

进一步的技术方案在于：建立HMM模型λ＝{A,B,π}

1)状态转移矩阵A，当前状态可以转移到任意状态下，选择全连接类型结构，其表示方式如下：

其中：a^i,j表示在时刻t-1时，模型的状态为xi，在时刻t时模型的状态转移到xj，1≤i≤9，1≤j≤9；

2)输出概率矩阵B，表示当前时刻某一状态输出某一观察值的概率，其定义如下：

其中：b^i,j表示在状态xi的条件下出现观测序列Yj的概率，1≤i≤9，1≤j≤9；

3)初始状态概率分布π，驾驶员进行操作时，都是从静止状态开始，其定义如下：

π＝1。

进一步的技术方案在于：在参数的训练阶段，首先利用已知的动作序列进行模型训练，利用大量的样本对参数进行不断的修正和重估，直到训练到小于特定的阈值，此时模型训练完毕。

进一步的技术方案在于：利用BaumWelch算法进行训练，将迭代次数设为50，将临界阈值设为10^-4，即δ＝10^-4；其基本步骤为：1)初始化训练模型L₀；2)基于L₀及观察值序列O训练新模型L；3)若logP(X|L)-logP(X|L₀)＜δ，说明训练模型已经趋近于合理，则结束算法；否则，令L₀＝L，并重复步骤2)。

采用上述技术方案所产生的有益效果在于：所述方法将驾驶员实际行为视频中提取到的特征序列与训练得到的一系列隐马尔可夫模型进行匹配，找到匹配度最高的隐马尔可夫模型，该匹配度最高的隐马尔可夫模型对应的行为即为需要识别的动态行为，输出动态行为识别的结果。因此，所述方法能够对列车驾驶员的行为进行识别和判断，防止意外事故发生，且行为识别准确率高。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例中驾驶员动态行为识别流程图；

图2是本发明实施例中HMM两层模型图；

图3是本发明实施例中常见的HMM结构图(全连接类型)；

图4是本发明实施例中常见的HMM结构图(左右无连接类型)；

图5是本发明实施例中驾驶员进行手语操作图；

图6是本发明实施例中动态行为识别技术路线图；

图7是本发明实施例中高层特征的行为识别分类图；

图8是本发明实施例中驾驶员右手移动方向占比图；

图9是本发明实施例中驾驶员手语操作的周期示意图；

图10是本发明实施例中驾驶员动态行为操作图；

图11是本发明实施例中驾驶员行为事件图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

总体的，如图1所示，本发明实施例公开了一种列车驾驶员动态行为识别方法，包括如下步骤：

数据提取阶段：从人体三维姿态数据中提取出用于表示驾驶员行为的行为特征，驾驶员的一个特定行为转换为一个特定的特征观察序列；

训练阶段：对于不同行为的观察序列进行训练，得到多个针对不同特定行为的隐马尔可夫模型，其中，一个行为对应一个隐马尔可夫模型；

识别阶段：将驾驶员实际行为视频中提取到的特征序列与训练得到的一系列隐马尔可夫模型进行匹配，找到匹配度最高的隐马尔可夫模型，该匹配度最高的隐马尔可夫模型对应的行为即为需要识别的动态行为，输出动态行为识别的结果。

下面结合具体的技术方案对以上内容进行说明：

隐马尔可夫模型(Hidden Markov Models简称HMM)在智能家居、语音识别、动作分析领域取得了不错的效果。本发明利用该理论对驾驶员的动态行为进行分析。

隐马尔可夫模型(Hidden Markov Models)，是一种有效的描述离散时间序列的统计方法，隐含对于时间序列的纠正，包含两层随机变量序列，上层是不可观察的、隐藏的状态序列，下层是根据不可观察的状态序列生成的可见的动作序列，如图2所示。

在图2中，集合S表示HMM中上层不可观察的隐含状态序列{s₁,s₂,s₃,s₄,...s_m}，m表示隐含状态的数目；集合O表示HMM中下层可观测状态序列{o₁,o₂,o₃,o₄,...o_n}，n表示观察序列的个数。a_ij表示状态转换概率，b_i表示输出概率，1≤i，j≤m。

HMM包括五个参数：状态转移概率矩阵A、观察值概率矩阵B、初始概率矩阵π、隐含状态的数目M和每个状态对应的观察值数目N，一般可以用一个五元组或者三元组进行表示，三元组表示时去掉最后两个参数，利用前面的三个参数表示这个模型，如下

λ＝{A,B,π}

其中，A为维度为N*N的矩阵，B为维度为N*M的矩阵；

状态转移概率矩阵A用如下公式表示：

A＝{A_ij|A_ij＝P(s_t＝j|s_t-1＝i)}

其中A_ij＝P(s_t＝j|s_t-1＝i)表示：从状态i转移到j的概率，转移概率矩阵中每一行概率相加为1；

输出概率矩阵B表示：当隐藏状态为s_j时，观察状态为o_k的概率，公式如下：

B＝{b_j(k)|b_j(k)＝P(o_k|s＝s_j))}

对于隐马尔可夫模型而言，要有一个初始状态，其训练和分类测试都是以这个状态作为起点，初始的状态分布向量用π表示：在时间序列上的第一个隐藏状态是i的概率，公式如下

π＝{π_i|π_i＝P(s₁＝i)}

A，B，π构成了隐马尔可夫模型的三要素，其中状态转移概率矩阵A和初始概率矩阵π确定了隐藏的马尔可夫链，生成了不可见的上层隐含状态序列；观察矩阵B决定了如何从隐含状态生成观察序列。

在隐马尔可夫模型求解的过程中，一般会面临三个问题：评估问题、学习问题、解码问题。

评估问题，也称作概率计算问题。计算在给定的HMM模型λ＝{A,B,π}下，观察序列O＝{o₁,o₂,o₃,o₄,...o_n}出现的概率P(O|λ)。

对于该问题的求解办法，一般是向前、向后算法，本发明以向前算法举例说明，对于给定的隐含状态序列S＝{q₁,q₂,q₃,...}

其中表示q_t状态下观察到的O_t概率，

首先定义向前变量α_t(i)＝P(O₁,O₂,...O_t,q_t＝θ_i/λ),1≤t≤T，初始化：

α₁(i)＝π_ib_i(O₁)

进行递归操作：

整理可得：

(2)学习问题。根据已知的观察序列O＝{o₁,o₂,o₃,o₄,...o_n}，估计隐马尔可夫模型的参数，使得在该模型下观察序列的概率最大。

对于该问题的解决办法，采用Baum-Welch算法，利用递归的思想使得P(S|O)局部最大，常见的分为有监督和无监督两种方法，本发明以有监督的方式进行介绍。

Baum-Welch算法其实就是EM算法在隐形马尔可夫模型中的实现，首先定义两个参数：

ξ_t(i,j)表示在已知观察序列和HMM模型参数的情况下，t时刻状态为i，t+1时刻状态为j的联合概率，其公式如下：

γ_t(i)表示在已知观察序列和HMM模型参数的情况下，t时刻状态为i的概率，其公式如下：

γ_t(i)＝γ_t(i|O,λ)

对上述两式进行推导，带入前向变量和后向变量，得到：

对于未知的HMM模型参数重新估计如下：

其中，是第i个隐含状态期望出现的次数，是第i个隐含状态到第j个状态的期望个数，根据上述公式进行迭代流程可以估计出HMM的最佳参数。

解码问题，亦称作预测问题。对于已知的隐马尔可夫模型和观察序列，求得该观察序列下条件概率P(S|O)最大的隐含状态序列S＝{s₁,s₂,s₃,s₄,...s_m}，即为该模型下最有可能的隐含状态序列。

对于该问题的解决办法，采用Viterbi算法，Viterbi算法是一种帧同步算法，由于每一帧视频图像所得到的路径都保留到相应的存储空间，大部分的路径的计算得分都比较低，如果全部计算将会大大的加重计算量，影响算法的效率，因此如果处理帧图像时，将得分较低的路径直接去掉，则会节约大量的计算时间。Viterbi通过动态规划的思想规避复杂度较高的运算，其主要分为两步，第一步：从t＝1开始，依次寻找t＝(1，2…T)时刻状态为i的各路径的最大概率，当t＝T时，即可获得最优路径的概率P*(t＝T的最大概率)及终结点。第二步：从开始，由后向前逐步回溯求得节点，得到最优路径。

首先定义δ_t(i)表示t时刻终止于隐含状态i的所有路径中，产生当前观察值序列的最大概率，因此δ_t(i)对应了一条到达状态i的最优路径，其公式入下：

HMM通过递归的方法寻找最优的隐含状态序列，其递归过程如下：

初始化如下：

δ₁(i)＝π_ib_i(o_i),1≤i≤N

δ₁(i)＝0

递归过程如下：

2≤t≤T,1≤j≤N

终止过程如下：

反向追踪隐含状态序列如下:

HMM结构：根据状态转移矩阵A的形式不同，HMM结构也有所不同，其中最常见的时全连接型和左右型，其结构如图3和图4所示。其中全连接类型结构各个隐含状态可以相互转移，左右无连接类型结构其隐含状态仅仅向单一方向转移。

在列车行驶途中，驾驶员会根据窗外场景的转变或者标志性建筑的出现进行手语操作(如图5所示)然而，其右手活动范围要大于前两者，操作发生隐患的概率要明显提高，对驾驶员的右手进行行为识别尤为关键，所述方法将状态空间法与语义分析法相结合，提出一种新的识别算法，对驾驶员动态行为进行识别。

对于列车驾驶室场景，驾驶员能做的操作少之又少，本方法的研究重点放于其右手区域，因此语义分析法不可或缺，但是，众所周知，同状态转移法相比语义分析法识别准确率较低，基于这种问题，本方法将两者结合用于对驾驶员动态行为的识别，其技术路线如图6所示。

在人体行为识别领域，人体行为可以看成多个肢体动作的组合，人的肢体动作又可以用底层的特征进行表示；假设x表示底层特征空间，共有m种特征，x_i＝{x₁,x₂,x₃...x_m}表示样本i的m维底层特征向量；y表示人体肢体的高层特征空间，共有n种特征，y_i＝{y₁,y₂,y₃...y_n}表示样本i的n维肢体行为特征向量；z表示人体行为的种类集合，总共有k种，其中z∈{z₁,z₂,z₃...z_k}；底层特征到高层特征、行为类别的映射关系如下所示：

f:x→y→z；

把上式进行变形为：

H＝F₂(F₁(x))

其中F₁：x→y表示底层特征向高层特征的映射，包含了m个特征检测器，每个特征检测器将特征向量映射到相应的高层特征维度，从而得到高层特征向量；F₂：y→z表示高层特征向人体行为类别标签的映射，包含一个对高层特征向量的分类器，将其映射到类别空间。

底层特征向高层特征的映射:

底层特征是指根据检测手段得到的多种物理信息，对于人体行为分析而言，常见的底层特征包括肢体部位、坐标位置、前后帧之间的关系、时间信息、速度、加速度等。根据驾驶室空间模型，驾驶员的头部、左手都必须处于规定的区域，右手的空间约束(左右摇摆会脱离规定区域，属于违规行为)，本发明所述方法只需关注驾驶员右手在二维图像上的位置，最终设置底层特征X＝{右手腕关节点前帧二维坐标、右手腕关节点当前二维坐标}，高层特征Y＝{静止、向上移动、向下移动、向前移动、向后移动、向上前移动、向上后移动、向下前移动、向下后移动}。

底层和高层之间的映射关系如表所示：

底层特征与高层特征映射关系

其中，Δ_x＝x_cur-x_pre

Δ_y＝y_cur-y_pre

x_cur表示驾驶员右腕关节当前帧x轴坐标，x_pre表示驾驶员右腕关节上一帧x轴坐标；y_cur表示驾驶员右腕关节当前帧y轴坐标，y_pre表示驾驶员右腕关节上一帧y轴坐标。

基于隐马尔可夫模型的动态识别

在实际情况下，人体动作识别会受到诸多因素的影响，分析其特征之间的关系会非常的复杂，然而，在特定的动作序列下，人的行为习惯在很大的程度上还是会存在一定的规律。在上述方法中已经得到了驾驶员的高层特征向量，借用合理的分类器便可以将驾驶员的行为进行分类，如图7所示。本发明在高层特征向行为类别的映射过程，采用状态空间法进行驾驶员行为识别，常用的状态转移模型有条件随机场(Conditional RandomFields，CRF)模型、隐马尔可夫模型(Hidden Markov Models，HMMs)等，由于CRF采用的是无向图的形式，随着特征数目的增多，特征之间的干扰以及过拟合的问题就会显现出来，由于驾驶员是按照自己的思考和理解来施展动作的，当前动作仅与前一个动作有关系，非常满足马尔可夫模型的应用条件。因此本发明选用HMM作为状态空间模型，隐马尔可夫模型中的序列特征可以是离散的，也可以是连续的，本发明将上一步的高层特征向量{y₁,y₂,y₃...y_n}作为HMM序列特征。

本发明选取驾驶员操作较多的5分钟视频作为实验数据，对驾驶员的右手操作进行分析，其右手移动方向占比情况如图8所示。根据结果分析，发现除去静止状态外，双方向的移动占比明显要高于单方向的移动占比，因此HMM模型可以根据上层隐含状态的个数分为两类：上层5个状态(静止、向上前移动、向上后移动、向下前移、向下后移动)下层9个状态，其中下层的姿态可以看出上层状态的过渡情况；上层和下层都为9个状态(静止、向上前移动、向上后移动、向下前移、向下后移动、向上移动、向下移动、向前移动、向后移动)。本发明HMM模型下层观察状态可以对应上层的任意状态(观察的不一定是正确的，根据其概率确定真实的隐含状态)。由于除了隐含状态个数不同外，研究方法相同，本发明以上下9个状态进行介绍。

人体肢体行为在时间方向呈现出一定的规律性和周期性，驾驶员的行为动作可以分解为若干个状态，以驾驶员的手语操作为例(图5所示)，可以拆分成如下序列(图9为驾驶员手语操作的5个周期)。

在图9中，驾驶员手语操作序列为：开始的时候，右手处于静止状态；第2步，右手向远离驾驶台方向移动；第3步，接着向靠近身体和远离驾驶台方向移动；第4步，向靠近身体的方向移动；第5步，静止；第6步，向远离驾驶台的方向移动；第7步，向远离身体的方向移动；第8步，接着向远离身体和靠近驾驶台的方向移动；第9步，向靠近身体和驾驶台方向移动；第10步，向靠近驾驶台方向移动；第11步向靠近身体和驾驶台方向移动；最后第12步，静止下来，回到最初的状态。

建立HMM模型λ＝{A,B,π}

1)状态转移矩阵A，当前状态可以转移到任意状态下，选择全连接类型结构，其表示方式如下：

其中：a^i,j表示在时刻t-1时，模型的状态为xi，在时刻t时模型的状态转移到xj，1≤i≤9，1≤j≤9；

2)输出概率矩阵B，表示当前时刻某一状态输出某一观察值的概率，其定义如下：

其中：b^i,j表示在状态xi的条件下出现观测序列Yj的概率，1≤i≤9，1≤j≤9；

3)初始状态概率分布π，驾驶员进行操作时，都是从静止状态开始，其定义如下：

π＝1。

至此，基于HMM的模型建立完毕。

在参数的训练阶段，首先利用已知的动作序列进行模型训练，所述方法令实验人员多次操作同一个行为，利用大量的样本对参数进行不断的修正和重估，直到训练到小于特定的阈值，此时模型训练完毕，所得的参数也是最接近真实值了。利用BaumWelch算法进行训练，将迭代次数设为50，将临界阈值设为10^-4，即δ＝10^-4；其基本步骤为：1)初始化训练模型L₀；2)基于L₀及观察值序列O训练新模型L；3)若logP(X|L)-logP(X|L₀)＜δ，说明训练模型已经趋近于合理，则结束算法；否则，令L₀＝L，并重复步骤2)。

实验结果及分析

所述方法利用Matlab工具箱提供的HMMs函数进行实验，手工标记30分钟的驾驶员操作视频，其初始化状态概率如下：

HMM初始化状态概率

利用Baum-Welch算法进行参数训练，至其模型最终收敛，其状态转移概率矩阵和输出概率矩阵如下表所示：

HMM的状态转移概率矩阵A

HMM的输出概率矩阵B

根据上一步提到的不同隐含状态数目模型进行比较，选择最为合适的隐马尔可夫模型，其最终的识别结果如下表所示：

五隐含状态识别结果

九隐含状态识别结果

在上表中，所述方法对每种驾驶员行为选择50个数据，左侧为针对具体行为的测试集，右侧为具体的识别结果。由以上两表识别结果对比分析可以得到图10。由上图分析可见，在所述方法隐马尔可夫模型选择九隐含状态时，它的识别率最高。

驾驶员行为语义描述：为了有效的描述驾驶员运动图像的语义，一般要将人体运动分解为基本语义行为所能描述的原子单元，之后，再把各个原子语义重新组合成对于驾驶员行为的语义表达。所述方法根据语言学的动词论元结构理论，将驾驶员的行为概念转化为四元组(元素集，词汇集，目标集和时间跨度)的形式，如下表所示：

在上表中，元素集包含了驾驶员的身体信息，比如双手、头部等；词汇集包含了驾驶员意图发生的行为，比如喝水、晕倒、手语等行为；目标集包含了驾驶员要操作的区域或者对象，如操作台、闸把、水杯等；时间跨度则用该动作的起始、终止时间表示。使用action＝＜agen-move-target-interval＞动词论元结构就可以表示在某个时间间隔内，驾驶员的身体部位通过某种行为作用于某个作用域：11：30分钟到11：32分钟+右手+喝+水。

由于驾驶员行为的复杂性，一个短暂的时间内有可能发生多种行为，如驾驶员右手进行手语操作的同时，左手和头部完成喝水行为。对于该种问题所述方法采取区域时序路基概念，用于表示在同一个时间段内两个时间之间的顺序和重合关系。若一个时间段内，一个驾驶员行为事件是紧接着另外一个行为时间发生的，则称该种动作为顺序事件，若两个事件的重叠超过了一半，则称为重合事件，从而完成了对多个事件的语义描述。

实验结果及分析

由于驾驶员的操作行为较多，所述方法以脱离闸把、骤然晕倒、手语操作、打电话和摸脸5种行为进行实验结果分析，前两种属于驾驶员的静态行为识别范围，后三种属于驾驶员的动态行为识别。

所述方法的评价指标使用F1-Score，它是统计学中用来衡量二分类模型的一种指标，对于所述方法即是驾驶员行为识别正确、错误。该指标同时兼顾了分类模型的召回率(Recall)和精确率(Precision)，F1分数计算方式可以看作是模型的召回率与精确度的一种加权平均算法。

其中，精确率(Precision)表示正确预测为正站全部预测为正的比例，召回率(Recall)表示正确预测为正占全部正样本的比例，其公式如下。

其中，对于某一驾驶员行为类别A，TP表示驾驶员进行A操作，系统识别为A的个数；TN表示驾驶员无操作，系统检测无操作的个数；FP表示驾驶员进行A操作，系统识别为无操作的个数；FN表示驾驶员无操作，系统识别为A的个数，所述方法对于采集到的视频进行人工标注，制作标记集进行量化分析。

所述方法令实验人员仿照驾驶员进行行为操作，最终得到的结果如图11所示。根据上表可见，所述方法算法对于驾驶员静态行为识别的准确率要高于动态行为，其原因在于动态行为是一个动作序列，分析难度较大。但是，综合来看，本算法识别准确率较高，满足应用场景的需求。

Claims (7)

1.一种列车驾驶员动态行为识别方法，其特征在于包括如下步骤：

数据提取阶段：从人体三维姿态数据中提取出用于表示驾驶员行为的行为特征，驾驶员的一个特定行为转换为一个特定的特征观察序列；

训练阶段：对于不同行为的观察序列进行训练，得到多个针对不同特定行为的隐马尔可夫模型，其中，一个行为对应一个隐马尔可夫模型；

识别阶段：将驾驶员实际行为视频中提取到的特征序列与训练得到的一系列隐马尔可夫模型进行匹配，找到匹配度最高的隐马尔可夫模型，该匹配度最高的隐马尔可夫模型对应的行为即为需要识别的动态行为，输出动态行为识别的结果。

2.如权利要求1所述的列车驾驶员动态行为识别方法，其特征在于：人体行为底层特征的识别方法如下：

人体行为可以看成多个肢体动作的组合，人的肢体动作又可以用底层的特征进行表示；假设x表示底层特征空间，共有m种特征，x_i＝{x₁,x₂,x₃...x_m}表示样本i的m维底层特征向量；y表示人体肢体的高层特征空间，共有n种特征，y_i＝{y₁,y₂,y₃...y_n}表示样本i的n维肢体行为特征向量；z表示人体行为的种类集合，总共有k种，其中z∈{z₁,z₂,z₃...z_k}；底层特征到高层特征、行为类别的映射关系如下所示：

f:x→y→z；

把上式进行变形为：

H＝F₂(F₁(x))

其中F₁：x→y表示底层特征向高层特征的映射，包含了m个特征检测器，每个特征检测器将特征向量映射到相应的高层特征维度，从而得到高层特征向量；F₂：y→z表示高层特征向人体行为类别标签的映射，包含一个对高层特征向量的分类器，将其映射到类别空间。

3.如权利要求2所述的列车驾驶员动态行为识别方法，其特征在于：所述底层特征X＝{右手腕关节点前帧二维坐标、右手腕关节点当前二维坐标}，高层特征Y＝{静止、向上移动、向下移动、向前移动、向后移动、向上前移动、向上后移动、向下前移动、向下后移动}。

4.如权利要求3所述的列车驾驶员动态行为识别方法，其特征在于：所述底层特征与高层特征之间的映射关系如下：

Δ_x为负、Δ_y为负时，Δ_x/Δ_y表示右手腕关节点向上后移动；

Δ_x为负、Δ_y为正时，Δ_x/Δ_y表示右手腕关节点向下后移动；

Δ_x为负、Δ_y为零时，Δ_x/Δ_y表示右手腕关节点向后移动；

Δ_x为正、Δ_y为负时，Δ_x/Δ_y表示右手腕关节点向上前移动；

Δ_x为正、Δ_y为正时，Δ_x/Δ_y表示右手腕关节点向下前移动；

Δ_x为正、Δ_y为零时，Δ_x/Δ_y表示右手腕关节点向前移动；

Δ_x为零、Δ_y为负时，Δ_x/Δ_y表示右手腕关节点向上移动；

Δ_x为零、Δ_y为正时，Δ_x/Δ_y表示右手腕关节点向下移动；

Δ_x为零、Δ_y为零时，Δ_x/Δ_y表示右手腕关节点静止；

其中，Δ_x＝x_cur-x_pre

Δ_y＝y_cur-y_pre

x_cur表示驾驶员右腕关节当前帧x轴坐标，x_pre表示驾驶员右腕关节上一帧x轴坐标；y_cur表示驾驶员右腕关节当前帧y轴坐标，y_pre表示驾驶员右腕关节上一帧y轴坐标。

5.如权利要求2所述的列车驾驶员动态行为识别方法，其特征在于：建立HMM模型λ＝{A,B,π}

1)状态转移矩阵A，当前状态可以转移到任意状态下，选择全连接类型结构，其表示方式如下：

其中：a^i,j表示在时刻t-1时，模型的状态为xi，在时刻t时模型的状态转移到xj，1≤i≤9，1≤j≤9；

2)输出概率矩阵B，表示当前时刻某一状态输出某一观察值的概率，其定义如下：

其中：b^i,j表示在状态xi的条件下出现观测序列Yj的概率，1≤i≤9，1≤j≤9；

3)初始状态概率分布π，驾驶员进行操作时，都是从静止状态开始，其定义如下：

π＝1。

6.如权利要求2所述的列车驾驶员动态行为识别方法，其特征在于：在参数的训练阶段，首先利用已知的动作序列进行模型训练，利用大量的样本对参数进行不断的修正和重估，直到训练到小于特定的阈值，此时模型训练完毕。

7.如权利要求2所述的列车驾驶员动态行为识别方法，其特征在于：利用BaumWelch算法进行训练，将迭代次数设为50，将临界阈值设为10^-4，即δ＝10^-4；其基本步骤为：1)初始化训练模型L₀；2)基于L₀及观察值序列O训练新模型L；3)若log P(X|L)-log P(X|L₀)＜δ，说明训练模型已经趋近于合理，则结束算法；否则，令L₀＝L，并重复步骤2)。