CN108446586A - 一种列车驾驶员特定动作检测方法 - Google Patents

Abstract

本发明公开的一种列车驾驶员特定动作检测方法，包括以下步骤：深度视频图像采集步骤、物理子空间划分步骤、关键帧检测步骤、手部及肘部检测步骤、特征构造步骤、关键帧时间窗步骤以及动作判定步骤。本发明采用深度图像作为数据输入，并利用物理子空间划分的方法，提取目标图像所需要计算量及计算复杂度大幅降低，并且采集的图像不受光照纹理等条件的影响，在列车进入隧道、山洞、夜晚行车、会车等场景下均能够稳定正常运行。

Description

一种列车驾驶员特定动作检测方法

技术领域

本发明涉及列车驾驶安全技术领域，尤其涉及一种列车驾驶员特定动作检测方法。

背景技术

在列车的一次出乘作业标准中，常常要求列车驾驶员在执行某些操作的同时做出相应的动作，这种动作通常定义为上臂和手势的特定序列。为了确保驾驶员是按照规范进行操作的，必须对列车驾驶员的这些特定动作进行记录。目前常采用人工观看录像的方式来进行行为识别，耗费大量时间和人力成本。

目前也有一些相似的研究，例如，专利公告号为CN101639894B的中国发明专利公开了在线监测列车驾驶员行为和疲劳状态的方法及其检测系统，其仅是通过检测视野范围内是否有人脸来判断驾驶员是否脱岗，但无法进一步对列车驾驶员所做出的动作或手势进行进一步识别。又例如，论文《基于视频序列的列车驾驶员行为自动识别算法的研究》(天津城建大学学报)公开了采用帧间差分法和混合高斯模型对RGB视频数据进行运动物体检测，然后利用星形骨架特征方法和HMM方法对行为人进行动作识别，由于肢体动作识别使用的是星形骨架特征，该特征在人体四肢存在部分遮挡的情况下难以有效提取，也即难以应对火车运行条件下因会车、过山洞隧道、夜晚行车灯引起的光线条件变化。再例如，论文《基于表情及姿态的机车司机疲劳驾驶检测技术》(北京交通大学)公开了通过混合高斯模型提取运动目标，然后利用帧间差分法和肤色模型提取手部，然后利用形状上下文和HOG+Adaboost的方式对手势进行判断，该技术仅检测手部手势，并不对整个上臂的动作进行识别，因此容易造成误报，此外采用HOG+Adaboost的方式的鲁棒性不高。

为此，申请人进行了有益的探索和尝试，找到了解决上述问题的办法，下面将要介绍的技术方案便是在这种背景下产生的。

发明内容

本发明所要解决的技术问题：针对现有技术的不足而提供一种列车驾驶员特定动作检测方法，该检测方法的计算复杂度更低，其采集的图像不受光照纹理等条件的影响，能够应对列车运行条件下因会车、过山洞隧道、夜晚行车灯等场景下引起的光线条件变化。

本发明所解决的技术问题可以采用以下技术方案来实现：

一种列车驾驶员特定动作检测方法，包括以下步骤：

步骤1，在列车司机室内安装深度摄像头，并通过深度摄像头对列车司机室的内部进行深度视频图像采集；

步骤2，根据深度值直接对深度视频图像划分为两个物理子空间，分别为主驾驶物理子空间和副驾驶物理子空间；

步骤3，通过平面检测技术检测出列车驾驶室内的操作台，并提取操作台上方的深度视频图像；

步骤4，从步骤3中提取出的深度视频图像中选取出关键帧；

步骤5，从选取出的每一个关键帧中提取手部及肘部关键点；

步骤6，根据每一个关键帧中提取出的手部及肘部关键点构造出该关键帧中由静态手势和小臂倾斜角组成的动作识别特征；

步骤7，根据关键帧时间窗将每一关键帧的动作识别特征组合成一个连贯的手势动作；

步骤8，判定步骤7中组合成的手势动作与标准动作模板之间的差别，若差别小于某一阈值，则判定驾驶员做出该指定动作。

在本发明的一个优选实施例中，在所述步骤1中，所述深度摄像头安装在列车司机室的左侧前方位置处，以视野覆盖主驾驶位和副驾驶位为准。

在本发明的一个优选实施例中，在所述步骤1与步骤2之间还包括一图像预处理步骤，所述图像预处理步骤具体为对所述步骤1中采集到的深度视频图像进行中值滤波处理，去除深度视频图像中的噪点。

在本发明的一个优选实施例中，在所述步骤4中，所述关键帧的选取标准如下：记当前帧为f_i，前一帧为f_i-1，前一关键帧为F_i-1，则若满足‖f_i-f_i-1‖₂＜θ₁且‖f_i-F_i-1‖₂＞θ₂，则判定f_i为关键帧，其中θ₁和θ₂是两个经实验确定的阈值。

在本发明的一个优选实施例中，所述步骤5包括以下子步骤：

步骤51，定义一个与原始图像相同大小的加权掩膜矩阵M，其中，rows和cols分别为原始图像矩阵的行、列数目；

步骤52，将步骤3中提取的深度视频图像进行矩阵二值化处理，得到上肢图像矩阵B；

步骤53，将上肢图像矩阵B与加权掩膜矩阵M相乘，选取两者乘积中最大的一个点作为手部关键点；

步骤54，对上肢图像矩阵B分别沿行、列方向加权求和，得到一个行向量和一个列向量，选取行向量和列向量中最大值的下标，作为肘部关键点的横纵坐标。

由于采用了如上的技术方案，本发明的有益效果在于：本发明通过在列车司机室内安装深度摄像头，根据采集到的深度视频图像数据对列车司机室的内部空间进行划分，将深度视频图像的内部空间分割为主驾驶和副驾驶两个物理子空间，对其中的内容(主、副驾驶的动作)分别进行识别。由于列车驾驶员一般坐在一个固定的座位上进行动作，在识别动作的过程中，首先可划定动作兴趣区域(ROI：Region of Interest)，然后通过平面检测技术检测出操作台并进一步分割出操作台以上的手臂部分。对手臂图像进行进一步处理找出手部手肘等关键点建立特征训练分类器，对司机作出的动作进行判断。本发明采用深度图像作为数据输入，并利用物理子空间划分的方法，提取目标图像所需要计算量及计算复杂度大幅降低，并且采集的图像不受光照纹理等条件的影响，在列车进入隧道、山洞、夜晚行车、会车等场景下均能够稳定正常运行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的列车驾驶员特定动作检测方法的流程图。

图2是本发明的一个实施例的原始深度视频图像的示意图。

图3是本发明的一个实施例的对深度视频图像进行物理子空间划分的示意图。

图4是本发明的一个实施例的通过平面检测方法提取上肢图像的示意图。

图5是本发明的一个实施例的提取手部及肘部关键点的示意图。

图6是本发明的一个实施例的截取手部区域的示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1，图中给出的是一种列车驾驶员特定动作检测方法，包括以下步骤：

步骤S1，深度视频图像采集，在列车司机室内安装深度摄像头，并通过深度摄像头对列车司机室的内部进行深度视频图像采集，如图2所示；其中，深度摄像头安装在列车司机室的左侧前方位置处，以视野覆盖主驾驶位和副驾驶位为准；具体地，深度摄像头安装高度在1.6m附近，采用俯视视角进行图像采集，以避免主驾驶对副驾驶造成遮挡；

步骤S2，图像预处理，所述图像预处理步骤具体为对所述步骤1中采集到的深度视频图像进行中值滤波处理，去除深度视频图像中的噪点，以避免噪点带来的干扰；

步骤S3，物理子空间划分，参见图3，根据深度值直接对深度视频图像划分为两个物理子空间，分别为主驾驶物理子空间和副驾驶物理子空间，分别对主驾驶物理子空间和副驾驶物理子空间进行单独处理；

步骤S4，平面检测，通过平面检测技术检测出列车驾驶室内的操作台，并提取操作台上方的深度视频图像；由于列车驾驶室的操作台基本符合一个平面的特征，通过检测出操作台平面并提取平面上方的图像，以去除与驾驶员肢体不相关的部分；平面检测技术具体方法为先将深度图像转换成点云图像，再采用例如RANSAC等算法只保留平面上方的点，而后将只保留平面上的点的点云图像反变换成深度图像，如图4所示；

步骤S5，关键帧检测，为了进一步降低计算量，动作判定并不是在每一帧进行的，而是只判定关键帧的动作序列，所以从步骤S4中提取出的深度视频图像中选取出关键帧；其中，关键帧的选取标准如下：记当前帧为f_i，前一帧为f_i-1，前一关键帧为F_i-1，则若满足‖f_i-f_i-1‖₂＜θ₁且‖f_i-F_i-1‖₂＞θ₂，则判定f_i为关键帧，其中θ₁和θ₂是两个经实验确定的阈值；关键帧的选取思路为当前帧与上一帧差别较小，即短时图像基本静止，但与上一关键帧差别较大，即动作发生变化；

步骤S6，手部及肘部关键点提取，针对步骤S5处理得到的图像特点，从选取出的每一个关键帧中提取手部及肘部关键点；手部及肘部关键点提取的具体做法为：首先定义一个与原始图像相同大小的加权掩膜矩阵M，其中，rows和cols分别为原始图像矩阵的行、列数目；

然后，将步骤3中提取的深度视频图像进行矩阵二值化处理，得到上肢图像矩阵B；再将上肢图像矩阵B与加权掩膜矩阵M相乘，选取两者乘积中最大的一个点作为手部关键点，如图5所示，手部可以用以手部关键点为左上顶点的一个特定大小的矩形来截取，如图6所示；接着，对上肢图像矩阵B分别沿行、列方向加权求和，得到一个行向量和一个列向量，选取行向量和列向量中最大值的下标，作为肘部关键点的横纵坐标，如图5所示。

步骤S7，特征构造，根据每一个关键帧中提取出的手部及肘部关键点构造出该关键帧中由静态手势和小臂倾斜角组成的动作识别特征；其中，静态手势可以通过一个三层卷积神经网络来实现，小臂夹角计算可以通过反正切公式来计算；

步骤S8，关键帧时间窗，根据关键帧时间窗将每一关键帧的动作识别特征组合成一个连贯的手势动作；其中，关键帧时间窗可以看做一个先进先出的固定长度队列，作为动作判定的输入序列，窗长作为可调参数；

步骤S9，特定动作判定，通过DTW算法来计算判定步骤S8中组合成的手势动作与标准动作模板之间的差别，若差别小于某一阈值，则判定驾驶员做出该指定动作。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种列车驾驶员特定动作检测方法，其特征在于，包括以下步骤：

步骤1，在列车司机室内安装深度摄像头，并通过深度摄像头对列车司机室的内部进行深度视频图像采集；

步骤2，根据深度值直接对深度视频图像划分为两个物理子空间，分别为主驾驶物理子空间和副驾驶物理子空间；

步骤3，通过平面检测技术检测出列车驾驶室内的操作台，并提取操作台上方的深度视频图像；

步骤4，从步骤3中提取出的深度视频图像中选取出关键帧；

步骤5，从选取出的每一个关键帧中提取手部及肘部关键点；

步骤6，根据每一个关键帧中提取出的手部及肘部关键点构造出该关键帧中由静态手势和小臂倾斜角组成的动作识别特征；

步骤7，根据关键帧时间窗将每一关键帧的动作识别特征组合成一个连贯的手势动作；

步骤8，判定步骤7中组合成的手势动作与标准动作模板之间的差别，若差别小于某一阈值，则判定驾驶员做出该指定动作。

2.如权利要求1所述的列车驾驶员特定动作检测方法，其特征在于，在所述步骤1中，所述深度摄像头安装在列车司机室的左侧前方位置处，以视野覆盖主驾驶位和副驾驶位为准。

3.如权利要求1所述的列车驾驶员特定动作检测方法，其特征在于，在所述步骤1与步骤2之间还包括一图像预处理步骤，所述图像预处理步骤具体为对所述步骤1中采集到的深度视频图像进行中值滤波处理，去除深度视频图像中的噪点。

4.如权利要求1所述的列车驾驶员特定动作检测方法，其特征在于，在所述步骤4中，所述关键帧的选取标准如下：记当前帧为f_i，前一帧为f_i-1，前一关键帧为F_i-1，则若满足‖f_i-f_i-1‖₂＜θ₁且‖f_i-F_i-1‖₂＞θ₂，则判定f_i为关键帧，其中θ₁和θ₂是两个经实验确定的阈值。

5.如权利要求1所述的列车驾驶员特定动作检测方法，其特征在于，所述步骤5包括以下子步骤：

步骤51，定义一个与原始图像相同大小的加权掩膜矩阵M，其中，rows和cols分别为原始图像矩阵的行、列数目；

步骤52，将步骤3中提取的深度视频图像进行矩阵二值化处理，得到上肢图像矩阵B；

步骤53，将上肢图像矩阵B与加权掩膜矩阵M相乘，选取两者乘积中最大的一个点作为手部关键点；

步骤54，对上肢图像矩阵B分别沿行、列方向加权求和，得到一个行向量和一个列向量，选取行向量和列向量中最大值的下标，作为肘部关键点的横纵坐标。