CN108960067B - 基于深度学习的实时的列车驾驶员动作识别系统和方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块。该系统使用深度卷积神经网络进行物体、人体检测，具有较强的泛化能力，对驾驶室内的物体和驾驶员的识别非常准确。同时动作模板经过离线数据的分析与建模，非常精准地捕捉了动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。

Description

基于深度学习的实时的列车驾驶员动作识别系统和方法

技术领域

本发明涉及一种列车驾驶技术，尤其涉及一种基于深度学习的实时的列车驾驶员动作识别嵌入式系统和识别方法。

现有技术

火车司机在驾驶过程中操作规范与否关系到列车行车安全，目前列车驾驶室装备6A系统，可以以列车运行过程中火车司机的行为以视频形式存储到SD卡中，列车到站之后，再由铁路工作人员人工检查视频中是否存在列车司机操作不当之处，而在列车行驶过程中，无法实时判别司机操作是否合乎规范，也就无法有效保证列车安全可靠地运行。因此，在列车司机驾驶的同时，实现6A系统对于司机操作动作的分析，实时判别操作规范与否的需求越来越迫切。

司机动作识别是计算机视觉的重难点问题之一。一些传统的方法，比如基于Haar级联特征或者梯度直方图+支持向量机等多种方法，都存在准确率较低的问题。而随着深度学习的发展，神经网络对人的检测已经有了非常大的提升。物体检测模型YOLO(You OnlyLook Once)可以非常迅速而准确地检测出图像或视频中的人。但是YOLO只是检测出人在图像中的相对位置，并没有识别出人类的身体部位和动作。而神经网络对于人类身体部位的检测准确率也已经大幅提升，比如CMU的OpenPose，在较高的硬件配置下可以实时地非常准确地识别出人类的多个身体部位。但是直接使用OpenPose来识别驾驶员动作主要存在两个问题：1.对硬件的要求很高，难以应用到嵌入式设备中，无法移植到列车驾驶室的6A系统中上。2.OpenPose只是识别了人体的关键节点，并没有对特定动作的识别。

发明内容

本发明的目的是提供基于深度学习的实时的列车驾驶员动作识别嵌入式系统，并使用深度卷积神经网络对驾驶室内的物体和驾驶员实现准确的识别。同时，通过动作模板经过离线数据的分析与建模，捕捉动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。

本发明的技术方案是提供了一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块；其特征在于：

摄像头采集模块用于采集驾驶室的监控画面；

驾驶员关键部位检测模块用于对画面中的司机，司机的头部和面部，司机的手部位置进行检测；

物体检测模块用于对驾驶室内关键物体，包括电话、司控器、机车操作显示屏、驾驶台的位置进行检测；

动作匹配模块利用物体检测模块检测到的物体位置信息，使用动作模板匹配的方法进行驾驶员动作识别，并将识别出的动作输出；

动作匹配模块包括人类自身动作识别模块和人类环境交互动作识别模块，其中，人类自身动作识别模块用于识别驾驶员自身的动作，人类环境交互动作识别模块用于识别驾驶员与环境交互的动作；

监控预警模块根据动作匹配模块输出的动作信息进行监控预警，而监控记录模块对实时监控的动作进行记录存储；其中，对驾驶员关键部位检测模块和物体检测模块进行离线深度学习进行训练。

进一步地，人类自身动作包括坐着、站着或打手势。

进一步地，识别驾驶员与环境交互的动作包括打电话或操作屏幕。

进一步地，使用前面训练得到的检测模型直接检测出驾驶员，及其头部，手部和驾驶室内的关键目标作为动作识别模块的输入。

该发明还提供了一种基于深度学习的实时的列车驾驶员动作识别系统进行列车驾驶员动作识别的方法，其特征在于：包括以下步骤：

步骤1、从摄像头采集监控画面；

步骤2、使用改进的tiny-yolo神经网络对驾驶员的关键部位和驾驶室的关键物体进行检测，并将将检测结果输出到动作识别模块中；

步骤3、对驾驶员自身的动作进行识别，该步骤中将驾驶员关键部位的检测结果利用空间的相互位置关系与动作模板库里的动作模板进行匹配；

步骤4、对驾驶员与环境交互的动作进行识别，该步骤中将驾驶员的关键部位与物体检测模型输出的关键物体位置进行比较，如果位置重合就识别出相应动作。

本发明的有益效果在于：

1、检测速度快。改进的YOLO神经网络结构使得网络层数显著减小，前向传播时间减少，而动作识别模块使用了动作模板匹配的方式，时间消耗几乎可以忽略不计。

2、动作识别准确。使用深度卷积神经网络进行物体、人体检测，具有较强的泛化能力，对驾驶室内的物体和驾驶员的识别非常准确。而动作模板经过离线数据的分析与建模，非常精准地捕捉了动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。

3、较强的鲁棒性。自己训练的深度学习模型YOLO对驾驶室检测的结果非常稳定，对光照和摄像角度都不敏感，而动作模板的匹配具有通用性，只要神经网络检测出的结果正确，就可以保证动作检测的鲁棒性。

4、对计算资源和内存的消耗小，适合部署在嵌入式系统中。

附图说明

图1是本发明所述的系统模块结构图；

图2是本发明所述的驾驶员关键部位检测模块和物体检测模块的骨干网络结构；

图3是本发明所述的检测模型的离线训练方法。

具体实施方式

以下结合附图对本发明的技术方案进行详细说明。

如图1所示，该实施例提供了一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块

首先摄像头采集模块采集驾驶室的监控画面；

驾驶员关键部位检测模块对画面中的司机，司机的头部和面部，司机的手部位置进行检测；

物体检测模块对驾驶室内关键物体，包括电话，司控器，机车操作显示屏，驾驶台的位置进行检测；

动作匹配模块利用物体检测模块检测到的物体位置信息，使用动作模板匹配的方法进行驾驶员动作识别，并将识别出的动作输出。

动作匹配模块包括人类自身动作识别模块和人类环境交互动作识别模块。

人类自身动作识别模块可以识别驾驶员自身的动作，例如坐着，站着，打手势等；人类环境交互动作识别模块可以识别驾驶员与环境交互的动作，例如挂档，打电话，操作屏幕等。

监控预警模块根据动作匹配模块输出的动作信息进行监控预警，而监控记录模块对实时监控的动作进行记录存储。其中，对驾驶员关键部位检测模块和物体检测模块进行离线深度学习进行训练。

为了更好地理解本发明，该实施例对驾驶员关键部位模块和物体检测模块的神经网络结构和检测原理进行说明。

如图2所示，该实施例提供了驾驶员关键部位检测模块和物体检测模块的骨干网络结构。

首先将图像进行尺度缩放至224x224像素大小，再输入网络进行训练。使用3x3的卷积核，步长为1，并将补零宽度设置为1，从而保证每个卷积层的输出特征图尺寸与输入图像一样，使用2x2的最大池化层进行降采样，将底层的图像信息逐层汇总到高层的结构信息，并在每层间使用渗漏纠正线性单元(leakyReLU)函数作为激活函数，相比纠正线性单元(ReLU)函数增加了激活函数的平滑性，保护了负数输出的梯度不会消失。通过连续的卷积层和最大池化层对图像进行特征提取，在每个卷积层前加入批量归一化(batch_normalization)进行归一化，训练过程中会不断优化网络参数提升效果，并输出特征图。

然后将特征图分成7x7的区域，对每块区域是否包含物体的概率进行学习，同时在每块区域内生成若干个锚框(anchor box)，学习假设锚框包含物体的前提下该物体所属类别的条件概率，计算联合概率，从而得到一个7x7x30的。张量，然后使用非最大值去除技术滤去多余的锚框，最后对损失函数计算梯度反向传播训练即可学习待检测目标在图像中的位置和类别。

为了更好地理解本发明，该实施例该实例对驾驶员关键部位检测模块和物体检测模块训练和检测流程进行说明。

将PASCAL VOC 2012数据集混合自己标注的驾驶舱监控视频数据重新训练神经网络，该神经网络采用逐帧检测的方法，对人，人的头部，人的手掌，机车屏幕，司控器，电话等目标进行检测，将检测结果输出到动作识别模块中。

为了更好地理解本发明，该实施例对人类自身动作识别模块和人类环境交互动作识别模块进行说明。

使用前面驾驶员关键部位检测模块和物体检测模块训练得到的检测模型直接检测出驾驶员，及其头部，手部和驾驶室内的关键目标作为动作识别模块的输入。

人类自身动作识别模块将驾驶员关键部位的检测结果利用空间的相互位置关系与动作模板库里的动作模板进行匹配(Human Pose Template Matching)。这种动作识别模型不需要训练，因为驾驶员操作动作规范中只有有限个可枚举的动作，所以针对这些动作的数据进行分析和建模，可以捕捉到动作的特征规律和运动关系，提炼出动作模板，运行时只需要根据这些模板匹配即可。

人类环境交互动作识别模块将驾驶员的关键部位与物体检测模型输出的关键物体位置进行比较，如果位置重合就识别出相应动作。例如驾驶员的手部与电话重合，则识别为打电话动作。

本发明还提供了一种基于深度学习的实时的列车驾驶员动作识别方法，包括以下步骤：

步骤1、从摄像头采集监控画面；

在该步骤1中，可以使用任何摄像头采集驾驶室的RGB图片。

步骤2、使用改进的tiny-yolo神经网络对驾驶员的关键部位和驾驶室的关键物体进行检测，并将将检测结果输出到动作识别模块中；

在该步骤2中，检测模型需要使用深度学习进行离线训练。我们将PASCAL VOC2012数据集混合自己标注的驾驶舱监控视频数据重新训练神经网络，该神经网络采用逐帧检测的方法，对人，人的头部，人的手掌，机车屏幕，司控器，电话等目标进行检测，将检测结果输出到动作识别模块中。训练方法如图3所示。

改进的tiny-yolo的骨干网络结构如图2所示，首先将图像进行尺度缩放至224x224像素大小，再输入网络进行训练。使用3x3的卷积核，步长为1，并将补零宽度设置为1，从而保证每个卷积层的输出特征图尺寸与输入图像一样，使用2x2的最大池化层进行降采样，将底层的图像信息逐层汇总到高层的结构信息，并在每层间使用渗漏纠正线性单元(leakyReLU)函数作为激活函数，相比纠正线性单元(ReLU)函数增加了激活函数的平滑性，保护了负数输出的梯度不会消失。通过连续的卷积层和最大池化层对图像进行特征提取，在每个卷积层前加入批量归一化(batch_normalization)进行归一化，训练过程中会不断优化网络参数提升效果，并输出特征图。然后将特征图分成7x7的区域，对每块区域是否包含物体的概率进行学习，同时在每块区域内生成若干个锚框(anchor box)，学习假设锚框包含物体的前提下该物体所属类别的条件概率，计算联合概率，从而得到一个7x7x30的张量，然后使用非最大值去除技术滤去多余的锚框，最后对损失函数计算梯度反向传播训练即可学习待检测目标在图像中的位置和类别。

步骤3、对驾驶员自身的动作进行识别

该步骤3中，将驾驶员关键部位的检测结果利用空间的相互位置关系与动作模板库里的动作模板进行匹配(Human Pose Template Matching)。接下来将描述动作模板库的建立和匹配方法：

动作模板以规则集合约束为基础，模板坐标系的原点在左上角，水平向右为x轴正方向，竖直向下为y轴正方向，下面分为几类动作模板(Human Pose Template)说明：

例如：打手势

使用深度网络检测出的驾驶员头部，手部以及驾驶员本身，将它们的检测框坐标作为输入，以检测目标的框中心作为检测目标的中心，设驾驶员手的中心为handcenter，设驾驶员头的中心为headcenter，驾驶员在挥手时他的框的宽度为dwidth，框的高度为dheight，对于驾驶员的打手势动作应当满足如下关系

1)水平方向

||handcenter.x-headcenter.x||≥dwidth*α

经过分析大量视频数据，当摄像头在驾驶员的侧面时，α的值取为0.4有较好的识别效果。

2)竖直方向

当驾驶员打出比较标准的手势时应满足

handcenter.y-headcenter.y≤dheight*β

经分析，当摄像头在驾驶员的侧方时，β取为0.125效果较好。

另外，驾驶员经常会打出不标准的手势，此时应满足

经分析，当摄像头在驾驶员的侧面时，

取值为1/6，而γ取值为1/3时效果较好。所以在竖直方向上，只要满足上面两条约束之一即可。

当水平方向和竖直方向均满足如上规则时，认为动作与此模板匹配。

例如：站立，坐着

根据检测出的整个人的高度，与整个驾驶室和座位的高度来比对，从而完成站立和坐着的动作匹配。

步骤4、对驾驶员与环境交互的动作进行识别

该步骤4中，将驾驶员的关键部位与物体检测模型输出的关键物体位置进行比较，如果位置重合就识别出相应动作。具体方法如下

例如：操作机车屏幕，挂挡

步骤2中已经检测出机车屏幕和司控器以及司机手部的位置，所以只需要判断手的位置是否进入机车屏幕和司控器的区域，从而完成与对应动作模板的匹配。

例如：打电话

因为这个动作需要多帧联合检测，所以模板规则较为复杂。当驾驶员拿起电话时认为开始打电话，将电话放回初始位置认为挂断电话。因为电话在驾驶室的位置是固定的，所以驾驶员的手第一次进入对讲机的框内为拿起电话，记录电话的初始位置，第二次进入初始位置为放下电话。在拿起电话和放下电话这两个动作之间的时间内都认为在打电话。

在这个过程中，拿起电话是需要时间的，即使这个时间很短，也会超过一帧，而这些连续帧会对多帧联合检测造成干扰。所以在第一次检测到驾驶员的手进入电话的框内时，需要设定一段延迟时间。这段时间内都不再检测手是否进入电话的框。当这段延迟过了之后，就认为驾驶员已经把电话拿起来了，这时候开始打电话，当手再次进入电话的初始位置的框内，就认为驾驶员已经放下电话，经过一段延迟时间后就认为通话结束。经过分析数据，延迟时间设置为30帧。

Claims (5)

1.一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块；其特征在于：

摄像头采集模块用于采集驾驶室的监控画面；

驾驶员关键部位检测模块用于对画面中的司机，司机的头部和面部，司机的手部位置进行检测；

物体检测模块用于对驾驶室内关键物体，包括电话、司控器、机车操作显示屏、驾驶台的位置进行检测；

动作匹配模块利用物体检测模块检测到的物体位置信息，使用动作模板匹配的方法进行驾驶员动作识别，并将识别出的动作输出；

动作匹配模块包括人类自身动作识别模块和人类环境交互动作识别模块，其中，人类自身动作识别模块用于识别驾驶员自身的动作，人类环境交互动作识别模块用于识别驾驶员与环境交互的动作；

监控预警模块根据动作匹配模块输出的动作信息进行监控预警，而监控记录模块对实时监控的动作进行记录存储；其中，对驾驶员关键部位检测模块和物体检测模块进行离线深度学习进行训练。

2.根据权利要求1所述的一种基于深度学习的实时的列车驾驶员动作识别系统，其特征在于：人类自身动作包括坐着、站着或打手势。

3.根据权利要求1所述的一种基于深度学习的实时的列车驾驶员动作识别系统，其特征在于：识别驾驶员与环境交互的动作包括打电话或操作屏幕。

4.根据权利要求1所述的一种基于深度学习的实时的列车驾驶员动作识别系统，其特征在于：使用前面训练得到的检测模型直接检测出驾驶员，及其头部，手部和驾驶室内的关键目标作为动作识别模块的输入。

5.一种利用权利要求1所述的基于深度学习的实时的列车驾驶员动作识别系统进行列车驾驶员动作识别的方法，其特征在于：包括以下步骤：

步骤1、从摄像头采集监控画面；

步骤2、使用改进的tiny-yolo神经网络对驾驶员的关键部位和驾驶室的关键物体进行检测，并将将检测结果输出到动作识别模块中；

步骤3、对驾驶员自身的动作进行识别，该步骤中将驾驶员关键部位的检测结果利用空间的相互位置关系与动作模板库里的动作模板进行匹配；

步骤4、对驾驶员与环境交互的动作进行识别，该步骤中将驾驶员的关键部位与物体检测模型输出的关键物体位置进行比较，如果位置重合就识别出相应动作。

Images