CN114084174B - 一种列车司机行为识别装置及识别方法 - Google Patents

Abstract

本申请公开了一种列车司机行为识别装置及识别方法，其中，所述列车司机行为识别装置基于机器视觉技术，引入列车运行监控记录系统(LKJ)信息，结合列车的司机室激活状态、列车的当前车速、信号机信息和信号灯信息等关键列车运行状态信息，实现精确的司机行为识别，从而实现提升司机行为识别准确性的目的，减少了误报、漏报的情况。

Description

一种列车司机行为识别装置及识别方法

技术领域

本申请涉及轨道交通技术领域，更具体地说，涉及一种列车司机行为识别装置及识别方法。

背景技术

在列车运行过程中，列车司机处于正常操作状态是保证列车安全、平稳运行的重要因素，因此对于列车司机的行为进行监控是保证列车正常运行的必要措施。

当前列车司机行为的识别主要依托于机器视觉对司机室的视频图像进行识别，检测列车司机疲劳、分神、离岗等行为。由于受到实际环境条件、处理器运算性能和算法等方面的局限，在识别率和误报率方面，距离满足成熟推广应用还存在一定差距。

发明内容

为解决上述技术问题，本申请提供了一种列车司机行为识别装置及识别方法，以提高对司机行为识别的准确性。

为实现上述技术目的，本申请实施例提供了如下技术方案：

一种列车司机行为识别装置，用于识别列车的司机行为，所述列车司机行为识别装置包括：影像获取模块和识别模块；其中，

所述影像获取模块包括分别分布于所述列车的两个司机室的影像获取单元，所述影像获取单元包括第一摄像头和第二摄像头，所述第一摄像头用于获取司机的面部状态影像，所述第二摄像头用于获取所述司机的姿势手势影像；

所述识别模块，用于获取LKJ信息，所述LKJ信息包括司机室激活信息、列车的当前车速、信号机信息和信号灯信息；和用于根据所述司机室激活信息，获取位于激活的司机室中的影像获取单元获取的所述面部状态影像和所述姿势手势影像，根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别，根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别。

可选的，所述识别模块根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别的过程具体包括：

根据所述面部状态影像查询疲劳驾驶识别数据库，以获取所述面部状态影像中包含的疲劳驾驶特征，并根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒；所述疲劳驾驶识别数据库中存储有疲劳驾驶特征与影像图像的对应关系；

根据所述面部状态影像查询分神驾驶识别数据库，以获取所述面部状态影像中包含的分神驾驶特征，并根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒；

所述分神驾驶识别数据库中存储有分神驾驶特征与影像图像的对应关系。

可选的，所述疲劳驾驶特征至少包括闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征；

所述分神驾驶特征至少包括司机视线偏离特征、持续偏头特征和持续低头特征。

可选的，所述识别模块根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒的过程具体包括：

根据所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数和所述列车的当前车速，确定所述疲劳驾驶等级；所述疲劳驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数正相关；

根据所述疲劳驾驶等级确定疲劳驾驶提醒强度，并根据所述疲劳驾驶提醒强度进行疲劳驾驶提醒。

可选的，所述识别模块根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒的过程具体包括：

根据所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数和所述列车的当前车速，确定所述分神驾驶等级；所述分神驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数正相关；

根据所述分神驾驶等级确定分神驾驶提醒强度，并根据所述分神驾驶提醒强度进行分神驾驶提醒。

可选的，所述识别模块，根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别的过程具体包括：

根据所述姿势手势影像查询姿势数据库，以获取所述姿势手势影像中包含的异常姿势特征，并根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒；所述姿势数据库中存储有异常姿势特征与影像图像的对应关系；

根据所述姿势手势影像查询手势数据库，以获取所述姿势手势影像中包含的手势特征，根据所述手势特征与所述信号灯信息，确定所述手势特征与所述信号灯信息是否匹配，如果否，则记录该时段的姿势手势影像，并发出手势异常提醒；

所述手势数据库中存储有手势特征与影响图像的对应关系。

可选的，所述异常姿势特征至少包括：离岗特征、坐姿异常特征和站立特征；

所述手势特征至少包括：手臂动作特征和摇臂动作特征；其中，所述手臂动作特征至少包括：仪表确认特征、直行通过特征、正线停车特征和侧线进站特征；所述摇臂动作特征至少包括：确定停车特征和注意运行特征。

可选的，所述识别模块根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒的过程具体包括：

根据所述信号机信息确定列车是否为进站或过分相状态，如果是，则根据所述姿势手势影像中包含的异常姿势特征判断司机是否按照要求站立，当所述司机未按照要求站立时，进行姿势异常提醒；

根据所述姿势手势影像中包含的离岗特征和坐姿异常特征在预设时间段内的个数和所述列车的当前车速，确定所述姿势异常等级；所述姿势异常等级与所述列车的当前车速以及所述姿势手势影像中包含的离岗特征和坐姿异常特征的个数正相关；

根据所述姿势异常等级，确定姿势异常提醒强度，并根据所述姿势异常提醒强度进行姿势异常提醒。

可选的，所述识别模块还用于获取未激活的司机室中的影像获取单元获取的所述姿势手势影像。

一种列车司机行为识别方法，用于识别列车的司机行为，所述列车司机行为识别方法基于上述任一项所述的列车司机行为识别装置实现，所述列车司机行为识别方法包括：

获取LKJ信息，所述LKJ信息包括司机室激活信息、列车的当前车速、信号机信息和信号灯信息；

根据所述司机室激活信息，获取位于激活的司机室中的影像获取单元获取的所述面部状态影像和所述姿势手势影像；

根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别；

根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别。

可选的，所述根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别包括：

根据所述面部状态影像查询疲劳驾驶识别数据库，以获取所述面部状态影像中包含的疲劳驾驶特征，并根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒；所述疲劳驾驶识别数据库中存储有疲劳驾驶特征与影像图像的对应关系；

根据所述面部状态影像查询分神驾驶识别数据库，以获取所述面部状态影像中包含的分神驾驶特征，并根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒；

所述分神驾驶识别数据库中存储有分神驾驶特征与影像图像的对应关系。

可选的，所述疲劳驾驶特征至少包括闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征；

所述分神驾驶特征至少包括司机视线偏离特征、持续偏头特征和持续低头特征。

可选的，所述根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒包括：

根据所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数和所述列车的当前车速，确定所述疲劳驾驶等级；所述疲劳驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数正相关；

根据所述疲劳驾驶等级确定疲劳驾驶提醒强度，并根据所述疲劳驾驶提醒强度进行疲劳驾驶提醒。

可选的，所述根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒包括：

根据所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数和所述列车的当前车速，确定所述分神驾驶等级；所述分神驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数正相关；

根据所述分神驾驶等级确定分神驾驶提醒强度，并根据所述分神驾驶提醒强度进行分神驾驶提醒。

可选的，所述根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别包括：

根据所述姿势手势影像查询姿势数据库，以获取所述姿势手势影像中包含的异常姿势特征，并根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒；所述姿势数据库中存储有异常姿势特征与影像图像的对应关系；

根据所述姿势手势影像查询手势数据库，以获取所述姿势手势影像中包含的手势特征，根据所述手势特征与所述信号灯信息，确定所述手势特征与所述信号灯信息是否匹配，如果否，则记录该时段的姿势手势影像，并发出手势异常提醒；

所述手势数据库中存储有手势特征与影响图像的对应关系。

可选的，所述异常姿势特征至少包括：离岗特征、坐姿异常特征和站立特征；

所述手势特征至少包括：手臂动作特征和摇臂动作特征；其中，所述手臂动作特征至少包括：仪表确认特征、直行通过特征、正线停车特征和侧线进站特征；所述摇臂动作特征至少包括：确定停车特征和注意运行特征。

可选的，所述根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒包括：

根据所述信号机信息确定列车是否为进站或过分相状态，如果是，则根据所述姿势手势影像中包含的异常姿势特征判断司机是否按照要求站立，当所述司机未按照要求站立时，进行姿势异常提醒；

根据所述姿势手势影像中包含的离岗特征和坐姿异常特征在预设时间段内的个数和所述列车的当前车速，确定所述姿势异常等级；所述姿势异常等级与所述列车的当前车速以及所述姿势手势影像中包含的离岗特征和坐姿异常特征的个数正相关；

根据所述姿势异常等级，确定姿势异常提醒强度，并根据所述姿势异常提醒强度进行姿势异常提醒。

从上述技术方案可以看出，本申请实施例提供了一种列车司机行为识别装置及识别方法，其中，所述列车司机行为识别装置包括影像获取模块和识别模块；其中，所述影像识别模块包括分别分布于所述列车的两个司机室的影像获取单元，每个影像获取单元包括用于获取司机的面部状态影像的第一摄像头和用于获取司机的姿势手势影像的第二摄像头，所述识别模块根据所述司机室激活信息，获取位于激活的司机室中的影像获取单元获取的所述面部状态影像和所述姿势手势影像，根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别，根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别。即本申请实施例提供的列车司机行为识别装置基于机器视觉技术，引入列车运行监控记录系统(LKJ)信息，结合列车的司机室激活状态、列车的当前车速、信号机信息和信号灯信息等关键列车运行状态信息，实现精确的司机行为识别，从而实现提升司机行为识别准确性的目的，减少了误报、漏报的情况。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请的一个实施例提供的一种列车司机行为识别装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种列车司机行为识别装置，如图1所示，用于识别列车的司机行为，所述列车司机行为识别装置包括：影像获取模块和识别模块10；其中，

所述影像获取模块包括分别分布于所述列车的两个司机室的影像获取单元20，所述影像获取单元20包括第一摄像头21和第二摄像头22，所述第一摄像头21用于获取司机的面部状态影像，所述第二摄像头22用于获取所述司机的姿势手势影像；

所述识别模块10，用于获取LKJ信息，所述LKJ信息包括司机室激活信息、列车的当前车速、信号机信息和信号灯信息；和用于根据所述司机室激活信息，获取位于激活的司机室中的影像获取单元20获取的所述面部状态影像和所述姿势手势影像，根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别，根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别。

在本实施例中，所述列车司机行为识别装置基于机器视觉技术，引入列车运行监控记录系统(LKJ)信息，结合列车的司机室激活状态、列车的当前车速、信号机信息和信号灯信息等关键列车运行状态信息，实现精确的司机行为识别，从而实现提升司机行为识别准确性的目的，减少了误报、漏报的情况。

另外，在本实施例中，所述第一摄像头21可以安装在司机座位正前方，以便获取包含司机面部状态的影像(即所述司机的面部状态影像)，所述第二摄像头22可以安装在司机座位侧后方，以便获取包含司机的手势和姿势的影像(即所述司机的姿势手势影像)。

两个司机室的影像获取单元20均可通过以太网接入到所述识别模块10中，实现与所述识别模块10的通信。

所述识别模块10从所述LKJ系统中获取所述LKJ信息，所述识别模块10与所述LKJ系统可以通过以太网通信连接。

下面对本申请实施例的影像获取模块的具体过程逻辑进行说明。

可选的，在本申请的一个实施例中，所述识别模块10根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别的过程具体包括：

根据所述面部状态影像查询疲劳驾驶识别数据库，以获取所述面部状态影像中包含的疲劳驾驶特征，并根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒；所述疲劳驾驶识别数据库中存储有疲劳驾驶特征与影像图像的对应关系；

根据所述面部状态影像查询分神驾驶识别数据库，以获取所述面部状态影像中包含的分神驾驶特征，并根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒；

所述分神驾驶识别数据库中存储有分神驾驶特征与影像图像的对应关系。

具体地，所述疲劳驾驶特征至少包括闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征；

所述分神驾驶特征至少包括司机视线偏离特征、持续偏头特征和持续低头特征。

在此基础上，可选的，所述识别模块10根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒的过程具体包括：

根据所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数和所述列车的当前车速，确定所述疲劳驾驶等级；所述疲劳驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数正相关；

根据所述疲劳驾驶等级确定疲劳驾驶提醒强度，并根据所述疲劳驾驶提醒强度进行疲劳驾驶提醒。

举例来说，假设在30s内出现一个闭眼行为特征，认定为轻度疲劳，在30s内出现两个闭眼行为特征，认定为中度疲劳，在30s内出现三个及以上的闭眼行为特征，则认定为重度疲劳，轻度疲劳对应疲劳驾驶等级为1、中度疲劳对应的疲劳驾驶等级为2、重度疲劳对应的疲劳驾驶等级为3。在30s内出现一个哈欠行为特征，认定为轻度疲劳，在30s内出现两个哈欠行为特征，认定为中度疲劳，在30s内出现三个及以上的哈欠行为特征，则认定为重度疲劳，轻度疲劳对应疲劳驾驶等级为1、中度疲劳对应的疲劳驾驶等级为2、重度疲劳对应的疲劳驾驶等级为3。在30s内出现一个持续点头行为特征，认定为轻度疲劳，在30s内出现两个持续点头行为特征，认定为中度疲劳，在30s内出现三个及以上的持续点头行为特征，则认定为重度疲劳，轻度疲劳对应疲劳驾驶等级为1、中度疲劳对应的疲劳驾驶等级为2、重度疲劳对应的疲劳驾驶等级为3。

在30s内出现一个持续静止行为特征，认定为轻度疲劳，在30s内出现两个持续静止行为特征，认定为中度疲劳，在30s内出现三个及以上的持续静止行为特征，则认定为重度疲劳，轻度疲劳对应疲劳驾驶等级为1、中度疲劳对应的疲劳驾驶等级为2、重度疲劳对应的疲劳驾驶等级为3。

在当前车速的范围为0～10km/s时，出现对应的轻度疲劳、中度疲劳或重度疲劳的情况时，将对应的疲劳驾驶等级加1或乘1，例如在当前车速的范围为0～10km/s时，30s内出现一个闭眼行为特征，此时总的疲劳驾驶等级为1+1＝2；在当前车速的范围为10～30km/s时，出现对应的轻度疲劳、中度疲劳或重度疲劳的情况时，将对应的疲劳驾驶等级加2或乘2，例如在当前车速的范围为10～30km/s时，30s内出现两个闭眼行为特征，此时总的疲劳驾驶等级为2+2＝4；在当前车速的范围为30km/s以上时，出现对应的轻度疲劳、中度疲劳或重度疲劳的情况时，将对应的疲劳驾驶等级加3或乘3，例如在当前车速的范围为30km/s以上时，30s内出现两个闭眼行为特征，此时总的疲劳驾驶等级为2+3＝5。总的疲劳驾驶等级越高，对应的疲劳驾驶提醒强度越强(例如警报声音越大、警报频率越高等)。

可选的，所述识别模块10根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒的过程具体包括：

根据所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数和所述列车的当前车速，确定所述疲劳驾驶等级；所述疲劳驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数正相关；

根据所述疲劳驾驶等级确定疲劳驾驶提醒强度，并根据所述疲劳驾驶提醒强度进行疲劳驾驶提醒。

可选的，所述识别模块10根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒的过程具体包括：

根据所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数和所述列车的当前车速，确定所述分神驾驶等级；所述分神驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数正相关；

根据所述分神驾驶等级确定分神驾驶提醒强度，并根据所述分神驾驶提醒强度进行分神驾驶提醒。

可选的，所述识别模块10，根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别的过程具体包括：

根据所述姿势手势影像查询姿势数据库，以获取所述姿势手势影像中包含的异常姿势特征，并根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒；所述姿势数据库中存储有异常姿势特征与影像图像的对应关系；

根据所述姿势手势影像查询手势数据库，以获取所述姿势手势影像中包含的手势特征，根据所述手势特征与所述信号灯信息，确定所述手势特征与所述信号灯信息是否匹配，如果否，则记录该时段的姿势手势影像，并发出手势异常提醒；

所述手势数据库中存储有手势特征与影响图像的对应关系。

可选的，所述异常姿势特征至少包括：离岗特征、坐姿异常特征和站立特征；

所述手势特征至少包括：手臂动作特征和摇臂动作特征；其中，所述手臂动作特征至少包括：仪表确认特征、直行通过特征、正线停车特征和侧线进站特征；所述摇臂动作特征至少包括：确定停车特征和注意运行特征。

可选的，所述识别模块10根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒的过程具体包括：

根据所述信号机信息确定列车是否为进站或过分相状态，如果是，则根据所述姿势手势影像中包含的异常姿势特征判断司机是否按照要求站立，当所述司机未按照要求站立时，进行姿势异常提醒；

根据所述姿势手势影像中包含的离岗特征和坐姿异常特征在预设时间段内的个数和所述列车的当前车速，确定所述姿势异常等级；所述姿势异常等级与所述列车的当前车速以及所述姿势手势影像中包含的离岗特征和坐姿异常特征的个数正相关；

根据所述姿势异常等级，确定姿势异常提醒强度，并根据所述姿势异常提醒强度进行姿势异常提醒。

可选的，所述识别模块10还用于获取未激活的司机室中的影像获取单元20获取的所述姿势手势影像。

下面对本申请实施例提供的列车司机行为识别方法进行描述，下文描述的列车司机行为识别方法可与上文描述的列车司机行为识别装置相互对应参照。

相应的，本申请实施例提供了一种列车实际行为识别方法，用于识别列车的司机行为，所述列车司机行为识别方法基于上述任一实施例所述的列车司机行为识别装置实现，所述列车司机行为识别方法包括：

获取LKJ信息，所述LKJ信息包括司机室激活信息、列车的当前车速、信号机信息和信号灯信息；

根据所述司机室激活信息，获取位于激活的司机室中的影像获取单元获取的所述面部状态影像和所述姿势手势影像；

根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别；

根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别。

可选的，所述根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别包括：

根据所述面部状态影像查询疲劳驾驶识别数据库，以获取所述面部状态影像中包含的疲劳驾驶特征，并根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒；所述疲劳驾驶识别数据库中存储有疲劳驾驶特征与影像图像的对应关系；

根据所述面部状态影像查询分神驾驶识别数据库，以获取所述面部状态影像中包含的分神驾驶特征，并根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒；

所述分神驾驶识别数据库中存储有分神驾驶特征与影像图像的对应关系。

可选的，所述疲劳驾驶特征至少包括闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征；

所述分神驾驶特征至少包括司机视线偏离特征、持续偏头特征和持续低头特征。

可选的，所述根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒包括：

根据所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数和所述列车的当前车速，确定所述疲劳驾驶等级；所述疲劳驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数正相关；

根据所述疲劳驾驶等级确定疲劳驾驶提醒强度，并根据所述疲劳驾驶提醒强度进行疲劳驾驶提醒。

可选的，所述根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒包括：

根据所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数和所述列车的当前车速，确定所述分神驾驶等级；所述分神驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数正相关；

根据所述分神驾驶等级确定分神驾驶提醒强度，并根据所述分神驾驶提醒强度进行分神驾驶提醒。

可选的，所述根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别包括：

根据所述姿势手势影像查询姿势数据库，以获取所述姿势手势影像中包含的异常姿势特征，并根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒；所述姿势数据库中存储有异常姿势特征与影像图像的对应关系；

根据所述姿势手势影像查询手势数据库，以获取所述姿势手势影像中包含的手势特征，根据所述手势特征与所述信号灯信息，确定所述手势特征与所述信号灯信息是否匹配，如果否，则记录该时段的姿势手势影像，并发出手势异常提醒；

所述手势数据库中存储有手势特征与影响图像的对应关系。

可选的，所述异常姿势特征至少包括：离岗特征、坐姿异常特征和站立特征；

所述手势特征至少包括：手臂动作特征和摇臂动作特征；其中，所述手臂动作特征至少包括：仪表确认特征、直行通过特征、正线停车特征和侧线进站特征；所述摇臂动作特征至少包括：确定停车特征和注意运行特征。

可选的，所述根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒包括：

根据所述信号机信息确定列车是否为进站或过分相状态，如果是，则根据所述姿势手势影像中包含的异常姿势特征判断司机是否按照要求站立，当所述司机未按照要求站立时，进行姿势异常提醒；

根据所述姿势手势影像中包含的离岗特征和坐姿异常特征在预设时间段内的个数和所述列车的当前车速，确定所述姿势异常等级；所述姿势异常等级与所述列车的当前车速以及所述姿势手势影像中包含的离岗特征和坐姿异常特征的个数正相关；

根据所述姿势异常等级，确定姿势异常提醒强度，并根据所述姿势异常提醒强度进行姿势异常提醒。

综上所述，本申请实施例提供了一种列车司机行为识别装置及识别方法，其中，所述列车司机行为识别装置包括影像获取模块和识别模块；其中，所述影像识别模块包括分别分布于所述列车的两个司机室的影像获取单元，每个影像获取单元包括用于获取司机的面部状态影像的第一摄像头和用于获取司机的姿势手势影像的第二摄像头，所述识别模块根据所述司机室激活信息，获取位于激活的司机室中的影像获取单元获取的所述面部状态影像和所述姿势手势影像，根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别，根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别。即本申请实施例提供的列车司机行为识别装置基于机器视觉技术，引入列车运行监控记录系统(LKJ)信息，结合列车的司机室激活状态、列车的当前车速、信号机信息和信号灯信息等关键列车运行状态信息，实现精确的司机行为识别，从而实现提升司机行为识别准确性的目的，减少了误报、漏报的情况。

本说明书中各实施例中记载的特征可以相互替换或者组合，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种列车司机行为识别装置，其特征在于，用于识别列车的司机行为，所述列车司机行为识别装置包括：影像获取模块和识别模块；其中，

所述影像获取模块包括分别分布于所述列车的两个司机室的影像获取单元，所述影像获取单元包括第一摄像头和第二摄像头，所述第一摄像头用于获取司机的面部状态影像，所述第二摄像头用于获取所述司机的姿势手势影像；

所述识别模块，用于获取LKJ信息，所述LKJ信息包括司机室激活信息、列车的当前车速、信号机信息和信号灯信息；和用于根据所述司机室激活信息，获取位于激活的司机室中的影像获取单元获取的所述面部状态影像和所述姿势手势影像，根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别，根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别；

其中，所述识别模块，根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别的过程具体包括：

根据所述姿势手势影像查询姿势数据库，以获取所述姿势手势影像中包含的异常姿势特征，并根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒；所述姿势数据库中存储有异常姿势特征与影像图像的对应关系；

根据所述姿势手势影像查询手势数据库，以获取所述姿势手势影像中包含的手势特征，根据所述手势特征与所述信号灯信息，确定所述手势特征与所述信号灯信息是否匹配，如果否，则记录该时段的姿势手势影像，并发出手势异常提醒；

所述手势数据库中存储有手势特征与影响图像的对应关系。

2.根据权利要求1所述的列车司机行为识别装置，其特征在于，所述识别模块根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别的过程具体包括：

根据所述面部状态影像查询疲劳驾驶识别数据库，以获取所述面部状态影像中包含的疲劳驾驶特征，并根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒；所述疲劳驾驶识别数据库中存储有疲劳驾驶特征与影像图像的对应关系；

根据所述面部状态影像查询分神驾驶识别数据库，以获取所述面部状态影像中包含的分神驾驶特征，并根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒；

所述分神驾驶识别数据库中存储有分神驾驶特征与影像图像的对应关系。

3.根据权利要求2所述的列车司机行为识别装置，其特征在于，所述疲劳驾驶特征至少包括闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征；

所述分神驾驶特征至少包括司机视线偏离特征、持续偏头特征和持续低头特征。

4.根据权利要求3所述的列车司机行为识别装置，其特征在于，所述识别模块根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒的过程具体包括：

根据所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数和所述列车的当前车速，确定所述疲劳驾驶等级；所述疲劳驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数正相关；

根据所述疲劳驾驶等级确定疲劳驾驶提醒强度，并根据所述疲劳驾驶提醒强度进行疲劳驾驶提醒。

5.根据权利要求3所述的列车司机行为识别装置，其特征在于，所述识别模块根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒的过程具体包括：

根据所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数和所述列车的当前车速，确定所述分神驾驶等级；所述分神驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数正相关；

根据所述分神驾驶等级确定分神驾驶提醒强度，并根据所述分神驾驶提醒强度进行分神驾驶提醒。

6.根据权利要求1所述的列车司机行为识别装置，其特征在于，所述异常姿势特征至少包括：离岗特征、坐姿异常特征和站立特征；

所述手势特征至少包括：手臂动作特征和摇臂动作特征；其中，所述手臂动作特征至少包括：仪表确认特征、直行通过特征、正线停车特征和侧线进站特征；所述摇臂动作特征至少包括：确定停车特征和注意运行特征。

7.根据权利要求6所述的列车司机行为识别装置，其特征在于，所述识别模块根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒的过程具体包括：

根据所述信号机信息确定列车是否为进站或过分相状态，如果是，则根据所述姿势手势影像中包含的异常姿势特征判断司机是否按照要求站立，当所述司机未按照要求站立时，进行姿势异常提醒；

根据所述姿势手势影像中包含的离岗特征和坐姿异常特征在预设时间段内的个数和所述列车的当前车速，确定所述姿势异常等级；所述姿势异常等级与所述列车的当前车速以及所述姿势手势影像中包含的离岗特征和坐姿异常特征的个数正相关；

根据所述姿势异常等级，确定姿势异常提醒强度，并根据所述姿势异常提醒强度进行姿势异常提醒。

8.根据权利要求1所述的列车司机行为识别装置，其特征在于，所述识别模块还用于获取未激活的司机室中的影像获取单元获取的所述姿势手势影像。

9.一种列车司机行为识别方法，其特征在于，用于识别列车的司机行为，所述列车司机行为识别方法基于权利要求1-8任一项所述的列车司机行为识别装置实现，所述列车司机行为识别方法包括：

获取LKJ信息，所述LKJ信息包括司机室激活信息、列车的当前车速、信号机信息和信号灯信息；

根据所述司机室激活信息，获取位于激活的司机室中的影像获取单元获取的所述面部状态影像和所述姿势手势影像；

根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别；

根据所述姿势手势影像和所述列车的当前车速、所述信号机信息和所述信号灯信息进行司机姿态识别和司机手势识别，包括：根据所述姿势手势影像查询姿势数据库，以获取所述姿势手势影像中包含的异常姿势特征，并根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒；所述姿势数据库中存储有异常姿势特征与影像图像的对应关系；根据所述姿势手势影像查询手势数据库，以获取所述姿势手势影像中包含的手势特征，根据所述手势特征与所述信号灯信息，确定所述手势特征与所述信号灯信息是否匹配，如果否，则记录该时段的姿势手势影像，并发出手势异常提醒；所述手势数据库中存储有手势特征与影响图像的对应关系。

10.根据权利要求9所述的方法，其特征在于，所述根据所述面部状态影像和所述列车的当前车速，进行疲劳驾驶识别和分神状态识别包括：

根据所述面部状态影像查询疲劳驾驶识别数据库，以获取所述面部状态影像中包含的疲劳驾驶特征，并根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒；所述疲劳驾驶识别数据库中存储有疲劳驾驶特征与影像图像的对应关系；

根据所述面部状态影像查询分神驾驶识别数据库，以获取所述面部状态影像中包含的分神驾驶特征，并根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒；

所述分神驾驶识别数据库中存储有分神驾驶特征与影像图像的对应关系。

11.根据权利要求10所述的方法，其特征在于，所述疲劳驾驶特征至少包括闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征；

所述分神驾驶特征至少包括司机视线偏离特征、持续偏头特征和持续低头特征。

12.根据权利要求11所述的方法，其特征在于，所述根据所述面部状态影像中包含的疲劳驾驶特征和所述列车的当前车速，确定疲劳驾驶等级，根据所述疲劳驾驶等级进行疲劳驾驶提醒包括：

根据所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数和所述列车的当前车速，确定所述疲劳驾驶等级；所述疲劳驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的闭眼行为特征、哈欠行为特征、持续点头行为特征和持续静止行为特征在预设时间段内的个数正相关；

根据所述疲劳驾驶等级确定疲劳驾驶提醒强度，并根据所述疲劳驾驶提醒强度进行疲劳驾驶提醒。

13.根据权利要求11所述的方法，其特征在于，所述根据所述面部状态影像中包含的分神驾驶特征和所述列车的当前车速，确定分神驾驶等级，根据所述分神驾驶等级进行分神驾驶提醒包括：

根据所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数和所述列车的当前车速，确定所述分神驾驶等级；所述分神驾驶等级与所述列车的当前车速以及所述面部状态影像中包含的司机视线偏离特征、持续偏头特征和持续低头特征在预设时间段内的个数正相关；

根据所述分神驾驶等级确定分神驾驶提醒强度，并根据所述分神驾驶提醒强度进行分神驾驶提醒。

14.根据权利要求9所述的方法，其特征在于，所述异常姿势特征至少包括：离岗特征、坐姿异常特征和站立特征；

所述手势特征至少包括：手臂动作特征和摇臂动作特征；其中，所述手臂动作特征至少包括：仪表确认特征、直行通过特征、正线停车特征和侧线进站特征；所述摇臂动作特征至少包括：确定停车特征和注意运行特征。

15.根据权利要求14所述的方法，其特征在于，所述根据所述姿势手势影像中包含的异常姿势特征和所述列车的当前车速信息以及所述信号机信息，确定姿势异常等级，根据所述姿势异常等级进行姿势异常提醒包括：

根据所述信号机信息确定列车是否为进站或过分相状态，如果是，则根据所述姿势手势影像中包含的异常姿势特征判断司机是否按照要求站立，当所述司机未按照要求站立时，进行姿势异常提醒；

根据所述姿势手势影像中包含的离岗特征和坐姿异常特征在预设时间段内的个数和所述列车的当前车速，确定所述姿势异常等级；所述姿势异常等级与所述列车的当前车速以及所述姿势手势影像中包含的离岗特征和坐姿异常特征的个数正相关；

根据所述姿势异常等级，确定姿势异常提醒强度，并根据所述姿势异常提醒强度进行姿势异常提醒。

Images