CN112800854A

CN112800854A - 一种基于图像的机车乘务员作业自动分析系统

Info

Publication number: CN112800854A
Application number: CN202110001302.0A
Authority: CN
Inventors: 夏利民; 李锐; 韦昌宏
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2021-01-04
Filing date: 2021-01-04
Publication date: 2021-05-14

Abstract

本发明公开了一种基于图像的机车乘务员作业自动分析系统，该系统包括：图像获取模块，通过监控获取乘务员图像；目标检测模块，目标检测获取乘务员和操作对象；特征提取模块，对提取的乘务员和操作对象进行匹配，使用多流网络模型进行交互行为特征提取；交互识别模块，对进行特征融合并进识别交互行为；作业规范性分析模块，根据交互行为识别结果，对机车乘务员作业进行规范性评分；输出与报警模块，根据规范性评分，判断行为是否规范。本发明自动分析机车乘务员作业规范性，例如试闸、起步、调速、制动等作业行为，保证起步稳定，杜绝臆测行车，减少违章作业，对提升机车安全管理水平、降低安全事故发生率和保证机车安全稳定运行具有重要意义。

Description

一种基于图像的机车乘务员作业自动分析系统

技术领域

本发明涉及视频监控及模式识别技术领域，具体涉及一种基于图像的机车乘务员作业自动分析系统，该系统依赖于一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法。

背景技术

在铁路列车运行过程中，机车乘务员在驾驶室对操作对象进行作业，控制机车行驶和前进，作业行为包括试闸、起步、调速、制动等，作业行为的规范性对于列车的稳定运行具有至关重要的意义。然而，在现实机车操控场景中可能存在安全隐患。一方面，新手机车乘务员对作业缺乏经验，可能会产生错误作业行为；另一方面，机车乘务员与操作对象进行交互，由于机车乘务员可能产生疲劳、疏忽等现象，导致不规范的作业行为。因此，机车乘务员不规范甚至错误的作业行为不仅会影响列车正常运行，严重时可能造成列车停运甚至侧翻等重大安全事故，对国民经济造成巨大损失，危害社会安全稳定。

近年来，随着计算机技术和深度学习算法的发展，基于图像的模式识别领域得到了飞速发展，为了理解图像中场景所呈现的语义信息，计算机需要识别不同对象之间的联系，视觉关系检测成为研究的一大热点。在视觉关系检测领域，人类视觉体验的很大一部分是涉及人与物体之间的交互行为，即人物交互行为识别，通过对视觉场景中的行为进行分析，输出其中的语义信息来辅助其他领域的决策。

鉴于此，本发明提出一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，在此基础上，提出了一种基于图像的机车乘务员作业自动分析系统，在这个系统中，人物交互行为识别中的人和物体分别指代机车乘务员和操作对象，该系统不仅可以实时获取驾驶室的视觉图像场景，而且通过人物交互行为识别对图像中的机车乘务员与操作对象的交互行为进行规范性分析，保证每一个作业行为符合规范要求，对不规范的作业行为进行警告和制止，为铁路列车的运行保驾护航，防止由于人为原因导致的重大安全事故发生。

发明内容

本发明的目的是为了解决机车乘务员与操控对象的作业自动分析问题，通过监控视频获取的视觉图像对机车乘务员作业行为进行规范性分析，保证机车乘务员作业符合规范，达到铁路列车平稳安全的行驶。

第一方面，本发明提出了一种基于图像的机车乘务员作业自动分析系统，该系统包括：图像获取模块，通过监控视频获取铁路列车控制室中机车乘务员与操作对象的视觉场景图像；目标检测模块，使用目标检测方法获取视觉场景图像中的乘务员和操作对象；特征提取模块，对提取的机车乘务员和操作对象进行匹配，并使用基于深度神经网络模型进行交互行为的深度特征提取；交互识别模块，对提取的深度特征进行特征融合，通过融合的特征进行交互行为识别，即识别机车乘务员的作业行为；作业规范性分析模块，根据对机车乘务员和操作对象的交互行为识别结果，即机车乘务员作业行为，进行规范性评分得到作业行为分析结果；输出与报警模块，根据机车乘务员的作业分析结果，判断行为是否符合规范，如果符合规范则进行下一帧视觉图像的获取，如果不符合规范则进行报警。

第二方面，本发明提出了一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，该模型包括：局部流，通过局部信息模块提取图像中人和物体的局部区域特征；全局流，在局部信息模块的基础上，提取以人和物体为中心的全局上下文特征；成对流，提取视觉图像中人和物体相对空间特征。在多流特征提取的基础上，通过对局部区域特征、全局上下文特征和相对空间特征进行特征融合，最终输出人物交互行为识别得分。

第三方面，本发明提供一种模块化组成的计算机系统，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序。

第四方面，本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本发明的有益效果在于：以一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法为主干，提出一种基于图像的机车乘务员作业自动分析系统，应用经训练的神经网络模型识别机车乘务员与操控对象的交互行为，并对该行为进行规范性评分。对低于规范性阈值的得分，系统输出警示；对于高于规范性阈值的得分，系统会正常运行。该系统能够消除机车乘务员不规范或者错误作业行为带来的影响，保证铁路列车安全稳定运行。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本文所述方法及系统描述中所需要使用的附图作简单介绍，用于对本发明作进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一的基于图像的机车乘务员作业自动分析系统模块组成图；

图2为本发明实施例一的基于图像的机车乘务员作业自动分析系统工作流程图；

图3为本发明实施例二的基于融合局部信息与全局信息的多流神经网络模型的局部信息模块示意图；

图4为本发明实施例二的基于融合局部信息与全局信息的多流神经网络模型的全局信息模块示意图；

图5为本发明实施例二的基于融合局部信息与全局信息的多流神经网络模型的信息融合模块示意图；

图6为本发明实施例二的基于融合局部信息与全局信息的多流神经网络模型的整体框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

实施例一

本发明实施例提供一种基于图像的机车乘务员作业自动分析系统。

参考图1基于图像的机车乘务员作业自动分析系统模块组成图，该系统由硬件及写入硬件中的软件构成的模块组成，该系统布局在机车乘务员与操作对象的交互环境中进行工作。

步骤S11，图像获取模块，通过监控设备，拍摄铁路列车控制室中的视觉场景图像，在铁路列车正常的运行环境中，机车乘务员与操控对象进行作业，作业行为包括起步、加速、制动等。

步骤S12，目标检测模块，对于获取的图像，使用Faster-RCNN作为目标检测器，检测和定位视觉场景中的机车乘务员及其操作对象。

步骤S13，特征提取模块，对于检测和定位的机车乘务员及操作对象，组成人-物体候选对，这里专门指的是机车乘务员-操作对象对，然后将其送入深度神经网络模型进行深度特征提取。

步骤S14，交互识别模块，对深度神经网络模型提取的深度特征进行特征融合，依据融合的深度特征进行人物交互行为识别，这里专门指的是机车乘务员与操控对象的交互行为识别，即机车乘务员的作业行为。

步骤S15，作业规范性分析模块，对于人物交互行为识别的结果，即机车乘务员的作业行为进行规范性评分，该评分代表了机车乘务员作业行为的规范程度。

步骤S16，输出与报警模块，设定机车乘务员作业行为规范性阈值，如果机车乘务员作业行为评分大于设定的阈值，则认为作业行为符合规范，系统将自动进行下一张视觉图像的获取和作业分析；如果评分小于设定的阈值，则认为作业行为不符合规范，系统发出警告提示机车乘务员可能存在不规范作业行为，以便及时进行作业行为更正。

参考图2基于图像的机车乘务员作业自动分析系统工作流程图，对于获取的图像，经过目标检测、人-物体匹配、深度特征提取、交互行为识别、作业行为规范性分析后，进行规范性判断，对于符合规范性的作业行为，系统自动跳到下一帧的图像获取，对于不符合规范性的作业行为则输出警告。该系统基于图像可以自动地分析机车乘务员作业行为，为铁路列车行驶提供辅助的安全监视及决策功能。

实施例二

本实施例提供一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法。

参考图6基于融合局部信息与全局信息的多流神经网络模型的整体框架图，整个架构由局部流，全局流和成对流组成，其包含三个特殊模块：局部信息模块，全局信息模块和信息融合模块。

局部信息模块执行局部区域信息提取，得到人和物体的局部区域特征。

全局信息模块执行全局上下文信息提取，得到以人和物体为中心的全局上下文特征。

信息融合模块执行信息融合的功能，局部信息模块得到的人和物体的特征进行特征融合。

对于监控视频获取的视觉图像，通过Faster-RCNN目标检测，得到带有人和物体边界框的特征图，这里的人和物体分别指代机车乘务员和操作对象，特征图的大小为H×W×1024。

参考图3基于融合局部信息与全局信息的多流神经网络模型的局部信息模块示意图，该模块的输入是大小为H×W×1024的特征图及目标检测的人和物体的边界框，输出是人或物体实例的512维度的局部区域特征向量。

以人为例来介绍局部信息模块。

首先，在特征图中裁剪人的边界框作为局部信息模块的输入，并对其应用ROI池化操作，获得大小为7×7的1024维的特征图。

其次，特征图将被送到第五残差块(res5)，其输出深度将变为2048维。

最后，使用1×1卷积运算将特征图的深度变换为512维，然后进行全局平均池化(GAP)，输出是大小为512的局部区域特征向量

其中包含人的外观的信息。对于物体，遵循相同的过程得到物体的局部区域特征向量

参考图4基于融合局部信息与全局信息的多流神经网络模型的全局信息模块示意图，该模块的输入是大小为H×W×1024的特征图及目标检测的人和物体的边界框，同时局部信息模块作为全局信息模块的一个组成部分，输出是人或物体实例的512维度的全局上下文特征向量。

以人为例来介绍全局信息模块。

首先，使用1×1卷积运算将全局特征图转换为512维空间(用F表示)。

其次，对全局特征F和局部特征向量

进行逐元素乘法运算，然后通过通道值平均(CVA)和reshape运算输出大小为H×W的特征向量x_f，“CVA”是表示输出张量在最后一个通道上平均。

接着，通过softmax运算对x_f进行归一化，然后将其重塑为H×W二维张量图，这是一个以实例为中心的全局特征注意图。

最后，使用此全局特征注意图来调制全局特征F，并使用全局平均池(GAP)操作来生成特征向量

以人为中心的全局上下文特征向量

不仅包含人的外观信息，而且融合了以人为中心的全局上下文信息。对于物体实例，依据相同的操作可得到以物体为中心的全局上下文特征

参考图5基于融合局部信息与全局信息的多流神经网络模型的信息融合模块示意图，该模块的输入是局部流或全局流的人和物体的特征向量，输出为融合的1536维局部特征向量或全局特征向量。

以局部信息模块生成的人和物体的局部区域特征向量

和

作为实例来介绍信息融合模块。

首先，对

和

进行逐元素乘法运算以获得局部融合特征向量

其中

包含人与物体之间局部信息的交互融合。

然后，将人的局部区域特征向量

对象的局部区域特征向量

和融合特征向量

串联起来，最终构成模块的局部流特征向量X_L，X_L表示由人，物体及其交互融合组成的局部流输出特征。对于全局流，执行类似的操作以获得全局流特征向量X_G。

两个向量的逐元素相乘。

参考图6基于融合局部信息与全局信息的多流神经网络模型的整体框架图，对于其中的成对流，在特征图上裁剪人-物体对的最小边界矩形，然后将其编码为双通道二进制图。前一个通道图像中带有人的边界框的值为1，其余为0。后一个通道图像中带有人的边界框的值为1，其余为0。然后将其输入到空间配置中通过CNN进行特征提取，输出为1536维成对的流特征向量X_sp。

对于局部流，全局流和成对流生成的1536维特征向量，均通过相同的两个1024维全连接层输出V维动作行为分类器。

在人物交互行为识别的分数评估中，最终得分来自三个流得分的组合。

对于某个交互行为，定义的交互行为得分为三个流交互行为预测得分的组合，其定义如下：

其中，

分别为局部流、全局流和成对流的交互行为预测得分，

第v个预定义交互行为动作得分，v∈{1,...,V}，即对机车乘务员与操作对象的第v个预定义作业行为评分。

对于多流神经网络模型的训练，使用三个流的Sigmoid交叉熵损失函数之和作为损失函数。

三个流的Sigmoid交叉熵损失函数之和，其定义如下：

其中，

和

分别为局部流、全局流和成对流的第i个交互样本的第v个交互行为动作预测得分，

为第i个样本的第v个交互行为动作的地面真实标签。

本领域的技术人员可以理解实施例方法中的全部或部分流程可以由计算机程序来命令相关的硬件完成，程序可存储于计算机可读取存储介质中，程序在执行时，可包括如各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

以上内容是结合具体/优选的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本申请的保护范围。

Claims

1.一种基于图像的机车乘务员作业自动分析系统，其特征在于，包括以下模块：

1)监控视频模块：拍摄和获取机车操控室的视觉场景图像；

2)目标检测模块：检测图像中的人和物体，即机车乘务员和操作对象；

3)特征提取模块：进行人-物体匹配，即将检测到的机车乘务员和操作对象匹配，然后进行深度特征提取；

4)交互识别模块：对提取的深度特征进行特征融合，然后进行人物交互行为识别，即机车乘务员的作业行为识别；

5)作业规范性分析模块：将机车乘务员作业行为进行规范性评分得到作业分析结果；

6)输出与报警模块：输出乘务员作业分析结果，对于不规范的作业行为进行报警。

2.根据权利要求1所述的一种基于图像的机车乘务员作业自动分析系统，其特征在于，提出一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，即利用人物交互行为识别的方法对机车乘务员与操作对象的作业行为进行预测，这里的人指的是机车乘务员，交互物体指的是操作对象，该网络模型由局部流、全局流和成对流组成，并包含设计的局部信息模块、全局信息模块和信息融合模块。

3.根据权利要求2所述的一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，其特征在于，使用基于Faster R-CNN作为目标检测器，并使用Res-Net50作为特征主干处理所获取图像得到大小为H×W×1024的特征图。

4.根据权利要求2所述的一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，其特征在于，通过所提出的局部信息模块提取人和物体的局部区域特征。

5.根据权利要求2所述的一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法和权利要求4所提出的局部信息模块，其特征在于，提出一种基于人和物体的全局信息模块提取以人和物体为中心的全局上下文特征，局部信息模块是全局信息模块的一个构成部分。

6.根据权利要求2所述的一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，其特征在于，使用三个流的Sigmoid交叉熵损失函数之和作为损失函数用于神经网络模型的训练。

7.根据权利要求6所述的损失函数，其特征在于，三个流的Sigmoid交叉熵损失函数之和，其定义如下：

其中，

和

为第i个样本的第v个交互行为动作的地面真实标签，v∈{1,...,V}。

8.根据权利要求7所述的Sigmoid交叉熵损失函数之和，其特征在于，所定义的交互行为得分为三个流交互行为预测得分的组合，其定义如下：

其中，

分别为局部流、全局流和成对流的交互行为预测得分，

为第v个预定义交互行为的动作得分，v∈{1,...,V}，即对机车乘务员与操作对象的第v个预定义作业行为评分。

9.根据权利要求8所述的机车乘务员与操作对象的作业行为评分，其特征在于，评分代表机车乘务员作业行为的规范性，如果评分大于设定的阈值，则认为作业行为符合规范，系统将自动进行下一张图像的获取和作业分析；如果评分小于设定的阈值，则认为动作不符合规范，系统将发出警告，提示机车乘务员可能存在不规范作业行为，以便及时更正作业行为。

10.一种计算机系统，其特征在于，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行权利要求1-9任一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法。

11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行权利要求1-9任一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法。