CN112598953B - 一种基于列车驾驶仿真系统乘务员的评价系统及方法 - Google Patents
一种基于列车驾驶仿真系统乘务员的评价系统及方法 Download PDFInfo
- Publication number
- CN112598953B CN112598953B CN202011619437.5A CN202011619437A CN112598953B CN 112598953 B CN112598953 B CN 112598953B CN 202011619437 A CN202011619437 A CN 202011619437A CN 112598953 B CN112598953 B CN 112598953B
- Authority
- CN
- China
- Prior art keywords
- crew
- data
- behavior
- train
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
本发明公开了一种基于列车驾驶仿真系统乘务员的评价系统及方法，该系统包括：数据采集模块，获取采集设备实时采集的列车当前运行状态数据、列车运行环境数据和乘务员的行为数据；行为识别模块，结合获取的数据，采用乘务员规范操纵行为识别模型来识别列车驾驶过程中的乘务员操纵行为；行为计算模块，对识别出的所述乘务员操纵行为进行乘务员规范操纵数据计算，计算出乘务员手指向的、眼看见的设备或物体、口呼语音文字；乘务员行为评价模块，根据识别出的乘务员操纵行为和计算出的乘务员手指向的、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价，判断当前乘务员的行为与标准预设值比较一致，得到评价结果；以及显示装置。
Description
技术领域
本发明涉及列车驾驶仿真培训乘务员规范操纵的计算机评价技术领域，具体涉及一种基于列车驾驶仿真系统乘务员的评价系统及方法。
背景技术
随着我国轨道交通的快速发展，利用列车驾驶仿真系统，进行机车乘务员驾驶训练，已成为了乘务员的培养、考核、选拔、晋升的主要手段。机车乘务作为一种特殊驾驶职业，有着严格的行车要求和操作规范。在一次标准化乘务作业过程中，为确保行车安全，《乘务员操作规程》要求乘务员在确认某些状态或操作某些开关时，必须按先手比眼看、准确呼唤的操作规范，来确认操作的执行。
在列车驾驶仿真训练中，为确保机车乘务员是按照操纵规范进行操作的，目前各铁路公司常采用对仿真对驾驶室内录像和录音，在乘务员完成驾驶后人工调取并观看所录音像的方式对乘务员的规范操纵行为进行判断。这种判断方式耗时大、成本高，且由于驾驶过程中行车噪音、录音像设备安装位置等因素常导致评判人员误判。随着机车、动车、城轨车的快速更新换代，越来越多的新线开通，各铁路公司对机车乘务人员的需求日益增长，这对落后的乘务员规范操纵行为的判断方式提出了巨大挑战，在仿真驾驶训练中如何快速、高效、科学的评判出机车乘务人员的规范操纵行为，已然成为了当今轨道交通仿真培训领域的重要课题。
目前，现有的基于列车驾驶仿真系统机车乘务员规范操纵行为的评价系统绝大多数仅局限于乘务员语音的识别，没有动作及瞳孔的捕获以及没有结合训练内容的评判，评价系统的准确度和效率不高，无法满足乘务员规范操纵行为评判的需要。
发明内容
本发明所要解决的技术问题是现有的基于列车驾驶仿真系统机车乘务员规范操纵行为的评价系统绝大多数仅局限于乘务员语音的识别，没有动作及瞳孔的捕获以及没有结合训练内容的评判，评价系统的准确度和效率不高，无法满足乘务员规范操纵行为评判的需要。
本发明目的在于提供一种基于列车驾驶仿真系统乘务员的评价系统及方法，针对乘务员在列车驾驶仿真训练过程中，现有乘务员规范操作行为的评判技术的不足，而提供一种对乘务员规范操纵行为的计算机评判方法。该方法能够自动、快速、高效、准确的对乘务员的规范操纵行为进行评判，且不会因为仿真驾驶室光线不足、行车噪音等环境因素而产生误判。
本发明通过下述技术方案实现：
一种基于列车驾驶仿真系统乘务员的评价系统，该系统包括：
数据采集模块，获取采集设备实时采集的列车当前运行状态数据、列车运行环境数据和乘务员的行为数据；
行为识别模块，结合获取的所述列车当前运行状态数据、列车运行环境数据和乘务员的行为数据，采用乘务员规范操纵行为识别模型来识别列车驾驶过程中的乘务员操纵行为；
行为计算模块，对识别出的所述乘务员操纵行为进行乘务员规范操纵数据计算，计算出乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字；
乘务员行为评价模块，根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价：包括乘务员规范操纵行为遗漏的评价、乘务员规范操纵行为错误的评价、乘务员规范操纵行为中手势规范程度的评价，判断当前乘务员的行为(即语音、动作、瞳孔信号顺序)与标准预设值比较一致，得到评价结果；以及
显示装置，用于以可视化报表的形式展示出所述评价结果。
进一步地，所述乘务员的行为数据包括语音数据、动作数据、瞳孔信号数据，其中，利用拾音器采集乘务员的语音数据，利用深度摄像头采集乘务员的手势动作数据，利用眼动仪采集乘务员的瞳孔信号数据。
进一步地，所述拾音器安装于驾驶台正前方位置；
所述深度摄像头的数量为两个，其中一个深度摄像头安装于驾驶室外左上角或者右上角，另一个深度摄像头安装于驾驶室内左上角；
所述眼动仪的数量为四个，在驾驶台桌面左、中、右分别设有一个以及驾驶台正前方隐蔽处设有一个。
进一步地，所述乘务员规范操纵行为识别模型包括语音识别模型、动作识别模型和眼球追踪模型，所述语音识别模型，用于根据采集设备输出的音频，采用人音提取算法及语音识别算法，对乘务员的语音进行提取与识别并输出识别后对应的语音文字；
所述动作识别模型，用于根据采集设备捕获的动作及基础预设数据，采用动作识别算法，对乘务员的手势动作进行识别并输出识别后对应的动作文字及手指、手臂、手腕、大臂、小臂、关节的角度、手心方向/角度、手指指向坐标等；
所述眼球追踪模型，根据采集设备中采集的瞳孔信号数据及基础预设数据，采用眼球追踪算法对乘务员眼球进行追踪并输出眼球在驾驶台、前向及侧向场景中的坐标等。
进一步地，所述列车当前运行状态数据包括乘务员当前操纵记录数据、列车当前设备状态数据；
所述列车运行环境数据包括当前地面环境状态数据和前方可视范围的环境状态数据，所述前方可视范围的环境状态数据包括轨旁设备、轨旁标志、非正常景物数据等。
进一步地，该系统还包括基础数据库模块，所述基础数据库模块包括乘务员规范操纵行为定义数据库、乘务员规范操纵行为考评标准数据库、驾驶仿真系统硬件基础参数数据库；
所述乘务员规范操纵行为定义数据库，是根据铁路操作规程及各铁路公司的相关操纵行为规定，建立乘务员静态动作与动态动作的定义；该数据库中包括手指、手腕、大手臂、小手臂、关节角度、掌心角度以及对应的权重与驾驶台上需乘务员手指向的设备物体的定义；及根据铁路操作规程及各铁路公司的相关操纵行为规定，建立乘务员呼唤/应答及联控用语文字条目库；及根据列车驾驶仿真系统中的驾驶台整体及前向、侧向(若有)场景系统的硬件参数建立眼球追踪基础参数库，其中包括驾驶位置距前向场景距离以及前向、侧向(若有)场景分辨率及空间坐标位置、驾驶台人机交互屏分辨率、坐标位置等基础参数以及场景中需要乘务员手指向的轨旁设备、轨旁标识的定义。
进一步地，该评价系统用于指导轨道交通仿真培训及机车乘务员驾驶能力的提升。
进一步地，所述显示装置采用电子显示屏。
另一方面，本发明还提供了一种基于列车驾驶仿真系统乘务员行为评价方法，该方法应用于所述的一种基于列车驾驶仿真系统乘务员的评价系统，该方法包括：
获取采集设备实时采集的列车当前运行状态数据、列车运行环境数据和乘务员的行为数据；
结合获取的所述列车当前运行状态数据、列车运行环境数据和乘务员的行为数据，采用乘务员规范操纵行为识别模型来识别列车驾驶过程中的乘务员操纵行为；
对识别出的所述乘务员操纵行为进行乘务员规范操纵数据计算，计算出乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字；
根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价：包括乘务员规范操纵行为遗漏的评价、乘务员规范操纵行为错误的评价、乘务员规范操纵行为中手势规范程度的评价，判断当前乘务员的行为(即语音、动作、瞳孔信号顺序)与标准预设值比较一致，得到评价结果；以及
以可视化报表的形式展示出所述评价结果。
进一步地，所述根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价，判断当前乘务员的行为(即语音、动作、瞳孔信号顺序)与标准预设值比较一致，得到评价结果；包括：
d1、根据行为计算模块获取的列车驾驶仿真训练数据；
d2、根据步骤d1与基础数据库模块计算乘务员当前需完成的规范操纵行为的规定内容、乘务员规范操纵行为的结束评价条件；
d3、判断d2步骤中是否产生了数据，若未产生数据则转跳至步骤d1，否则继续步骤d4；
d4、根据行为计算模块获取一条乘务员当前规范操纵行为数据；
d5、判断d4步骤中是否产生了数据，若产生了数据则转跳至步骤d7，否则继续步骤d6；
d6、乘务员规范操纵行为遗漏的评价，具体为：若步骤d2产生的乘务员规范操纵行为的结束评价条件不成立则转跳至步骤d4，否则输出乘务员规范操纵行为遗漏的评价，并转跳至d11；
d7、当前获取的乘务员语音文字、手势动作与规定的内容比较若不一致则输出乘务员规范操纵行为错误的评价，否则继续步骤d8；
d8、当乘务员语音、动作、眼动顺序与规定标比较，若不一致则输出乘务员规范操纵行为错误的评价，否则继续步骤d9；
d9、乘务员手指物体和眼看物体是否一致，若不一致则输出乘务员规范操纵行为错误的评价，否则继续步骤d10；
d10、乘务员规范操纵行为中手势规范程度的评价，根据动作掌心角度、关节角度计算并输出动作规范程度；
d11、循环d1至g10直至驾驶仿真训练结束。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明可对机车乘务员在仿真驾驶室内的所有语音、动作手势进行实时采集监视同时还可以对乘务员的眼球目视物体进行实时追踪，并且可实时、准确、高效的对乘务员的规范操纵行为进行实时评价，以可视化报表的形式展示，以直观的方式给出乘务员规范操纵行为的评价结果。彻底解决了人工评判中的误判、漏判以及人为主观意识上的评判风险。降低了轨道交通乘务人员培养与鉴别的难度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一种基于列车驾驶仿真系统乘务员的评价系统结构示意图。
图2为本发明实施例中的系统结构示意图。
图3为本发明的评价流程图。
具体实施方式
在下文中，可在本发明的各种实施例中使用的术语“包括”或“可包括”指示所发明的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在本发明的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
在本发明的各种实施例中，表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如，表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。
在本发明的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件，不过可不限制相应组成元件。例如，以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如，第一用户装置和第二用户装置指示不同用户装置，尽管二者都是用户装置。例如，在不脱离本发明的各种实施例的范围的情况下，第一元件可被称为第二元件，同样地，第二元件也可被称为第一元件。
应注意到：如果描述将一个组成元件“连接”到另一组成元件，则可将第一组成元件直接连接到第二组成元件，并且可在第一组成元件和第二组成元件之间“连接”第三组成元件。相反地，当将一个组成元件“直接连接”到另一组成元件时，可理解为在第一组成元件和第二组成元件之间不存在第三组成元件。
在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本发明的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1至图3所示，本发明一种基于列车驾驶仿真系统乘务员的评价系统，该评价系统用于指导轨道交通仿真培训及机车乘务员驾驶能力的提升。如图1、图2所示，该系统包括：
数据采集模块，获取采集设备实时采集的列车当前运行状态数据、列车运行环境数据和乘务员的行为数据；
行为识别模块，结合获取的所述列车当前运行状态数据、列车运行环境数据和乘务员的行为数据，采用乘务员规范操纵行为识别模型来识别列车驾驶过程中的乘务员操纵行为；
行为计算模块，对识别出的所述乘务员操纵行为进行乘务员规范操纵数据计算，计算出乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字；
乘务员行为评价模块，根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价：包括乘务员规范操纵行为遗漏的评价、乘务员规范操纵行为错误的评价、乘务员规范操纵行为中手势规范程度的评价，判断当前乘务员的行为(即语音、动作、瞳孔信号顺序)与标准预设值比较一致，得到评价结果；以及
显示装置，用于以可视化报表的形式展示出所述评价结果。其中，所述显示装置采用电子显示屏。
具体地，所述乘务员的行为数据包括语音数据、动作数据、瞳孔信号数据，其中，利用拾音器采集乘务员的语音数据，利用深度摄像头采集乘务员的手势动作数据，利用Tobii眼动仪采集乘务员的瞳孔信号数据；本实施例实施时，深度摄像头采用Azure Kinect DK深度摄像头，眼动仪采用Tobii眼动仪。
具体地，所述拾音器安装于驾驶台正前方位置；本实施例实施时，所述深度摄像头的数量为两个，其中一个深度摄像头安装于驾驶室外左上角或者右上角，另一个深度摄像头安装于驾驶室内左上角；所述眼动仪的数量为四个，在驾驶台桌面左、中、右分别设有一个以及驾驶台正前方隐蔽处设有一个。
具体地，所述乘务员规范操纵行为识别模型包括语音识别模型、动作识别模型和眼球追踪模型，所述语音识别模型，用于根据采集设备输出的音频，采用人音提取算法及语音识别算法，对乘务员的语音进行提取与识别并输出识别后对应的语音文字；
所述动作识别模型，用于根据采集设备捕获的动作及基础预设数据，采用动作识别算法，对乘务员的手势动作进行识别并输出识别后对应的动作文字及手指、手臂、手腕、大臂、小臂、关节的角度、手心方向/角度、手指指向坐标等；
所述眼球追踪模型，根据采集设备中采集的瞳孔信号数据及步基础预设数据，采用眼球追踪算法对乘务员眼球进行追踪并输出眼球在驾驶台、前向及侧向场景中的坐标等。
具体地，所述列车当前运行状态数据包括乘务员当前操纵记录数据、列车当前设备状态数据；
所述列车运行环境数据包括当前地面环境状态数据和前方可视范围的环境状态数据，所述前方可视范围的环境状态数据包括轨旁设备、轨旁标志、非正常景物数据等。
具体地，该系统还包括基础数据库模块，所述基础数据库模块包括乘务员规范操纵行为定义数据库、乘务员规范操纵行为考评标准数据库、驾驶仿真系统硬件基础参数数据库；
所述乘务员规范操纵行为定义数据库，是根据铁路操作规程及各铁路公司的相关操纵行为规定，建立乘务员静态动作与动态动作的定义；该数据库中包括手指、手腕、大手臂、小手臂、关节角度、掌心角度以及对应的权重与驾驶台上需乘务员手指向的设备物体的定义；及根据铁路操作规程及各铁路公司的相关操纵行为规定，建立乘务员呼唤/应答及联控用语文字条目库；及根据列车驾驶仿真系统中的驾驶台整体及前向、侧向(若有)场景系统的硬件参数建立眼球追踪基础参数库，其中包括驾驶位置距前向场景距离以及前向、侧向(若有)场景分辨率及空间坐标位置、驾驶台人机交互屏分辨率、坐标位置等基础参数以及场景中需要乘务员手指向的轨旁设备、轨旁标识的定义。
实施时：通过基础数据库模块对乘务员规范操纵行为(含动作/手势、语音、眼动)进行定义、对乘务员规范操纵行为考评标准以及驾驶仿真系统硬件基础参数数据进行预置，用于后续的标准预设值使用；本发明首先通过数据采集模块获取采集设备实时采集的列车当前运行状态数据、列车运行环境数据和乘务员的行为数据；其次，行为识别模块结合获取的所述列车当前运行状态数据、列车运行环境数据和乘务员的行为数据，采用乘务员规范操纵行为识别模型来识别列车驾驶过程中的乘务员操纵行为；再者，行为计算模块对识别出的所述乘务员操纵行为进行乘务员规范操纵数据计算，计算出乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字；然后，乘务员行为评价模块根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价：包括乘务员规范操纵行为遗漏的评价、乘务员规范操纵行为错误的评价、乘务员规范操纵行为中手势规范程度的评价，判断当前乘务员的行为(即语音、动作、瞳孔信号顺序)与标准预设值比较一致，得到评价结果；最后，通过显示装置以可视化报表的形式展示出所述评价结果。
因此，本发明一种基于列车驾驶仿真系统乘务员的评价系统，可对机车乘务员在仿真驾驶室内的所有语音、动作手势进行实时采集监视同时还可以对乘务员的眼球目视物体进行实时追踪，并且可实时、准确、高效的对乘务员的规范操纵行为进行实时评价，以可视化报表的形式展示，以直观的方式给出乘务员规范操纵行为的评价结果。彻底解决了人工评判中的误判、漏判以及人为主观意识上的评判风险。降低了轨道交通乘务人员培养与鉴别的难度。
实施例2
如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种基于列车驾驶仿真系统乘务员行为评价方法，该方法应用于实施例1所述的一种基于列车驾驶仿真系统乘务员的评价系统，该方法包括：
数据采集模块的步骤：获取采集设备实时采集的列车当前运行状态数据、列车运行环境数据和乘务员的行为数据；
行为识别模块的步骤：结合获取的所述列车当前运行状态数据、列车运行环境数据和乘务员的行为数据，采用乘务员规范操纵行为识别模型来识别列车驾驶过程中的乘务员操纵行为；
行为计算模块的步骤：对识别出的所述乘务员操纵行为进行乘务员规范操纵数据计算，计算出乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字；
乘务员行为评价模块的步骤：根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价：包括乘务员规范操纵行为遗漏的评价、乘务员规范操纵行为错误的评价、乘务员规范操纵行为中手势规范程度的评价，判断当前乘务员的行为(即语音、动作、瞳孔信号顺序)与标准预设值比较一致，得到评价结果；以及
显示装置的步骤：以可视化报表的形式展示出所述评价结果。
如图3所示，所述根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价，判断当前乘务员的行为(即语音、动作、瞳孔信号顺序)与标准预设值比较一致，得到评价结果；包括：
d1、根据行为计算模块获取的列车驾驶仿真训练数据；
d2、根据步骤d1与基础数据库模块计算乘务员当前需完成的规范操纵行为的规定内容、乘务员规范操纵行为的结束评价条件；
d3、判断d2步骤中是否产生了数据，若未产生数据则转跳至步骤d1，否则继续步骤d4；
d4、根据行为计算模块获取一条乘务员当前规范操纵行为数据；
d5、判断d4步骤中是否产生了数据，若产生了数据则转跳至步骤d7，否则继续步骤d6；
d6、乘务员规范操纵行为遗漏的评价，具体为：若步骤d2产生的乘务员规范操纵行为的结束评价条件不成立则转跳至步骤d4，否则输出乘务员规范操纵行为遗漏的评价，并转跳至d11；
d7、当前获取的乘务员语音文字、手势动作与规定的内容比较若不一致则输出乘务员规范操纵行为错误的评价，否则继续步骤d8；
d8、当乘务员语音、动作、眼动顺序与规定标比较，若不一致则输出乘务员规范操纵行为错误的评价，否则继续步骤d9；
d9、乘务员手指物体和眼看物体是否一致，若不一致则输出乘务员规范操纵行为错误的评价，否则继续步骤d10；
d10、乘务员规范操纵行为中手势规范程度的评价，根据动作掌心角度、关节角度计算并输出动作规范程度；
d11、循环d1至g10直至驾驶仿真训练结束。
其中，各个模块的执行过程按照实施例1中的方法步骤执行。在此不再一一赘述。
本发明方法先根据乘务员规范操纵行为标准、标准化作业流程标准、规范操纵行为评价标准以及仿真驾驶系统硬件参数建立基础数据库，结合语音采集设备及动作/手势及眼动捕获设备，对乘务员在驾驶仿真训练过程中的所有语音、动作、瞳孔数据进行采集，通过语音识别算法及图像识别算法以及乘务员规范操纵行为标准，计算出乘务员的动作/手势信息、语音信息、眼动跟踪信息等乘务员规范操纵行为数据。再结合这些信息将乘务员的规范操纵行为数据结合驾驶仿真训练数据、以及仿真驾驶系统硬件参数数据计算出乘务员手指向的物体、眼看的物体并输出实时采集的驾驶仿真训练数据、计算后的规范操纵行为数据。最后根据这些数据结合规范操纵行为评价标准、标准化作业流程标准评价出乘务员规范操纵行为的，正确、错误、遗漏以及规范程度。并将乘务员规范操纵行为进行以图形化的形式展示。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于列车驾驶仿真系统乘务员的评价系统，其特征在于，该系统包括：
数据采集模块，获取采集设备实时采集的列车当前运行状态数据、列车运行环境数据和乘务员的行为数据；
行为识别模块，结合获取的所述列车当前运行状态数据、列车运行环境数据和乘务员的行为数据，采用乘务员规范操纵行为识别模型来识别列车驾驶过程中的乘务员操纵行为；
行为计算模块，对识别出的所述乘务员操纵行为进行乘务员规范操纵数据计算，计算出乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字；
乘务员行为评价模块，根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价：包括乘务员规范操纵行为遗漏的评价、乘务员规范操纵行为错误的评价、乘务员规范操纵行为中手势规范程度的评价，判断当前乘务员的行为与标准预设值比较一致，得到评价结果；以及
显示装置，用于以可视化报表的形式展示出所述评价结果；
所述乘务员规范操纵行为识别模型包括语音识别模型、动作识别模型和眼球追踪模型，所述语音识别模型，用于根据采集设备输出的音频，采用人音提取算法及语音识别算法，对乘务员的语音进行提取与识别并输出识别后对应的语音文字；
所述动作识别模型，用于根据采集设备捕获的动作及基础预设数据，采用动作识别算法，对乘务员的手势动作进行识别并输出识别后对应的动作文字及手指、手臂、手腕、大臂、小臂、关节的角度、手心方向/角度、手指指向坐标；
所述眼球追踪模型，根据采集设备中采集的瞳孔信号数据及基础预设数据，采用眼球追踪算法对乘务员眼球进行追踪并输出眼球在驾驶台、前向及侧向场景中的坐标；
所述列车当前运行状态数据包括乘务员当前操纵记录数据、列车当前设备状态数据；
所述列车运行环境数据包括当前地面环境状态数据和前方可视范围的环境状态数据，所述前方可视范围的环境状态数据包括轨旁设备、轨旁标志、非正常景物数据；
该系统还包括基础数据库模块，所述基础数据库模块包括乘务员规范操纵行为定义数据库、乘务员规范操纵行为考评标准数据库、驾驶仿真系统硬件基础参数数据库；
所述乘务员规范操纵行为定义数据库，是根据铁路操作规程及各铁路公司的相关操纵行为规定，建立乘务员静态动作与动态动作的定义；该数据库中包括手指、手腕、大手臂、小手臂、关节角度、掌心角度以及对应的权重与驾驶台上需乘务员手指向的设备物体的定义；及根据铁路操作规程及各铁路公司的相关操纵行为规定，建立乘务员呼唤/应答及联控用语文字条目库；及根据列车驾驶仿真系统中的驾驶台整体及前向、侧向场景系统的硬件参数建立眼球追踪基础参数库，其中包括驾驶位置距前向场景距离以及前向、侧向场景分辨率及空间坐标位置、驾驶台人机交互屏分辨率、坐标位置基础参数以及场景中需要乘务员手指向的轨旁设备、轨旁标识的定义。
2.根据权利要求1所述的一种基于列车驾驶仿真系统乘务员的评价系统，其特征在于，所述乘务员的行为数据包括语音数据、动作数据、瞳孔信号数据，其中，利用拾音器采集乘务员的语音数据，利用深度摄像头采集乘务员的手势动作数据，利用眼动仪采集乘务员的瞳孔信号数据。
3.根据权利要求2所述的一种基于列车驾驶仿真系统乘务员的评价系统，其特征在于，所述拾音器安装于驾驶台正前方位置；
所述深度摄像头的数量为两个，其中一个深度摄像头安装于驾驶室外左上角或者右上角，另一个深度摄像头安装于驾驶室内左上角；
所述眼动仪的数量为四个，在驾驶台桌面左、中、右分别设有一个以及驾驶台正前方隐蔽处设有一个。
4.根据权利要求1所述的一种基于列车驾驶仿真系统乘务员的评价系统，其特征在于，该评价系统用于指导轨道交通仿真培训及机车乘务员驾驶能力的提升。
5.根据权利要求1所述的一种基于列车驾驶仿真系统乘务员的评价系统，其特征在于，所述显示装置采用电子显示屏。
6.一种基于列车驾驶仿真系统乘务员行为评价方法，其特征在于，该方法应用于如权利要求1至5中任意一项所述的一种基于列车驾驶仿真系统乘务员的评价系统，该方法包括：
获取采集设备实时采集的列车当前运行状态数据、列车运行环境数据和乘务员的行为数据；
结合获取的所述列车当前运行状态数据、列车运行环境数据和乘务员的行为数据，采用乘务员规范操纵行为识别模型来识别列车驾驶过程中的乘务员操纵行为；
对识别出的所述乘务员操纵行为进行乘务员规范操纵数据计算，计算出乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字；
根据识别出的所述乘务员操纵行为和计算出的乘务员手指向的设备或物体、眼看见的设备或物体、口呼语音文字，对乘务员规范操纵行为进行评价：包括乘务员规范操纵行为遗漏的评价、乘务员规范操纵行为错误的评价、乘务员规范操纵行为中手势规范程度的评价，判断当前乘务员的行为与标准预设值比较一致，得到评价结果；以及以可视化报表的形式展示出所述评价结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011619437.5A CN112598953B (zh) | 2020-12-30 | 2020-12-30 | 一种基于列车驾驶仿真系统乘务员的评价系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011619437.5A CN112598953B (zh) | 2020-12-30 | 2020-12-30 | 一种基于列车驾驶仿真系统乘务员的评价系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112598953A CN112598953A (zh) | 2021-04-02 |
| CN112598953B true CN112598953B (zh) | 2022-11-29 |
Family
ID=75206399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011619437.5A Active CN112598953B (zh) | 2020-12-30 | 2020-12-30 | 一种基于列车驾驶仿真系统乘务员的评价系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598953B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114582090A (zh) * | 2022-02-27 | 2022-06-03 | 武汉铁路职业技术学院 | 一种轨道车辆驾驶监测预警系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109189019A (zh) * | 2018-09-07 | 2019-01-11 | 辽宁奇辉电子系统工程有限公司 | 一种机车乘务员值乘标准化监控系统 |
| CN111147821A (zh) * | 2020-01-02 | 2020-05-12 | 朔黄铁路发展有限责任公司 | 机车车载视频智能监控方法及其装置 |
| CN111223350A (zh) * | 2019-12-10 | 2020-06-02 | 郑州爱普锐科技有限公司 | 一种基于五色图仿真培训的实训方法 |
| CN111460950A (zh) * | 2020-03-25 | 2020-07-28 | 西安工业大学 | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 |
| CN112102681A (zh) * | 2020-11-09 | 2020-12-18 | 成都运达科技股份有限公司 | 基于自适应策略的标准动车组驾驶仿真实训系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201821456U (zh) * | 2010-09-29 | 2011-05-04 | 济南铁成奇石电子有限公司 | 铁路行车机车电子添乘系统 |
| JP5984605B2 (ja) * | 2012-09-28 | 2016-09-06 | 三菱プレシジョン株式会社 | 鉄道シミュレータ及び鉄道の運転をシミュレートする方法 |
| CN104363429B (zh) * | 2014-11-28 | 2018-03-23 | 哈尔滨威克技术开发公司 | 一种机车运行监视系统 |
| CN107126224B (zh) * | 2017-06-20 | 2018-02-06 | 中南大学 | 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统 |
| CN109545027B (zh) * | 2018-12-24 | 2021-06-01 | 郑州畅想高科股份有限公司 | 一种实训台、乘务员仿真实训方法及装置 |
| CN111931579B (zh) * | 2020-07-09 | 2023-10-31 | 上海交通大学 | 利用眼动追踪和手势识别技术的自动驾驶辅助系统及方法 |
-
2020
- 2020-12-30 CN CN202011619437.5A patent/CN112598953B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109189019A (zh) * | 2018-09-07 | 2019-01-11 | 辽宁奇辉电子系统工程有限公司 | 一种机车乘务员值乘标准化监控系统 |
| CN111223350A (zh) * | 2019-12-10 | 2020-06-02 | 郑州爱普锐科技有限公司 | 一种基于五色图仿真培训的实训方法 |
| CN111147821A (zh) * | 2020-01-02 | 2020-05-12 | 朔黄铁路发展有限责任公司 | 机车车载视频智能监控方法及其装置 |
| CN111460950A (zh) * | 2020-03-25 | 2020-07-28 | 西安工业大学 | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 |
| CN112102681A (zh) * | 2020-11-09 | 2020-12-18 | 成都运达科技股份有限公司 | 基于自适应策略的标准动车组驾驶仿真实训系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 列车驾驶仿真器评价系统设计;冯永岗等;《铁路计算机应用》;20130825;第22卷(第08期);第38-42页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112598953A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108694874B (zh) | 用于沉浸式模拟器的系统和方法 | |
| JP5984605B2 (ja) | 鉄道シミュレータ及び鉄道の運転をシミュレートする方法 | |
| CN111104820A (zh) | 一种基于深度学习的手势识别方法 | |
| CN104103100A (zh) | 驾驶行为分析系统 | |
| CN110532925B (zh) | 基于时空图卷积网络的驾驶员疲劳检测方法 | |
| US20210224752A1 (en) | Work support system and work support method | |
| JPWO2019087870A1 (ja) | 作業支援装置、作業支援方法及びプログラム | |
| JP6319951B2 (ja) | 鉄道シミュレータ、指差動作検出方法および鉄道シミュレーション方法 | |
| CN110928620B (zh) | 汽车hmi设计引起驾驶注意力分散评价方法及系统 | |
| CN110087143A (zh) | 视频处理方法和装置、电子设备及计算机可读存储介质 | |
| CN112598953B (zh) | 一种基于列车驾驶仿真系统乘务员的评价系统及方法 | |
| CN113380088A (zh) | 一种交互式模拟培训保障系统 | |
| DE102019122937A1 (de) | Verfahren und vorrichtungen zum hinzufügen von vernünftigem denken zu künstlicher intelligenz im kontext von mensch-maschine-schnittstellen | |
| CN112949457A (zh) | 基于增强现实技术的维修方法、装置及系统 | |
| CN106022249A (zh) | 动态对象识别方法、装置及系统 | |
| US11009963B2 (en) | Sign language inputs to a vehicle user interface | |
| JP7191560B2 (ja) | コンテンツ作成システム | |
| CN112926364B (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
| CN109830238B (zh) | 塔台管制员工作状态的检测方法、装置及系统 | |
| CN112699754A (zh) | 信号灯识别方法、装置、设备以及存储介质 | |
| CN111951161A (zh) | 目标识别方法及系统、巡检机器人 | |
| CN116225921A (zh) | 对检测算法的可视化调试方法及装置 | |
| CN112346642B (zh) | 列车信息展示方法、装置、电子设备及系统 | |
| CN110751810A (zh) | 一种疲劳驾驶检测方法和装置 | |
| CN215376633U (zh) | 一种高速动车组司机模拟实训系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |