CN109545027B - 一种实训台、乘务员仿真实训方法及装置 - Google Patents
一种实训台、乘务员仿真实训方法及装置 Download PDFInfo
- Publication number
- CN109545027B CN109545027B CN201811585189.XA CN201811585189A CN109545027B CN 109545027 B CN109545027 B CN 109545027B CN 201811585189 A CN201811585189 A CN 201811585189A CN 109545027 B CN109545027 B CN 109545027B
- Authority
- CN
- China
- Prior art keywords
- eye
- call response
- training
- response sound
- crew
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种实训台、乘务员仿真实训方法及装置，其中仿真实训方法包括：(1)获取乘务员实训动作，包括实训行车操作、做出眼看手比姿态以及发出呼唤应答声音；(2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；(3)将得到的特征数据与标准模板库进行比对，确定乘务员是否操作正确。本方法通过对实训行车操作、做出眼看手比姿态以及发出呼唤应答声音与标准模板库进行比对，实现了乘务员操作实训的全面判断，由于对比对象为标准模板库，因此，整个实训过程更加智能化，无需过多的人力资源，大大提高了培训效率。
Description
技术领域
本发明涉及一种实训台、乘务员仿真实训方法及装置。
背景技术
随着铁路跨越式的发展，列车速度的不断提高，对乘务员的操作技能也提出了较高的要求，乘务员在出勤前必须进行专门的操作实训演练和系统的理论考试。一些公司也提出了通过设计ATP实训台来完成，但是在实训中，通常的实训内容仅仅能够对实训台上的一些手柄或者按钮进行操动动作来判断，并人工判断这些操作动作是否标准。这种实训方式并不能很全面地对乘务员的操作实训进行判断和考核，如乘务员的眼看手比、呼叫应答等动作。
发明内容
本发明的目的在于提供一种实训台、乘务员仿真实训方法及装置，用于解决现有的实训方式并不能很全面地对乘务员的操作实训进行判断的问题。
为实现上述目的，本发明提出一种乘务员仿真实训方法，包括以下步骤：
(1)获取乘务员实训动作，包括实训行车操作、做出眼看手比姿态以及发出呼唤应答声音；
(2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
(3)将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
在机车真实运行过程中，做出眼看手比姿态以及发出呼唤应答是不可或缺的操作，对机车正常安全运行起到很重要的作用，那么，在乘务员仿真实训过程中，除了常规的实训行车操作之外，还需要对眼看手比姿态以及呼唤应答进行实训。因此，在实训过程中，首先采集获取乘务员的实际实训行车操作、实际做出的眼看手比姿态以及实际发出的呼唤应答声音,其次将这些实训动作进行处理，得到相应的特征数据，然后将得到的特征数据与标准模板库进行比对，实现了乘务员实训行车操作、做出眼看手比姿态以及发出呼唤应答声音这三个方面操作实训的全面判断，而且，由于比对对象为标准模板库，因此，整个实训过程更加智能化，无需过多的人力资源，大大提高了培训效率。
进一步的，步骤(1)中，根据实训行车正确操作时间获取相应的实训行车操作，根据眼看手比姿态正确做出时间获取做出的眼看手比姿态，根据呼唤应答声音正确发出时间获取发出的呼唤应答声音。
正确时间在这里表示应该做出相应实训动作的时间，根据正确的时间获取相关的实训动作，可以看出乘务员是否在正确时间做出正确的实训动作，以便于提高乘务员的能力，进一步实现全面培训的目的，提高培训效率。
进一步的，标准模版库中的眼看手比模型的建立过程为：对机车历史监控视频进行分帧处理，挑选出其中包含眼看手比姿态的图像，并对包含眼看手比姿态的图像进行预处理，得到对应的特征数据，然后对这些图像中的眼看手比姿态的特征数据进行训练，得到能够评判眼看手比姿态的眼看手比模型；标准模版库中的呼唤应答声音模型的建立过程为：对乘务员历史录音文件进行处理，截取出含有呼唤应答声音的声音片段，从中提取出呼唤应答声音的特征数据，对得到的呼唤应答声音的特征数据通过神经网络进行训练，得到能够评判呼唤应答声音的呼唤应答声音模型。
通过对历史数据进行剖析，之后建立各模型，使得各模型更加接近实际运行情况，大大提高了实训的准确度。
进一步的，标准模版库还包括与行车操作模型对应的实训行车正确操作时间、眼看手比姿态正确做出时间以及呼唤应答声音正确发出时间，步骤(1)中，还获取实训行车操作的实际操作时间、眼看手比姿态的实际做出时间以及呼唤应答声音的实际发出时间，步骤(3)中，还将获取到的实训行车操作的实际操作时间与标准模版库中的实训行车正确操作时间进行比对，将获取到的眼看手比姿态的实际做出时间与标准模版库中的眼看手比姿态正确做出时间进行比对，将获取到的呼唤应答声音的实际发出时间与标准模版库中的呼唤应答声音正确发出时间进行比对。
为了检测各实训动作的实际发生时间是否是应当发生的正确时间，还记录各实训动作的实际发生时间，并且将各实训动作的实际发生时间与模版库中记载的正确发生时间进行比对，当实训动作和实训动作的实际发生时间其中一个与标准模板库中的不相同时，即表示该实训动作错误。不仅判断实训动作是否正确，还判断实训动作的实际发生时间是否准确，进一步的提高乘务员的能力，实现了仿真实训的目的，提高实训效率。
另外，还提出一种乘务员仿真实训装置，包括存储器与处理器，处理器用于执行存储在存储器中的指令以实现如下方法：
(1)获取乘务员实训动作，包括实训行车操作、做出眼看手比姿态以及发出呼唤应答声音；
(2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
(3)将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
在机车真实运行过程中，做出眼看手比姿态以及发出呼唤应答是不可或缺的操作，对机车正常安全运行起到很重要的作用，那么，在乘务员仿真实训过程中，除了常规的实训行车操作之外，还需要对眼看手比姿态以及呼唤应答进行实训。因此，在实训过程中，首先采集获取乘务员的实际实训行车操作、实际做出的眼看手比姿态以及实际发出的呼唤应答声音,其次将这些实训动作进行处理，得到相应的特征数据，然后将得到的特征数据与标准模板库进行比对，实现了乘务员实训行车操作、做出眼看手比姿态以及发出呼唤应答声音这三个方面操作实训的全面判断，而且，由于比对对象为标准模板库，因此，整个实训过程更加智能化，无需过多的人力资源，大大提高了培训效率。
进一步的，步骤(1)中，根据实训行车正确操作时间获取相应的实训行车操作，根据眼看手比姿态正确做出时间获取做出的眼看手比姿态，根据呼唤应答声音正确发出时间获取发出的呼唤应答声音。
正确时间在这里表示应该做出相应实训动作的时间，根据正确的时间获取相关的实训动作，可以看出乘务员是否在正确时间做出正确的实训动作，以便于提高乘务员的能力，进一步实现全面培训的目的，提高培训效率。
进一步的，标准模版库中的眼看手比模型的建立过程为：对机车历史监控视频进行分帧处理，挑选出其中包含眼看手比姿态的图像，并对包含眼看手比姿态的图像进行预处理，得到对应的特征数据，然后对这些图像中的眼看手比姿态的特征数据进行训练，得到能够评判眼看手比姿态的眼看手比模型；标准模版库中的呼唤应答声音模型的建立过程为：对乘务员历史录音文件进行处理，截取出含有呼唤应答声音的声音片段，从中提取出呼唤应答声音的特征数据，对得到的呼唤应答声音的特征数据通过神经网络进行训练，得到能够评判呼唤应答声音的呼唤应答声音模型。
通过对历史数据进行剖析，之后建立各模型，使得各模型更加接近实际运行情况，大大提高了实训的准确度。
进一步的，标准模版库还包括与行车操作模型对应的实训行车正确操作时间、眼看手比姿态正确做出时间以及呼唤应答声音正确发出时间，步骤(1)中，还获取实训行车操作的实际操作时间、眼看手比姿态的实际做出时间以及呼唤应答声音的实际发出时间，步骤(3)中，还将获取到的实训行车操作的实际操作时间与标准模版库中的实训行车正确操作时间进行比对，将获取到的眼看手比姿态的实际做出时间与标准模版库中的眼看手比姿态正确做出时间进行比对，将获取到的呼唤应答声音的实际发出时间与标准模版库中的呼唤应答声音正确发出时间进行比对。
为了检测各实训动作的实际发生时间是否是应当发生的正确时间，还记录各实训动作的实际发生时间，并且将各实训动作的实际发生时间与模版库中记载的正确发生时间进行比对，当实训动作和实训动作的实际发生时间其中一个与标准模板库中的不相同时，即表示该实训动作错误。不仅判断实训动作是否正确，还判断实训动作的实际发生时间是否准确，进一步的提高乘务员的能力，实现了仿真实训的目的，提高实训效率。
另外，还提出一种实训台，包括实训台本体以及乘务员仿真实训装置，乘务员仿真实训装置包括存储器与处理器，处理器用于执行存储在存储器中的指令以实现如下方法：
(1)获取乘务员实训动作，包括实训行车操作、做出眼看手比姿态以及发出呼唤应答声音；
(2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
(3)将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
在机车真实运行过程中，做出眼看手比姿态以及发出呼唤应答是不可或缺的操作，对机车正常安全运行起到很重要的作用，那么，在乘务员仿真实训过程中，除了常规的实训行车操作之外，还需要对眼看手比姿态以及呼唤应答进行实训。因此，在实训过程中，首先采集获取乘务员的实际实训行车操作、实际做出的眼看手比姿态以及实际发出的呼唤应答声音,其次将这些实训动作进行处理，得到相应的特征数据，然后将得到的特征数据与标准模板库进行比对，实现了乘务员实训行车操作、做出眼看手比姿态以及发出呼唤应答声音这三个方面操作实训的全面判断，而且，由于比对对象为标准模板库，因此，整个实训过程更加智能化，无需过多的人力资源，大大提高了培训效率。
进一步的，步骤(1)中，根据实训行车正确操作时间获取相应的实训行车操作，根据眼看手比姿态正确做出时间获取做出的眼看手比姿态，根据呼唤应答声音正确发出时间获取发出的呼唤应答声音。
正确时间在这里表示应该做出相应实训动作的时间，根据正确的时间获取相关的实训动作，可以看出乘务员是否在正确时间做出正确的实训动作，以便于提高乘务员的能力，进一步实现全面培训的目的，提高培训效率。
附图说明
图1是本发明整体工作流程图；
图2是本发明做出的眼看手比姿态比对流程图；
图3是本发明眼看手比模型建立流程图。
具体实施方式
乘务员仿真实训方法实施例1：
本实施例提出一种乘务员仿真实训方法，如图1所示包括以下步骤：
1)获取乘务员实训动作，包括实训行车操作、做出眼看手比姿态以及发出呼唤应答声音。
本实施例中，为了进一步提高乘务员的能力，根据实训行车正确操作时间获取相应的实训行车操作，根据眼看手比姿态正确做出时间获取做出的眼看手比姿态，根据呼唤应答声音正确发出时间获取发出的呼唤应答声音。
这里所说的实训行车正确操作时间为机车在实际运行过程中乘务员根据行车操作流程在某个时刻或者某个时间段内应该做出实训行车操作的时间，眼看手比姿态正确做出时间为机车在实际运行过程中乘务员在某个时刻或者某个时间段内应该做出眼看手比姿态的时间，呼唤应答声音正确发出时间为机车在实际运行过程中乘务员在某个时刻或者某个时间段内应该发出呼唤应答声音的时间。
由于在机车实际运行过程中乘务员需要在某个时间点做出实训动作或者需要在某个时间段做出实训动作，因此这里我们定义的正确时间可以是某个时刻也可以是某个时间段。
实训行车正确操作时间(也可以称为实训行车操作时机)主要是根据乘务员行车操作流程的步骤来确定。比如：行车操作流程中的开车前进行简略试验、LKJ监控装置参数的设定、IC卡临时数据载入和确认，途中作业时过分相操作，按照规定升降弓的操作等。
眼看手比姿态正确做出时间(也可以称为做出眼看手比姿态的时机)是根据机车的运行记录数据来进行确定，乘务员需要在该时刻进行相应的操作记录下每个需要判断的时机。比如：做出眼看手比姿态的时机是机车通过显示黄、绿信号灯或者正向径路准备停车时等。
呼唤应答声音正确发出时间(也可以称为发出呼唤应答声音的时机)也是根据机车的运行记录数据来进行确定，乘务员需要在该时刻进行相应的操作记录下每个需要判断的时机。比如：发出呼唤应答声音的时机则是在进站信号、线路所通过的信号不少于800m时；通过、接近、预告信号机不少于600米时；信号表示器不少于100m时等。
根据实训行车正确操作时间获取相应的实训行车操作为在实训行车操作的正确时间到来时，或者在实训行车操作的正确时间内获取相关数据；根据眼看手比姿态正确做出时间获取做出的眼看手比姿态为在做出的眼看手比姿态的正确时间到来时，或者在做出的眼看手比姿态的正确时间内获取相关数据；根据呼唤应答声音正确发出时间获取发出的呼唤应答声音为在发出的呼唤应答声音的正确时间到来时，或者在发出的呼唤应答声音的正确时间内获取相关数据。
对于上述三个正确时间的确定，也可以根据乘务员在实际工作过程中获取的工作经验进行设置。
2)对获取到的实训行车正确操作时间的实训行车操作、眼看手比姿态正确做出时间做出的眼看手比姿态以及呼唤应答声音正确发出时间发出的呼唤应答声音进行处理，得到对应的特征数据。
获取实训行车正确操作时间的操作信息，进行处理得到对应的特征数据；
如图2所示，获取眼看手比姿态正确做出时间的视频信息，对视频进行分帧处理，挑选出其中包含眼看手比姿态的图像(利用人工处理的方法找到和标注出包含有乘务员手比姿态的图像)，将图像输入到vgg网络，然后通过一个卷积核在图像上平滑，平滑后所得的图像即为提取手势图像的特征，包括颜色、手势的形状等特征，即得到对应的特征数据；
获取呼唤应答声音正确发出时间的录音信息，截取出含有呼唤应答声音的声音片段，通过MFCC提取出呼唤应答声音的特征数据，具体为：首先对获取的声音通过高斯滤波去除其中噪声；然后对声音进行预加重处理，提升高频部分同时消除发声过程中声带和嘴唇的效应；再对声音进行分帧和加窗处理；通过快速傅里叶变换将在时域上很难看出的信号特征，转换成在频域上的能量分布，不同的能量分布就代表不同语音的特性；利用滤波器组对频谱进行平滑，消除谐波的作用；计算每个滤波器组输出的对数能量并经过离散余弦变换得到MFCC系数；最后利用静态特征的差分频谱来描述语音参数的静态特征，即得到的呼唤应答声音的特征数据。
3)将上述实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将上述做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将上述发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
首先，该标准库模板库包括行车操作模型、眼看手比模型以及呼唤应答声音模型。
其次，这里的标准模版库是提前建立好的，可以直接由标准的动作建立该标准模板库，也可以通过《铁路机车操作规则》、《铁路技术管理规程》、《铁路安全管理条例》、《机车乘务员一次乘务作业标准》、机车的历史监控视频以及历史呼唤应答录音文件建立，进一步的，为了更好的评判乘务员实训动作的规范性，该标准库模板库还包括乘务员操作评分准则，乘务员操作评分准则是根据《机车乘务员一次乘务作业标准》编写的。对于这两种建立标准模版库的方法本实施例中采用第二种，并且具体建立过程如下：
行车操作为乘务员进行常规仿真实训的基础，行车操作模型包括各个正确、规范的行车操作对应的特征数据，是根据《机车乘务员一次乘务作业标准》建立的数据库。
如图2所示，眼看手比模型的建立过程为：对机车历史监控视频进行分帧处理，挑选出其中包含眼看手比姿态的图像(利用人工处理的方法找到和标注出包含有乘务员手比姿态的图像)，将图像输入darknet神经网络中，首先通过卷积层提取图像的特征，然后通过经过softmax分类前向学习得到预测bounding box结果并和标注的ground truth进行对比得到loss值，然后通过随机梯度下降算法SGD不断更新卷积核参数(即网络权重的反向传播)，通过这样不断地迭代最终使loss值降到设定的大小，最终的卷积核参数就是我们得到的能够评判眼看手比姿态的眼看手比模型。
呼唤应答声音模型的建立过程为：首先使用端点检测的方法分割出含有呼唤应答的语音段，由于在频域空间中，乘务员说话声与环境其他噪声在频域数值上有着较大不同，故使用双阈值分割法分割出有话段，之后再进行内容的识别；然后使用MFCC提取特征并作为基础特征，然后将基础特征送入深度卷积神经网络对基础特征做进一步提升，得到高级特征；最后利用softmax函数对得到的高级特征进行分类，并使用ctcloss损失函数进行训练，然后用随机梯度下降法对ctcloss损失函数进行优化，当损失函数值最小时，便可以得到一个最优的模型，该模型即为需要的呼唤应答声音模型。
本步骤中，进行比对的过程是在数据服务器中进行的，将得到的特征数据传输到数据服务器中，数据服务器将得到的特征数据与标准模板库进行对比分析，对比分析的过程为：
将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作，并且，如果没有进行相关操作，自动扣分；
将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态，如果检测到含有该手势并且该手势正确，说明乘务员进行了手势操作，如果没有检测到该手势或者该手势错误，则自动扣分；
将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音，如果检测到含有该声音并且该声音正确，说明乘务员进行了呼唤应答，如果没有检测到该声音或者该声音错误，则自动扣分。
综上，通过对三者的实时综合分析评判，可以对乘务员的整体操作技能进行考核和评价。
乘务员仿真实训方法实施例2：
本实施例提出一种乘务员仿真实训方法，包括以下步骤：
1)获取乘务员实训动作以及乘务员实训动作的实际发生时间，包括实训行车操作以及该实训行车操作的实际操作时间、做出眼看手比姿态以及该眼看手比姿态的实际做出时间和发出呼唤应答声音以及该呼唤应答声音的实际发出时间。
这里所说的时间既可以是某个实训动作所发生的时间点，当然，如果某个实训动作是连续的动作或者某个实训动作需要保持一段时间，所说的时间也可以一个时间段。
2)对获取到的实训行车操作、做出眼看手比姿态以及发出呼唤应答声音进行处理，得到相应的特征数据。
本步骤中的具体实施过程与乘务员仿真实训方法实施例1中对应步骤的具体实施过程相同，这里不做赘述。
3)将上述实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定是否是正确的操作，并且，将获取到的实训行车操作的实际操作时间与标准模版库中的实训行车正确操作时间进行比对，确定实训行车操作的实际操作时间是否准确，确定乘务员的实训行车操作是否进行准确。将得到的实训行车操作的特征数据以及实训行车操作的实际操作时间传输到数据服务器中，数据服务器进行对比分析，若实训行车操作或者实训行车操作的实际操作时间其中一个与行车操作模型中不同，则乘务员没有进行准确的实训行车操作，自动扣分。
将上述做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定是否是正确眼看手比姿态，并且，将获取到的眼看手比姿态的实际做出时间与标准模版库中的眼看手比姿态正确做出时间进行比对，确定眼看手比姿态的实际做出时间是否准确，确定乘务员做出眼看手比姿态是否准确。将得到做出的眼看手比姿态的特征数据以及眼看手比姿态的实际做出时间传输到数据服务器中，数据服务器进行对比分析，若做出的眼看手比姿态或者眼看手比姿态的实际做出时间其中一个与眼看手比模型中不同，则乘务员没有准确的做出的眼看手比姿态，自动扣分。
将上述发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否是正确呼唤应答声音，并且，将获取到的呼唤应答声音的实际发出时间与标准模版库中的呼唤应答声音正确发出时间进行比对，确定呼唤应答声音的实际发出时间是否正确，确定乘务员发出呼唤应答声音是否准确。将得到的发出的呼唤应答声音的特征数据以及呼唤应答声音的实际发出时间传输到数据服务器中，数据服务器进行对比分析，若发出的呼唤应答声音或者呼唤应答声音的实际发出时间其中一个与呼唤应答声音模型中不同，则乘务员没有准确的发出的呼唤应答声音，自动扣分。
本实施例中标准模版库的建立过程可以直接由标准的动作以及规定的标准动作的做出时间建立该标准模板库，也可以由与乘务员仿真实训方法实施例1中的方法进行建立，但是与实施例1中的标准模板库的不同之处在于，本实施例中标准模版库还包括与行车操作模型对应的实训行车正确操作时间、眼看手比姿态正确做出时间以及呼唤应答声音正确发出时间，其中各模型的建立过程以及各实训动作的正确时间的确定这里不做赘述。
综上，通过对三者的实时综合分析评判，可以对乘务员的整体操作技能进行考核和评价。
乘务员仿真实训方法实施例3：
本实施例在乘务员仿真实训方法实施例2的基础上去掉了获取乘务员实训动作的实际发生时间以及乘务员实训动作的实际发生时间与正确时间的比对过程，同时，本实施例中对应的标准库模板库只需包括行车操作模型、眼看手比模型以及呼唤应答声音模型，具体为：
1)获取乘务员实训动作，包括实训行车操作、做出眼看手比姿态以及发出呼唤应答声音；
2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
3)将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
具体实施过程在乘务员仿真实训方法实施例2中已经介绍，这里不做赘述。
乘务员仿真实训装置实施例1：
乘务员仿真实训装置，包括存储器与处理器，处理器用于执行存储在存储器中的指令以实现如下方法：
1)根据实训行车正确操作时间获取相应的实训行车操作，根据眼看手比姿态正确做出时间获取做出的眼看手比姿态，根据呼唤应答声音正确发出时间获取发出的呼唤应答声音；
2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
3)将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
具体乘务员仿真实训装置所实现的方法已经在上述乘务员仿真实训方法实施例1中已经详细介绍，这里不做赘述。
乘务员仿真实训装置实施例2：
乘务员仿真实训装置，包括存储器与处理器，处理器用于执行存储在存储器中的指令以实现如下方法：
1)获取乘务员实训动作以及乘务员实训动作的实际发生时间，包括实训行车操作以及该实训行车操作的实际操作时间、做出眼看手比姿态以及该眼看手比姿态的实际做出时间和发出呼唤应答声音以及该呼唤应答声音的实际发出时间；
2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
3)将实训行车操作的特征数据以及实训行车操作的实际操作时间与标准模版库中的行车操作模型进行比对，确定乘务员是否进行准确的实训行车操作；将做出的眼看手比姿态的特征数据以及眼看手比姿态的实际做出时间与标准模版库中的眼看手比模型进行比对，确定乘务员是否准确做出眼看手比姿态；将发出的呼唤应答声音的特征数据以及呼唤应答声音的实际发出时间与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否准确发出呼唤应答声音。
具体乘务员仿真实训装置所实现的方法已经在上述乘务员仿真实训方法实施例2中已经详细介绍，这里不做赘述。
乘务员仿真实训装置实施例3：
乘务员仿真实训装置，包括存储器与处理器，处理器用于执行存储在存储器中的指令以实现如下方法：
1)获取乘务员实训动作，包括实训行车操作、做出眼看手比姿态以及发出呼唤应答声音；
2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
3)将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
具体乘务员仿真实训装置所实现的方法已经在上述乘务员仿真实训方法实施例3中已经详细介绍，这里不做赘述。
实训台实施例1：
实训台，包括实训台本体以及乘务员仿真实训装置，乘务员仿真实训装置包括存储器与处理器，处理器用于执行存储在存储器中的指令以实现如下方法：
1)根据实训行车正确操作时间获取相应的实训行车操作，根据眼看手比姿态正确做出时间获取做出的眼看手比姿态，根据呼唤应答声音正确发出时间获取发出的呼唤应答声音；
2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
3)将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
具体实训台中乘务员仿真实训装置所实现的方法已经在上述乘务员仿真实训方法实施例1中已经详细介绍，这里不做赘述。
实训台实施例2：
实训台，包括实训台本体以及乘务员仿真实训装置，乘务员仿真实训装置包括存储器与处理器，处理器用于执行存储在存储器中的指令以实现如下方法：
1)获取乘务员实训动作以及乘务员实训动作的实际发生时间，包括实训行车操作以及该实训行车操作的实际操作时间、做出眼看手比姿态以及该眼看手比姿态的实际做出时间和发出呼唤应答声音以及该呼唤应答声音的实际发出时间；
2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
3)将实训行车操作的特征数据以及实训行车操作的实际操作时间与标准模版库中的行车操作模型进行比对，确定乘务员是否进行准确的实训行车操作；将做出的眼看手比姿态的特征数据以及眼看手比姿态的实际做出时间与标准模版库中的眼看手比模型进行比对，确定乘务员是否准确做出眼看手比姿态；将发出的呼唤应答声音的特征数据以及呼唤应答声音的实际发出时间与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否准确发出呼唤应答声音。
具体实训台中乘务员仿真实训装置所实现的方法已经在上述乘务员仿真实训方法实施例2中已经详细介绍，这里不做赘述。
实训台实施例3：
实训台，包括实训台本体以及乘务员仿真实训装置，乘务员仿真实训装置包括存储器与处理器，处理器用于执行存储在存储器中的指令以实现如下方法：
1)获取乘务员实训动作，包括实训行车操作、做出眼看手比姿态以及发出呼唤应答声音；
2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
3)将实训行车操作的特征数据与标准模版库中的行车操作模型进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据与标准模版库中的眼看手比模型进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据与标准模版库中的呼唤应答声音模型进行比对，确定乘务员是否正确发出呼唤应答声音。
具体实训台中乘务员仿真实训装置所实现的方法已经在上述乘务员仿真实训方法实施例3中已经详细介绍，这里不做赘述。
Claims (4)
1.一种乘务员仿真实训方法，其特征在于，包括以下步骤：
(1)获取乘务员实训动作以及实训动作的实际发生时间，包括实训行车操作以及实训行车操作的实际操作时间、做出眼看手比姿态以及眼看手比姿态的实际做出时间、发出呼唤应答声音以及呼唤应答声音的实际发出时间；
(2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
(3)将实训行车操作的特征数据、实训行车操作的实际操作时间与标准模版库中的行车操作模型、行车操作模型对应的实训行车正确操作时间进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据、眼看手比姿态的实际做出时间与标准模版库中的眼看手比模型、眼看手比姿态正确做出时间进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据、呼唤应答声音的实际发出时间与标准模版库中的呼唤应答声音模型、呼唤应答声音正确发出时间进行比对，确定乘务员是否正确发出呼唤应答声音。
2.根据权利要求1所述的乘务员仿真实训方法，其特征在于，所述标准模版库中的眼看手比模型的建立过程为：对机车历史监控视频进行分帧处理，挑选出其中包含眼看手比姿态的图像，并对包含眼看手比姿态的图像进行预处理，得到对应的特征数据，然后对这些图像中的眼看手比姿态的特征数据进行训练，得到能够评判眼看手比姿态的眼看手比模型；所述标准模版库中的呼唤应答声音模型的建立过程为：对乘务员历史录音文件进行处理，截取出含有呼唤应答声音的声音片段，从中提取出呼唤应答声音的特征数据，对得到的呼唤应答声音的特征数据通过神经网络进行训练，得到能够评判呼唤应答声音的呼唤应答声音模型。
3.一种乘务员仿真实训装置，包括存储器与处理器，其特征在于，所述处理器用于执行存储在存储器中的指令以实现如下方法：
(1)获取乘务员实训动作以及实训动作的实际发生时间，包括实训行车操作以及实训行车操作的实际操作时间、做出眼看手比姿态以及眼看手比姿态的实际做出时间、发出呼唤应答声音以及呼唤应答声音的实际发出时间；
(2)对获取到的实训行车操作、做出的眼看手比姿态和发出的呼唤应答声音进行处理，得到对应的特征数据；
(3)将实训行车操作的特征数据、实训行车操作的实际操作时间与标准模版库中的行车操作模型、行车操作模型对应的实训行车正确操作时间进行比对，确定乘务员是否进行正确的实训行车操作；将做出的眼看手比姿态的特征数据、眼看手比姿态的实际做出时间与标准模版库中的眼看手比模型、眼看手比姿态正确做出时间进行比对，确定乘务员是否正确做出眼看手比姿态；将发出的呼唤应答声音的特征数据、呼唤应答声音的实际发出时间与标准模版库中的呼唤应答声音模型、呼唤应答声音正确发出时间进行比对，确定乘务员是否正确发出呼唤应答声音。
4.根据权利要求3所述的乘务员仿真实训装置，其特征在于，所述标准模版库中的眼看手比模型的建立过程为：对机车历史监控视频进行分帧处理，挑选出其中包含眼看手比姿态的图像，并对包含眼看手比姿态的图像进行预处理，得到对应的特征数据，然后对这些图像中的眼看手比姿态的特征数据进行训练，得到能够评判眼看手比姿态的眼看手比模型；所述标准模版库中的呼唤应答声音模型的建立过程为：对乘务员历史录音文件进行处理，截取出含有呼唤应答声音的声音片段，从中提取出呼唤应答声音的特征数据，对得到的呼唤应答声音的特征数据通过神经网络进行训练，得到能够评判呼唤应答声音的呼唤应答声音模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811585189.XA CN109545027B (zh) | 2018-12-24 | 2018-12-24 | 一种实训台、乘务员仿真实训方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811585189.XA CN109545027B (zh) | 2018-12-24 | 2018-12-24 | 一种实训台、乘务员仿真实训方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109545027A CN109545027A (zh) | 2019-03-29 |
| CN109545027B true CN109545027B (zh) | 2021-06-01 |
Family
ID=65857022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811585189.XA Active CN109545027B (zh) | 2018-12-24 | 2018-12-24 | 一种实训台、乘务员仿真实训方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109545027B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223350B (zh) * | 2019-12-10 | 2022-01-07 | 郑州爱普锐科技有限公司 | 一种基于五色图仿真培训的实训方法 |
| CN111147821A (zh) * | 2020-01-02 | 2020-05-12 | 朔黄铁路发展有限责任公司 | 机车车载视频智能监控方法及其装置 |
| CN112598953B (zh) * | 2020-12-30 | 2022-11-29 | 成都运达科技股份有限公司 | 一种基于列车驾驶仿真系统乘务员的评价系统及方法 |
| CN115064026B (zh) * | 2022-06-17 | 2023-12-19 | 陆校松 | 乘务现场实训方法及装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2915900B1 (ja) * | 1998-06-29 | 1999-07-05 | 株式会社エイ・ティ・アール知能映像通信研究所 | 加速度感覚生成装置 |
| CN104200687B (zh) * | 2014-09-11 | 2017-12-12 | 长安大学 | 一种驾驶员速度控制行为监测装置及监测方法 |
| CN104766605B (zh) * | 2015-04-23 | 2018-03-27 | 郑州畅想高科股份有限公司 | 一种机车录音装置和lkj监控装置间的时间同步系统和方法 |
| CN106327949A (zh) * | 2015-06-14 | 2017-01-11 | 刘英山 | 一种音乐节奏训练方法与装置 |
| CN105741855B (zh) * | 2016-02-03 | 2019-12-20 | 郑州畅想高科股份有限公司 | 一种基于音频分析的乘务员呼唤应答检测方法 |
| JP2017181852A (ja) * | 2016-03-31 | 2017-10-05 | 本田技研工業株式会社 | シフトチェンジ訓練装置 |
| CN107945602A (zh) * | 2016-10-12 | 2018-04-20 | 阿里巴巴集团控股有限公司 | 一种设备操作考核/培训方法、装置及系统 |
| CN107832748B (zh) * | 2017-04-18 | 2020-02-14 | 黄海虹 | 一种共享汽车驾驶员更换系统及方法 |
| KR20180120887A (ko) * | 2017-04-28 | 2018-11-07 | 주식회사 오에스랩 | 요트 실감 체험을 위한 시뮬레이터용 풍동 제어시스템 |
| CN107844194A (zh) * | 2017-10-12 | 2018-03-27 | 深圳市末本科技有限公司 | 基于vr技术的培训方法、装置及计算机可读存储介质 |
| CN107895527A (zh) * | 2017-11-23 | 2018-04-10 | 重庆蓝索创引智能科技有限公司 | 一种机动车驾驶员模拟考试培训系统 |
| CN108108018A (zh) * | 2017-12-12 | 2018-06-01 | 歌尔科技有限公司 | 基于虚拟现实的指挥训练方法、设备及系统 |
| CN108216252B (zh) * | 2017-12-29 | 2019-12-20 | 中车工业研究院有限公司 | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 |
| CN108583592A (zh) * | 2017-12-30 | 2018-09-28 | 西安市地下铁道有限责任公司 | 一种地铁乘务作业信息采集智能检测方法 |
| CN108446208B (zh) * | 2018-01-30 | 2021-06-04 | 紫川科技有限公司 | 采集操作数据的方法及装置 |
| CN108091205A (zh) * | 2018-02-12 | 2018-05-29 | 域通全球成都科技有限责任公司 | 基于虚拟现实的模拟飞行系统 |
| CN108520667A (zh) * | 2018-05-03 | 2018-09-11 | 湖南高速铁路职业技术学院 | 一种基于虚拟现实的高铁实训教学系统及方法 |
| CN108831237A (zh) * | 2018-06-26 | 2018-11-16 | 石家庄微泽科技有限公司 | 沉浸式虚拟现实的机车乘务员非正常行车实训考核系统 |
-
2018
- 2018-12-24 CN CN201811585189.XA patent/CN109545027B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109545027A (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109545027B (zh) | 一种实训台、乘务员仿真实训方法及装置 | |
| CN107818798B (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
| US11276407B2 (en) | Metadata-based diarization of teleconferences | |
| WO2021128741A1 (zh) | 语音情绪波动分析方法、装置、计算机设备及存储介质 | |
| CN104732978B (zh) | 基于联合深度学习的文本相关的说话人识别方法 | |
| CN102623009B (zh) | 一种基于短时分析的异常情绪自动检测和提取方法和系统 | |
| US8635181B2 (en) | System and method for tagging signals of interest in time variant data | |
| CN105895078A (zh) | 动态选择语音模型的语音识别方法及装置 | |
| CN109979486B (zh) | 一种语音质量评估方法及装置 | |
| JP5061382B2 (ja) | 時系列データの識別装置および動画像への人物メタ情報付与装置 | |
| US20210121125A1 (en) | Apparatus for estimating mental/neurological disease | |
| CN105448291A (zh) | 基于语音的帕金森症检测方法及检测系统 | |
| CN109409196A (zh) | 基于人脸的性格预测方法、装置、电子设备 | |
| CN110797032B (zh) | 一种声纹数据库建立方法及声纹识别方法 | |
| CN106203437B (zh) | 个体驾驶行为特征识别方法和装置 | |
| CN105931631A (zh) | 语音合成系统和方法 | |
| Schlotterbeck et al. | What classroom audio tells about teaching: a cost-effective approach for detection of teaching practices using spectral audio features | |
| KR102314824B1 (ko) | 딥러닝 기반 감지상황에서의 음향 사건 탐지 방법 | |
| CN115132174A (zh) | 一种语音数据处理方法、装置、计算机设备及存储介质 | |
| CN110956142A (zh) | 一种智能交互培训系统 | |
| CN110415707B (zh) | 一种基于语音特征融合和gmm的说话人识别方法 | |
| CN110555384A (zh) | 基于图像数据的牛肉大理石纹自动分级系统及方法 | |
| CN108470564A (zh) | 根据音频识别人格特征的人工智能方法 | |
| CN114898140A (zh) | 一种基于paa算法的行为检测方法、装置及可读介质 | |
| CN108074585A (zh) | 一种基于声源特征的语音异常检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190329 Assignee: Zhengzhou Changlian Software Technology Co.,Ltd. Assignor: ZHENGZHOU THINK FREELY HI-TECH Co.,Ltd. Contract record no.: X2021410000002 Denomination of invention: A training platform, crew simulation training method and device Granted publication date: 20210601 License type: Common License Record date: 20211222 |
|
| EE01 | Entry into force of recordation of patent licensing contract |